Clarifier les concepts
Lorsque l’accompagnateur aborde l’évaluation des effets d’une pratique sur les élèves, il doit non seulement revenir sur le concept d’indicateur – abordé à l’étape de l’analyse de niveau 2 –, mais également clarifier trois autres notions : la notion d’effet sur un déterminant ciblé, la notion d’effet positif, la notion d’effet sur la réussite éducative.
La notion d’effet sur un déterminant ciblé
Que signifie produire un effet sur un déterminant?
On parle d’effet sur un déterminant lorsque l’intervention (la pratique) modifie l’état de ce déterminant.
En tenant compte du principe que « toute chose étant égale par ailleurs », on attribue à la mise en œuvre de la pratiquePar exemple : Un milieu met en œuvre une amélioration du système de gestion des retards et des absences des élèves. Après une année de mise en œuvre du nouveau système, on observe une baisse de 5 % des retards en classe et de 4 % des absences non motivées par rapport à l’année précédente (mêmes éléments de données). Lors de l’analyse des résultats, on applique le principe de « toute chose étant égale par ailleurs » en s’assurant qu’aucune autre composante du milieu ne pourrait expliquer le changement positif observé. les changements observés sur le déterminant ciblé. Ces changements se mesurent par les indicateurs de résultats et leurs critères (voir texte de référence).
Il existe trois possibilités liées à l’effet sur un déterminant : un changement positif (amélioration), aucun changement ou un changement négatif (détérioration du déterminant). Ces effets positifs ou négatifs ne sont pas toujours mesurés en fonction des valeurs numériques observées. Par exemple, une diminution du nombre d’absences est un effet positif. De plus, on peut observer des effets secondaires, certains pouvant se révéler pervers et non désirés. Pour chacune de ces situations, il faut poser les questions suivantes : le résultat observé peut-il être attribué en partie ou en totalité à la pratique mise en œuvre? D’autres « événements » peuvent-ils expliquer les résultats observés?
La notion d’effet positif
Le grand défi de l’évaluation des effets sur les élèves est lié à la notion même d’effet positif ou de réussite. Qu’est-ce qui définit un effet positif ou une réussite? Quels sont les critères retenus pour en arriver à la conclusion de « réussite »?
Louise Gaudreau1 nous éclaire sur le sujet :
- Un indicateur de réussite doit révéler qu’un changement positif s’est produit.
- « Positif » signifie qu’il constitue un avantage ou un bénéfice et qu’il est perçu comme un succès.
Toujours selon le texte de Louise Gaudreau, il est important de se rappeler l’importance du contexte où se réalise « la réussite ». Ainsi, les résultats positifs pour un élève ou pour une classe peuvent être inintéressants lorsque replacés à l’échelle d’un système d’éducation (comme l’école) dans son ensemble. Ou encore, l’effet positif obtenu dans un établissement ou pour un projet donné pourrait correspondre à un échec dans un autre.
L’effet positif d’une pratique sur un déterminant lié à la réussite éducative des élèves s’évalue selon certains critères.
Ces derniers tiennent compte de la réalité du contexte de l’école et s’établissent lors de l’analyse de situation de niveau 1 et de la rédaction du plan de réussite. Il s’agit donc soit des mesures prises lors de l’analyse de niveau 1Par exemple : Les taux de réussite et d’échec aux examens, les notes moyennes aux examens, le nombre de sorties de classe, etc. ou lors de l’analyse de niveau 2 (qui servent de « prétests ») soit des résultats issus de milieux comparables de la commission scolaire ou d’ailleurs.
La notion d’effet sur la réussite éducative2
L’évaluation des effets sur la réussite éducative des élèves peut s’établir par la « somme » des divers résultats d’évaluation des déterminants de la réussite éducative telle que précisée lors de l’analyse de situation de niveau 1 et opérationnalisé dans le plan de réussite de l’école. École et Stratégies propose de considérer que la réussite éducative a progressé si on note une amélioration dans les trois volets de la mission de l’école, soit sur le plan de l’instruction, de la socialisation et de la qualification. Il serait possible de qualifier l’amélioration de la réussite éducative comme étant : faible (un seul volet amélioré), modérée (deux volets) ou totale (trois volets).
Selon cette définition, la réussite éducative pourrait correspondre à l’atteinte des objectifs du plan de réussite de l’école, puisque qu’École et Stratégies en recommande la conception en trois volets selon ce qui doit être amélioré au niveau de l’instruction, de la socialisation et de la qualification.
Suite : Évaluer les effets de la pratique sur les élèves
1. Gaudreau, L. (2001). Évaluer pour évoluer. Les indicateurs et les critères. Les Éditions LOGIQUES. P.28
2. Cette partie de texte sur la notion d’effet sur la réussite éducative doit être considérée comme un essai, comme une interprétation possible. Il existe fort probablement d’autres façons de concevoir l’évaluation des effets sur la réussite éducative des élèves.
|
© CTREQ 2013 Auteurs : Marie-Martine Dimitri et Pierre Potvin. |
 |