Planifier l’évaluation des effets sur les élèves
Lors de la rencontre préparatoire du chantier, l’accompagnateur:
- Demande au responsable de chantier de dresser la liste des indicateurs et des outils de collecte de données disponibles pour effectuer l’évaluation des effets de la pratique sur les déterminants de la réussite;
- Demande au responsable de chantier de sélectionner les indicateurs et les outils de collecte de données les plus pertinents;
- Discute des modalités d’évaluation;
- Discute du code d’éthique de l’évaluation;
- Présente le plan d’évaluation;
- Discute du transfert de l’animation en chantier.
Animation
La sélection des indicateurs et des outils de collecte de données.
La planification de l’évaluation des effets des pratiques sur les élèves nécessite de revoir les collectes de données réalisées lors de l’analyse de situation de niveau 1 et de niveau 2.
Pour la première analyse, il avait fallu sélectionner certains indicateurs des déterminants de la réussite ainsi que les outils de collecte de données. Pour la deuxième, on avait établi les définitions opérationnelles des déterminants retenus, précisé les variables sur lesquelles les pratiques agissent et, par conséquent, précisé d’autres indicateurs et d’autres outils de mesure.
L’ensemble de ces indicateurs oriente les attentes de résultats et détermine ce qu’il faudra mesurer pour établir qu’il y a eu ou non effet sur le déterminant (voir le texte de référence : L’évaluation des effets d’une pratique).
La révision de cet ensemble d’indicateurs et d’outils de collecte permet de sélectionner les plus pertinents.
De plus, il est essentiel de revenir sur les résultats de l’évaluation de la mise en œuvre d’une pratique (d’un projet ou d’un programme) afin d’établir un lien entre son application et les résultats obtenus sur le déterminant ciblé et, plus globalement, sur la réussite éducative.
Le fait de revoir les liens logiques entre l’analyse de situation de niveau 1 et 2, le suivi de la pratique et l’évaluation de ses effets sur les élèves contribue à donner un sens et une orientation aux travaux des chantiers et de toute l’équipe-école. Ce retour met en évidence le lien de cause à effet que le milieu souhaite établir entre l’application conforme d’une (de plusieurs) pratique(s) efficace(s) et l’amélioration d’un (de plusieurs) déterminant (s) ciblé(s).
Finalement, la collecte de données sur les déterminants de la réussite ciblée vise à savoir :
- Si la pratique, le projet ou le programme produit (ou contribue à produire) les effets attendus sur le déterminant ciblé;
- Si ces interventions améliorent la compétence des élèves par rapport au déterminant ciblé;
- Ultimement, si l’ensemble des pratiques révisées a un effet sur la réussite éducative des élèves.
Ce sont donc les résultats de l’évaluation de la mise en œuvre ainsi que les résultats des effets qu’elles ont sur les élèves qui informeront le milieu sur la « valeur » des pratiques mises en œuvre. Ces résultats orienteront, si nécessaire, les modifications à apporter à la pratique implantée et permettront de justifier ou non l’ajout d’autres pratiques afin d’obtenir un plan d’action systémique qui concourt à l’amélioration du déterminant ciblé.
Les modalités d’évaluation
À partir du plan d’évaluation proposé, l’accompagnateur demande à ce que soient précisés :
- Le type de données à recueillir (comportements, croyances, attitudes, performances, etc.);
- Les sources de données (les élèves, les parents, les différentes catégories de personnel scolaire ou des bases de données comme GPI ou LUNIX);
- Les outils de collecte de données (grilles d’observation, sondages, entrevues individuelles ou de groupes);
- Le devis d’évaluation (avant et après ou autres. Voir le texte de référence).
Clôture
Lors de la rencontre préparatoire du chantier, l’accompagnateur revoit :
- La liste des indicateurs et des outils de collecte de données issus de l’analyse de niveau 1 et 2 et disponibles pour effectuer l’évaluation des effets de la pratique sur les déterminants de la réussite;
- Les indicateurs et les outils de collecte de données les plus pertinents;
- Les modalités d’évaluation retenues.
En chantier, le responsable :
- Reprend le processus de sélection des indicateurs et des outils de collecte de données;
- Convient des modalités d’évaluation;
- Convient du moment de la collecte de données;
- Discute du transfert de cette animation auprès de l’équipe-école.
Suite : Recueillir les données
|
© CTREQ 2010 Auteurs : Marie-Martine Dimitri et Pierre Potvin. |
 |