L’évaluation des effets ou des résultats¹

Qu’est-ce qu’un effet ou un résultat? Qu’est-ce qu’un impact?

L’effet ou le résultat est le produit de la mise en en œuvre de la pratique. L’effet se traduit généralement par des objectifs à atteindre sous la forme de performance, d’efficience, de rendement, etc.

L’impact, c’est l’onde de choc entourant les résultats. C’est un résultat qui n’était pas nécessairement prévu. Le résultat dépasse l’atteinte des objectifs et se fait ressentir dans le milieu ambiant. Cet impact peut être positif ou négatif (effet pervers) :

• Ex. : L’implication des parents dans l’aide aux devoirs a contribué au rapprochement des parents avec l’école (impact école-famille non prévu).

Qu’est-ce que l’évaluation d’un effet ou d’un résultat?

L’évaluation des effets d’une pratique vise à répondre à la question suivante : La pratique mise en œuvre mène-t-elle aux effets ou aux résultats attendus? L’évaluateur se situe donc dans une logique :

• d’un avant (état initial);
• d’un pendant (intervention, mise en œuvre de la pratique) et d’un après (effets, résultats, retombées)² .

Il est habituellement recommandé de réaliser l’évaluation des effets d’une pratique lorsque celle- ci est considérée comme stable, c’est-à-dire qu’elle ne se situe plus dans un processus de développement et de changement³.

Pour évaluer les effets, il faut parfois effectuer la collecte de données à des moments différents. Par exemple, dans le cadre de la méthode prétest et post-test, une prise mesure interne est effectuée avant la mise en œuvre de la pratique afin de déterminer l’état initial (niveau de base) et une autre, à la fin de l’implantation de la pratique, afin de vérifier si on note des variations. Si la mesure avant la mise en œuvre n’a pu être prise, seule prise est effectuée en fin d’intervention. Cette dernière mesure pourra servir de point de comparaison pour les années suivantes.

On peut également apprécier l’évolution en la comparant les mesures prises à des normes différentes de celles du milieu.

L’attribution de l’effet observé de la pratique mise en œuvre (attribution causale) ne peut être réalisée que si les autres variables sont suffisamment contrôlées. Ceci est davantage possible dans le cadre de devis qui utilisent des groupes contrôles.

Les indicateurs de résultats

Les indicateurs de résultats sont des éléments de preuve précis, quantifiables ou observables (…) à partir desquels on peut déterminer si les buts et les objectifs d’un programme ont été atteints (Gaudreau p. 38, citant le Conseil consultatif national sur le troisième âge, 1998). C’est une des manifestations concrètes d’une réalité. Par exemple, la mesure de l’implication parentale peut être réalisée notamment par l’indicateur suivant :

• Nombre de parents présents aux réunions.

Quelques qualités des indicateurs de résultats⁴

• Se limitent à ce qui est important;
• Sont pertinents, c’est-à-dire reliés à l’objectif auquel ils s’appliquent;
• Se trouvent en nombre suffisant;
• Sont objectivement vérifiables;
• S’appuient sur une mesure directe, lorsque c’est possible (ex : le score d’un test, les notes scolaires), ou indirecte lorsqu’il est impossible de les vérifier de façon objective (ex : perception de l’ élève, de l’enseignant).

Les indicateurs quantitatif et qualitatif

• Un indicateur quantitatifse rapporte à l’incidence ou à la quantité des événements ou à la mesure par rapport à une échelle quelconque, comme les informations chiffrées, les moyennes, les pourcentages, les proportions, etc. (Gaudreau p. 20).
  • Ex. : Le taux de réussite scolaire dans une classe : le taux de réussite en français dans le groupe 101 est de 90 %.

• Un indicateur qualitatiftraduit les données exprimées principalement sous forme d’énoncés – idées, thèmes, événements – et obtenues par observation, entrevues, analyse de contenu, etc. (Gaudreau p. 20).
  • Ex. : Les réactions des parents au sujet des devoirs de leurs enfants : les 20 parents interrogés ont affirmé que leur enfant recevait des devoirs en quantité suffisante et qu’ils leur semblaient pertinents.

Les critères de réussite

Les critères (ou les seuils) de réussite définissent les points de référence à atteindre ou à dépasser pour convenir du succès de l’action menée.

• Dans le cas de l’implication parentale, on pourrait choisir comme critère 60% des des parents disent poursuivre les activités d’éveil à la lecture à la maison.
• Ce critère (60%) est fixé par rapport à des expériences antérieures ou à des barèmes reconnus. En d’autres termes, le critère est un système de référence à partir duquel on peut porter un jugement sur les données recueillies. Il ne peut pas être ajusté après la mise en place des pratiques afin de ne pas forcer le constat de réussite.

Des exemples d’indicateurs de résultats et leurs critères

Exemple 1 :

Indicateur : Le taux de participation des parents dans l’aide aux devoirs

Critère : 75 % des parents ciblés ont participé

Exemple 2 :

Indicateur : Taux d’utilisation de la méthode du surlignage par les élèves

Critère : 80 % des élèves déclarent avoir « presque toujours » utilisé le surlignage lors des périodes de lecture.

Les indicateurs de résultats sont directement liés aux objectifs et aux attentes de résultats inscrits dans le Plan de réussite de l’école et dans l’outil Plan de suivi d’une pratique. Ils font partie également du processus de la définition opérationnelle du déterminant ciblé par la pratique⁵.

Quelques méthodes d’évaluation des effets

Préalablement à l’évaluation des effets d’une pratique, il importe de s’assurer que le déterminant visé ait bien été défini et que la pratique évaluée est en lien avec le déterminant ou certaines de ses composantes (voir le texte De la définition opérationnelle d’un déterminant à l’évaluation des effets des pratiques mises en œuvre).

Quelques erreurs à éviter lors de l’évaluation des effets

• Croire qu’une seule pratique peut avoir des effets sur un résultat attendu alors que le déterminant est reconnu comme multifactoriel.

• Exemples :
  • L’effet de l’approche entrepreneuriale sur le taux de décrochage scolaire ou sur la persévérance scolaire;
  • L’effet du tutorat (enseignant – élève) ou du mentorat sur la réussite en mathématiques ou en lecture.

• Attribuer les effets à une pratique sans avoir vérifié les hypothèses alternatives ou rivales. Par exemple, ne pas vérifier si le changement peut être dû à :
  • La maturation des élèves (si c’est sur une période assez longue, huit mois, par exemple);
  • L’enthousiasme de l’intervenant qui applique la pratique;
  • Au seul fait de participer à une nouvelle expérience, un nouveau projet;
  • La non-équivalence entre des groupes expérimentaux et de contrôle;
  • L’effet des instruments de mesure (manque de fidélité des outils, effet de la première mesure sur la deuxième, etc.);
  • L’effet d’un événement à l’école ou dans la famille.

Il existe différentes méthodes de collecte et de traitement des données qui permettent d’évaluer les effets d’une pratique et de s’assurer à des degrés divers de la relation causale entre les effets observés et la pratique mise en œuvre en contrôlant les hypothèses alternatives ou rivales.

Cependant, étant donné la complexité des éléments qui contribuent à la réussite scolaire ou à la prévention du décrochage scolaire, il est recommandé d’utiliser l’expression : cette pratique contribue à améliorer…

Devis avec mesures après l’intervention et groupe expérimental

Il s’agit de réaliser des mesures auprès du public cible (groupe expérimental composé d’élèves ou de parents) qui a reçu la pratique. Ces mesures peuvent être de natures variées (recueil des perceptions, observation des comportements, taux de performance à des tests de rendement, etc.).

Cette façon de procéder étant limitée quant à sa capacité à établir le lien de causalité entre les résultats obtenus et la pratique mise en œuvre, il est recommandé de comparer les résultats obtenus de différentes sources (élèves, enseignants, parents, professionnels) ou à l’aide de différents instruments de mesure (observations directes, sondages ou test de rendement) auprès du public cible et autres, etc. C’est ce qu’on appelle la technique de triangulation.

Une autre façon de procéder afin d’augmenter la force de la relation de causalité consiste à utiliser une échelle d’impact différentiel. Cette échelle vise à obtenir le point de vue du participant sur les changements qui se sont produits dans sa situation depuis le début de l’intervention ainsi que sur l’implication de l’intervention dans l’apparition de ces changements⁶.

• Ex. : Concernant tes difficultés de compréhension en lecture, la situation s’est-elle améliorée, est-elle demeurée la même ou s’est-elle détériorée?

a) ___ améliorée

b) ___ la même

c) ___ détériorée

Si tu as répondu (a) ou (c) : À ton avis, dans quelle mesure la participation à la récupération a-t-elle eu une influence sur ce changement?

• ___La récupération a eu une influence majeure
• ___La récupération a eu une certaine influence
• ___La récupération a eu une influence mineure
• ___La récupération n’a rien à voir avec ce changement

Devis avec mesures après l’intervention et groupes expérimental et de comparaison

Suite à l’implantation de la pratique, des mesures sont prises auprès du groupe expérimental. Les mêmes mesures sont appliquées à un groupe de comparaison qui n’a pas été exposé à la pratique. Le principal défi de ce devis est de s’assurer que les élèves du groupe de comparaison sont initialement « équivalents » en ce qui concerne les éléments mesurés et les caractéristiques qui pourraient influencer les résultats.

Devis avec mesures avant et après avec groupe expérimental

Les mêmes mesures sont prises auprès du groupe expérimental avant et après la mise en œuvre de la pratique.

Le traitement des données consiste à comparer les résultats des deux mesures.

Devis quasi expérimental (mesures avant et après avec groupe de comparaison)

Des mesures sont prises avant et après l’implantation de la pratique auprès du groupe expérimental ainsi qu’auprès d’un groupe de comparaison.

Le traitement des données consiste à vérifier :

• Si, au départ, les deux groupes se valent sur le plan de leurs caractéristiques et des premières mesures obtenues;
• Si, suite à la mise en œuvre de la pratique auprès du groupe expérimental, on relève une différence entre les deuxièmes mesures des deux groupes;
• Si on observe un progrès chez le groupe expérimental entre la mesure prise avant et celle prise après.

---

1. La terminologie utilisée dans les écrits est variée : on peut parler de résultats ou d’effets. École et Stratégies utilise plus fréquemment le mot effet.
2. Gaudreau, L. (2001). Évaluer pour évoluer. Les indicateurs et les critères. Les éditions LOGIQUES. Conseil scolaire de l’île de Montréal. Adaptation de la p. 22.
3. L’évaluation des résultats d’une pratique en développement ne sert qu’à vérifier si la pratique est sur la bonne voie (ne nuit pas, semble positive). Il n’est pas recommandé de procéder à une évaluation exhaustive des effets étant donné les divers changements encourus au fil de l’implantation de la pratique et la nécessité de la restructurer.
4. Société québécoise d’évaluation de programme (2004). Le cadre logique : une matrice pratique pour la conception et l’évaluation de projets et de programmes. Document de formation.
5. Voir le document : De la définition opérationnelle d’un déterminant à l’évaluation des effets des pratiques mises en œuvre
6. Mayer et al. (2000). Méthode de recherche en intervention sociale. Gaetan Morin éditeur.

© CTREQ 2013 Auteurs : Pierre Potvin et Marie-Martine Dimitri