Qu’est-ce qu’un effet ou un résultat? Qu’est-ce qu’un impact?
L’effet ou le résultat est le produit de la mise en en œuvre de la pratique. L’effet se traduit généralement par des objectifs à atteindre sous la forme de performance, d’efficience, de rendement, etc.
L’impact, c’est l’onde de choc entourant les résultats. C’est un résultat qui n’était pas nécessairement prévu. Le résultat dépasse l’atteinte des objectifs et se fait ressentir dans le milieu ambiant. Cet impact peut être positif ou négatif (effet pervers) :
Qu’est-ce que l’évaluation d’un effet ou d’un résultat?
L’évaluation des effets d’une pratique vise à répondre à la question suivante : La pratique mise en œuvre mène-t-elle aux effets ou aux résultats attendus? L’évaluateur se situe donc dans une logique :
Il est habituellement recommandé de réaliser l’évaluation des effets d’une pratique lorsque celle- ci est considérée comme stable, c’est-à-dire qu’elle ne se situe plus dans un processus de développement et de changement3.
Pour évaluer les effets, il faut parfois effectuer la collecte de données à des moments différents. Par exemple, dans le cadre de la méthode prétest et post-test, une prise mesure interne est effectuée avant la mise en œuvre de la pratique afin de déterminer l’état initial (niveau de base) et une autre, à la fin de l’implantation de la pratique, afin de vérifier si on note des variations. Si la mesure avant la mise en œuvre n’a pu être prise, seule prise est effectuée en fin d’intervention. Cette dernière mesure pourra servir de point de comparaison pour les années suivantes.
On peut également apprécier l’évolution en la comparant les mesures prises à des normes différentes de celles du milieu.
L’attribution de l’effet observé de la pratique mise en œuvre (attribution causale) ne peut être réalisée que si les autres variables sont suffisamment contrôlées. Ceci est davantage possible dans le cadre de devis qui utilisent des groupes contrôles.
Les indicateurs de résultats sont des éléments de preuve précis, quantifiables ou observables (…) à partir desquels on peut déterminer si les buts et les objectifs d’un programme ont été atteints (Gaudreau p. 38, citant le Conseil consultatif national sur le troisième âge, 1998). C’est une des manifestations concrètes d’une réalité. Par exemple, la mesure de l’implication parentale peut être réalisée notamment par l’indicateur suivant :
Quelques qualités des indicateurs de résultats4
Les critères (ou les seuils) de réussite définissent les points de référence à atteindre ou à dépasser pour convenir du succès de l’action menée.
Des exemples d’indicateurs de résultats et leurs critères
Exemple 1 :
Indicateur : Le taux de participation des parents dans l’aide aux devoirs
Critère : 75 % des parents ciblés ont participé
Exemple 2 :
Indicateur : Taux d’utilisation de la méthode du surlignage par les élèves
Critère : 80 % des élèves déclarent avoir « presque toujours » utilisé le surlignage lors des périodes de lecture.
Les indicateurs de résultats sont directement liés aux objectifs et aux attentes de résultats inscrits dans le Plan de réussite de l’école et dans l’outil Plan de suivi d’une pratique. Ils font partie également du processus de la définition opérationnelle du déterminant ciblé par la pratique5.
Préalablement à l’évaluation des effets d’une pratique, il importe de s’assurer que le déterminant visé ait bien été défini et que la pratique évaluée est en lien avec le déterminant ou certaines de ses composantes (voir le texte De la définition opérationnelle d’un déterminant à l’évaluation des effets des pratiques mises en œuvre).
Quelques erreurs à éviter lors de l’évaluation des effets
Il existe différentes méthodes de collecte et de traitement des données qui permettent d’évaluer les effets d’une pratique et de s’assurer à des degrés divers de la relation causale entre les effets observés et la pratique mise en œuvre en contrôlant les hypothèses alternatives ou rivales.
Cependant, étant donné la complexité des éléments qui contribuent à la réussite scolaire ou à la prévention du décrochage scolaire, il est recommandé d’utiliser l’expression : cette pratique contribue à améliorer…
Devis avec mesures après l’intervention et groupe expérimental
Il s’agit de réaliser des mesures auprès du public cible (groupe expérimental composé d’élèves ou de parents) qui a reçu la pratique. Ces mesures peuvent être de natures variées (recueil des perceptions, observation des comportements, taux de performance à des tests de rendement, etc.).
Cette façon de procéder étant limitée quant à sa capacité à établir le lien de causalité entre les résultats obtenus et la pratique mise en œuvre, il est recommandé de comparer les résultats obtenus de différentes sources (élèves, enseignants, parents, professionnels) ou à l’aide de différents instruments de mesure (observations directes, sondages ou test de rendement) auprès du public cible et autres, etc. C’est ce qu’on appelle la technique de triangulation.
Une autre façon de procéder afin d’augmenter la force de la relation de causalité consiste à utiliser une échelle d’impact différentiel. Cette échelle vise à obtenir le point de vue du participant sur les changements qui se sont produits dans sa situation depuis le début de l’intervention ainsi que sur l’implication de l’intervention dans l’apparition de ces changements6.
a) ___ améliorée | b) ___ la même | c) ___ détériorée |
Si tu as répondu (a) ou (c) : À ton avis, dans quelle mesure la participation à la récupération a-t-elle eu une influence sur ce changement?
Devis avec mesures après l’intervention et groupes expérimental et de comparaison
Suite à l’implantation de la pratique, des mesures sont prises auprès du groupe expérimental. Les mêmes mesures sont appliquées à un groupe de comparaison qui n’a pas été exposé à la pratique. Le principal défi de ce devis est de s’assurer que les élèves du groupe de comparaison sont initialement « équivalents » en ce qui concerne les éléments mesurés et les caractéristiques qui pourraient influencer les résultats.
Devis avec mesures avant et après avec groupe expérimental
Les mêmes mesures sont prises auprès du groupe expérimental avant et après la mise en œuvre de la pratique.
Le traitement des données consiste à comparer les résultats des deux mesures.
Devis quasi expérimental (mesures avant et après avec groupe de comparaison)
Des mesures sont prises avant et après l’implantation de la pratique auprès du groupe expérimental ainsi qu’auprès d’un groupe de comparaison.
Le traitement des données consiste à vérifier :
1. La terminologie utilisée dans les écrits est variée : on peut parler de résultats ou d’effets. École et Stratégies utilise plus fréquemment le mot effet.
2. Gaudreau, L. (2001). Évaluer pour évoluer. Les indicateurs et les critères. Les éditions LOGIQUES. Conseil scolaire de l’île de Montréal. Adaptation de la p. 22.
3. L’évaluation des résultats d’une pratique en développement ne sert qu’à vérifier si la pratique est sur la bonne voie (ne nuit pas, semble positive). Il n’est pas recommandé de procéder à une évaluation exhaustive des effets étant donné les divers changements encourus au fil de l’implantation de la pratique et la nécessité de la restructurer.
4. Société québécoise d’évaluation de programme (2004). Le cadre logique : une matrice pratique pour la conception et l’évaluation de projets et de programmes. Document de formation.
5. Voir le document : De la définition opérationnelle d’un déterminant à l’évaluation des effets des pratiques mises en œuvre
6. Mayer et al. (2000). Méthode de recherche en intervention sociale. Gaetan Morin éditeur.
© CTREQ 2013 Auteurs : Pierre Potvin et Marie-Martine Dimitri |