Analyser certains déterminants de la réussite

Les qualités d’un bon indicateur

Plusieurs caractéristiques définissent un bon indicateur dont la :

• Faisabilité : degré d’accès aux sources de données, simplicité des moyens pour traiter les données, coûts et temps nécessaires à l’analyse des données;
• Facilité de compréhension (clarté): tout le monde en saisit facilement le sens.
• Sensibilité : l’indicateur varie beaucoup et rapidementCapacité de l’indicateur à départager les élèves qui ont la caractéristique recherchée. Certains indicateurs sont tellement généraux qu’on peut les interpréter d’innombrables façons… On recherche plutôt un indicateur qui permettra de cibler vraiment les élèves qui ont de la difficulté (par exemple) et ceux qui n’en ont pas. quand l’aspect mesuré subit des modifications;
• Validité : l’indicateur représente vraiment ce qu’il doit représenter. À titre d’exemple, certaines écoles comptabilisent une absence pour la journée lorsque des élèves sont en « sortie scolaire » avec un autre enseignant. Ainsi, un élève qui va au théâtre dans le cadre du cours de français est effectivement absent de ses autres cours cette journée-là. Toutefois, son absence ne mène pas à se questionner sur son engagement scolaire. Dans ce cas-ci, c’est la définition même « d’absence » qui est à revoir.
• Fiabilité ou fidélité : l’indicateur révèle les mêmes données si on répète son application dans les mêmes circonstances. Cette caractéristique dépend beaucoup de la qualité des outils de collecte des données. Des données comportementales (directes, réelles) comme l’enregistrement des retards ou des absences seront plus fiables qu’un sondage sur la perception du milieu sur ce thème.

Par ailleurs, un indicateur doit représenter une seule dimension à la fois. Il en faudra donc plusieurs pour couvrir tous les aspects de l’objet évalué. Dans ce sens, les indicateurs devront être exhaustifs et couvrir l’ensemble des composantes du concept observé (par exemple, l’engagement scolaire). Cependant, il faudra faire primer la pertinence sur l’exhaustivité et se limiter à rendre compte de l’essentiel du concept évalué, aucun questionnaire ne couvrant tous les sujets. Il est donc important de faire des choix en fonction des objectifs poursuivis.

---

Les qualités d’un instrument de mesure et des données qu’il produit

• La validité

« La validité est associée au fait de bien mesurer ce qu’on veut mesurer » ³.

La validité est donc aussi une caractéristique d’un instrument de mesure. Si on prend l’exemple d’un questionnaire, il s’agit de déterminer la clartéLa clarté d’un énoncé fait référence à la compréhension qu’auront les répondants de cet énoncé. La syntaxe de l’énoncé est-elle suffisamment claire pour que tous les répondants le comprennent de la même manière? Les termes utilisés peuvent-ils être compris de la même manière par tous les répondants? , la facilitéLa facilité d’un énoncé fait référence au travail qu’exige la réponse à cet énoncé. Une personne doit-elle chercher dans ses notes pour fournir les renseignements demandés? Quel est le degré de réflexion nécessaire pour fournir une réponse? Un énoncé sera jugé facile si vous percevez qu’un répondant peut rapidement fournir une réponse. , la pertinenceLa pertinence d’un énoncé fait référence au lien perçu entre l’énoncé et ce qu’il doit évaluer. En d'autres termes, il s'agit de poser la bonne question pour obtenir l'information précise recherchée. et l’exhaustivitéLes questions posées doivent couvrir l’ensemble du domaine observé. Il faut toutefois croiser ce critère avec celui de pertinence. des questions qu’il comporte. On parle ici de validité du contenu.

• La fidélité

La fidélité est généralement caractérisée par la précision et l’exactitude avec laquelle un instrument mesure un concept. La fidélité fait référence à l’objectivité de l’instrument. Si un instrument est fidèle, les données obtenues seront les mêmes, indépendamment du lieu, du contexte ou de l’évaluateur.

La fidélité des données, « c’est l’exigence selon laquelle les traces de l’activité des sujets doivent être des témoins de cette activitéPar exemple : Il est possible de dire que les données sont fidèles lorsque les traces de l'activité des participants sont le reflet réel de leur compétence pour ladite activité (comme dans le cas de leurs réponses à un test) et non le résultat d'une influence due à l'outil utilisé. , sans déformation majeure due à une instrumentation qui rendrait aléatoires et variables le contenu et la forme des traces d’une même activité qui se reproduirait. »⁴ La « stabilité » des données issues des outils de collecte est ainsi un indice de fidélité des instrumentsCommentaire : Pour vérifier la fidélité d’un instrument (ex. : un questionnaire), il est habituellement d’usage de l’administrer à deux reprises aux mêmes groupes de participants en laissant un intervalle de quatre à six semaines entre les deux administrations. Un instrument fidèle devrait normalement donner des résultats très similaires. Lorsque les instruments utilisés comportent des questions fermées, des indices de consistance interne ou d’homogénéité peuvent être calculés par des analyses statistiques (corrélation, alpha de Cronbach). En ce qui concerne les questions ouvertes qui nécessitent une analyse de contenu, l’indice de fidélité sera calculé à partir des résultats obtenus à la suite d’une analyse de contenu réalisée par deux évaluateurs indépendants. . En effet, on dira d’un instrument qu’il est fidèle lorsque l’usage répété du même outil de collecte des données (questionnaires, test, etc.) mène au même résultat dans le cas d’une même performance des mêmes individus.

La question de la validité et de la fidélité des données ne se pose pas dans le cas d’utilisation d’outils déjà validés (le questionnaire sur l’environnement socioéducatif [QES]⁵, le logiciel de dépistage du décrochage scolaire [LDDS]⁶, des examens ministériels, par exemple). La vigilance est davantage de rigueur dans le cadre de l’utilisation d’outils maison dont la validité n’a pas été établie. Certains ouvrages⁷ peuvent guider les milieux dans leur élaboration d’outils de mesure. Le recoupement de données issues de différentes sources pour rendre compte adéquatement de la réalité que l’on veut analyser s’avère également utile. On parle ici de la triangulationPar exemple : Si on croise des données sur les pratiques de lecture du jeune en interrogeant plusieurs sources (le jeune lui-même, ses enseignants et ses parents), les résultats obtenus seront davantage valides. Ou encore : L’appréciation des compétences scolaires des élèves s’appuiera sur les notes aux bulletins, le jugement professionnel des enseignants et d’autres données pertinentes issues de tests validés comme le QES. des sources et/ou des outils de collecte des données qui permet d’assurer une plus grande validité.

En résumé, pour obtenir un portrait juste des déterminants, il faut vérifier :

• Les caractéristiques des indicateurs;
• Les caractéristiques des instruments de mesure (questionnaires, grilles d’observation, bases de données, etc.);
• Les modalités de collecte des données;
• Les modalités d’analyse des données.

---

La méthodologie de l’évaluation

La méthodologie de l’évaluation fait référence aux :

 

Types de données à recueillir :

• Les comportements (données d’observation directe);
• Les croyances, les attitudes, les opinions;
• Les performances des élèves (résultats scolaires, cheminement, etc.);
• Etc.

Sources de données :

• Personnel scolaire (enseignant, direction, professionnels, personnel de soutien);
• Élèves (régulier, adaptation scolaire, cycles, etc.);
• Parents;
• Membres de la communauté (organisme communautaire, sanitaire, etc.);
• Documents, bases de données (GPI, LUNIX, Perspectives [école et CS], indicateurs du MELS, etc.);
• Etc.

Instruments de collecte des données :

• Grilles d’observation;
• Questionnaires « maison » de type sondage;
• Tests validés (test scolaire en lecture et en mathématiques, par exemple), QES, LDDS, questionnaires d’entrevues;
• Etc.

Procédés de collectes de données :

• Observation;
• Passation individuelle ou collective de questionnaires;
• Passation individuelle ou collective d’entretiens.

La formation des responsables de la collecte des données, la présentation des consignes d’observation ou de passation des questionnaires ainsi que la standardisation de la procédure entre les différents responsables de la collecte des données sont autant d’éléments importants à respecter afin de garantir la qualité et l’exactitude des données recueillies.

Les conditions de confidentialité et l'exploitation des résultats de la collecte de données sont par ailleurs soumises à un code d’éthique de l’évaluation dont un exemple est proposé dans la section MATÉRIEL.

Cette section offre aussi un formulaire de consentement parental dans le cas de la passation de certains questionnaires auprès des élèves.

---

L’analyse des données

L’analyse vise à exploiter les données de façon exhaustive afin de tracer le portrait le plus précis possible des objets évalués et d’en tirer une bonne interprétation.

D’emblée, l’analyse des données signifie que l’on vérifie :

• La qualité et l’exactitude des données en s’assurant de retirer les données aberrantes (ex : la note 0 à un examen lorsque l’élève est absent ou malade; des absences de l’école lors d’une sortie sportive).
• La rigueur de la transcription des résultats (quantitatifs et qualitatifs) dans des bases de données. La vérification par une tierce personne constitue une méthode de prévention à cette étape.
• La rigueur dans le traitement des données issues d’une base informatisée.

Les données et leur transcription étant vérifiées, elles font l’objet de divers traitements. Pour les données quantitatives issues de questionnaires, de tests, de grilles d’observation ou de bases de données existantes, des statistiques descriptives sont principalement utilisées tels les fréquences, les moyennes et les pourcentages. Dans le cas des données qualitatives issues d’entretiens et de questions ouvertes, la méthode de l’analyse de contenu permet d’établir la fréquence d’idées ou de catégories de thèmes émis.

L’analyse des données comprend également un traitement par regroupements tels les résultats selon le sexe, le cycle d’études, le cheminement scolaire (régulier, adaptation scolaire, formation professionnelle, etc.) ou la source de données (élèves, personnel scolaire, parents, etc.).

Afin d’interpréter les données analysées, l’importance relative des vulnérabilités ou des problèmes liés aux déterminants évalués, on procède, dans la mesure du possible, par comparaison avec les résultats antérieurs dans le milieu, puis avec des résultats « repères ». Ces derniers peuvent être des normes reconnues et externes au milieuPar exemple : Les résultats dans les matières de base peuvent être comparés aux résultats nationaux. tirés de clientèles comparablesPar exemple : Les comportements comme l’absentéisme ou les sorties de classe peuvent être comparés à d’autres écoles de conditions semblables sur le plan notamment de la taille et de degré de défavorisation. .

Les analyses peuvent également être réalisées d’une façon longitudinale, d’une année à l’autre. Il est cependant très important d’être prudent et de bien s’assurer que les résultats sont comparables et qu’il ne se glisse pas de graves distorsions en lien avec les instruments, le contexte, la clientèle, etc.

Suite : Sélectionner les déterminants prioritaires

---

1- Gaudreau, L. (2001). Évaluer pour évoluer. Les indicateurs et les critères. Les éditions LOGIQUES. Conseil scolaire de l’île de Montréal. P.20.
2- Gaudreau, L. (2001). Évaluer pour évoluer. Les indicateurs et les critères. Les éditions LOGIQUES. Conseil scolaire de l’île de Montréal. P. 38.
3- Gaudreau, L. (2001). Évaluer pour évoluer. Les indicateurs et les critères. Les éditions LOGIQUES. Conseil scolaire de l’île de Montréal. P.32.
4- Boudreault, 2004.
5- Van der Maren, Jean-Marie. La recherche appliquée en pédagogie. Des modèles pour l’enseignement, 2è édition. De Boeck 2003. P.22
6- Michel Janosz. Éditeur CTREQ.
7- Laurier Fortin et Pierre Potvin,. Éditeur CTREQ
8- Notamment ceux de Louise Gaudreau : «Évaluer pour Évoluer» parus aux éditions Logiques et «Pour continuer à évoluer» publié par le Comité de gestion de la taxe scolaire de l’île de Montréal en 2005.

© CTREQ 2010 Auteurs : Marie-Martine Dimitri et Pierre Potvin.