Articles

Quelques balises pour développer des questionnaires et traiter les données

 

Un questionnaire est composé d’une suite d’énoncés sous forme de questions ou de phrases déclaratives, soumis à des individus ciblés.

Ces derniers répondent, oralement ou par écrit, selon différents types de réponses possibles qui peuvent toutes se trouver à l’intérieur d’un même questionnaire. Il peut s’agir de :

  • réponses « fermées » selon une échelle proposée (ex. toujours, parfois, jamais; oui ou non; etc.);
  • réponses « ouvertes » qui permettent au répondant de développer sa réponse comme il le souhaite.

Le questionnaire est un précieux outil de collecte de données pour obtenir de l’information sur un sujet donné.

Selon la nature de l’information recherchée, les types d’énoncés et les types de réponses proposés seront différents.

Les étapes de l’élaboration d’un questionnaire

Déterminer la nature de l’information recherchée

Dans le cadre de l’analyse d’une pratique, telle que préconisée dans École et Stratégies (ex. une méthode de lecture, une procédure liée au retrait de classe suite à un comportement inadéquat, un service de récupération, un programme de prévention de la violence à l’école, etc.), le questionnaire est une méthode de collecte de données très utile pour obtenir de l’information sûre :

  • L’état de la mise en œuvre de la pratique avant sa modification;
  • Des explications sur l’état de la mise en œuvre de la pratique (forces et faiblesses);
  • Des suggestions de solutions possibles;
  • La mise en œuvre des améliorations expérimentées;
  • Les effets de la mise en œuvre;
  • Etc.

Pour chacun de ces sujets, il est nécessaire de déterminer l’ensemble des dimensions qu’ils couvrent.

Afin d’obtenir une description de la mise en œuvre de la pratique ou des améliorations, la description de la pratique « idéale » ou « prescrite » a été préalablement élaborée à partir d’une documentation reconnue et avec des personnes compétentes.

Ce travail a permis de décrire les dimensions de la pratique : l’approche pédagogique, l’organisation de la classe, le rôle de l’enseignant, les étapes, les activités, les contenus notionnels, etc.

La description de la mise en œuvre de la pratique comprend aussi des informations sur le nombre de personnes qui l’appliquent, sur sa fréquence d’application et sur les clientèles ciblées.

La description de la pratique se doit d’être aussi exhaustive et opérationnelle que possible.

En ce qui concerne les causes des forces et des faiblesses de la mise en œuvre, elles recoupent essentiellement en trois catégories de conditions d’efficacité, soit :

  • Les mécanismes de coordination et de concertation entre les membres du personnel impliqués;
  • Les conditions matérielles (locaux, matériel, etc.) ou organisationnelles (horaires, fréquences, période de l’année, etc.);
  • Les ressources humaines (nombre suffisant, motivation, formation, soutien, etc.).

Toujours dans le cadre de l’analyse de la mise en œuvre d’une pratique, le questionnaire peut aussi recueillir des suggestions pour améliorer la situation. Ces suggestions peuvent couvrir les trois catégories de conditions d’efficacité précédemment nommées auxquelles une catégorie « autres » peut être ajoutée afin de s’assurer de l’exhaustivité de l’information recueillie.

Enfin, les effets sont le produit de la mise en œuvre. Ils renvoient directement à l’objectif de l’intervention (ex. améliorer la compétence à faire des multiplications à deux chiffres, réduire les comportements verbaux agressifs, etc.).

Selon ces sujets, la nature de l’information recherchée sera davantage de l’ordre de données quantitatives ou de l’ordre de l’expression, d’opinions ou de besoins. Les types de questions et les types de réponses seront alors différents.

Identifier les répondants ciblés

Les répondants au questionnaire ciblés doivent être identifiés rapidement, tant au niveau de leur catégorie (ex. les enseignants et/ou les élèves, etc.) qu'au niveau de leur nombre (tous les individus d’une catégorie ou seulement un échantillon), car ces éléments auront une influence sur le langage utilisé et sur les modalités de passation du questionnaire (ex. oralement ou par écrit, sur un support-papier ou électronique, etc.).

Sélectionner les indicateurs

La section Démarche > Analyse de situation > Niveau 1 : Les déterminants de la réussite de l'élève > Clarifier les concepts , du site École et Stratégies, définit les indicateurs, alors que la section Démarche > Analyse de situation > Niveau 1 : Les déterminants de la réussite de l'élève > Analyser certains déterminants, présente les principales qualités d’un bon indicateur et d’un bon instrument de mesure.

Ces sections complètent ce document.

Rédiger les énoncés

Pour chacun des sujets, une série d’énoncés peut être rédigée selon la méthode suivante :

  • Travailler en équipe de deux ou trois personne si possible;
  • S’inspirer de questionnaires existants sur le sujet;
  • Établir la liste des dimensions à couvrir;
  • Rédiger quelques énoncés portant sur une même dimension;
  • Établir une gradation dans les questions selon le degré de difficulté ou de complexité de réponses;
  • Chaque énoncé doit :
    • Être clair, utiliser des mots simples et familiers;
    • Être court;
    • Être unidimensionnel (ne pas contenir deux questions dans le même énoncé);
    • Utiliser un langage adapté au répondant (ex. l’élève, le parent, l’enseignant).

Choisir les échelles de réponses

Le type d’information recherchée oriente aussi le type de réponse proposée.

Il peut s’agir :

  • D’information simple :
    • Exemple : Oui ou Non;
  • De fréquence :
    • Exemple : Toujours, Parfois, Jamais;
  • De degré d’accord :
    • Exemple : Totalement d’accord, D’accord, En désaccord, Totalement en désaccord;
  • De degré de satisfaction
    • Exemple : Totalement satisfait, Satisfait, neutre, Peu satisfait, Pas du tout satisfait.

Les énoncés concernant des fréquences, des degrés d’accord ou de satisfaction peuvent aussi être répondus à l’aide d’une échelle graduée allant de 0 à 5 ou de 0 à 10.

Les échelles en cinq points qui comportent un début un milieu et une fin, et qui sont symétriques de part et d’autre du centre sont les plus recommandées pour rendre compte correctement des réponses. (Voir à ce sujet : GAUDREAU Louise. Évaluer pour évoluer – Les étapes d’une évaluation de programme ou de projet. Les Éditions Logiques 2001. Pp.40 et 41.)

Un échelon S/O (sans objet) peut être pertinent pour certains énoncés.

Enfin, les énoncés à réponses ouvertes offrent un espace de réponse dont le contenu doit faire l’objet d’une analyse.

Déterminer les modalités et les consignes de passation

Les considérations éthiques

Le but de la collecte de données n’est pas de porter un jugement sur les actions. Elle vise à obtenir un portrait de situation et à recueillir des suggestions d’amélioration. La première règle d’éthique consiste à obtenir le consentement éclairé des répondants.

Ce consentement est donné après que le répondant ait été informé :

  • Du but de la collecte de données;
  • De ce qui est attendu du répondant sur le plan de sa participation;
  • Des conditions d’anonymat et de confidentialité offertes;
  • Des conséquences de sa participation ou de sa non-participation;
  • De son droit de ne pas participer;
  • Du traitement qui sera fait des données recueillies :
    • traitement aggloméré des données (toutes les données sont traitées ensemble);
    • traitement individuel des questionnaires qui sont remplis de façon complètement anonyme ou à l’aide d’un code.

Les modalités et les consignes de passation

Pour des clientèles moins habiles avec le langage écrit, une passation orale présentera des avantages. Les questionnaires informatisés quant à eux permettent de joindre un grand nombre de répondants en plus de permettre l’intégration d’un traitement informatisé des données, ce qui représente de grands avantages.

Parfois une passation en groupe dont on veut obtenir un certain consensus peut s’avérer un choix pertinent.

Pour une passation écrite, il est pertinent de donner un exemple de réponse qui précise ce qui est attendu (ex. cocher, entourer ou noircir votre choix de réponse).

POUR LES RÉPONSES OUVERTES : Précisez que celles-ci doivent être composées de phrases complètes indiquant clairement le sens de la pensée. Contre exemple : «engagement cognitif», veut-on dire que l'on doit le développer? Que c'est important? Qu'il est manquant ou au contraire très présent? Il n'est pas toujours facile de déduire le sens d'une telle réponse en fonction de la question initiale.

Il est pertinent d’annoncer le temps requis pour remplir le questionnaire.

Préexpérimenter le questionnaire

Avant d’utiliser le questionnaire, il est nécessaire de procéder à une préexpérimentation afin de le valider d’un point de vue pratique. La procédure suivante peut servir de guide :

  • Faire lire le questionnaire à quelques collègues (2 ou 3) qui connaissent le domaine ciblé afin d’obtenir leur opinion;
  • Préexpérimentez le questionnaire auprès de personnes (4 ou 5) qui ont des caractéristiques semblables aux futurs répondants (des enseignants, des élèves, des parents, etc.). Ces personnes ne pourront pas répondre au questionnaire par la suite;
  • Vérifiez les éléments suivants :
    • Est-ce que les consignes et la procédure sont adéquates et claires?
    • Combien de temps cela prend pour y répondre?
    • Est-ce que l’explication de la procédure de confidentialité leur permet de se sentir en confiance?
    • Est-ce qu’il y a des questions qui demandent à être reformulées?
    • Est-ce qu’il manque des éléments importants dans le questionnaire?
    • Les répondants ont-ils des propositions d’amélioration?

Traitement des données

Il est possible, pour le développement de questionnaires, d’utiliser différents logiciels disponibles en ligne, sans frais (ex : SurveyMonkey http://fr.surveymonkey.com/). Ces outils permettent d’informatiser les questionnaires ainsi que leur traitement.

Concernant le traitement manuel des questionnaires non informatisés, cela peut être fait de la manière suivante :

Pour les réponses selon des échelles composées de 3, 4 ou 5 échelons de réponses, la fréquence, la moyenne ou le pourcentage sont les modes de traitements recommandés.

Pour ce faire, une valeur (échelle de mesure) est attribuée à chaque échelon de réponse. Exemple :

  • 1 = tout à fait en désaccord;
  • 2 = en désaccord;
  • 3 = neutre;
  • 4 = en accord;
  • 5 = tout à fait en accord.

Par exemple, une question dont les choix de réponses proposent 5 échelons (maximum 5 pts), posée à 10 participants donne un maximum possible de 50 points.

Exemple de compilation des réponses : 5+5+4+4+4+3+3+2+2+2 = 34/50 pts

  1. Fréquence : faire un histogramme avec les quantités de réponses pour les 5 échelons;
  2. Moyenne : 34/50 pts = la moyenne d’accord est de 3,4 sur 5;
  3. On peut aussi regrouper les « en accord » et les «en désaccord ». Par exemple : 5 « en accord »/10 réponses = 50 %; 2 « neutre »/10 réponses = 20 %; 3 « en désaccord »/10 réponses = 30 %. Les «en accord» peuvent alors être comparés au «en désaccord».

Lorsqu’il y a plusieurs énoncés qui concernent une même dimension, une somme des résultats pour chaque question, divisée par le nombre de questions peut être effectuée pour rendre compte du résultat moyen obtenu pour cette dimension.

Pour le traitement des questions ouvertes, une analyse de contenu peut être effectuée de la manière suivante :

  • Dans une feuille Excel, inscrire les réponses aux questions :
    • Prendre une feuille Excel par question;
    • Inscrire dans la ligne 1, colonne A, le libellé de la question;
    • Découper les réponses en unité d’idée (une seule idée par énoncé de réponse). (Parfois un répondant peut écrire cinq ou phrases qui contiennent deux ou trois idées différentes);
    • Reproduire ces énoncés dans la colonne A;
    • Mettre un code à chaque répondant dans la colonne B en lien avec ses réponses;
  • Réaliser deux ou trois lectures des réponses afin de se les « approprier »;
  • Repérer les différents thèmes abordés par les réponses;
  • Leur donner un code dans la colonne C;
  • Classer les énoncés par thème; (sélectionner toutes les réponses, sélectionner la fonction «Données» dans le menu principal, puis «Trier». Trier par colonne C);
  • Relire, vérifier et compléter le classement;
  • Des sous-thèmes peuvent émerger: les codifier dans la colonne D en suivant une logique de rappel du code du thème: ex. thème 6, sous-thème 6.1, 6.2, etc.
  • Trier par thème et sous-thèmes;
  • Faire valider le classement par une autre personne;
  • L’option suivante est aussi possible : calculer le total d’énoncés, ce total devient la somme de référence. Calculer pour chaque thème, le total d’énoncés et la représentation de son pourcentage (le total d’énoncés pour un thème divisé par la somme des énoncés);
  • Il peut être utile de calculer le nombre d’énoncés (idées) par répondant. En effet, très peu de répondants peuvent être à l’origine de beaucoup d’idées. Ces idées, bien qu’en grand nombre ne sont pas nécessairement représentatives de la pensée de tous les répondants.

Validité et les biais possibles

Selon le sujet touché et le type de répondant (l’élève, le parent, l’enseignant), les réponses à un questionnaire peuvent être influencées par différents éléments qui peuvent biaiser leur interprétation.

Exemples :

  • La désirabilité sociale : la recherche de prestige ou la peur d’être mal jugé peuvent amener le répondant à donner une « réponse qui paraît bien ». Le traitement confidentiel des réponses peut ici limiter cet effet;
  • La tendance à défendre l’intégrité de sa personne : le répondant n’est pas nécessairement prêt à accepter la « réalité de son jugement ». Exemple : Je suis contre l’intégration en classe régulière des élèves en difficulté;
  • L’attraction de la réponse positive : la tendance à l’acquiescement, à être en accord, à confirmer plutôt que de contredire.