Traiter et interpréter les données

Animation

Les questionnaires informatisés

Les résultats aux questions à réponse fermée (Échelle de réponses en quatre ou cinq points) peuvent être traités de manières différentes :

1. Par fréquence de distribution des réponses à chaque question pour tous les questionnaires :

2. Par fréquence de distribution des réponses par sous-groupes de questions qui correspondent, soit :
   • à des dimensions (par exemple l’animation ou le contenu de la formation) des questionnaires sur la satisfaction envers la formation et l’engagement des agents multiplicateurs;
   • aux différents moyens de l’accompagnateur (par exemple : le questionnement réflexif) pour le questionnaire sur les attitudes et comportements liés au modèle d’accompagnement;
   • aux rôles de l’accompagnateur pour le questionnaire sur les attitudes et comportements liés au modèle d’accompagnement.

Ces regroupements sont présentés dans les tableaux 1, 3, 4 et 5 de la section FORMATION/MATÉRIEL/Outils/Évaluation/construction des questionnaires.

Le traitement par question est assuré par le logiciel prévu à cet effet (voir le « Guide de gestion des questionnaires informatisés»).

Les traitements par regroupement de questions nécessitent l’exportation des données dans des tableaux Excel préformatés accessibles dans la section Formation/Matériel/Outils/Évaluation/Gestion des questionnaires (outils 3, 4, 5 et 6).

La procédure d’exportation est décrite dans le document « Guide d’exportation des données de l’évaluation de la formation ».

Les tableaux Excel préformatés offrent des diagrammes qui illustrent la répartition des réponses selon les différents regroupements.

D’autres traitements peuvent être effectués manuellement s’ils s’avèrent pertinents et plus éclairants. Par exemple, combiner les réponses négatives (pas du tout d’accord et un peu d’accord) et les réponses positives (plutôt d’accord et tout à fait d’accord).

Les réponses à questions ouvertes sont compilées, saisies et exportées dans un tableau Excel par le logiciel.

Le découpage des réponses en unité d’idée relève du formateur. Ce traitement de contenu permet d’évaluer la fréquence des idées émises et d’émettre une interprétation nuancée en vérifiant la répartition des idées selon les répondants.

Les questionnaires non informatisés :

Le formulaire de consignation des apprentissages et des projets d’expérimentation :

Ces formulaires sont remplis par les agents multiplicateurs au cours des rencontres de grands groupes et recueillis à la fin de chacune d’entre elles. Un exemplaire devrait être remis à chaque agent multiplicateur afin qu’il conserve une copie de ses propos.

Le formateur peut traiter le contenu des formulaires selon l’une des méthodes proposées ici :

• Réaliser un document Excel comprenant autant d’onglets que le formulaire comporte de questions et de sous-questions;
• Ajouter un onglet « Autres » qui servira à classer les propos difficiles;
• Reproduire, dans chaque onglet, la question ou la sous-question;
• Inscrire, sous chacune des questions ou des sous-questions, la date des propos et les propos recueillis, une idée par ligne;
• Attribuer à chaque agent multiplicateur un code aléatoire puis le transcrire dans la cellule qui suit le propos rapporté. Ceci permettra de vérifier la répartition des propos entre les différents agents multiplicateurs;
• Déterminer le thème du propos transcrit et lui attribuer un code à son tour inscrit dans la cellule qui suit le propos, selon l’exemple suivant :

Le logiciel Excel permet de trier les propos, page par page, selon le thème et selon le répondant. Le formateur pourra en faire une analyse de fréquence et de répartition.

Le journal de bord

Lors des rencontres de groupe, un certain temps est alloué à chaque agent multiplicateur pour qu’il puisse présenter son expérimentation et son analyse décrites dans son journal de bord. Ce matériel sert de base pour exercer le questionnement réflexif.

Le contenu du journal de bord fournit également au formateur du matériel de discussion lors des rencontres de suivi individuelles.

Traiter les données

Quelques précautions à prendre dans l’interprétation des résultats :

• Les outils utilisés ne sont pas validés scientifiquement. C’est-à-dire qu’ils n’ont pas fait l’objet de tests statistiques visant à vérifier leur consistance interne et autres aspects. Ils ont cependant été validés théoriquement, c’est-à-dire associés à des cadres théoriques en lien avec les concepts évalués, commentés par des groupes cibles quant à la clarté, au degré de facilité et à la pertinence des questions en plus d’avoir été testés par le CTREQ à plusieurs reprises.
• Les résultats sont donnés en pourcentage. Compte tenu du petit nombre de répondants, ceci peut entraîner des impressions trompeuses. Par exemple, dans un groupe de cinq personnes, une personne représente à elle seule 20 % du total du groupe, ce qui peut sembler beaucoup.
• L’interprétation des réponses ouvertes doit tenir compte du petit nombre de répondants et de la répartition des réponses entre les répondants. En effet, un très petit nombre peut être à l’origine de la majorité des idées exprimées. Dans ce cas, ces dernières ne peuvent être considérées comme représentatives de ce que pense l’ensemble des répondants.

L’interprétation consiste donc à :

• Mettre en évidence les réalisations, les avancements ou les progrès;
• Établir quelques liens entre les réponses aux questions fermées et les réponses aux questions ouvertes;
• Dégager les points forts et les points plus faibles;
• En chercher les causes;
• Comparer les résultats entre les sections d’un même questionnaire, et d’une année à l’autre;

Clôture :

Suite : Présenter et utiliser les résultats

© CTREQ 2013 Auteurs : Marie-Martine Dimitri et Pierre Potvin.