Traiter et interpréter les données
Lors de la rencontre préparatoire du pilotage ou des chantiers, l’accompagnateur :
- Présente les modalités de traitement des données;
- Soutient le processus de traitement;
- Discute de l’interprétation des résultats.
Animation
Les résultats aux questions à réponse fermée (échelle de réponses en quatre ou cinq points) peuvent être traités de différentes manières :
- Par fréquence de distribution des réponses à chaque question, pour tous les questionnaires :
|
Question |
Pas du tout d’accord |
Un peu d’accord |
Plutôt d’accord |
Tout à fait d’accord |
Non-applicable |
|
Q1 : Le mandat du chantier a été présenté et les membres partagent la même vision. |
0 % |
0 % |
40 % |
60 % |
0 % |
- Par fréquence de distribution des réponses par sous-groupes de questions qui correspondent à des dimensions (questionnaire sur la mise en œuvre et questionnaire sur la mobilisation) ou à des comportements (questionnaire sur les attitudes et comportements liés au transfert de connaissances).
|
Étape de la démarche : Mise en place des chantiers |
Pas du tout d’accord |
Un peu d’accord |
Plutôt d’accord |
Tout à fait d’accord |
Non-applicable |
|
Dimension : Respect du mandat (Q2 à Q4) |
0 % |
10 % |
80 % |
60 % |
0 % |
- Par fréquence de distribution des réponses par sous-groupes de questions qui correspondent à des étapes (questionnaires sur la mise en œuvre et questionnaire sur les attitudes et comportements liés au transfert de connaissances). Ce regroupement inclut le précédent.
|
Étape de la démarche |
Pas du tout d’accord |
Un peu d’accord |
Plutôt d’accord |
Tout à fait d’accord |
Non-applicable |
|
Mise en place des chantiers (Q1 à Q9) |
0 % |
0 % |
40 % |
60 % |
0 % |
Ces regroupements sont présentés dans les tableaux 1 à 5.
Le traitement par question est assuré par le logiciel qui gère les questionnaires (voir le « Guide de gestion des questionnaires informatisés »).
Les traitements par regroupement de questions nécessitent l'exportation des données dans des tableaux Excel préformatés accessibles dans la section Matériel/Outils/Gestion des outils (outils 3, 4, 5, 6 et 7).
La procédure d’exportation est décrite dans le document « Guide d’exportation des données de la mise en œuvre d’École et Stratégies et de ses effets sur le personnel ».
Les tableaux Excel préformatés offrent des diagrammes qui illustrent la répartition des réponses selon les différents regroupements.
D’autres traitements peuvent être effectués manuellement s'ils cela s’avèrent pertinents et plus éclairants. Par exemple, combiner les réponses négatives (pas du tout d’accord et un peu d’accord) et les réponses positives (plutôt d’accord et tout à fait d’accord).
Les réponses aux questions ouvertes sont compilées par question, saisies et exportées dans un tableau Excel par le logiciel.
|
No |
Questions |
Réponses |
|
74 |
Qu’est-ce qui, selon vous, a été le plus pertinent dans le travail réalisé par le chantier? |
Maecenas consequat neque in lacus dapibus iaculis. Aenean eget urna in augue euismod convallis sed sed libero. |
|
Nullam dignissim gravida enim, et tincidunt mauris posuere eu. Cras eu augue ut odio vulputate facilisis nec eu est. |
||
|
Ut non massa ut orci molestie semper nec a nisi. Etiam et eleifend nisl, sed elementum eros. |
Le découpage des réponses en unité d’idée relève du responsable de la passation. Ce traitement de contenu permet une appréciation de la fréquence des idées émises et une interprétation nuancée en vérifiant la répartition des idées selon les répondants. L’accompagnateur soutient le responsable dans l’exécution du traitement et l’interprétation des résultats.
L’interprétation des résultats.
L’accompagnateur rappelle les considérations éthiques entourant l’évaluation :
- Absence de jugement;
- Anonymat des répondants;
- Absence de comparaison entre les répondants et entre les groupes de répondants;
- Nature formative de l’évaluation.
Quelques précautions à prendre dans l’interprétation des résultats :
- Les outils utilisés ne sont pas validés scientifiquement. C’est-à-dire qu’ils n’ont pas fait l’objet de tests statistiques visant à vérifier leur consistance interne et autres aspects. Ils ont cependant été validés théoriquement, c’est-à-dire associés à des cadres théoriques en lien avec les concepts évalués, commentés par des groupes cibles quant à la clarté, au degré de facilité et à la pertinence des questions en plus d’avoir été testés par le CTREQ à plusieurs reprises.
- Les résultats sont donnés en pourcentage. Compte tenu du petit nombre de répondants, ceci peut entraîner des impressions trompeuses. Par exemple, dans un groupe de cinq personnes, une personne représente à elle seule 20 % du total du groupe, ce qui peut sembler beaucoup.
- L’interprétation des réponses ouvertes doit tenir compte du petit nombre de répondants et de la répartition des réponses entre les répondants. En effet, un très petit nombre peut être à l’origine de la majorité des idées exprimées. Dans ce cas, ces dernières ne peuvent être considérées comme représentatives de ce que pense l’ensemble des répondants.
- Il faut également s’abstenir d’interpréter les réponses à une question ou à un groupe de questions si plusieurs répondants ont coché la réponse : «Non applicable».
L’interprétation consiste donc à :
- Mettre en évidence les réalisations, les avancements ou les progrès;
- Établir quelques liens entre les réponses aux questions fermées et les réponses aux questions ouvertes;
- Dégager les points forts et les points plus faibles;
- Chercher les causes des points faibles;
- Comparer les résultats entre les sections d’un même questionnaire, et d’une année à l’autre.
Clôture
Lors de la rencontre préparatoire du pilotage ou des chantiers, l’accompagnateur :
- Récapitule les constats de l’analyse de la mise en œuvre et de ses effets sur le personnel;
- Détermine avec les responsables des groupes de travail :
- Les tâches de chacun pour la réalisation du diaporama de présentation des résultats;
- Le moment opportun pour présenter les résultats d’abord dans les groupes, puis en pilotage, pour dégager une vision globale, et enfin, en équipe-école.
Suite : Présenter et utiliser les résultats
|
© CTREQ 2010 Auteurs : Marie-Martine Dimitri et Pierre Potvin. |
 |