Quelques critères de validité de l’information issue de la recherche et de la pratique

Ce texte est conçu pour les praticiens afin de leur offrir quelques critères leur permettant d’évaluer le niveau de « validité » de l’information issues de recherches ou publications diverses (recension des écrits scientifiques ou professionnelles, recherche sur internet, etc.).

Validité Élevée

Connaissances issues de la recherche scientifique (comprends la recherche fondamentale, évaluative, action, d’approche quantitative ou qualitative). /p>

Les rapports de recherches

Les recherches scientifiques utilisent différents devis qui déterminent des degrés d’évidence scientique. La classification suivante est issue des travaux de Savage (2008), adapté de Reynolds (2001). Elle est également inspirée de celle présentée dans l’ouvrage «Pour enseignement efficace de la lecture et de l’écriture. Réseau canadien de recherche sur le langage et l’alphabétisation (2009). Elle place par ordre décroissant d’évidence scientifique, les résultats issus des recherches.

  1. Les résultats des méta-analyses et les méga-analyses (revue systématique d’un nombre important d’études avec attribution aléatoire des participants dans les différentes conditions) (devis expérimental);
  2. Les résultats d’étude unique, de haute qualité, avec attribution aléatoire des participants dans les différentes conditions (devis expérimental);
  3. Les résultats d’étude unique de moins haute qualité, avec attribution aléatoire des participants dans les différentes conditions (devis expérimental);
  4. Les résultats d’études avec attribution non aléatoire des participants dans les différentes conditions (devis quasi-expérimental);
  5. Les résultats d’études uniques, à sujet(s) unique ou multiple, avec devis controlé;
  6. Les résultats d’études de cas (études qualitatives);
  7. Les opinions individuelles/ou de groupe d’expert(s).

La méta-analyse se situe au sommet de la hiérarchie en termes d’évidence scientifique puisqu’elle permet de faire la synthèse d’un ensemble d’études ayant généralement adopté un devisexpérimental.

Les publications

Un des critères important qui permet d’accorder une validité élevée à une publication (article dans une revue, chapitre d’un livre, résumé d’une communication dans un congrès scientifique, etc.) est le fait que l’écrit a été évalué par les pairs (3 ou 4 autres chercheurs).

Exemples :

  • Résultats d’une méta-analyse1 publiés dans une revue scientifique;
  • Résultat d’une recherche unique publiée dans une revue scientifique. Ex. Revue des sciences de l’éducation;
  • Recension des écrits sur un sujet spécifique publié dans une revue scientifique;
  • Ouvrage collectif avec textes écrits par des chercheurs universitaires ou des praticiens chercheurs sur un sujet donné (ex : la motivation, l’engagement, la mobilisation, la gestion de classe, etc.); exemple, le collectif : Massé, Desbiens et Lanaris (2013) Les troubles du comportement à l’école. Prévention, évaluation et intervention. Gaetan Morin éditeur, 2e édition.
  • Résumé d’une recherche unique issu d’une publication scientifique. À la condition de préciser la source (auteur, année, revue, etc.).

Un critère qui favorise la validité du document recensé est le fait d’avoir une liste de références à différents autres auteurs, ouvrages, recherches, etc. Le ou les auteurs appuient leur information sur d’autres travaux venant soutenir leur propos.

Validité modérée

La validité des connaissances devient modérée lorsqu’il n’y a pas d’évaluation par les pairs. D’autres critères entre en jeu : la crédibilité d’une revue professionnelle, d’une maison d’édition, d’une association professionnelle, d’un auteur (chercheur ou praticien de renommé), etc.

Exemples :

  • Publication dans une revue professionnelle ou de grand publique (sans évaluation par les pairs);
  • Communication dans un colloque ou un congrès professionnel 2;
  • Document, rapport, power point qui présentent une pratique expérimentée qui a fait l’objet d’une évaluation de la mise en œuvre, de la satisfaction et de certains effets sans l’utilisation de groupe contrôle.

Validité faible

  • Une pratique, une méthode, une procédure diffusée, mais qui n’a pas fait l’objet d’évaluation.

Non-validité

  • Il déconseillé 3 de faire référence ou de citer les résultats d’une recherche, d’une recension d’écrits, ou de pratique lorsqu’il manque une information importante : ex : l’auteur, l’année, la revue ou la liste des références en fin de document.

Fausse validité

  • L’expression : la recherche nous dit… sans source précise.
  • La présence d’un chercheur ou d’un universitaire n’est pas en soit source de validité… cela dépend de son rôle.
  • La présence d’un expert praticien n’est pas en soit source de validité… cela dépend de son rôle.

Préalables obligatoires pour une validité

  • La source de l’information : le nom des auteurs, l’année de référence, l’édition.
Grille de validité d’une connaissance ou d’une pratique
Critères
Validité élevée : issue d’une
  • métaanalyse publiée dans une revue scientifique (évaluation par les pairs).
  • publication d’une recherche dans une revue scientifique (évaluation par les pairs).
  • recension des écrits publiés dans une revue scientifique.
  • pratique mature qui a fait l’objet d’une évaluation des effets et publiée
Validité modérée : issue d’une
  • publication dans une revue professionnelle ou de grand publique (sans évaluation par les pairs)
  • communication dans un colloque ou un congrès scientifique
  • communication dans un colloque ou un congrès professionnel
  • une pratique diffusée qui a fait l’objet d’une évaluation seulement de la mise en œuvre, de la satisfaction et de certains effets sans l’utilisation d’un groupe contrôle
Validité faible : issue d’une
  • une pratique diffusée, mais qui n’a pas fait l’objet d’évaluation.
Grille de qualité pour l’utilisation d’un produit, d’un outil ou d’une pratique 4
Critères
  1. Le produit est pertinent et utilisable par le personnel visé.
  2. Le produit a atteint un niveau minimal de maturité. Il est déjà utilisé par des intervenants (dépasse la seule utilisation du concepteur).
  3. Le produit est prêt à être diffusé, ne demande pas un investissement pour le rendre diffusable.
  4. Les concepteurs du produit ont de l’expérience dans le domaine ciblé par le produit, ce qui ajoute de la crédibilité au produit.
  5. Le produit a fait l’objet de critiques, de présentations dans le milieu, ou dans des colloques, et est bien accueilli.
  6. Le produit est minimalement soutenu par des éléments théoriques.
  7. Les responsables du produit autorisent sa diffusion et sont disponibles à répondre minimalement aux questions des utilisateurs.
  8. Le produit est « libre » au niveau de la propriété intellectuelle (ex : n’utilise pas des extraits de d’autres productions ou s’il en utilise, les droits d’auteurs sont réglés).
  9. Le produit est facilement accessible pour les utilisateurs (en français).

1. Une méta-analyse permet de vérifier à partir de résultats de plusieurs recherches sur un même thème, le degré d’effet de l’intervention ou du facteur sur la variable critère (exemple : l’apprentissage ou le rendement scolaire).
2. Certaines communications font l’objet d’une évaluation par les pairs, d’une sélection « sévères ». Certaines communications utilisant Power Point sont issues de publications très valides avec liste de références et précision des sources. Dans ces cas la validité peut être plus élevée.
3. Lorsqu’il manque une information importante au niveau de la référence (la source), il n’est pas possible de retracer le document et de poser un jugement sur la validité.
4. Adapté d’un document de travail pour la Banque d’outils de l’OCCOPPQ et du RIRE-CTREQ. Potvin, P. (2008).