Comment les études sont évaluées

Distribution actuelle

Ce que signifie chaque évaluation

Certitude élevée

Très confiant que le véritable effet se situe près de l'estimation. Attendu pour les résultats où plusieurs essais contrôlés randomisés de haute qualité convergent, à travers différents sites et groupes de recherche, avec un risque minimal de biais, d'incohérence ou d'indirectness. Une seule étude ne peut jamais à elle seule être qualifiée d'Élevée ; Élevée est une propriété d'un ensemble de preuves, et non d'un seul article.

Certitude modérée

Raisonnablement confiant dans l'effet estimé ; le véritable effet est probablement proche mais pourrait plausiblement différer. Typique des ECR uniques bien conçus avec des échantillons adéquats, et des revues systématiques d'études primaires hétérogènes.

Certitude faible

Confiance limitée. Le véritable effet peut être substantiellement différent de l'estimation. Courant pour les ECR à petit échantillon, les plans quasi-expérimentaux et les études qualitatives, qui apportent tous des connaissances réelles, mais ne peuvent à eux seuls soutenir des conclusions fermes.

Certitude très faible

Très peu de confiance dans toute estimation d'effet. Les études de cas, les petits pilotes et les articles narratifs ou conceptuels se trouvent ici. Ces études sont toujours précieuses : elles établissent la faisabilité, font émerger des questions et fondent les travaux contrôlés ultérieurs, mais elles ne constituent pas une preuve d'effet.

Pourquoi aucune étude n'est actuellement évaluée Élevée

Voici la réponse honnête : la RV en orthophonie est un jeune domaine de recherche. Pour qu'une affirmation atteigne une certitude Élevée, la littérature a généralement besoin de plusieurs ECR de haute qualité, idéalement pré-enregistrés et multi-sites, convergeant vers le même résultat. Pour la plupart des questions abordées par le Evidence Hub, cet ensemble de preuves n'existe pas encore.

Les candidats les plus solides actuellement présents dans le hub sont des ECR uniques dans des domaines adjacents : anxiété sociale (Anderson 2013), autisme (Ip 2018), bégaiement (Cream 2010), acouphènes (Malinvaud 2016). Tous se situent à Modérée. Chacun est une bonne étude ; aucun à lui seul ne porte un poids suffisant pour faire passer une affirmation à Élevée sans réplication.

L'absence d'évaluations Élevée dans ce hub n'est pas une lacune du hub. Elle reflète où en est le domaine. Une distribution d'évaluations qui se lit « 0 % Élevée / ~20 % Modérée / ~35 % Faible / ~45 % Très faible » est ce à quoi on s'attendrait pour un jeune domaine de recherche évalué rigoureusement. Des évaluations gonflées seraient plus agréables à l'œil et beaucoup moins honnêtes.

Ce qui pourrait justifier une évaluation Élevée

Les futurs ajouts au hub qui pourraient atteindre Élevée comprennent :

• Une revue Cochrane ou une revue systématique équivalente de plusieurs ECR de haute qualité dans un domaine couvert (RV pour le bégaiement, le travail sur la voix, l'aphasie, la déglutition, la communication sociale) avec des effets cohérents à travers les études.
• Des méta-analyses qui synthétisent au moins 5 ECR pré-enregistrés avec des tailles d'échantillon adéquates, une hétérogénéité minimale, et des résultats qui convergent en direction et en magnitude.
• Plusieurs ECR multi-sites de grande envergure (n > 200 par bras) qui répliquent un effet spécifique de la pratique basée sur la RV sur un résultat de communication qui compte pour les clients.

De manière réaliste, ce niveau de preuve est à plusieurs années de distance pour la plupart des affirmations en orthophonie RV. Un candidat plausible pour une promotion précoce à Élevée est la validité des publics virtuels pour produire des réponses communicatives comparables à celles produites face à des publics réels ; les preuves dans ce domaine convergent régulièrement à mesure que de nouveaux travaux répliquent les résultats antérieurs. Une revue systématique formelle de cette question spécifique serait la bienvenue.

Comment les évaluations sont décidées

L'évaluation de chaque étude est attribuée éditorialement par withVR, en s'appuyant sur le plan de l'article (ECR / quasi-expérimental / cas / revue), la taille de l'échantillon, la population et les limites énoncées par l'article lui-même. Une courte justification accompagne chaque évaluation, visible sur la page de l'étude en développant « Comment cela a été évalué ».

Les évaluations reflètent un jugement éditorial, et non un processus formel d'évaluation GRADE du type utilisé dans les revues Cochrane. Le schéma est simplifié délibérément : quatre niveaux suffisent à signaler avec quelle confiance les cliniciens et les chercheurs devraient appliquer un résultat, sans laisser entendre une précision que le processus éditorial n'a pas.

Corrections et suggestions bienvenues

Si vous pensez qu'une étude a été évaluée incorrectement, ou qu'une étude qui mérite d'être incluse a été omise, envoyez un message à hello@withvr.app. Le schéma se veut transparent et corrigeable.

Pour aller plus loin

• GRADE working group - la collaboration internationale qui a développé la méthodologie dont s'inspire ce schéma.
• GRADE: an emerging consensus on rating quality of evidence (Guyatt et al., BMJ 2008) - l'article fondateur.
• Glossaire du Evidence Hub - définitions des termes connexes (niveaux de preuve, risque de biais, PEDro, PICO).