Comment les études sont évaluées

Distribution actuelle

Ce que signifie chaque évaluation

Certitude élevée

Très confiant que le véritable effet se situe près de l'estimation. Attendu pour les résultats où plusieurs essais contrôlés randomisés de haute qualité convergent, à travers différents sites et groupes de recherche, avec un risque minimal de biais, d'incohérence ou de caractère indirect. Une seule étude atteint rarement le niveau Élevée à elle seule - l'exception étant un essai de grande ampleur, multicentrique et à faible risque de biais ; sinon, le niveau Élevée reflète un ensemble de preuves, et non un seul article.

Certitude modérée

Raisonnablement confiant dans l'effet estimé ; le véritable effet est probablement proche mais pourrait plausiblement différer. Typique des ECR uniques bien conçus avec des échantillons adéquats, et des revues systématiques d'études primaires hétérogènes.

Certitude faible

Confiance limitée. Le véritable effet peut être substantiellement différent de l'estimation. Courant pour les ECR à petit échantillon, les plans quasi-expérimentaux et les études qualitatives, qui apportent tous des connaissances réelles, mais ne peuvent à eux seuls soutenir des conclusions fermes.

Certitude très faible

Très peu de confiance dans toute estimation d'effet. Les études de cas, les petits pilotes et les articles narratifs ou conceptuels se trouvent ici. Ces études sont toujours précieuses : elles établissent la faisabilité, font émerger des questions et fondent les travaux contrôlés ultérieurs, mais elles ne constituent pas une preuve d'effet.

D'où viennent les évaluations Élevée

Sur les 111 études actuellement présentes dans le hub, 9 (8 %) sont évaluées Élevée. La certitude Élevée reflète presque toujours un ensemble de preuves convergentes plutôt qu'un article isolé ; la plupart sont donc des revues systématiques et des méta-analyses qui regroupent les résultats de nombreuses études. Une seule étude primaire n'atteint Élevée qu'à titre d'exception rare : un grand essai multicentrique présentant un faible risque de biais ; sinon, le plus qu'une étude isolée obtient ici est Modérée.

C'est pourquoi la répartition se situe là où elle se situe : 8 % Élevée, 36 % Modérée, 35 % Faible et 21 % Très faible. La RV pour le travail sur la parole, la voix et la communication reste un jeune domaine de recherche ; la plupart des preuves se composent donc de petites études précoces et monocentriques, ce qui est exactement ce à quoi on peut s'attendre, et exactement ce sur quoi reposent les essais contrôlés et les revues ultérieurs. Une distribution honnête comme celle-ci est plus utile, et plus digne de confiance, que des évaluations gonflées qui seraient plus agréables à l'œil.

Ce qu'il faut pour atteindre Élevée

Pour une question clinique précise, une évaluation Élevée nécessite un ensemble convergent de preuves de haute qualité, généralement :

• Une revue Cochrane ou une revue systématique équivalente de plusieurs ECR de haute qualité dans un domaine couvert (RV pour le bégaiement, le travail sur la voix, l'aphasie, la déglutition, la communication sociale) avec des effets cohérents à travers les études.
• Des méta-analyses qui synthétisent plusieurs ECR pré-enregistrés avec des tailles d'échantillon adéquates, une hétérogénéité minimale, et des résultats qui convergent en direction et en magnitude.
• Plusieurs ECR multi-sites de grande envergure (n > 200 par bras) qui répliquent un effet spécifique de la pratique basée sur la RV sur un résultat de communication qui compte pour les clients.

Pour la plupart des affirmations cliniques précises en orthophonie RV, ce niveau de preuve est encore en construction. Une question qui converge régulièrement est de savoir si les publics virtuels produisent des réponses communicatives comparables à celles produites face à des publics réels, à mesure que de nouveaux travaux répliquent les résultats antérieurs : une revue systématique formelle de cette question serait la bienvenue.

Comment les évaluations sont décidées

L'évaluation de chaque étude est attribuée éditorialement par withVR, en s'appuyant sur le plan de l'article (ECR / quasi-expérimental / cas / revue), la taille de l'échantillon, la population et les limites énoncées par l'article lui-même. Une courte justification accompagne chaque évaluation, visible sur la page de l'étude en développant « Comment cela a été évalué ».

Les évaluations reflètent un jugement éditorial, et non un processus formel d'évaluation GRADE du type utilisé dans les revues Cochrane. Le schéma est simplifié délibérément : quatre niveaux suffisent à signaler avec quelle confiance les cliniciens et les chercheurs devraient appliquer un résultat, sans laisser entendre une précision que le processus éditorial n'a pas.

Corrections et suggestions bienvenues

Si vous pensez qu'une étude a été évaluée incorrectement, ou qu'une étude qui mérite d'être incluse a été omise, envoyez un message à hello@withvr.app. Le schéma se veut transparent et corrigeable.

Pour aller plus loin

• GRADE working group - la collaboration internationale qui a développé la méthodologie dont s'inspire ce schéma.
• GRADE: an emerging consensus on rating quality of evidence (Guyatt et al., BMJ 2008) - l'article fondateur.
• Glossaire du Evidence Hub - définitions des termes connexes (niveaux de preuve, risque de biais, PEDro, PICO).