Un article arrive dans votre boîte mail. Quelqu’un de votre équipe dit « regarde cette étude VR, ça a l’air utile ». Vous voulez savoir quoi en penser avant votre prochaine séance ou votre prochaine réunion de financement. Par où commencer ?

Voici un court guide pour lire une étude d’orthophonie en VR avec un œil critique. Pas un cours de méthodologie de recherche. Pas un manuel de statistiques. Juste un ensemble pratique de questions qu’un professionnel de l’orthophonie peut garder en tête pour distinguer une étude qui soutient une décision clinique d’une étude qui est intéressante mais pas prête à changer ce que vous faites.

Commencez par qui, pas par quoi

Avant tout autre chose, lisez la section Participants. Qui était dans cette étude ?

Si la population dans l’étude est très différente des personnes que vous voyez en clinique, les conclusions ne se transfèrent pas nécessairement. Ce n’est pas une critique de l’étude. C’est un rappel qu’aucune étude unique ne répond à toutes les questions, et que les preuves doivent être adaptées à la population qui vous intéresse.

Comprenez ce qu’ils ont réellement comparé

La section suivante qui mérite d’être lue est le Design. Qu’est-ce que les chercheurs ont comparé ?

Demandez-vous : si l’intervention n’avait eu aucun effet, y a-t-il une autre raison pour laquelle les résultats auraient pu changer entre les conditions ? Si la réponse est « oui, plusieurs raisons », alors le design est faible pour une revendication causale. Un bon design d’étude exclut la plupart des alternatives.

Regardez ce qu’ils ont mesuré

La section Mesures de résultats vous indique ce que les chercheurs ont décidé de considérer comme preuve. Cela importe car différentes mesures racontent différentes histoires.

Les études de validation VR les plus convaincantes combinent les mesures. Si l’anxiété augmente sur le SUDS et que le rythme cardiaque et les mesures vocales évoluent de manière cohérente, c’est une preuve plus forte que toute mesure isolée. Méfiez-vous des études qui ne rapportent qu’un seul type de mesure - elles racontent une histoire partielle.

Vérifiez si l’effet est réellement grand

Une conclusion peut être statistiquement significative et pratiquement insignifiante. C’est une leçon difficile. Cela arrive parce que la signification statistique dépend de la taille de l’échantillon : une infime différence sera statistiquement significative si l’échantillon est suffisamment grand.

Ce que vous voulez, c’est une taille d’effet. Les courantes dans cette littérature :

Si un article ne rapporte que des valeurs p sans tailles d’effet, c’est une faiblesse. S’il rapporte des tailles d’effet, vérifiez-les. Une grande valeur p avec une petite taille d’effet peut rester cliniquement inintéressante même si les statistiques sont légitimes.

Lisez la section des limites (sérieusement)

Les auteurs connaissent les limites de leurs propres études mieux que vous. Lisez ce qu’ils disent. Une bonne section de limites vous dira :

Si la section des limites d’un article est un seul paragraphe jeté à la légère, traitez les conclusions avec prudence. Si les auteurs ont réfléchi attentivement à ce que leur étude peut et ne peut pas nous dire, accordez plus de poids à l’article.

Distinguez la faisabilité de l’effet

Une grande partie de la recherche VR précoce porte sur la faisabilité plutôt que sur l’effet. Une étude de faisabilité demande : « cela peut-il être fait du tout ? Les participants le tolèrent-ils ? L’équipement fonctionne-t-il comme prévu ? » Ce sont des questions de recherche légitimes, et les conclusions peuvent être informatives - mais elles ne sont pas une preuve que l’intervention fonctionne.

Une étude de faisabilité avec cinq participants montrant une diminution de l’anxiété sur une semaine vous dit qu’une semaine de pratique est faisable. Elle ne vous dit pas que la VR a causé le changement. D’autres choses auraient pu le faire - effets de pratique, attente, attention du chercheur, régression vers la moyenne.

Lorsque vous voyez une étude pré-post à petit échantillon avec des résultats favorables, demandez : « est-ce un pilote me disant que l’idée mérite une étude plus grande, ou est-ce présenté comme une preuve d’effet ? » Le premier est utile. Le second relèverait de la sur-revendication.

Posez la question de la généralisation honnêtement

La plupart des études VR mesurent les réponses à l’intérieur de l’environnement virtuel. Moins mesurent si les gains se transfèrent aux situations réelles. Et pourtant, ce que les clients veulent généralement, c’est un changement dans la vie réelle, pas dans une pièce virtuelle.

Questions à garder :

Si aucune de ces présences n’est constatée, l’étude ne peut pas vous en dire beaucoup sur le transfert dans le monde réel. Ce n’est pas un défaut - c’est une limite de portée. Mais cela compte lorsque vous décidez ce qu’une étude soutient.

Vérifiez qui a financé l’étude

Les déclarations de Financement et de Conflits d’intérêts valent la peine d’être lues. Un financement indépendant provenant de conseils de recherche, d’universités ou d’organismes gouvernementaux est différent d’un financement industriel ou d’une étude menée par une entreprise sur son propre produit.

Aucun type de financement n’invalide automatiquement une étude. Mais savoir qui l’a payée et qui a un intérêt financier dans ses résultats vous aide à peser les conclusions. Une étude sur les publics virtuels financée par un conseil de recherche n’a pas le même poids qu’une étude sur un produit VR spécifique menée par l’entreprise de ce produit.

Une courte liste de vérification

Si une étude d’orthophonie en VR arrive sur votre bureau, ces six questions vous mèneront la plupart du temps à destination :

La liste de vérification en 6 questions

Lire une étude d'orthophonie en VR avec un œil critique

1Qui a été étudié ?Taille d'échantillon et population.5 = pilote · 15 = petite ·50+ = généralisable.2Quel était le design ?Intra / inter / pré-post /ECR. Quelles alternativesexclut-il ?3Qu'a-t-on mesuré ?Auto-déclaration, comportement,physiologie, acoustique.Plusieurs mesures = plus fort.4Quelle est la taille de l'effet ?d de Cohen, r ou eta carré- pas seulement la valeur p.5Qu'ont signalé les auteurs ?Lisez la section des limitessérieusement. Une section maigreest en soi un signal.6A-t-elle testé le transfert ?A-t-on mesuré quoi que ce soiten dehors du cadre VR ?C'est la question clinique.Six questions. Aucune formation en statistiques nécessaire.L'article lui-même répond à chacune en langage clair quelque part.Ralentissez assez pour trouver la réponse aux six.
  1. Qui a été étudié ? Taille d'échantillon et population. 5 = pilote, 15 = petite, 50+ = généralisable.
  2. Quel était le design ? Intra / inter / pré-post / ECR. Quelles alternatives exclut-il ?
  3. Qu'a-t-on mesuré ? Auto-déclaration, comportement, physiologie, acoustique. Plusieurs mesures = plus fort.
  4. Quelle est la taille de l'effet ? d de Cohen, r ou eta carré - pas seulement la valeur p.
  5. Qu'ont signalé les auteurs ? Lisez la section des limites sérieusement. Une section maigre est en soi un signal.
  6. A-t-elle testé le transfert ? A-t-on mesuré quoi que ce soit en dehors du cadre VR ? Le transfert vers le monde réel est la question clinique.

Imprimez ou enregistrez cette carte. Aucune de ces questions ne nécessite une formation en statistiques - elles posent ce que l'article lui-même répond habituellement en langage clair.

Rien de tout cela ne nécessite une formation en statistiques. Cela demande de ralentir et de poser les questions auxquelles les auteurs répondent habituellement en langage clair quelque part dans l’article.

Pour aller plus loin