Hvordan lese en VR-logopedistudie: En veiledning for klinikere

En artikkel lander i innboksen din. Noen i teamet sier “se på denne VR-studien, den høres nyttig ut”. Du vil vite hva du skal mene om den før din neste økt eller ditt neste innkjøpsmøte. Hvor begynner du?

Dette er en kort veiledning til å lese en VR-logopedistudie med et kritisk blikk. Ikke et forskningsmetodekurs. Ikke en statistikk-introduksjon. Bare et praktisk sett med spørsmål en logoped kan ha i bakhodet for å skille en studie som støtter en klinisk avgjørelse fra en studie som er interessant, men ikke klar til å endre det du gjør.

Start med hvem, ikke hva

Før noe annet, les Deltakere-seksjonen. Hvem var med i denne studien?

• Hvor mange deltakere? Fem er en pilot. Femten er en liten studie. Femti begynner å bli en studie hvis funn generaliserer. Ikke en absolutt regel, men en nyttig grov rettesnor.
• Hvilken populasjon? Ikke-kliniske universitetsstudenter? Voksne som stammer rekruttert fra en klinikk? Barn med språkforskjeller? Populasjonen former hva funnene kan fortelle deg.
• Ble deltakerne betalt, rekruttert eller var de frivillige? Hvordan ble de utvalgt?

Hvis populasjonen i studien er svært ulik personene du ser i klinikken, overføres ikke funnene nødvendigvis. Dette er ikke en kritikk av studien. Det er en påminnelse om at ingen enkelt studie svarer på alle spørsmål, og at evidens må matches mot populasjonen du bryr deg om.

Forstå hva de faktisk sammenlignet

Den neste seksjonen verdt å lese er Design. Hva sammenlignet forskerne?

• Innen-deltaker: hver deltaker gjorde hver betingelse. Bra for å kontrollere individuelle forskjeller. Kan være utmattende for deltakerne.
• Mellom-deltaker: ulike deltakere gjorde ulike betingelser. Trenger større utvalg. Tilfeldig fordeling er viktig.
• Pre-post: deltakere målt før og etter en intervensjon. Nyttig, men sårbar for øvingseffekter, forventningseffekter og regresjon mot gjennomsnittet med mindre det er en kontroll.
• Randomisert kontrollert studie: deltakere tilfeldig fordelt til intervensjon eller kontroll. Sterkeste design for kausale påstander, men sjeldnere i tidlig-fase-arbeid.

Spør deg selv: hvis intervensjonen ikke hadde noen effekt i det hele tatt, er det noen annen grunn til at utfallene kunne ha endret seg på tvers av betingelser? Hvis svaret er “ja, mange grunner”, er designet svakt for en kausal påstand. Et godt studiedesign utelukker de fleste alternativer.

Se på hva de målte

Utfallsmål-seksjonen forteller deg hva forskerne bestemte skulle telle som evidens. Dette betyr noe fordi forskjellige mål forteller forskjellige historier.

• Selvrapport (spørreskjemaer, SUDS-vurderinger, selvtillitsvurderinger) fanger deltakerens opplevelse. Høy økologisk mening, men sensitiv for forventninger og krav-karakteristikker.
• Observert atferd (samtaleturer, taletid) er nærmere objektiv, men krever fortsatt tolkning og er ofte avhengig av menneskelige vurderere.
• Fysiologisk (hjertefrekvens, hudkonduktans) er vanskeligere å forfalske, men kartlegger ikke alltid pent på opplevd erfaring.
• Akustisk (grunnfrekvens, intensitet, variabilitet) måler stemmesignalegenskaper direkte, uavhengig av selvrapport.

De mest overbevisende VR-valideringsstudiene kombinerer mål. Hvis angsten går opp på SUDS og hjertefrekvens og stemmemål skifter konsistent, er det sterkere evidens enn noe enkelt mål alene. Vær oppmerksom på studier som rapporterer kun én type mål - de forteller en delvis historie.

Sjekk om effekten faktisk er stor

Et funn kan være statistisk signifikant og praktisk meningsløst. Dette er en hard lekse. Det skjer fordi statistisk signifikans avhenger av utvalgsstørrelse: en liten forskjell vil være statistisk signifikant hvis utvalget er stort nok.

Det du vil ha er en effektstørrelse. Vanlige i denne litteraturen:

• Cohens d: grovt sett, 0,2 er liten, 0,5 er middels, 0,8 er stor. Små d-verdier (< 0,1) betyr at effekten knapt er der selv om den er “signifikant”.
• Korrelasjon r: 0,1 liten, 0,3 middels, 0,5 stor. Verdier over 0,7 er slående.
• Partiell eta-kvadrat (η²ₚ): 0,01 liten, 0,06 middels, 0,14 stor.

Hvis en artikkel kun rapporterer p-verdier uten effektstørrelser, er det en svakhet. Hvis den rapporterer effektstørrelser, sjekk dem. En stor p-verdi med en liten effektstørrelse kan fortsatt være klinisk uinteressant selv om statistikken er legitim.

Les begrensningsseksjonen (seriøst)

Forfattere kjenner sine egne studiers begrensninger bedre enn du gjør. Les hva de sier. En god begrensningsseksjon forteller deg:

• Hva utvalgsstørrelsen begrenser
• Hva populasjonen begrenser (hvem funnene kanskje ikke gjelder for)
• Hva designet ikke kan utelukke
• Hva oppfølgingsperioden gjør eller ikke gjør med tanke på langtidseffekter

Hvis en artikkels begrensningsseksjon er et enkelt avsnitt på vei ut, behandle funnene med forsiktighet. Hvis forfatterne har tenkt nøye gjennom hva studien deres kan og ikke kan fortelle oss, gi artikkelen mer vekt.

Skill gjennomførbarhet fra effekt

Mye tidlig VR-forskning handler om gjennomførbarhet heller enn effekt. En gjennomførbarhetsstudie spør: “kan dette gjøres i det hele tatt? Vil deltakere tolerere det? Fungerer utstyret som tiltenkt?” Dette er legitime forskningsspørsmål, og funnene kan være informative - men de er ikke evidens for at intervensjonen virker.

En gjennomførbarhetsstudie med fem deltakere som viser at angsten gikk ned i løpet av en uke forteller deg at en uke med øvelse er gjennomførbar. Den forteller deg ikke at VR forårsaket endringen. Andre ting kunne ha gjort det - øvingseffekter, forventning, forskerens oppmerksomhet, regresjon mot gjennomsnittet.

Når du ser en VR-pre-post-studie med lite utvalg og gunstige resultater, spør: “er dette en pilot som forteller meg at ideen er verdt en større studie, eller blir dette presentert som evidens for effekt?” Det første er nyttig. Det andre ville være å overdrive.

Spør om generalisering ærlig

De fleste VR-studier måler responser inne i det virtuelle miljøet. Færre måler om gevinster overføres til situasjoner i den virkelige verden. Og likevel er det klienter vanligvis vil ha, endring i virkeligheten, ikke i et virtuelt rom.

Spørsmål å holde fast ved:

• Målte studien noe utenfor VR-miljøet?
• Var det oppfølgingsmålinger etter at VR-øktene endte?
• Rapporterte deltakerne endringer i sine daglige taleopplevelser?

Hvis ingen av disse er til stede, kan studien ikke fortelle deg mye om overføring til den virkelige verden. Det er ikke en feil - det er en begrensning i omfang. Men det betyr noe når du bestemmer hva en studie støtter.

Sjekk hvem som finansierte studien

Finansiering- og Interessekonflikter-erklæringene er verdt å lese. Uavhengig finansiering fra forskningsråd, universiteter eller offentlige organer er forskjellig fra industrifinansiering eller en studie utført av et selskap på sitt eget produkt.

Ingen av finansieringstypene gjør automatisk en studie ugyldig. Men å vite hvem som betalte for den og hvem som har en finansiell interesse i resultatene hjelper deg å veie funnene. En studie på virtuelle publikum finansiert av et forskningsråd har annen vekt enn en studie på et spesifikt VR-produkt utført av det produktets selskap.

En kort sjekkliste

Hvis en VR-logopedistudie kommer over pulten din, vil disse seks spørsmålene få deg det meste av veien:

Ingenting av dette krever en statistikk-bakgrunn. Det krever å bremse ned og stille spørsmålene forfatterne vanligvis svarer på i klart språk et eller annet sted i artikkelen.

Videre lesning

• Evidens-huben - fagfellevurdert forskning om VR i logopedi, med sammendrag i klart språk
• Hvordan studier vurderes - sikkerhetsskjemaet brukt på tvers av Evidens-huben
• Ordliste for Evidens-huben - definisjoner av forskningsbegreper brukt i disse studiene
• Videre lesning - bøker og fellesskap som former dagens praksis
• Teknologisjekkliste for logopeder - bredere rammeverk for å vurdere ny teknologi