Jak číst studii VR logopedické péče: průvodce pro klinické pracovníky

Do schránky vám přistane článek. Někdo z vašeho týmu řekne „podívej se na tuhle VR studii, zní to užitečně.” Chcete vědět, co si o tom myslet, než půjdete na další sezení nebo na další jednání o financování. Kde vůbec začít?

Toto je krátký průvodce, jak číst studii VR logopedické péče s kritickým okem. Není to kurz výzkumných metod. Není to úvod do statistiky. Jen praktický soubor otázek, které si může logoped(ka) podržet v mysli, aby rozeznal(a) rozdíl mezi studií, která podporuje klinické rozhodnutí, a studií, která je zajímavá, ale není připravena změnit to, co děláte.

Začněte s tím, kdo, ne s tím, co

Před čímkoli jiným si přečtěte sekci Účastníci. Kdo byl v této studii?

• Kolik účastníků? Pět je pilot. Patnáct je malá studie. Padesát začíná být studie, jejíž nálezy se generalizují. Není to absolutní pravidlo, ale užitečný hrubý průvodce.
• Jaká populace? Neklinické vysokoškolské studenty? Dospělé, kteří koktají, rekrutované z kliniky? Děti s jazykovými odlišnostmi? Populace utváří to, co vám nálezy mohou říci.
• Byli účastníci placení, rekrutovaní nebo dobrovolníci? Jak byli vybráni?

Pokud je populace ve studii velmi odlišná od lidí, které vidíte v klinice, nálezy se nutně nepřenášejí. To není kritika studie. Je to připomínka, že žádná jednotlivá studie neodpovídá na každou otázku a důkazy je třeba sladit s populací, která vás zajímá.

Pochopte, co skutečně srovnávali

Další sekcí, kterou stojí za to si přečíst, je Design. Co výzkumníci srovnávali?

• Within-subjects: každý účastník dělal každou podmínku. Dobré pro kontrolu individuálních rozdílů. Pro účastníky to může být vyčerpávající.
• Between-subjects: různí účastníci dělali různé podmínky. Vyžaduje větší vzorky. Náhodné přiřazení je důležité.
• Pre-post: účastníci měřeni před a po intervenci. Užitečné, ale zranitelné vůči efektům cvičení, efektům očekávání a regresi k průměru, pokud není kontrola.
• Randomizovaná kontrolovaná studie: účastníci náhodně přiřazeni k intervenci nebo kontrole. Nejsilnější design pro kauzální tvrzení, ale v rané fázi práce vzácnější.

Zeptejte se sami sebe: pokud by intervence neměla žádný účinek vůbec, existuje nějaký jiný důvod, proč se výsledky mohly změnit napříč podmínkami? Pokud je odpověď „ano, mnoho důvodů,” pak je design slabý pro kauzální tvrzení. Dobrý designový plán studie vylučuje většinu alternativ.

Podívejte se, co měřili

Sekce Měřítka výsledku vám říká, co se výzkumníci rozhodli považovat za důkaz. To je důležité, protože různá měřítka vyprávějí různé příběhy.

• Self-report (dotazníky, hodnocení SUDS, hodnocení sebedůvěry) zachycuje zkušenost účastníka. Vysoký ekologický význam, ale citlivý na očekávání a charakteristiky poptávky.
• Pozorované chování (konverzační obraty, čas mluvení) je blíže objektivnímu, ale stále vyžaduje interpretaci a často se spoléhá na lidské hodnotitele.
• Fyziologické (srdeční frekvence, kožní vodivost) je obtížnější předstírat, ale ne vždy se to neutuchajícím způsobem mapuje na pociťovanou zkušenost.
• Akustické (základní frekvence, intenzita, variabilita) měří vlastnosti hlasového signálu přímo, nezávisle na self-reportu.

Nejpřesvědčivější validační studie VR kombinují měřítka. Pokud úzkost stoupá na SUDS a srdeční frekvence a hlasová měřítka se posouvají konzistentně, to je silnější důkaz než jakékoli jednotlivé měřítko samotné. Sledujte studie, které uvádějí pouze jeden typ měřítka - vyprávějí částečný příběh.

Zkontrolujte, zda je účinek skutečně velký

Nález může být statisticky významný a prakticky bezvýznamný. To je tvrdá lekce. Stává se to, protože statistická významnost závisí na velikosti vzorku: drobný rozdíl bude statisticky významný, pokud je vzorek dostatečně velký.

Co chcete, je velikost účinku. Běžné v této literatuře:

• Cohenovo d: zhruba, 0,2 je malé, 0,5 je střední, 0,8 je velké. Drobné hodnoty d (< 0,1) znamenají, že účinek je sotva přítomný, i když je „významný.”
• Korelace r: 0,1 malá, 0,3 střední, 0,5 velká. Hodnoty nad 0,7 jsou nápadné.
• Parciální eta na druhou (η²ₚ): 0,01 malá, 0,06 střední, 0,14 velká.

Pokud článek uvádí pouze p-hodnoty bez velikostí účinku, to je slabost. Pokud uvádí velikosti účinku, zkontrolujte je. Velká p-hodnota s malou velikostí účinku může být klinicky stále nezajímavá, i když je statistika legitimní.

Přečtěte si sekci omezení (vážně)

Autoři znají omezení svých vlastních studií lépe než vy. Přečtěte si, co říkají. Dobrá sekce omezení vám řekne:

• Co omezuje velikost vzorku
• Co omezuje populace (na koho se nálezy nemusí vztahovat)
• Co design nemůže vyloučit
• Co období sledování říká nebo neříká o dlouhodobých účincích

Pokud je sekce omezení článku jediný odhozený odstavec, zacházejte s nálezy opatrně. Pokud autoři pečlivě přemýšleli o tom, co jejich studie může a nemůže říci, dejte článku větší váhu.

Rozlišujte proveditelnost od účinku

Mnoho raného VR výzkumu je o proveditelnosti spíše než o účinku. Studie proveditelnosti se ptá: „lze to vůbec udělat? Budou to účastníci tolerovat? Funguje vybavení tak, jak má?” Toto jsou legitimní výzkumné otázky a nálezy mohou být informativní - ale nejsou důkazem, že intervence funguje.

Studie proveditelnosti s pěti účastníky ukazující, že úzkost klesla za týden, vám říká, že týden nácviku je proveditelný. Neříká vám, že VR způsobila změnu. Mohlo by to být něco jiného - efekty cvičení, očekávání, pozornost výzkumníka, regrese k průměru.

Když vidíte malovzorkovou pre-post VR studii s příznivými výsledky, zeptejte se: „je to pilot, který mi říká, že nápad stojí za větší studii, nebo se to prezentuje jako důkaz účinku?” První je užitečné. Druhé by bylo nadměrné tvrzení.

Ptejte se na generalizaci čestně

Většina VR studií měří reakce uvnitř virtuálního prostředí. Méně z nich měří, zda se zisky přenášejí do reálných situací. A přitom to, co klienti obvykle chtějí, je změna v reálném životě, ne ve virtuální místnosti.

Otázky, které si držet:

• Měřila studie něco mimo VR prostředí?
• Byla po skončení VR sezení následná měření?
• Hlásili účastníci změny ve svých každodenních mluvních zkušenostech?

Pokud nic z toho není přítomno, studie vám nemůže mnoho říct o přenosu do reálného světa. To není chyba - je to omezení rozsahu. Ale je to důležité, když se rozhodujete, co studie podporuje.

Zkontrolujte, kdo studii financoval

Prohlášení o financování a konfliktech zájmů stojí za přečtení. Nezávislé financování od výzkumných rad, univerzit nebo vládních orgánů se liší od průmyslového financování nebo studie provedené společností na jejím vlastním produktu.

Žádný druh financování automaticky neznehodnocuje studii. Ale vědět, kdo za ni zaplatil a kdo má finanční zájem na jejích výsledcích, vám pomáhá vážit nálezy. Studie o virtuálních publikách financovaná výzkumnou radou nese jinou váhu než studie o konkrétním VR produktu provedená společností toho produktu.

Krátký kontrolní seznam

Pokud vám na stůl přijde studie VR logopedické péče, těchto šest otázek vás dovede většinu cesty:

Nic z toho nevyžaduje statistický základ. Vyžaduje to zpomalit a pokládat otázky, které autoři obvykle odpovídají v jasném jazyce někde v článku.

Další čtení

• Evidence Hub - recenzovaný výzkum o VR v logopedické péči, se shrnutími v běžném jazyce
• Jak studie hodnotíme - schéma jistoty používané napříč Evidence Hubem
• Glosář Evidence Hubu - definice výzkumných termínů používaných v těchto studiích
• Další čtení - knihy a komunity utvářející současnou praxi
• Technologický kontrolní seznam pro logopedy - širší rámec pro hodnocení nové technologie