Bir makale gelen kutunuza düşer. Ekibinizden biri “şu VR çalışmasına bak, kullanışlı görünüyor” der. Bir sonraki seansınızdan veya bir sonraki hizmet planlama toplantınızdan önce ne anlam çıkaracağınızı bilmek istersiniz. Nereden başlayacaksınız?
Bu, eleştirel bir gözle bir VR konuşma terapisi çalışması okumak için kısa bir rehberdir. Bir araştırma yöntemleri kursu değildir. Bir istatistik hazırlığı değildir. Sadece bir dil ve konuşma profesyonelinin, klinik kararı destekleyen bir çalışma ile ilginç ama yapacağınız şeyi değiştirmeye hazır olmayan bir çalışma arasındaki farkı görmek için zihninde tutabileceği pratik bir soru kümesidir.
Ne ile değil, kim ile başlayın
Her şeyden önce Katılımcılar bölümünü okuyun. Bu çalışmada kim vardı?
- Kaç katılımcı? Beş bir pilottur. On beş küçük bir çalışmadır. Elli, bulguları genelleşmeye başlayan bir çalışmadır. Mutlak bir kural değil, ama yararlı bir kaba kılavuzdur.
- Hangi popülasyon? Klinik dışı üniversite öğrencileri? Bir klinikten alınmış kekeleyen yetişkinler? Dil farklılıkları olan çocuklar? Popülasyon, bulguların size ne anlatabileceğini şekillendirir.
- Katılımcılara ödeme yapıldı mı, işe alındı mı, yoksa gönüllü müydüler? Nasıl seçildiler?
Çalışmadaki popülasyon, klinikte gördüğünüz kişilerden çok farklıysa, bulgular zorunlu olarak aktarılmaz. Bu, çalışmaya yönelik bir eleştiri değildir. Hiçbir tek çalışmanın her soruyu cevaplamadığını ve kanıtın önemsediğiniz popülasyonla eşleştirilmesi gerektiğini hatırlatmadır.
Gerçekte neyi karşılaştırdıklarını anlayın
Okumaya değer bir sonraki bölüm Tasarım’dır. Araştırmacılar neyi karşılaştırdı?
- Denek-içi: her katılımcı her koşulu yaptı. Bireysel farklılıkları kontrol etmek için iyidir. Katılımcılar için yorucu olabilir.
- Denek-arası: farklı katılımcılar farklı koşulları yaptı. Daha büyük örneklemler gerektirir. Rastgele atama önemlidir.
- Ön-son: katılımcılar bir müdahaleden önce ve sonra ölçüldü. Yararlıdır ancak kontrol olmadığı sürece pratik etkilerine, beklenti etkilerine ve ortalamaya regresyona karşı savunmasızdır.
- Randomize kontrollü çalışma: katılımcılar müdahale veya kontrole rastgele atanır. Nedensel iddialar için en güçlü tasarımdır, ancak erken evre çalışmalarda daha nadirdir.
Kendinize sorun: müdahalenin hiçbir etkisi olmasaydı, sonuçların koşullar arasında değişmiş olmasının başka bir nedeni var mı? Cevap “evet, birçok neden” ise, tasarım nedensel iddialar için zayıftır. İyi bir çalışma tasarımı çoğu alternatifi dışlar.
Neyi ölçtüklerine bakın
Sonuç ölçümleri bölümü, araştırmacıların neyi kanıt olarak kabul ettiğini söyler. Bu önemlidir, çünkü farklı ölçümler farklı hikâyeler anlatır.
- Öz bildirim (anketler, SUDS dereceleri, güven dereceleri) katılımcının deneyimini yakalar. Yüksek ekolojik anlam taşır, ancak beklentilere ve talep özelliklerine duyarlıdır.
- Gözlemlenen davranış (konuşma sıraları, konuşma süresi) nesnelliğe daha yakındır ancak yine de yorum gerektirir ve genellikle insan değerlendiricilere dayanır.
- Fizyolojik (kalp hızı, deri iletkenliği) taklit edilmesi daha zordur ancak hissedilen deneyimle her zaman düzgün biçimde örtüşmez.
- Akustik (temel frekans, yoğunluk, değişkenlik) ses sinyali özelliklerini doğrudan, öz bildirimden bağımsız olarak ölçer.
En ikna edici VR doğrulama çalışmaları ölçümleri birleştirir. Kaygı SUDS’ta yükselir, kalp hızı ve ses ölçümleri tutarlı şekilde değişirse, bu tek bir ölçümden daha güçlü bir kanıttır. Yalnızca tek tip bir ölçüm bildiren çalışmalara dikkat edin - kısmi bir hikâye anlatırlar.
Etkinin gerçekten büyük olup olmadığını kontrol edin
Bir bulgu istatistiksel olarak anlamlı olabilir ve pratik olarak anlamsız olabilir. Bu zor bir derstir. Bunun nedeni, istatistiksel anlamlılığın örneklem büyüklüğüne bağlı olmasıdır: örneklem yeterince büyükse minik bir fark istatistiksel olarak anlamlı olur.
İstediğiniz şey etki büyüklüğüdür. Bu literatürde yaygın olanlar:
- Cohen’s d: kabaca, 0,2 küçük, 0,5 orta, 0,8 büyüktür. Çok küçük d değerleri (< 0,1), “anlamlı” olsa bile etkinin neredeyse hiç olmadığı anlamına gelir.
- Korelasyon r: 0,1 küçük, 0,3 orta, 0,5 büyük. 0,7’nin üzerindeki değerler dikkat çekicidir.
- Kısmi eta kare (η²ₚ): 0,01 küçük, 0,06 orta, 0,14 büyüktür.
Bir makale yalnızca p-değerlerini etki büyüklükleri olmadan bildiriyorsa, bu bir zayıflıktır. Etki büyüklükleri bildiriyorsa, kontrol edin. Küçük bir etki büyüklüğüne sahip büyük bir p-değeri, istatistikler meşru olsa bile klinik olarak ilgisiz olabilir.
Sınırlılıklar bölümünü okuyun (cidden)
Yazarlar, kendi çalışmalarının sınırlılıklarını sizden daha iyi bilirler. Söylediklerini okuyun. İyi bir sınırlılıklar bölümü size şunları söyleyecektir:
- Örneklem büyüklüğünün neyi sınırladığı
- Popülasyonun neyi sınırladığı (bulguların kimlere uygulanmayabileceği)
- Tasarımın neyi dışlayamadığı
- Takip süresinin uzun vadeli etkiler hakkında size ne söyleyip söylemediği
Bir makalenin sınırlılıklar bölümü tek geçiştirici bir paragraf ise, bulguları temkinli ele alın. Yazarlar çalışmalarının ne anlatıp anlatamayacağı üzerinde dikkatle düşünmüşlerse, makaleye daha fazla ağırlık verin.
Uygulanabilirliği etkiden ayırt edin
Erken VR araştırmasının çoğu etki yerine uygulanabilirlikle ilgilidir. Bir uygulanabilirlik çalışması şunu sorar: “Bu hiç yapılabilir mi? Katılımcılar tolere eder mi? Ekipman amaçlandığı gibi çalışır mı?” Bunlar meşru araştırma sorularıdır ve bulgular bilgilendirici olabilir - ancak müdahalenin işe yaradığına dair kanıt değildir.
Bir hafta boyunca kaygının azaldığını gösteren beş katılımcılı bir uygulanabilirlik çalışması, size bir haftalık pratiğin uygulanabilir olduğunu söyler. Size VR’ın değişime neden olduğunu söylemez. Başka şeyler de olabilirdi - pratik etkileri, beklenti, araştırmacının dikkati, ortalamaya regresyon.
Olumlu sonuçları olan küçük örneklemli bir ön-son VR çalışması gördüğünüzde sorun: “Bu, fikrin daha büyük bir çalışmaya değer olduğunu söyleyen bir pilot mu, yoksa etkinin kanıtı olarak mı sunuluyor?” İlki yararlıdır. İkincisi aşırı iddiada bulunmak olur.
Genelleme hakkında dürüstçe sorun
Çoğu VR çalışması, sanal ortam içindeki yanıtları ölçer. Daha azı, kazanımların gerçek dünya durumlarına aktarılıp aktarılmadığını ölçer. Oysa danışanların genellikle istediği, sanal bir odada değil, gerçek hayatta değişimdir.
Akılda tutulacak sorular:
- Çalışma VR ortamı dışında herhangi bir şey ölçtü mü?
- VR seansları sona erdikten sonra takip ölçümleri var mıydı?
- Katılımcılar günlük konuşma deneyimlerinde değişiklikler bildirdi mi?
Bunların hiçbiri yoksa, çalışma size gerçek dünyaya aktarım hakkında pek bir şey söyleyemez. Bu bir kusur değildir - kapsam sınırıdır. Ancak bir çalışmanın neyi desteklediğine karar verirken önemlidir.
Çalışmayı kimin finanse ettiğini kontrol edin
Finansman ve Çıkar Çatışmaları beyanları okumaya değerdir. Araştırma kurullarından, üniversitelerden veya devlet kurumlarından gelen bağımsız finansman, endüstri finansmanından veya bir şirketin kendi ürünü üzerinde yürüttüğü bir çalışmadan farklıdır.
Hiçbir finansman türü bir çalışmayı otomatik olarak geçersiz kılmaz. Ancak finansmanı kimin sağladığını ve sonuçlarında kimin finansal çıkarı olduğunu bilmek bulguları tartmanıza yardımcı olur. Bir araştırma kurulu tarafından finanse edilen sanal seyirciler üzerine bir çalışma, belirli bir VR ürünü üzerine o ürünün şirketi tarafından yürütülen bir çalışmadan farklı bir ağırlık taşır.
Kısa bir kontrol listesi
Masanıza bir VR konuşma terapisi çalışması düşerse, bu altı soru sizi büyük ölçüde yola çıkarır:
6 soruluk kontrol listesi
Bir VR konuşma terapisi çalışmasını eleştirel bir gözle okumak
- Kim çalışıldı? Örneklem büyüklüğü ve popülasyon. 5 = pilot, 15 = küçük, 50+ = genelleştirilebilir.
- Tasarım neydi? Denek-içi / denek-arası / ön-son / RKÇ. Hangi alternatifleri dışlıyor?
- Ne ölçüldü? Öz bildirim, davranış, fizyoloji, akustik. Birden çok ölçüm = daha güçlü.
- Etki ne kadar büyük? Cohen's d, r veya eta-kare - sadece p-değeri değil.
- Yazarlar neyi işaretledi? Sınırlılıklar bölümünü ciddi okuyun. Zayıf bir tanesi başlı başına bir sinyaldir.
- Aktarımı test etti mi? VR ortamı dışında bir şey ölçüldü mü? Gerçek dünyaya aktarım klinik sorudur.
Bu kartı yazdırın veya kaydedin. Bu soruların hiçbiri istatistik geçmişi gerektirmez - makalenin kendisinin genellikle sade bir dille yanıtladığı şeyleri sorarlar.
Bunların hiçbiri istatistik geçmişi gerektirmez. Yavaşlamayı ve yazarların makalenin bir yerinde genellikle sade bir dille yanıtladığı soruları sormayı gerektirir.
İleri okuma
- Kanıt Merkezi - Konuşma terapisinde VR üzerine hakemli araştırma, sade dilde özetlerle
- Çalışmalar nasıl değerlendiriliyor - Kanıt Merkezi genelinde kullanılan kesinlik şeması
- Kanıt Merkezi sözlüğü - Bu çalışmalarda kullanılan araştırma terimlerinin tanımları
- İleri okuma - Mevcut uygulamayı şekillendiren kitaplar ve topluluklar
- Dil ve Konuşma Terapistleri için Teknoloji Kontrol Listesi - Yeni teknolojiyi değerlendirmek için daha geniş bir çerçeve