Μια εργασία προσγειώνεται στα εισερχόμενά σας. Κάποιος στην ομάδα σας λέει “δες αυτή τη μελέτη VR, ακούγεται χρήσιμη.” Θέλετε να ξέρετε τι να την κάνετε πριν την επόμενη συνεδρία ή την επόμενη συνάντηση ανάθεσης. Από πού καν ξεκινάτε;
Αυτός είναι ένας σύντομος οδηγός για το πώς να διαβάζετε μια μελέτη λογοθεραπείας VR με κριτικό μάτι. Όχι ένα μάθημα ερευνητικής μεθοδολογίας. Όχι ένα εισαγωγικό εγχειρίδιο στατιστικής. Απλώς ένα πρακτικό σύνολο ερωτήσεων που μπορεί να κρατάει στο μυαλό του ένας/μία επαγγελματίας λογοθεραπείας για να ξεχωρίζει μια μελέτη που υποστηρίζει μια κλινική απόφαση από μια μελέτη που είναι ενδιαφέρουσα αλλά δεν είναι έτοιμη να αλλάξει αυτό που κάνετε.
Ξεκινήστε από το ποιος, όχι από το τι
Πριν από οτιδήποτε άλλο, διαβάστε την ενότητα Συμμετέχοντες. Ποιος ήταν σε αυτή τη μελέτη;
- Πόσοι συμμετέχοντες; Πέντε είναι μια πιλοτική. Δεκαπέντε είναι μια μικρή μελέτη. Πενήντα αρχίζει να είναι μια μελέτη της οποίας τα ευρήματα γενικεύονται. Όχι απόλυτος κανόνας, αλλά ένας χρήσιμος πρόχειρος οδηγός.
- Ποιος πληθυσμός; Μη κλινικοί φοιτητές πανεπιστημίου; Ενήλικες που τραυλίζουν στρατολογημένοι από κλινική; Παιδιά με γλωσσικές διαφορές; Ο πληθυσμός διαμορφώνει το τι μπορούν να σας πουν τα ευρήματα.
- Πληρώθηκαν οι συμμετέχοντες, στρατολογήθηκαν ή ήταν εθελοντές; Πώς επιλέχθηκαν;
Αν ο πληθυσμός στη μελέτη είναι πολύ διαφορετικός από τα άτομα που βλέπετε στην κλινική, τα ευρήματα δεν μεταφέρονται απαραίτητα. Αυτό δεν είναι κριτική της μελέτης. Είναι μια υπενθύμιση ότι καμία μεμονωμένη μελέτη δεν απαντά σε κάθε ερώτημα και τα στοιχεία πρέπει να αντιστοιχίζονται με τον πληθυσμό για τον οποίο νοιάζεστε.
Καταλάβετε τι ακριβώς συνέκριναν
Η επόμενη ενότητα που αξίζει να διαβάσετε είναι ο Σχεδιασμός. Τι σύγκριναν οι ερευνητές;
- Εντός υποκειμένων: κάθε συμμετέχων/ουσα έκανε κάθε συνθήκη. Καλό για τον έλεγχο των ατομικών διαφορών. Μπορεί να είναι εξαντλητικό για τους συμμετέχοντες.
- Μεταξύ υποκειμένων: διαφορετικοί συμμετέχοντες έκαναν διαφορετικές συνθήκες. Χρειάζεται μεγαλύτερα δείγματα. Η τυχαία ανάθεση είναι σημαντική.
- Πριν-μετά: οι συμμετέχοντες μετρήθηκαν πριν και μετά από μια παρέμβαση. Χρήσιμο αλλά ευάλωτο σε επιπτώσεις εξάσκησης, επιπτώσεις προσδοκίας και παλινδρόμηση προς τον μέσο όρο εκτός αν υπάρχει ομάδα ελέγχου.
- Τυχαιοποιημένη ελεγχόμενη δοκιμή: οι συμμετέχοντες ανατίθενται τυχαία σε παρέμβαση ή ομάδα ελέγχου. Ο ισχυρότερος σχεδιασμός για αιτιακούς ισχυρισμούς, αλλά σπανιότερος σε εργασίες πρώιμου σταδίου.
Ρωτήστε τον εαυτό σας: αν η παρέμβαση δεν είχε καθόλου επίδραση, υπάρχει κάποιος άλλος λόγος για τον οποίο τα αποτελέσματα μπορεί να έχουν αλλάξει μεταξύ συνθηκών; Αν η απάντηση είναι “ναι, πολλοί λόγοι,” τότε ο σχεδιασμός είναι αδύναμος για έναν αιτιακό ισχυρισμό. Ένας καλός σχεδιασμός μελέτης αποκλείει τις περισσότερες εναλλακτικές εξηγήσεις.
Δείτε τι μέτρησαν
Η ενότητα Μέτρα Έκβασης σας λέει τι αποφάσισαν οι ερευνητές ότι μετράει ως απόδειξη. Αυτό έχει σημασία γιατί διαφορετικά μέτρα λένε διαφορετικές ιστορίες.
- Η αυτο-αναφορά (ερωτηματολόγια, αξιολογήσεις SUDS, αξιολογήσεις αυτοπεποίθησης) αποτυπώνει την εμπειρία του συμμετέχοντα. Υψηλό οικολογικό νόημα, αλλά ευαίσθητο σε προσδοκίες και χαρακτηριστικά απαιτήσεων.
- Η παρατηρούμενη συμπεριφορά (συνομιλιακές εναλλαγές, χρόνος ομιλίας) είναι πιο κοντά στο αντικειμενικό αλλά εξακολουθεί να απαιτεί ερμηνεία και συχνά βασίζεται σε ανθρώπινους αξιολογητές.
- Η φυσιολογική (καρδιακός ρυθμός, αγωγιμότητα δέρματος) είναι δυσκολότερο να πλαστογραφηθεί αλλά δεν αντιστοιχίζεται πάντα τακτικά με την αισθανόμενη εμπειρία.
- Η ακουστική (θεμελιώδης συχνότητα, ένταση, διακύμανση) μετρά απευθείας ιδιότητες του φωνητικού σήματος, ανεξάρτητα από την αυτο-αναφορά.
Οι πιο πειστικές μελέτες επικύρωσης VR συνδυάζουν μέτρα. Αν το άγχος ανεβαίνει στο SUDS και ο καρδιακός ρυθμός και τα μέτρα φωνής μετατοπίζονται με συνέπεια, αυτό είναι ισχυρότερη τεκμηρίωση από οποιοδήποτε μεμονωμένο μέτρο μόνο του. Προσέξτε μελέτες που αναφέρουν μόνο έναν τύπο μέτρου - λένε μια μερική ιστορία.
Ελέγξτε αν η επίδραση είναι πραγματικά μεγάλη
Ένα εύρημα μπορεί να είναι στατιστικά σημαντικό και πρακτικά χωρίς νόημα. Αυτό είναι ένα δύσκολο μάθημα. Συμβαίνει επειδή η στατιστική σημαντικότητα εξαρτάται από το μέγεθος του δείγματος: μια μικροσκοπική διαφορά θα είναι στατιστικά σημαντική αν το δείγμα είναι αρκετά μεγάλο.
Αυτό που θέλετε είναι ένα μέγεθος επίδρασης. Συνηθισμένα σε αυτή τη βιβλιογραφία:
- Cohen’s d: σε γενικές γραμμές, 0.2 είναι μικρό, 0.5 είναι μεσαίο, 0.8 είναι μεγάλο. Μικροσκοπικές τιμές d (< 0.1) σημαίνουν ότι η επίδραση μόλις υπάρχει ακόμη και αν είναι “σημαντική.”
- Συσχέτιση r: 0.1 μικρή, 0.3 μεσαία, 0.5 μεγάλη. Τιμές πάνω από 0.7 είναι εντυπωσιακές.
- Μερικό ήτα τετράγωνο (η²ₚ): 0.01 μικρό, 0.06 μεσαίο, 0.14 μεγάλο.
Αν μια εργασία αναφέρει μόνο p-τιμές χωρίς μεγέθη επίδρασης, αυτό είναι μια αδυναμία. Αν αναφέρει μεγέθη επίδρασης, ελέγξτε τα. Μια μεγάλη p-τιμή με μικρό μέγεθος επίδρασης μπορεί να είναι κλινικά αδιάφορη ακόμη και αν τα στατιστικά είναι νόμιμα.
Διαβάστε την ενότητα περιορισμών (σοβαρά)
Οι συγγραφείς γνωρίζουν τους περιορισμούς των μελετών τους καλύτερα από εσάς. Διαβάστε τι λένε. Μια καλή ενότητα περιορισμών θα σας πει:
- Τι περιορίζει το μέγεθος του δείγματος
- Τι περιορίζει ο πληθυσμός (σε ποιους μπορεί να μην ισχύουν τα ευρήματα)
- Τι δεν μπορεί να αποκλείσει ο σχεδιασμός
- Τι σας λέει ή δεν σας λέει η περίοδος παρακολούθησης για μακροπρόθεσμες επιδράσεις
Αν η ενότητα περιορισμών μιας εργασίας είναι μια μεμονωμένη πρόχειρη παράγραφος, αντιμετωπίστε τα ευρήματα με προσοχή. Αν οι συγγραφείς έχουν σκεφτεί προσεκτικά τι μπορεί και τι δεν μπορεί να μας πει η μελέτη τους, δώστε στην εργασία περισσότερο βάρος.
Διακρίνετε τη σκοπιμότητα από την επίδραση
Πολλή πρώιμη έρευνα VR αφορά τη σκοπιμότητα παρά την επίδραση. Μια μελέτη σκοπιμότητας ρωτά: “μπορεί αυτό να γίνει καθόλου; Θα το ανεχθούν οι συμμετέχοντες; Λειτουργεί ο εξοπλισμός όπως προβλέπεται;” Αυτά είναι νόμιμα ερευνητικά ερωτήματα και τα ευρήματα μπορεί να είναι ενημερωτικά - αλλά δεν αποτελούν στοιχεία ότι η παρέμβαση λειτουργεί.
Μια μελέτη σκοπιμότητας με πέντε συμμετέχοντες που δείχνει ότι το άγχος μειώθηκε σε διάστημα μιας εβδομάδας σας λέει ότι μια εβδομάδα εξάσκησης είναι εφικτή. Δεν σας λέει ότι το VR προκάλεσε την αλλαγή. Άλλα πράγματα θα μπορούσαν να την έχουν προκαλέσει - επιπτώσεις εξάσκησης, προσδοκία, η προσοχή του ερευνητή, παλινδρόμηση προς τον μέσο όρο.
Όταν βλέπετε μια πριν-μετά μελέτη VR με μικρό δείγμα και ευνοϊκά αποτελέσματα, ρωτήστε: “είναι αυτό μια πιλοτική που μου λέει ότι η ιδέα αξίζει μια μεγαλύτερη μελέτη, ή παρουσιάζεται ως απόδειξη επίδρασης;” Το πρώτο είναι χρήσιμο. Το δεύτερο θα ήταν υπερβολικός ισχυρισμός.
Ρωτήστε τίμια για τη γενίκευση
Οι περισσότερες μελέτες VR μετρούν αποκρίσεις μέσα στο εικονικό περιβάλλον. Λιγότερες μετρούν αν τα κέρδη μεταφέρονται σε καταστάσεις του πραγματικού κόσμου. Και ωστόσο αυτό που συνήθως θέλουν οι πελάτες είναι αλλαγή στην πραγματική ζωή, όχι σε ένα εικονικό δωμάτιο.
Ερωτήσεις που πρέπει να κρατάτε:
- Μέτρησε η μελέτη οτιδήποτε εκτός του πλαισίου VR;
- Υπήρχαν μετρήσεις παρακολούθησης μετά τη λήξη των συνεδριών VR;
- Ανέφεραν οι συμμετέχοντες αλλαγές στις καθημερινές τους εμπειρίες ομιλίας;
Αν τίποτα από αυτά δεν είναι παρόν, η μελέτη δεν μπορεί να σας πει πολλά για τη μεταφορά στον πραγματικό κόσμο. Αυτό δεν είναι ελάττωμα - είναι ένας περιορισμός εμβέλειας. Έχει όμως σημασία όταν αποφασίζετε τι υποστηρίζει μια μελέτη.
Ελέγξτε ποιος χρηματοδότησε τη μελέτη
Οι δηλώσεις Χρηματοδότησης και Συγκρούσεων Συμφερόντων αξίζει να διαβαστούν. Η ανεξάρτητη χρηματοδότηση από ερευνητικά συμβούλια, πανεπιστήμια ή κυβερνητικούς φορείς είναι διαφορετική από τη χρηματοδότηση της βιομηχανίας ή μια μελέτη που διεξάγεται από μια εταιρεία πάνω στο δικό της προϊόν.
Κανένας τύπος χρηματοδότησης δεν ακυρώνει αυτόματα μια μελέτη. Αλλά το να γνωρίζετε ποιος πλήρωσε για αυτήν και ποιος έχει οικονομικό όφελος στα αποτελέσματά της σας βοηθά να ζυγίσετε τα ευρήματα. Μια μελέτη για εικονικά ακροατήρια χρηματοδοτούμενη από ερευνητικό συμβούλιο φέρει διαφορετικό βάρος από μια μελέτη για ένα συγκεκριμένο προϊόν VR που διεξάγεται από την εταιρεία αυτού του προϊόντος.
Μια σύντομη λίστα ελέγχου
Αν μια μελέτη λογοθεραπείας VR φτάσει στο γραφείο σας, αυτές οι έξι ερωτήσεις θα σας οδηγήσουν στο μεγαλύτερο μέρος της διαδρομής:
Η λίστα ελέγχου 6 ερωτήσεων
Διαβάζοντας μια μελέτη λογοθεραπείας VR με κριτικό μάτι
- Ποιοι μελετήθηκαν; Μέγεθος δείγματος και πληθυσμός. 5 = πιλοτική, 15 = μικρή, 50+ = γενικεύσιμη.
- Ποιος ήταν ο σχεδιασμός; Εντός / μεταξύ / πριν-μετά / RCT. Ποιες εναλλακτικές αποκλείει;
- Τι μετρήθηκε; Αυτο-αναφορά, συμπεριφορά, φυσιολογία, ακουστική. Πολλαπλά μέτρα = ισχυρότερο.
- Πόσο μεγάλη είναι η επίδραση; Cohen's d, r ή ήτα τετράγωνο - όχι μόνο η p-τιμή.
- Τι επισήμαναν οι συγγραφείς; Διαβάστε την ενότητα περιορισμών σοβαρά. Μια ισχνή είναι κι αυτή από μόνη της σήμα.
- Δοκίμασε τη μεταφορά; Μετρήθηκε οτιδήποτε εκτός του πλαισίου VR; Η μεταφορά στον πραγματικό κόσμο είναι το κλινικό ερώτημα.
Εκτυπώστε ή αποθηκεύστε αυτή την κάρτα. Καμία από αυτές τις ερωτήσεις δεν απαιτεί υπόβαθρο στατιστικής - ρωτούν αυτά που η ίδια η εργασία συνήθως απαντά σε απλή γλώσσα.
Τίποτα από αυτά δεν απαιτεί υπόβαθρο στατιστικής. Απαιτεί επιβράδυνση και τη διατύπωση των ερωτήσεων που οι συγγραφείς συνήθως απαντούν σε απλή γλώσσα κάπου στην εργασία.
Περαιτέρω ανάγνωση
- Κέντρο Στοιχείων - αξιολογημένη από ομότιμους έρευνα για το VR στη λογοθεραπεία, με περιλήψεις σε απλή γλώσσα
- Πώς αξιολογούνται οι μελέτες - το σχήμα βεβαιότητας που χρησιμοποιείται σε όλο το Κέντρο Στοιχείων
- Γλωσσάριο Κέντρου Στοιχείων - ορισμοί ερευνητικών όρων που χρησιμοποιούνται σε αυτές τις μελέτες
- Περαιτέρω ανάγνωση - βιβλία και κοινότητες που διαμορφώνουν τη σύγχρονη πρακτική
- Λίστα Ελέγχου Τεχνολογίας για Λογοθεραπευτές - ευρύτερο πλαίσιο για την αξιολόγηση νέας τεχνολογίας