Πώς αξιολογούνται οι μελέτες

Τρέχουσα κατανομή

Τι σημαίνει κάθε αξιολόγηση

Υψηλή βεβαιότητα

Πολύ μεγάλη βεβαιότητα ότι η πραγματική επίδραση βρίσκεται κοντά στην εκτίμηση. Αναμένεται για ευρήματα όπου πολλαπλές υψηλής ποιότητας τυχαιοποιημένες ελεγχόμενες δοκιμές συγκλίνουν, σε διαφορετικά κέντρα και ερευνητικές ομάδες, με ελάχιστο κίνδυνο μεροληψίας, ασυνέπειας ή έμμεσης απόδειξης. Μια μεμονωμένη μελέτη σπάνια φτάνει στην Υψηλή από μόνη της - η εξαίρεση είναι μια μεγάλη, πολυκεντρική δοκιμή με χαμηλό κίνδυνο μεροληψίας· διαφορετικά, η Υψηλή αντικατοπτρίζει ένα σώμα τεκμηρίωσης, όχι μία εργασία.

Μέτρια βεβαιότητα

Εύλογη βεβαιότητα στην εκτιμώμενη επίδραση. Η πραγματική επίδραση είναι πιθανόν κοντά αλλά θα μπορούσε εύλογα να διαφέρει. Τυπική για καλά σχεδιασμένες μεμονωμένες RCTs με επαρκή δείγματα και για συστηματικές ανασκοπήσεις ετερογενών πρωτογενών μελετών.

Χαμηλή βεβαιότητα

Περιορισμένη βεβαιότητα. Η πραγματική επίδραση μπορεί να διαφέρει ουσιαστικά από την εκτίμηση. Συνηθισμένη για RCTs μικρού δείγματος, ημι-πειραματικούς σχεδιασμούς και ποιοτικές μελέτες, οι οποίες όλες συνεισφέρουν πραγματική γνώση, αλλά δεν μπορούν από μόνες τους να στηρίξουν σταθερά συμπεράσματα.

Πολύ χαμηλή βεβαιότητα

Πολύ μικρή βεβαιότητα σε οποιαδήποτε εκτίμηση επίδρασης. Μελέτες περιπτώσεων, μικρά πιλοτικά και αφηγηματικές ή εννοιολογικές εργασίες βρίσκονται εδώ. Αυτές οι μελέτες είναι ωστόσο πολύτιμες. Καθιερώνουν τη σκοπιμότητα, αναδεικνύουν ερωτήματα και θεμελιώνουν μεταγενέστερη ελεγχόμενη εργασία, αλλά δεν αποτελούν τεκμηρίωση επίδρασης.

Από πού προέρχονται οι αξιολογήσεις Υψηλής

Από τις 111 μελέτες που βρίσκονται επί του παρόντος στο hub, 9 (8%) αξιολογούνται ως Υψηλή. Η Υψηλή βεβαιότητα σχεδόν πάντα αντικατοπτρίζει ένα συγκλίνον σώμα τεκμηρίωσης παρά μια μεμονωμένη εργασία, γι' αυτό οι περισσότερες από αυτές είναι συστηματικές ανασκοπήσεις και μετα-αναλύσεις που συγκεντρώνουν ευρήματα από πολλές μελέτες. Μια μεμονωμένη πρωτογενής μελέτη φτάνει στην Υψηλή μόνο ως σπάνια εξαίρεση, μια μεγάλη, πολυκεντρική δοκιμή με χαμηλό κίνδυνο συστηματικού σφάλματος. Διαφορετικά, το ανώτερο που κερδίζει εδώ μια αυτοτελής μελέτη είναι η Μέτρια.

Γι' αυτό η κατανομή βρίσκεται εκεί που βρίσκεται: 8% Υψηλή, 36% Μέτρια, 35% Χαμηλή και 21% Πολύ Χαμηλή. Η VR για εργασίες ομιλίας, φωνής και επικοινωνίας είναι ακόμη ένα νεαρό ερευνητικό πεδίο, οπότε το μεγαλύτερο μέρος της τεκμηρίωσης αποτελείται από μικρές, πρώιμες, μονοκεντρικές μελέτες, ακριβώς αυτό που θα περίμενε κανείς και ακριβώς αυτό πάνω στο οποίο χτίζονται οι μεταγενέστερες ελεγχόμενες δοκιμές και ανασκοπήσεις. Μια ειλικρινής κατανομή σαν αυτή είναι πιο χρήσιμη και πιο αξιόπιστη από διογκωμένες αξιολογήσεις που θα ήταν πιο εύκολες στο μάτι.

Τι χρειάζεται για να φτάσει κάτι στην Υψηλή

Για ένα συγκεκριμένο κλινικό ερώτημα, μια αξιολόγηση Υψηλής χρειάζεται ένα συγκλίνον σώμα υψηλής ποιότητας τεκμηρίωσης, συνήθως:

• Μια ανασκόπηση Cochrane ή ισοδύναμη συστηματική ανασκόπηση πολλαπλών υψηλής ποιότητας RCTs σε μια περιοχή εντός πεδίου (VR για τραυλισμό, εργασία φωνής, αφασία, κατάποση, κοινωνική επικοινωνία) με συνεπείς επιδράσεις σε όλες τις μελέτες.
• Μετα-αναλύσεις που συνθέτουν πολλές προ-καταχωρημένες RCTs με επαρκή μεγέθη δείγματος, ελάχιστη ετερογένεια και ευρήματα που συγκλίνουν σε κατεύθυνση και μέγεθος.
• Πολλαπλές μεγάλες πολυκεντρικές RCTs (n > 200 ανά σκέλος) που αναπαράγουν μια συγκεκριμένη επίδραση της εξάσκησης βασισμένης σε VR σε μια επικοινωνιακή έκβαση που έχει σημασία για τους πελάτες.

Για τις περισσότερες συγκεκριμένες κλινικές αξιώσεις στη λογοθεραπεία με VR, αυτό το βάθος τεκμηρίωσης εξακολουθεί να οικοδομείται. Ένα ερώτημα που συγκλίνει σταθερά είναι το αν τα εικονικά κοινά παράγουν επικοινωνιακές αποκρίσεις συγκρίσιμες με τα πραγματικά, καθώς νέες εργασίες αναπαράγουν προηγούμενα ευρήματα. Μια επίσημη συστηματική ανασκόπηση αυτού του ερωτήματος θα ήταν ευπρόσδεκτη.

Πώς αποφασίζονται οι αξιολογήσεις

Η αξιολόγηση κάθε μελέτης ανατίθεται συντακτικά από τη withVR, με βάση τον σχεδιασμό της εργασίας (RCT / ημι-πειραματική / περίπτωση / ανασκόπηση), το μέγεθος δείγματος, τον πληθυσμό και τους ίδιους τους περιορισμούς που δηλώνει η εργασία. Μια σύντομη αιτιολόγηση συνοδεύει κάθε αξιολόγηση, ορατή στη σελίδα μελέτης με ανάπτυξη του "Πώς αξιολογήθηκε αυτό".

Οι αξιολογήσεις αντικατοπτρίζουν συντακτική κρίση, όχι μια επίσημη διαδικασία αξιολόγησης GRADE του τύπου που χρησιμοποιείται στις ανασκοπήσεις Cochrane. Το σχήμα είναι σκόπιμα απλοποιημένο. Τέσσερα επίπεδα αρκούν για να σηματοδοτήσουν με πόση βεβαιότητα οι κλινικοί και οι ερευνητές πρέπει να εφαρμόσουν ένα εύρημα, χωρίς να υπονοούν μια ακρίβεια που η συντακτική διαδικασία δεν διαθέτει.

Διορθώσεις και προτάσεις είναι ευπρόσδεκτες

Αν πιστεύετε ότι μια μελέτη έχει αξιολογηθεί λανθασμένα, ή ότι έχει παραλειφθεί μια μελέτη που δικαιολογεί συμπερίληψη, στείλτε ένα μήνυμα στο hello@withvr.app. Το σχήμα στοχεύει στο να είναι διαφανές και διορθώσιμο.

Περαιτέρω ανάγνωση

• GRADE working group η διεθνής συνεργασία που ανέπτυξε τη μεθοδολογία στην οποία βασίζεται αυτό το σχήμα.
• GRADE: an emerging consensus on rating quality of evidence (Guyatt et al., BMJ 2008) η θεμελιώδης εργασία.
• Γλωσσάρι Evidence Hub ορισμοί συναφών όρων (επίπεδα τεκμηρίωσης, κίνδυνος μεροληψίας, PEDro, PICO).