Un artículo aterriza en su bandeja de entrada. Alguien de su equipo dice «mira este estudio de VR, suena útil». Quiere saber qué pensar de él antes de su próxima sesión o su próxima reunión de contratación. ¿Por dónde empezar?
Esta es una guía corta para leer con ojo crítico un estudio de logopedia con VR. No es un curso de métodos de investigación. Tampoco un manual de estadística. Solo un conjunto práctico de preguntas que un profesional del habla y del lenguaje puede tener en mente para distinguir entre un estudio que respalda una decisión clínica y un estudio que es interesante pero aún no está listo para cambiar lo que se hace.
Empiece por el quién, no el qué
Antes que cualquier otra cosa, lea la sección de Participantes. ¿Quién estuvo en este estudio?
- ¿Cuántas personas participaron? Cinco es un piloto. Quince es un estudio pequeño. Cincuenta empieza a ser un estudio cuyos hallazgos generalizan. No es una regla absoluta, pero sí una guía aproximada útil.
- ¿Qué población? ¿Estudiantes universitarios no clínicos? ¿Adultos que tartamudean reclutados en una clínica? ¿Niños y niñas con diferencias del lenguaje? La población moldea lo que pueden decirle los hallazgos.
- ¿Las personas participantes recibieron pago, fueron reclutadas o eran voluntarias? ¿Cómo se seleccionaron?
Si la población del estudio es muy distinta a las personas que ve en clínica, los hallazgos no se transfieren necesariamente. Esto no es una crítica al estudio. Es un recordatorio de que ningún estudio responde a todas las preguntas, y la evidencia debe emparejarse con la población que le importa.
Comprenda qué compararon en realidad
La siguiente sección que merece la pena leer es Diseño. ¿Qué compararon los investigadores?
- Intra-sujetos: cada participante hizo cada condición. Bueno para controlar diferencias individuales. Puede ser agotador.
- Entre-sujetos: distintas personas hicieron distintas condiciones. Necesita muestras más grandes. La asignación aleatoria es importante.
- Pre-post: las personas son medidas antes y después de una intervención. Útil pero vulnerable a los efectos de la práctica, los efectos de expectativa y la regresión a la media a menos que haya un control.
- Ensayo controlado aleatorizado: las personas son asignadas aleatoriamente a intervención o control. El diseño más fuerte para afirmaciones causales, pero más raro en el trabajo en fases tempranas.
Pregúntese: si la intervención no tuviera efecto alguno, ¿hay alguna otra razón por la que los resultados podrían haber cambiado entre condiciones? Si la respuesta es «sí, muchas razones», entonces el diseño es débil para una afirmación causal. Un buen diseño de estudio descarta la mayoría de las alternativas.
Mire qué midieron
La sección de Medidas de resultado le dice qué decidieron los investigadores que cuenta como evidencia. Esto importa porque distintas medidas cuentan distintas historias.
- Autoinforme (cuestionarios, valoraciones SUDS, valoraciones de confianza) capta la experiencia de la persona participante. Alto significado ecológico, pero sensible a expectativas y a las características de demanda.
- Comportamiento observado (turnos conversacionales, tiempo de habla) está más cerca de lo objetivo, pero aún requiere interpretación y a menudo depende de calificadores humanos.
- Fisiológico (frecuencia cardiaca, conductancia de la piel) es más difícil de fingir, pero no siempre se mapea pulcramente con la experiencia sentida.
- Acústico (frecuencia fundamental, intensidad, variabilidad) mide directamente las propiedades de la señal de voz, independientemente del autoinforme.
Los estudios de validación de VR más convincentes combinan medidas. Si la ansiedad sube en SUDS y la frecuencia cardiaca y las medidas de voz cambian de forma coherente, eso es evidencia más fuerte que cualquier medida individual sola. Cuidado con los estudios que reportan solo un tipo de medida: cuentan una historia parcial.
Compruebe si el efecto es realmente grande
Un hallazgo puede ser estadísticamente significativo y prácticamente irrelevante. Es una lección difícil. Ocurre porque la significación estadística depende del tamaño muestral: una diferencia minúscula será estadísticamente significativa si la muestra es lo bastante grande.
Lo que quiere es un tamaño del efecto. Los habituales en esta literatura:
- d de Cohen: aproximadamente, 0,2 es pequeño, 0,5 es medio, 0,8 es grande. Valores diminutos de d (< 0,1) significan que el efecto apenas existe aunque sea «significativo».
- Correlación r: 0,1 pequeño, 0,3 medio, 0,5 grande. Valores por encima de 0,7 son llamativos.
- Eta cuadrado parcial (η²ₚ): 0,01 pequeño, 0,06 medio, 0,14 grande.
Si un artículo reporta solo valores p sin tamaños del efecto, eso es una debilidad. Si reporta tamaños del efecto, compruébelos. Un valor p grande con un tamaño del efecto pequeño aún puede ser clínicamente poco interesante incluso si las estadísticas son legítimas.
Lea la sección de limitaciones (en serio)
Los autores conocen las limitaciones de sus propios estudios mejor que usted. Lea lo que dicen. Una buena sección de limitaciones le dirá:
- Qué limita el tamaño muestral
- Qué limita la población (a quién pueden no aplicarse los hallazgos)
- Qué no puede descartar el diseño
- Qué le dice o no el periodo de seguimiento sobre los efectos a largo plazo
Si la sección de limitaciones de un artículo es un único párrafo desechable, trate los hallazgos con cautela. Si los autores han pensado cuidadosamente en lo que su estudio puede y no puede decirnos, dele al artículo más peso.
Distinga viabilidad de efecto
Mucha investigación temprana de VR es sobre viabilidad en lugar de efecto. Un estudio de viabilidad pregunta: «¿se puede hacer esto en absoluto? ¿Lo tolerarán las personas participantes? ¿Funciona el equipo como se pretende?» Estas son preguntas de investigación legítimas, y los hallazgos pueden ser informativos, pero no son evidencia de que la intervención funcione.
Un estudio de viabilidad con cinco personas que muestre que la ansiedad disminuyó a lo largo de una semana le dice que una semana de práctica es viable. No le dice que la VR causara el cambio. Otras cosas podrían haberlo hecho: efectos de la práctica, expectativa, atención del investigador, regresión a la media.
Cuando vea un estudio pre-post de VR de muestra pequeña con resultados favorables, pregunte: «¿es esto un piloto que me dice que la idea merece un estudio mayor, o se está presentando como evidencia de efecto?» Lo primero es útil. Lo segundo sería una sobreafirmación.
Pregunte por la generalización con honestidad
La mayoría de los estudios de VR miden las respuestas dentro del entorno virtual. Menos miden si las ganancias se transfieren a situaciones del mundo real. Y, sin embargo, lo que los clientes suelen querer es un cambio en la vida real, no en una sala virtual.
Preguntas a tener presentes:
- ¿Midió el estudio algo fuera del contexto de VR?
- ¿Hubo mediciones de seguimiento después de que terminaran las sesiones de VR?
- ¿Reportaron las personas participantes cambios en sus experiencias cotidianas al hablar?
Si ninguna de estas está presente, el estudio no puede decirle mucho sobre la transferencia al mundo real. Eso no es un fallo: es una limitación de alcance. Pero importa cuando se decide qué respalda un estudio.
Compruebe quién financió el estudio
Las declaraciones de Financiación y Conflictos de interés merecen ser leídas. La financiación independiente de consejos de investigación, universidades u organismos gubernamentales es distinta de la financiación industrial o de un estudio realizado por una empresa sobre su propio producto.
Ningún tipo de financiación invalida automáticamente un estudio. Pero saber quién pagó por él y quién tiene un interés financiero en sus resultados ayuda a sopesar los hallazgos. Un estudio sobre públicos virtuales financiado por un consejo de investigación tiene un peso distinto al de un estudio sobre un producto VR concreto realizado por la empresa de ese producto.
Una lista corta
Si un estudio de logopedia con VR llega a su mesa, estas seis preguntas le llevarán bastante lejos:
La lista de 6 preguntas
Leer un estudio de logopedia con VR con ojo crítico
- ¿A quién se estudió? Tamaño muestral y población. 5 = piloto, 15 = pequeño, 50+ = generalizable.
- ¿Cuál fue el diseño? Intra / entre / pre-post / ECA. ¿Qué alternativas descarta?
- ¿Qué se midió? Autoinforme, conducta, fisiología, acústica. Varias medidas = más fuerte.
- ¿Qué tan grande es el efecto? d de Cohen, r o eta cuadrado, no solo el valor p.
- ¿Qué señalaron los autores? Lea la sección de limitaciones en serio. Una sección escasa ya es una señal.
- ¿Se probó la transferencia? ¿Se midió algo fuera del entorno de VR? La transferencia al mundo real es la pregunta clínica.
Imprima o guarde esta tarjeta. Ninguna de estas preguntas requiere formación en estadística: piden lo que el propio artículo suele responder en lenguaje claro.
Nada de esto requiere formación en estadística. Requiere bajar el ritmo y plantear las preguntas que los autores suelen responder en lenguaje claro en algún punto del artículo.
Lecturas complementarias
- Evidence Hub - investigación revisada por pares sobre VR en logopedia, con resúmenes en lenguaje claro
- Cómo se valoran los estudios - el esquema de certeza utilizado en todo el Evidence Hub
- Glosario del Evidence Hub - definiciones de términos de investigación utilizados en estos estudios
- Lecturas complementarias - libros y comunidades que dan forma a la práctica actual
- Lista de verificación tecnológica para logopedas - marco más amplio para evaluar nueva tecnología