Cai-lhe um artigo na caixa de entrada. Alguém na sua equipa diz «vê este estudo de RV, parece útil». Quer perceber o que pensar dele antes da próxima sessão ou da próxima reunião de comissionamento. Por onde começar?

Este é um pequeno guia para ler um estudo de terapia da fala em RV com olhar crítico. Não é um curso de métodos de investigação. Não é uma introdução à estatística. É apenas um conjunto prático de perguntas que um profissional da fala e da linguagem pode ter em mente para distinguir um estudo que apoia uma decisão clínica de um estudo que é interessante mas não está pronto para mudar o que faz.

Comece por quem, não pelo quê

Antes de tudo o resto, leia a secção Participantes. Quem participou neste estudo?

Se a população do estudo for muito diferente das pessoas que vê na clínica, os achados não se transferem necessariamente. Não é uma crítica ao estudo. É um lembrete de que nenhum estudo isolado responde a todas as perguntas, e a evidência precisa de ser emparelhada com a população que lhe interessa.

Perceba o que efetivamente compararam

A secção seguinte que vale a pena ler é Desenho. O que é que os investigadores compararam?

Pergunte a si próprio: se a intervenção não tivesse efeito nenhum, haveria alguma outra razão para os resultados poderem ter mudado entre condições? Se a resposta for «sim, muitas razões», então o desenho é fraco para uma reivindicação causal. Um bom desenho de estudo exclui a maior parte das alternativas.

Olhe para o que mediram

A secção Medidas de resultado diz-lhe o que os investigadores decidiram que contava como evidência. Isto importa porque medidas diferentes contam histórias diferentes.

Os estudos de validação de RV mais convincentes combinam medidas. Se a ansiedade sobe na SUDS e a frequência cardíaca e as medidas vocais mudam consistentemente, isso é evidência mais forte do que qualquer medida isolada. Atenção a estudos que reportam apenas um tipo de medida - contam uma história parcial.

Verifique se o efeito é, de facto, grande

Um achado pode ser estatisticamente significativo e praticamente irrelevante. Esta é uma lição difícil. Acontece porque a significância estatística depende do tamanho da amostra: uma diferença minúscula será estatisticamente significativa se a amostra for suficientemente grande.

O que quer é uma magnitude do efeito (effect size). As mais comuns nesta literatura:

Se um artigo reporta apenas valores p sem magnitudes do efeito, isso é uma fraqueza. Se reporta magnitudes do efeito, verifique-as. Um valor p grande com uma magnitude do efeito pequena pode continuar a ser clinicamente desinteressante, mesmo que as estatísticas sejam legítimas.

Leia a secção de limitações (a sério)

Os autores conhecem melhor as limitações dos seus próprios estudos do que você. Leia o que eles dizem. Uma boa secção de limitações dir-lhe-á:

Se a secção de limitações de um artigo for um único parágrafo descartável, trate os achados com cautela. Se os autores pensaram cuidadosamente sobre o que o seu estudo pode e não pode dizer-nos, dê mais peso ao artigo.

Distinga viabilidade de efeito

Muita da investigação inicial em RV é sobre viabilidade e não sobre efeito. Um estudo de viabilidade pergunta: «Pode isto ser feito? Os participantes vão tolerá-lo? O equipamento funciona como pretendido?» Estas são perguntas legítimas de investigação, e os achados podem ser informativos - mas não são evidência de que a intervenção funciona.

Um estudo de viabilidade com cinco participantes a mostrar que a ansiedade diminuiu ao longo de uma semana diz-lhe que uma semana de prática é viável. Não lhe diz que a RV causou a mudança. Outras coisas poderiam ter causado - efeitos de prática, expectativa, atenção do investigador, regressão à média.

Quando vir um estudo pré-pós de RV de pequena amostra com resultados favoráveis, pergunte: «é um piloto a dizer-me que a ideia merece um estudo maior, ou está a ser apresentado como evidência de efeito?» O primeiro é útil. O segundo seria reivindicação excessiva.

Pergunte sobre a generalização honestamente

A maioria dos estudos de RV mede respostas dentro do ambiente virtual. Menos medem se os ganhos se transferem para situações do mundo real. E, no entanto, o que os clientes geralmente querem é mudança na vida real, não numa sala virtual.

Perguntas a ter em mente:

Se nenhuma destas estiver presente, o estudo não pode dizer-lhe muito sobre a transferência para o mundo real. Não é uma falha - é uma limitação de âmbito. Mas importa quando está a decidir o que um estudo apoia.

Verifique quem financiou o estudo

As declarações de Financiamento e Conflitos de Interesse valem a pena ler. Financiamento independente de conselhos de investigação, universidades ou organismos governamentais é diferente de financiamento da indústria ou de um estudo realizado por uma empresa sobre o seu próprio produto.

Nenhum tipo de financiamento invalida automaticamente um estudo. Mas saber quem o pagou e quem tem participação financeira nos seus resultados ajuda a pesar os achados. Um estudo sobre públicos virtuais financiado por um conselho de investigação tem peso diferente de um estudo sobre um produto de RV específico realizado pela empresa desse produto.

Uma checklist curta

Se um estudo de terapia da fala em RV chegar à sua secretária, estas seis perguntas levam-no a quase todo o lado:

A checklist de 6 perguntas

Ler um estudo de terapia da fala em RV com olhar crítico

1Quem foi estudado?Tamanho da amostra e população.5 = piloto · 15 = pequeno ·50+ = generalizável.2Qual foi o desenho?Intra / entre / pré-pós /ECA. Que alternativasexclui?3O que foi medido?Autorrelato, comportamento,fisiologia, acústica.Várias medidas = mais forte.4Qual a magnitude do efeito?d de Cohen, r ou eta quadrado- não apenas o valor p.5O que sinalizaram os autores?Leia a secção de limitaçõesa sério. Uma magra é, em si,um sinal.6Testou a transferência?Foi medido algo forado contexto de RV?É essa a pergunta clínica.Seis perguntas. Sem formação em estatística.O próprio artigo responde a cada uma em linguagem clara algures.Abrande o suficiente para encontrar a resposta a todas as seis.
  1. Quem foi estudado? Tamanho da amostra e população. 5 = piloto, 15 = pequeno, 50+ = generalizável.
  2. Qual foi o desenho? Intra / entre / pré-pós / ECA. Que alternativas exclui?
  3. O que foi medido? Autorrelato, comportamento, fisiologia, acústica. Várias medidas = mais forte.
  4. Qual a magnitude do efeito? d de Cohen, r ou eta quadrado - não apenas o valor p.
  5. O que sinalizaram os autores? Leia a secção de limitações a sério. Uma magra é, em si, um sinal.
  6. Testou a transferência? Foi medido algo fora do contexto de RV? A transferência para o mundo real é a pergunta clínica.

Imprima ou guarde este cartão. Nenhuma destas perguntas exige formação em estatística - pedem aquilo a que o próprio artigo costuma responder em linguagem clara.

Nada disto exige formação em estatística. Exige abrandar e fazer as perguntas a que os autores normalmente respondem em linguagem clara algures no artigo.

Leitura adicional