avaliação dos critérios de qualidade metodológica em

VI Curso Teórico-Prático de Revisão

Sistemática e Metanálise

Módulo 3

HTANALYZE / IEP HMV, 10/2013

Todos os direitos reservados 1

Avaliação dos critérios de qualidade metodológica em estudos

observacionais

Maicon Falavigna MD, MSc, PhD

HTANALYZE Ltda 2018 – Direitos Reservados

Avaliação da qualidade dos estudos

OR = 0,86 (95% CI 0,74 – 0,98)



Módulo 3







Módulo 3




Risco de viés – vieses mais comuns em estudos

observacionais:

• Seleção

• Aferição

• Confundimento

Viés de Aferição

Instrumentos inadequados:

• Balanças descalibradas

• Questionários não validados.

Informação não confiável:

• Viés de recordação: informação no passado

• Respostas tendenciosas

• Ausência de mascaramento de avaliadores de

desfecho



Módulo 3



Viés de Seleção

Grupos não comparáveis (diferenças seletivas) por:

• Seleção inadequada de expostos e não expostos

• Seleção inadequada de casos e controles

• Diferenças nas perdas

Viés de Seleção

1000 desnutridas 2000 não desnutridas

10 mortes 20 mortes

Associação entre morte por diarréia e desnutrição

1% 1%

Conclusão: não há associação entre desnutrição e morte

por diarréia.

x

3000 crianças

1 ano200

perdas

100

perdas



Módulo 3



Viés de Seleção

Associação entre morte por diarréia e desnutrição

• Desnutridos: 200 perdas (20%)

• Não desnutridos: 100 perdas (5%)

• Como são os “perdidos”? Podem ter morrido?

• Como seria o resultado se os “perdidos”

desenvolvessem o desfecho (morte por diarréia)?

Há potencial para viés de seleção?

Viés de Seleção

1000 desnutridas 2000 não desnutridas

10 / 800 seguidas

+ 100 / 200 perdidas

20 / 1900 seguidas

+ 50 / 100 perdidas

3000 crianças

1 ano

110/1000 = 11% 70/2000 = 3,5%

Conclusão: Mortalidade por diarréia é 3 vezes maior.



Módulo 3



Confundimento

Associação espúria entre fator e desfecho devido a

presença de uma terceira variável, associada

independentemente a ambos.

1) Todo estudo observacional possui viés de confusão

2) Análise multivariada resolve parcialmente o problema

3) Única forma de eliminar o viés: randomização

Fator Desfecho

Confundidor

Confundimento

% Casos

(HCV +)

% Contr

(HCV -)OR (IC 95%)

OR Ajustado

(IC 95%)

N=227 N=370

Tatuagem 33,6 20,7 1,9 (1,3-2,8) 1,2 (0,7-2,1)

Coca IN 61.1 23.0 5.2 (3.7-7.5) 1.7 (1.0-3.1)

Álcool

diário19,1 5,8 5.1 (2.7-9.6) 1.4 (0.6-3.3)

UDI 55.9 4.6 26.3 (15.1- 45.7) 21.6 (10.8- 43.0)

Tabela. Fatores associados a co-infecção pelo HCV

Pacientes HIV +



Módulo 3



Confundimento

% Casos

(HCV +)

% Contr

(HCV -)OR (IC 95%)

OR Ajustado

(IC 95%)

N=227 N=370

Tatuagem 33,6 20,7 1,9 (1,3-2,8) 1,2 (0,7-2,1)

Coca IN 61.1 23.0 5.2 (3.7-7.5) 1.7 (1.0-3.1)

Álcool

diário19,1 5,8 5.1 (2.7-9.6) 1.4 (0.6-3.3)

UDI 55.9 4.6 26.3 (15.1- 45.7) 21.6 (10.8- 43.0)

Tabela. Fatores associados a co-infecção pelo HCV

* Análise ajustada para: Sexo, Idade, escolaridade, UDI, Tatuagem, Cocaína IN,

Consumo de álcool

Pacientes HIV +

Confundimento

Infecção

HCV

Cocaína

InalatóriaOR = 5,2 (3,7-7,5)



Módulo 3



Confundimento

Infecção

HCV

Cocaína

Inalatória

Drogas IV

OR = 1,7 (1,0-3,1)


Ensaios clínicos – Cochrane risk of bias tool

• Inadequado para estudos de intervenção



Módulo 3




Identificados:

• 46 escalas

• 51 checklists

Instrumentos:

• 47: intervenções terapêuticas

• 48: fatores de risco

• 5: estudos de incidência




Módulo 3



Newcastle-Ottawa Scale (NOS)

• Instrumento mais utilizado para a avaliação da qualidade

dos estudos observacionais

• Escalas independentes para estudos de coorte e para

estudos de caso-controle.

• Oito ítens, divididos em três dominios:

– Seleção

– Comparação

– Exposição (caso-controle) ou Desfecho (estudos de coorte)

• Quando adequado, atribui uma estrela para cada ítem

(para comparação: até duas estrelas)

• Não é um escore, mas comumente é utilizado dessa

forma

NOS – Estudos de Coorte

SELEÇÃO (4 ítens)

Representatividade adequada do grupo exposto

Seleção adequada do grupo não-exposto

Confiança na aferição da exposição

Certeza da exclusão de indivíduos com o desfecho



Módulo 3






COMPARAÇÃO (1 ítem)

Ajustamento para confundidores



Módulo 3






Desfecho (3 ítens)

Aferição adequada do desfecho

Perdas de follow-up

Seguimento longo suficiente para desenvolvimento do evento



Módulo 3




Desfecho (3 ítens)

NOS – Estudos de Caso-Controle


Definição adequada dos casos

Representatividade dos casos

Seleção dos controles

Definição dos controles



Módulo 3









Módulo 3





Ajustamento para confundidores


EXPOSIÇÃO (3 ítens)

Aferição adequada da exposição

Taxa de resposta

Mesmo método de averiguação



Módulo 3




EXPOSIÇÃO (3 ítens)

Apresentação de Resultados



Módulo 3







Módulo 3




ROBINS-I

Risk of Bias in Non-randomized Studies of

Intervention

www.riskofbias.info

http://www.riskofbias.info/



Módulo 3



ROBINS-I

• Confundimento (Bias due to confounding)

• Seleção dos participantes (Bias in selection of participants

into the study)

• Aferição da intervenção (Bias in measurement of

interventions)

• Não recebimento da intervenção atribuída (Bias due to

departure from intended intervention)

• Perdas (Bias due to missing data)

• Aferição dos desfechos (Bias in measurement of

outcomes)

• Relato seletivo dos desfechos (Bias in selection of

reported results)

Domínios de vieses Pontos-chave

ConfundimentoAvalia se há potenciais confundidores (variáveis associadas ao fator em estudo e ao desfecho) e se foi realizada análise adequada (ex: ajustamento em análise multivariável para os potenciais confundidores)

Seleção dos participantes

Amostragem dos participantes (ex: se em estudo de caso-controle os controles foram selecionados da mesma fonte do que os casos). Se intervenção coincide com o início do follow-up (lead time-bias)

Aferição da intervenção

Forma de mensuração da ocorrência da intervenção (exposição) e confiança nessa informação.

Não recebimento da intervenção atribuída

Viés de performance e contaminação entre os grupos. Avaliar se os indivíduos de um determinado grupo efetivamente receberam as intervenções para as quais foram analisados. Avaliar potenciais co-intervenções.

Perdas Percentual de perdas e características dos indivíduos com dados faltantes em comparação aos com seguimento completo

Aferição dos desfechos

Forma de mensuração da ocorrência dos desfechos e a confiança nessa informação

Relato seletivo dos desfechos

Maior probabilidade de relato dos desfechos com resultados significativos



Módulo 3



Domínios de vieses Pontos-chave

Confundimento

VIESES PRÉ-INTERVENÇÃO

Podem ser considerados distintos entre estudos observacionais e ensaios clínicos randomizados

Seleção dos participantes

Aferição da intervenção

Não recebimento da intervenção atribuída

VIESES PÓS-INTERVENÇÃO

Podem ser considerados semelhantes entre estudos observacionais e ensaios clínicos randomizados

Perdas

Aferição dos desfechos

Relato seletivo dos desfechos

ROBINS-I

Para cada domínio – risco de viés:

- Baixo: estudo é comparável a um ECR bem conduzido

- Moderado: estudo de acordo, mas não pode ser considerado

comparável a um ECR bem conduzido

- Grave: estudo possui alguns problemas importantes no domínio

- Crítico: estudo bastante problemático no domínio para fornecer

evidência útil

- Sem informação



Módulo 3



ROBINS-I

Risco de Viés Critério

Baixo risco de viés(low risk of bias)

Baixo risco de viés em todos os domínios.

Moderado risco de viés (moderate risk of bias)

Baixo ou moderado risco de viés em todos os domínios.

Grave risco de viés(serious risk of bias)

Grave risco de viés em pelo menos um domínio, mas nenhum domínio classificado como crítico.

Crítico risco de viés(critical risk of bias)

Crítico risco de viés em pelo menos um domínio

Sem informação para julgamento do risco de viés (no information on which tobase a judgement about riskof bias)

Não há indicativo de que o estudo possua grave ou crítico risco de viés e não há informação suficiente em ou mais dos domínios

ROBINS-I

Formas de apresentação

Poucas revisões sistemáticas

publicadas utilizando o

instrumento

Em geral fizeram adaptações

Kennedy. Aliment Pharmacol Ther 2016



Módulo 3



ROBINS-I


Imamura, BMJ 2015


Roux. Trop Med Int Health 2016

ROBINS-I



Módulo 3



Formas de apresentação sugerida (HTANALYZE)

Study /outcome B

ias

du

eto

con

fou

nd

ing

Bia

s in

sel

ecti

on

of

par

tici

pan

tsin

toth

est

ud

y)

Bia

s in

mea

sure

men

to

fin

terv

enti

on

s)

Bia

s d

ue

tod

epar

ture

fro

min

ten

ded

inte

rven

tio

n

Bia

s d

ue

tom

issi

ng

dat

a)

Bia

s in

mea

sure

men

to

fo

utc

om

es

Bia

s in

sel

ecti

on

of

rep

ort

edre

sult

s

Ove

rall

risk

of

Bia

s

Comments

Soares 2010(alloutcomes)

Critical Low Low Low NI Serious NI SeriousCrude data only

Smith 2002(mortality)

Low Low Low NI Low Low Low Low

Smith 2002(pain, plantar sensitivity)

Low Low Low NI Low Serious Low Serious

Lack ofblinding for outcomeassesment

ROBINS-I

Utilizando o conjunto da evidência para estudos observacionais

Maicon Falavigna MD, MSc, PhD



Módulo 3



Metanálise de E. Observacionais

Quando realizar

revisão

sistemática de

estudos

observacionais?Revisão sistemática de

Ensaios clínicos

Resposta inadequada(evidência

insuficiente)

Resposta adequada para a questão

(evidência robusta)

Revisão sistemática de estudos

observacionais

Questão de intervenção

(PICO)

Questão Revisão de ensaios clínicos Revisão de estudos observacionais

Intervenção (benefício)

É a estratégia preferencial na maioria das situações.

Pode ser realizada sequencialmente à revisão de ensaios clínicos, quando sua evidência não for robusta.

Intervenção (risco)

Pode ser utilizada inicialmente, mas é necessária judiciosa avaliação da evidência (poder dos estudos, viés de seleção e tempo de seguimento)

Geralmente possuem maior poder estatístico e população com maior representatividade. Preferencial para eventos pouco frequentes e que necessitam de maior tempo para a ocorrência.

Diagnóstico Estratégia adequada quando aaplicação de um teste diagnóstico se assemelha a uma intervenção.

Revisão sistemática de estudos de transversais e de estudos coortes são adequados para avaliar acurácia diagnóstica (sensibilidade e especificidade)

Etiologia - Estratégia preferencial. Estudos de coorte são mais adequados para desfechos frequentes; estudos de caso-controle são adequados para a avaliação de eventos raros.

Prognóstico - Estratégia preferencial. Estudos de coorte geralmente para questões prognósticas.

Frequência (prevalência e incidência)

- Estratégia preferencial.



Módulo 3



Questão Revisão de ensaios clínicos Revisão de estudos observacionais

Intervenção (benefício)

É a estratégia preferencial na maioria das situações.

Pode ser realizada sequencialmente à revisão de ensaios clínicos, quando sua evidência não for robusta.

Intervenção (risco)

Pode ser utilizada inicialmente, mas é necessária judiciosa avaliação da evidência (poder dos estudos, viés de seleção e tempo de seguimento)

Geralmente possuem maior poder estatístico e população com maior representatividade. Preferencial para eventos pouco frequentes e que necessitam de maior tempo para a ocorrência.

Diagnóstico Estratégia adequada quando aaplicação de um teste diagnóstico se assemelha a uma intervenção.

Revisão sistemática de estudos de transversais e de estudos coortes são adequados para avaliar acurácia diagnóstica (sensibilidade e especificidade)

Etiologia - Estratégia preferencial. Estudos de coorte são mais adequados para desfechos frequentes; estudos de caso-controle são adequados para a avaliação de eventos raros.

Prognóstico - Estratégia preferencial. Estudos de coorte geralmente para questões prognósticas.

Frequência (prevalência e incidência)

- Estratégia preferencial.

Metanálise de E. Observacionais

Modelagem preferencial com dados ajustados

Log e EP da medida sumária, não

utilizando taxa bruta de eventos



Módulo 3



100%

0%

Fatores que

aumentam a

confiança nos

resultados

Fatores que

diminuem a

confiança nos

resultados

Alto

Moderado

O

Baixo

OO

Muito

Baixo

OOO

Confi

ança

na

esti

mat

iva

100%

0%

Alto

Moderado

O

Baixo

OO

Muito

Baixo

OOO

Confi

ança

na

esti

mat

iva



Módulo 3



100%

0%

Alto

Moderado

O

Baixo

OO

Muito

Baixo

OOO

Confi

ança

na

esti

mat

iva

Magnitude de efeito grande (RR > 2 ou < 0,5)

Gradiente dose-resposta

Presença de potenciais confundidores

residuais subestimanto a magnitude do efeito

GRADE - UPGRADE

Uso principal em evidência de estudos observacionais

Em certas circunstâncias, utilizado em ECRs.



Módulo 3



Tamanho do efeito

Em geral – efeitos dramáticos. Ex:

- Todo mundo costumava ir mal

- Agora quase todo mundo vai bem

- Anticoagulação para válvula cardíaca mecânica

- Insulina para cetoacidose

- Prótese de quadril para osteoatrite grave...

Pontos de corte sugeridos

• Aumenta 1 nível: RR < 0,5 ou RR > 2

• Aumenta 2 níveis: RR < 0,2 ou RR > 5



Módulo 3



Tamanho do efeito

Metanálise de estudos observacionais:

• Uso de capacetes por ciclistas reduzem o risco de trauma

crânio encefálico

OR: 0,31; IC95% 0,25 a 0,38

Metanálise de estudos observacionais :

• Profilaxia com varfarin reduz o risco de tromboembolismo

em pacientes com valva cardíaca protética

RR 0,17; IC95% 0,13 a 0,24

RR 0.31(0.25 to 0.38)



Módulo 3



Tamanho do efeito

Obs: não se deve realizar upgrade de dados imprecisos (as vezes pode estar considerando não penalizar por pequenonúmero de eventos).Não se aconselhar realiza upgrade de evidência de ECRs com alto risco de viés (tamanho de efeito pode ser devido ao viés)

RR 4.00(2.14 to 7.47)

Tamanho do efeito



Módulo 3




A confiança é maior caso maiores efeitos sejam

observados com maiores níveis de exposição

Anticoagulação com varfarin aumenta risco de

sangramento:

• Estudos observacionais demonstraram que pacientes

recebendo maiores dosagens de varfarin, tem níveis mais

elevados de INR, possuindo também maior incidência de

sangramento.


Crianças com leucemia linfoblástica

Risco de neoplasias do SNC 15 anos após

irradiação cerebral:

• Sem radiação: 1% (95% CI 0% to 2.1%)

• 12 Gy: 1.6% (95% CI 0% to 3.4%)

• 18 Gy: 3.3% (95% CI 0.9% to 5.6%)



Módulo 3



Presença de vieses de confusão em

direção oposta

Vieses que se ajustados reforçariam os achados:

•Vão em direção contrária aos achados, aproximando a

associação da nulidade do efeito.

▪ O agente hipoglicemiante Fenformina causa acidose

láctica em indivíduos com função renal normal

▪ Devido a esse fato, suspeitava-se que a metformina

causasse também acidose láctica. Potencial viés de

aferição: médicos ficariam mais atentos aos efeitos

adversos causados por essa droga

▪ Grandes estudos observacionais não mostraram

associação.

Presença de vieses conservadores



Módulo 3



ROBINS-I e GRADE

Se usado o ROBINS-I adequadamente, a evidência começa

como alto, podendo cair um, dois ou três níveis devido a

risco de viés.

• Ainda não foi identificado nenhum exemplo onde seria

adequado não reduzir por risco de viés

• Tende a ser semelhante o resultado da abordagem prévia

Risco de Viés Impacto no GRADE

Baixo risco de viés(low risk of bias)

Mantém em Alto

Moderado risco de viés (moderate risk of bias)

Reduz um nível (moderado)

Grave risco de viés(serious risk of bias)

Reduz dois níveis (baixo)- Maioria das situações

Crítico risco de viés(critical risk of bias)

Reduz três níveis (muito baixo)

avaliação dos critérios de qualidade metodológica em

Documents