elaboración de recomendaciones en gpc. sistema grade 2

GRADE en el programa nacional de Guías de Práctica Clínica

Pablo Alonso, Centro Cochrane Iberoamericano, IBB Sant Pau.

¿De qué hablaré?¿De qué hablaré?

• Las experiencias GRADE en el ámbito internacional

• Las experiencias GRADE en nuestro Programa

• Necesidad de GRADE en el Programa

Nota: como conflicto de interés, soy miembro del grupo GRADE.

Amplia aceptación internacionalAmplia aceptación internacional

Serie para usuarios en el BMJ (2008). Versión disponible en castellano.

Serie para elaboradores de GPC en el JCE (2011).

Contexto internacionalContexto internacional

• NICE (National Institute for Health and Clinical Excellence)

• SIGN (Scottish Intercollegiate Guidelines Network): sistema propio

• Colaboración Cochrane

NICENICE

• NICE utilizaba el sistema SIGN• Piloto inicial con tres guías • Introducción GRADE desde 2007 • Utiliza fundamentalmente para evaluar la calidad de la

evidencia• Todavía no en preguntas diagnósticas

NICENICE• Necesidad de formación y requirió tiempo para cambiar a un

modelo más transparente y estructurado• No más tiempo que el sistema narrativo habitual que

usaban• Evaluación interna:

– Experiencia positiva para metodólogos y miembros de los grupos

– Transparente, estructurado y sistemático– Tablas fáciles de interpretar (tras recibir formación) y más

útiles que el texto.• Identifican áreas de mejora (Imprecisión, network

metanálisis, estudios no aleatorizados/Dcos)

indirectness

NICE: cáncer colorectalNICE: cáncer colorectal

Pantallazo SIGN

Metodología SIGNMetodología SIGN

BMJ 2001; 323:334-337

SIGN y GRADESIGN y GRADE• Similitudes

– Priorizan el uso de revisiones sistemáticas– Formato PICO– Diferencian entre calidad y fuerza

• Diferencias• Graduación importancia de variables de resultado• Evaluación de la calidad por variable de resultado• En GRADE diseño no determina completamente la

calidad

• Juicios secuenciales, estructurados y explícitos

Systematic review

Guideline development

PICO

OutcomeOutcomeOutcomeOutcome

Formulate

question

Rate

importa

nce

Critical

Important

Critical

Not important

Create

evidence

profile with

GRADEpro

Summary of findings & estimate of effect for each outcome

Grade overall quality of

evidence across outcomes based

on lowest quality of critical outcomes

Randomization increases initial

quality

1. Risk of bias2. Inconsisten

cy3. Indirectnes

s4. Imprecision5. Publication

bias

Gra

de d

own

Gra

de u

p 1. Large effect

2. Dose response

3. Confounders

Rate quality

of evidence

for each

outcomeSelect

outcomes

Very low

LowModerate

High

Formulate recommendations:•For or against (direction)•Strong or conditional/weak (strength)

By considering:Quality of evidenceBalance benefits/harmsValues and preferences

Revise if necessary by considering:Resource use (cost)

• “We recommend using…”• “We suggest using…”• “We recommend against using…”• “We suggest against using…”

Outcomes

across

studies

Experiencia de SIGN con Experiencia de SIGN con GRADEGRADE

• Dos guías en marcha • Actualizaciones (osteoporosis y cáncer mama)• Después todas con GRADE

• Proceso evaluado internamente• Dificultad intrínseca de cambiar teniendo sistema

previo• Al evaluar por variable de resultado hay que

realizar RS propias (más tiempo!)• Dificultades graduando las variables de resultado

Experiencia de SIGN con Experiencia de SIGN con GRADEGRADE

• Coexistencia de dos sistemas potencial pero inevitable problema

• A menudo demasiado complejo para los clínicos (ellos se implican a todos los niveles)

• Algunas dificultades con GRADEpro pero piensan que es necesario

• Van a utilizar RevMan para sus RS• GRADE incluye factores similares a SIGN pero de

forma más estructurada y explícita

Colaboración CochraneColaboración Cochrane

• Organización dedicada a la elaboración y difusión de revisiones sistemáticas (RS)– Las RS son un ingrediente fundamental de las guías– Adoptó GRADE para evaluar la calidad de la

evidencia

• Incluye tabla de síntesis GRADE (Summary of Findings)

• Sinergia clara con los elaboradores de guías

heparin compared to no heparin for patients with cancer who have no other therapeutic or prophylactic indication for anticoagulation

Patient or population: patients with cancer who have no other therapeutic or prophylactic indication for anticoagulationSettings: outpatientIntervention: heparinComparison: no heparinOutcomes Illustrative comparative risks* (95% CI) Relative effect

(95% CI)No of Participants(studies)

Quality of the evidence(GRADE)

Comments

Assumed risk Corresponding risk

No heparin HeparinMortalityFollow-up: 12 months

Medium risk population RR 0.93 (0.85 to 1.02)

2531(8 studies)

⊕⊕⊕⊝moderate1,2,3649 per 1000 604 per 1000

(552 to 662)Symptomatic VTEFollow-up: 12 months


2264(7 studies)

⊕⊕⊕⊕high129 per 1000 16 per 1000

(11 to 24)

Major bleedingFollow-up: 12 months


2843(9 studies)

⊕⊕⊕⊝moderate1,47 per 1000 9 per 1000

(4 to 20)Minor bleedingFollow-up: 12 weeks


2345(7 studies)

⊕⊕⊕⊝moderate1,427 per 1000 28 per 1000

(20 to 39)Health related quality of lifethe Uniscale and the Symptom Distress Scale (SDS); Better indicated by lower valuesFollow-up: 12 months

See comment See comment Not estimable5 138(1 study)

⊕⊕⊝⊝low6

*The basis for the assumed risk (e.g. the median control group risk across studies) is provided in footnotes. The corresponding risk (and its 95% confidence interval) is based on the assumed risk in the comparison group and the relative effect of the intervention (and its 95% CI).CI: Confidence interval; RR: Risk ratio;

GRADE Working Group grades of evidenceHigh quality: Further research is very unlikely to change our confidence in the estimate of effect. Moderate quality: Further research is likely to have an important impact on our confidence in the estimate of effect and may change the estimate.Low quality: Further research is very likely to have an important impact on our confidence in the estimate of effect and is likely to change the estimate.Very low quality: We are very uncertain about the estimate.

1 Vast majority of studies had allocation concealment , and used blinded outcome and adjudication. We did not downgrade although there was some concern about lack of blinding in some studies; the overall risk of bias was felt to be very low.2 There is moderate heterogeneity among studies included in the analysis of death at 12 months (I2=41%). The subgroup analysis for mortality at 12 months was statistically significant and suggested survival benefit in patients with SCLC but not in patients with advanced cancer. Overall we decided to downgrade by one level when considering these issues along with imprecision.3 CI interval includes effects suggesting benefit as well as no benefit. 4 CI includes possibility of both harms or benefits.5 The scores for the 2 scales were similar for the 2 study groups, both at baseline and at follow-up6 High risk of bias and only 138 patients enrolled.

GRADEproGRADEpro

• Software de acceso libre• Permite elaborar tablas resumen

• Para las GPC: Evidence Profile• Para las RS: Tabla Summary of Findings

• Puede importar automáticamente la información de RS Cochrane (variables y resultados)

• Permite optimizar la actualización

heparin compared to no heparin for patients with cancer who have no other therapeutic or prophylactic indication for anticoagulation

Patient or population: patients with cancer who have no other therapeutic or prophylactic indication for anticoagulationSettings: outpatientIntervention: heparinComparison: no heparinOutcomes Illustrative comparative risks* (95% CI) Relative effect

(95% CI)No of Participants(studies)

Quality of the evidence(GRADE)

Comments

Assumed risk Corresponding risk

No heparin HeparinMortalityFollow-up: 12 months


2531(8 studies)

⊕⊕⊕⊝moderate1,2,3649 per 1000 604 per 1000

(552 to 662)Symptomatic VTEFollow-up: 12 months


2264(7 studies)

⊕⊕⊕⊕high129 per 1000 16 per 1000

(11 to 24)

Major bleedingFollow-up: 12 months


2843(9 studies)

⊕⊕⊕⊝moderate1,47 per 1000 9 per 1000

(4 to 20)Minor bleedingFollow-up: 12 weeks


2345(7 studies)

⊕⊕⊕⊝moderate1,427 per 1000 28 per 1000

(20 to 39)Health related quality of lifethe Uniscale and the Symptom Distress Scale (SDS); Better indicated by lower valuesFollow-up: 12 months

See comment See comment Not estimable5 138(1 study)

⊕⊕⊝⊝low6

*The basis for the assumed risk (e.g. the median control group risk across studies) is provided in footnotes. The corresponding risk (and its 95% confidence interval) is based on the assumed risk in the comparison group and the relative effect of the intervention (and its 95% CI).CI: Confidence interval; RR: Risk ratio;

GRADE Working Group grades of evidenceHigh quality: Further research is very unlikely to change our confidence in the estimate of effect. Moderate quality: Further research is likely to have an important impact on our confidence in the estimate of effect and may change the estimate.Low quality: Further research is very likely to have an important impact on our confidence in the estimate of effect and is likely to change the estimate.Very low quality: We are very uncertain about the estimate.

1 Vast majority of studies had allocation concealment , and used blinded outcome and adjudication. We did not downgrade although there was some concern about lack of blinding in some studies; the overall risk of bias was felt to be very low.2 There is moderate heterogeneity among studies included in the analysis of death at 12 months (I2=41%). The subgroup analysis for mortality at 12 months was statistically significant and suggested survival benefit in patients with SCLC but not in patients with advanced cancer. Overall we decided to downgrade by one level when considering these issues along with imprecision.3 CI interval includes effects suggesting benefit as well as no benefit. 4 CI includes possibility of both harms or benefits.5 The scores for the 2 scales were similar for the 2 study groups, both at baseline and at follow-up6 High risk of bias and only 138 patients enrolled.

Evidence profileEvidence profileQuality assessment No of patients Effect

Quality

ImportanceNo. of studi

esDesign Limitations

Inconsistency

Indirectness Imprecision Other Cryotherapy LEEPRelative(95% CI)

Absolute effect at 1 year

(95% CI)

Recurrence CIN2–3 (follow-up 12 months randomized trials; 3–85 months observational studies)

1 randomized trials

no serious limitations

no serious inconsistency

no serious indirectness

seriousa,b none12/161 (7.5%)

4/168 (2.4%)

OR 3.3 (1.04 to 10.46)

51 more per 1000(from 1 to 179 more)

CRITICAL

3 observational studies




no serious imprecision

none2227/14 387

(15.5%)

319/7454(4.3%) OR 2.66

(1.89 to 3.75)

— CRITICAL

2.4%c 37 more per 1000(from 20 to 60 more)

Cervical cancer (follow-up 12 months randomized trials; 3–85 months to 26 years observational studies)

1 randomized trials




very seriousa none 0/200(0%)

0/200(0%)

— 0 fewer per 1000d CRITICAL

2 observational studies





none 2/679(0.3%)

3/3350(0.1%)

— 0 fewer per 1000e CRITICAL

Treatment unacceptable to women (follow-up 2 weeks; acceptability question)

1 randomized trials




very seriousf none15/170 (8.8%)

8/186 (4.3%)

OR 2.15 (0.89 to 5.22)

45 more per 1000(from 5 fewer to 147

more) CRITICAL

All severe adverse events (follow-up mean 12–16 months; stenosis and PID)

2 randomized trials




very seriousf none 3/300 (1%)

2/298f (0.67%)

—0.4 more per 1000

(from 8 fewer to 9 more) CRITICAL

All severe adverse events (follow-up 33 months; PID, plug syndrome, stenosis, blood transfusion)

5 randomizedtrials



serioush serioush none 136 480OR 0.53

(0.1 to 2.88)

—

CRITICAL 4%i

18 fewer per 1000(from 36 fewer to 67

more)

All severe adverse events (follow-up 12 months; PID, stenosis, major bleeding)

9 observationalstudies

serious limitationsj


seriousi seriousf none 1/2233(0%)

38/960(4%)a —

10 fewer per 1000(from 20 fewer to 0)

CRITICAL

Should cryotherapy versus LEEP be used in women with histologically confirmed CIN?

GRADEproGRADEpro

Futuros desarrollos:• Desarrollo módulo diagnóstico• Desarrollo tabla para la formulación de

recomendaciones• Compatible con ordenadores Mac• Herramienta de elaboración de GPC

DECIDEDECIDE

Developing and Evaluating Communication Strategies to Support Informed Decisions and Practice Based on Evidence

• Proyecto europeo sobre como optimizar la presentación de las recomendaciones (2010-2015)– Profesionales de la salud, pacientes, gestores (policy

maker)• Objetivo es mejorar la diseminación de las GPC

– Múltiples formatos (papel, móviles, tabletas, vídeos)

• GRADEpro proporcionará diferentes formatos

Screen shot 3

Screen shot 2

¿Y en nuestro entorno?¿Y en nuestro entorno?

¿Y en nuestro ¿Y en nuestro entornoentorno??

• Inicialmente SIGN• Debate en el 2006

– GRADE todavía inmaduro– Ambos, SIGN y GRADE, coexistirían en el manual

metodológico• Escasa experiencia todavía

– Tres guías con evidence profiles (un solo centro)– Satisfacción de los metodólogos y profesionales de la

salud– Complejo (diagnóstico) y necesidad de atención al

detalle

Métodos INTERVENCIÓN PARTICIPANTES VARIABLES COMENTARIOS

Autor/año:Gelband 2000País:Objetivo:Evaluar la eficacia de regímenes de corta duración para el tratamiento de la tuberculosis pulmonar activaFinanciación:Pública (UK) y OMS.Diseño:Revisión sistemática de la literatura con metanàlisis (ECA)Búsqueda (años):Sin riesgo de sesgoMayo 2004 (sin cambios desde 1999)Calidad global: ++

Grupos de comparación:Tratamientos de corta duración (< 6 meses) versus tratamientos de más duraciónTipos de intervención: EstreptomicinaIsoniazidaRifampicinaPiracinamida(en diferentes combinaciones, dosis i pautas)Comparación: Pauta más corta con más larga.Duración de los estudios: de 3 a 12 mesesDuración del seguimiento: De 1 a 5 añosEstudios incluidos: ECA controlats amb tractament actiu.

Criterios de inclusión:ECA que comparen 2 o más regímenes (uno de ellos de <6 meses de duración) de diferente duración. En pacientes con TB activa (baciloscopia, cultivo o Rx compatible). Criterios de exclusión: Regímenes de idéntica duración.N. de pacientes:2200: tratamientos cortos1900: tratamientos largos2m vs >2m:5293m vs >3m: 25884m vs >4m: 8875m vs >5m: 390Edad: La mayoría adultos (1 ECA > 15 años) Sexo: N.EEntre un 9% y un 16% de los pacientes presentaban TB resistente.AC incluidos: 7 ECA

Principales:Recurrencia: (relapse) presencia de un cultivo de esputo positivo o baciloscopia con síntomas, tras los 12 meses de un tratamiento completo (u otro periodo más largo) Toxicidad: RAM que implique alteración del tratamientoSecundarias:Esterilización: cultivo negativo inmediatamente tras tratamientoMuerte

DE LOS AUTORES:Las recurrencias tras los regímenes de corta duración fueron superiores de una forma consistente, en comparación a los de larga duración. Las tasas de esterilizaciones fueron muy elevadas en todos los casos.No hubo diferencias globales para la toxicidad.Los resultados son sobre los pacientes con un buen cumplimiento (superior al 75%), los resultados por ITT podrían favorecer los tratamiento de corta duración.DE LOS REVISORES:Son estudios antiguos y no todos comparan con el régimen corto más aceptado de 6 meses. Se usaron las pautas más comunes en ese momento. La revisión apunta que como más prolongada la pauta mejor.Las pérdidas son elevadas: del 10 al 23%.

RESULTADOS

GRADE

Calidad de la evidencia

Diseño y ejecución (sesgo): Alto riesgo de sesgo: ocultación de la secuencia no clara, no ciego, elevadas pérdidas, no ITTConsistencia: Evidencia directa:SISesgo de publicación:Improbable.

Referencia: Gelband H. Regimens of less than six months for treating tuberculosis. Cochrane Database of Systematic Reviews 1999, Issue 4. Art.No.: CD001362. DOI: 10.1002/14651858.CD001362.

Tabla síntesis de características principales de una RS

GPC TuberculosisGPC Tuberculosis

Quality assessmentSummary of findings

Importance

No of patients Effect

QualityNo of studi

esDesign

Limitations

Inconsistency Indirectness ImprecisionOther

considerations

regimens of less than six months

longerRelative

(95% CI)Absolute

relapse (3 months vs longer) (follow-up 12 to 70 months; bacteriológica y/o clínica 3)

5 randomised trials

serious1 no serious inconsistency



none71/1290 (5.5%)

39/1298 (3%)

RR 3.67 (2.42 to

5.58)

80 more per 1000 (from 43 more to

137 more)

MODER

ATE

CRITICAL

toxicity (3 months or longer) (AE que requiere alteración o cese del tratamiento)

5 randomised trials

serious1 serious4 no serious indirectness


none178/1418 (12.6%)

200/1500 (13.3%)

RR 1.09 (0.87 to

1.38)

12 more per 1000 (from 17 fewer to 51

more)

LOW

IMPORTANT

relapse (4 months vs longer) (follow-up 5 to 8 years; bacteriológica y/o clínica 3)

2 randomised trials



no serious imprecision2

none25/530 (4.7%)

4/357 (1.1%)

RR 3.64 (1.71 to

7.75)

29 more per 1000 (from 8 more to 74

more)

MODER

ATE

CRITICAL

toxicity (4 months vs longer) (AE que requiere alteración o cese del tratamiento)

1 randomised trials



serious5 none113/879 (12.9%)

31/235 (13.2%)

RR 0.97 (0.63 to

1.49)

4 fewer per 1000 (from 49 fewer to 65

more)

LOW

IMPORTANT

relapse (5 months vs longer) (follow-up mean 24 months; bacteriológica y/o clínica 3)

1 randomised trials



no serious imprecision2

none11/129 (8.5%)

11/261 (4.2%)

RR 2.24 (0.9 to 5.59)

52 more per 1000 (from 4 fewer to 193

more)

MODER

ATE

CRITICAL

Author(s): Gelband H. Date: 2008-07-02Question: Should regimens of less than six months vs longer be used for tuberculosis treatment Bibliography: Regimens of less than six months for treating tuberculosis. The Cochrane Library 1999;(4):CD001362.


Test findings

Range of sensitivity Best: 0.74 Worst: 0.09

Range of specificity Best: 1 Worst: 0.84

Consequences (number per 1000)

Baseline risk 38.7% Importance

Best: Worst:

True Positives 29 3 Critical

Treu Negatives 961 807 Critical

False Positives 0 154 Critical

False Negatives 10 35 Critical


¿Es GRADE realmente ¿Es GRADE realmente necesario en Programa?necesario en Programa?

VirtudesVirtudes

• Transparente y estructurado• Aborda limitaciones previas de otros sistemas

– Graduar la importancia de las variables de resultado– Evaluar la calidad por variable de resultado– Proceso estructurado para clasificar calidad y fuerza

• Sistema vivo que va incorporando los avances en el campo metodológico– Diagnóstico– Network metanálisis

VirtudesVirtudes• Adopción en el ámbito internacional

– Amplia difusión (sintonía con el resto) y experiencias positivas

– El propio SIGN lo ha adoptado– Las RS Cochrane también

• Software libre para elaborar materiales de trabajo (GRADEpro)– Tablas de síntesis útiles para la elaboración y

actualización de las GPC– Importación automática de archivos Revman

DificultadesDificultades

• Sistema en evolución• Complejo, mayor tiempo (curva aprendizaje)• ¿Mayor coste? • ¿Mayor tiempo de elaboración?

En resumenEn resumen• GRADE es un sistema riguroso, explícito y transparente

con amplia aceptación internacional

• Las experiencias actuales son positivas

• Es más complejo por lo que requiere más tiempo y recursos

• Es necesaria una implantación progresiva en el marco del Programa de GPC en el SNS

– Mayor formación y quizás más recursos (quizás solo tiempos)

– Cambio en la filosofía de las guías• Abordaje con preguntas clave• Plazos para su elaboración

elaboración de recomendaciones en gpc. sistema grade 2

Health & Medicine