mayo-2007 [email protected] 1 problemas metodológicos clave en la evaluación e interpretación...

Mayo-2007Mayo-2007

[email protected]@uab.es 11

Problemas metodológicos clave Problemas metodológicos clave en la evaluación e en la evaluación e

interpretación de los interpretación de los Ensayos Ensayos ClínicosClínicos

II Jornadas de Redes II Jornadas de Redes de Expertos en Regulación de Expertos en Regulación

de Medicamentosde Medicamentos"EVALUACIÓN CLÍNICA,"EVALUACIÓN CLÍNICA,

REGISTRO Y AUTORIZACIÓNREGISTRO Y AUTORIZACIÓNDE MEDICAMENTOS"DE MEDICAMENTOS"

20072007 [email protected]@uab.es 22

“The aim of any Clinical Trial should be to obtain a truthful answer to a relevant medical issue. This requires that the conclusions be based on an

unbiased assessment of objective evidence rather than on a subjective compilation of clinical

opinion.”

(Stuart J. Pocock: “Clinical Trials. A practical approach”. Wiley, 1983)


ICHE9 ICHE9 Statistical PrinciplesStatistical Principles for Clinical Trials for Clinical Trials CPMP/EWP/908/99CPMP/EWP/908/99 CPMP Points to Consider on CPMP Points to Consider on MultiplicityMultiplicity

issues in Clinical Trials issues in Clinical Trials (Apr 2003)(Apr 2003)

CPMP/EWP/2863/99CPMP/EWP/2863/99 Points to Consider on Adjustment for Points to Consider on Adjustment for BaselineBaseline CovariatesCovariates (Nov 2003)(Nov 2003)

CPMP/2330/99CPMP/2330/99 Points to Consider on Application with 1.) Points to Consider on Application with 1.) Meta-Meta-analysesanalyses and 2.) One Pivotal study and 2.) One Pivotal study (May 2001)(May 2001)

CPMP/EWP/2158/99CPMP/EWP/2158/99 Guideline on the Choice of a Guideline on the Choice of a Non-Inferiority Non-Inferiority MarginMargin (Jan2006)(Jan2006)

CPMP/EWP/482/99CPMP/EWP/482/99 Points to Consider on Points to Consider on SwitchingSwitching between between Superiority and Non-inferiority Superiority and Non-inferiority (Feb 2001)(Feb 2001)

CPMP/EWP/1776/99CPMP/EWP/1776/99 Points to Consider on Points to Consider on Missing DataMissing Data (Jan 2002)(Jan 2002)

CHMP/EWP/83561/05CHMP/EWP/83561/05 Guideline on Clinical Trials in Guideline on Clinical Trials in Small Small PopulationsPopulations (Feb2007)(Feb2007)

CHMP/EWP/2459/02CHMP/EWP/2459/02 Reflection Paper on Methodological Issues Reflection Paper on Methodological Issues in Confirmatory Clinical Trials with in Confirmatory Clinical Trials with Flexible DesignFlexible Design and and Analysis Plan Analysis Plan (Draft)(Draft)

NormativasNormativas


Puntos metodológicos clavePuntos metodológicos clave MultiplicidadMultiplicidad Interaccción, factores de confusión y Interaccción, factores de confusión y

subgrupossubgrupos Análisis intermediosAnálisis intermedios Ajustes por covariablesAjustes por covariables Missing data Missing data Otros:Otros:

– Superioridad vs No-InferioridadSuperioridad vs No-Inferioridad– Meta-análisisMeta-análisis

Med Clin (Barc.) 2005;125(Supl. 1):72-76Med Clin (Barc.) 2005;125(Supl. 1):72-76


Ley de Murphy de la Ley de Murphy de la InvestigaciónInvestigación

Una cantidad de investigación Una cantidad de investigación

suficiente nos permitirá probar suficiente nos permitirá probar

cualquier teoríacualquier teoría


MultiplicidadMultiplicidad Si juego al bingo una vez, es muy improbable que Si juego al bingo una vez, es muy improbable que

ganegane

Si juego cada día durante un año, ya no lo es tantoSi juego cada día durante un año, ya no lo es tanto

Si someto a prueba una HSi someto a prueba una H00 falsa, es muy improbable falsa, es muy improbable

una conclusión errónea: una conclusión errónea:

Pr (Rechazo HPr (Rechazo H00 | H | H00) = ) = 5%)5%)

Si someto a prueba muchas HSi someto a prueba muchas H00 falsas, ya no lo es tanto falsas, ya no lo es tanto


MultiplicidadMultiplicidad

K hipótesis independientes: HK hipótesis independientes: H01 01 , H, H02 02 , ... , H, ... , H0K0K

S resultados significativos ( p<S resultados significativos ( p<) )

Pr (S Pr (S 1 | H 1 | H01 01 H H02 02 ... ... H H0K0K = H = H0.0.) ) = 1 - Pr (S=0|H= 1 - Pr (S=0|H0.0.))

= 1- (1 - = 1- (1 - ))KK

K Pr(S>=1|Ho.) K Pr(S>=1|Ho.)

1 0.0500 10 0.4013

2 0.0975 15 0.5367

3 0.1426 20 0.6415

4 0.1855 25 0.7226

5 0.2262 30 0.7854


Fuentes de Multiplicidad en Fuentes de Multiplicidad en ECEC

Múltiples criterios de evaluaciónMúltiples criterios de evaluación

Múltiples tiempos de observación (medidas Múltiples tiempos de observación (medidas repetidas)repetidas)

Múltiples análisis (intermedios, secuenciales)Múltiples análisis (intermedios, secuenciales)

Múltiples comparaciones:Múltiples comparaciones:– diseños con más de dos tratamientos diseños con más de dos tratamientos – subgrupos subgrupos


Ejemplos de multiplicidad en Ejemplos de multiplicidad en ECEC

caso A caso B caso Cvariables 2 5 5tiempos 2 4 4subgrupos 2 3 3comparaciones 1 1 3

total 8 60 180% falsos positivos 33.66% 96.61% 99.99%


MultiplicidadMultiplicidad Corrección de BonferroniCorrección de Bonferroni

– K pruebas con un nivel de significación de K pruebas con un nivel de significación de

– Tomar como nivel de significación de cada Tomar como nivel de significación de cada prueba prueba /k/k

Ejemplo:Ejemplo:– 5 pruebas independientes5 pruebas independientes– Se pretende un nivel global del 5%Se pretende un nivel global del 5%– Se toma como significativa una prueba si Se toma como significativa una prueba si

su nivel de significación es de 5% / 5= 1% su nivel de significación es de 5% / 5= 1%


Manejo de la multiplicidadManejo de la multiplicidad

Escenario 1:Escenario 1: Una única variableUna única variable– Identificar una variable principal y el resto Identificar una variable principal y el resto

son secundariasson secundarias

– El EC es concluyente si la variable El EC es concluyente si la variable principal es significativa (valor de p <= principal es significativa (valor de p <= 0.05, p.e.)0.05, p.e.)

– El cálculo del tamaño de la muestra El cálculo del tamaño de la muestra depende sólo de la variable principal.depende sólo de la variable principal.


Manejo de la multiplicidadManejo de la multiplicidad Escenario 2Escenario 2 Dividir el Error de Tipo IDividir el Error de Tipo IIdentificar dos o más variables principalesIdentificar dos o más variables principales

– Dividir el error de Tipo I global, 0.05, entre estas Dividir el error de Tipo I global, 0.05, entre estas variables principales, por ejemplo: 0.04 para la variables principales, por ejemplo: 0.04 para la primera y 0.01 para la segunda.primera y 0.01 para la segunda.

– El EC es concluyente si una de las variables El EC es concluyente si una de las variables principales es significativa.principales es significativa.

– Se calcula el tamaño de la muestra para cada una Se calcula el tamaño de la muestra para cada una de las variables por separado, utilizando el valor de las variables por separado, utilizando el valor de Error de Tipo I especificado para cada una de de Error de Tipo I especificado para cada una de ellas, y se utiliza el mayor de todos ellos.ellas, y se utiliza el mayor de todos ellos.


Manejo de la multiplicidadManejo de la multiplicidad Escenario 3 Escenario 3 Procedimiento de Rechazo Procedimiento de Rechazo

SecuencialSecuencial– Identificar Identificar nn variables principales, p.e. n=3 variables principales, p.e. n=3

– Ordenar los valores de p del mayor al menor.Ordenar los valores de p del mayor al menor.

– Se evalúa la primera variable con el valor de p Se evalúa la primera variable con el valor de p mayor, si es significativa al 0.05, se evalúa la mayor, si es significativa al 0.05, se evalúa la segunda variable con el mayor valor de p con segunda variable con el mayor valor de p con un nivel de significación de 0.05/2, en caso de un nivel de significación de 0.05/2, en caso de ser significativa se evalúa la tercera con un ser significativa se evalúa la tercera con un valor de p de 0.05/3. El procedimiento se valor de p de 0.05/3. El procedimiento se detiene en el momento que no se obtiene detiene en el momento que no se obtiene significación estadística en alguno de los significación estadística en alguno de los pasospasos


Manejo de la multiplicidadManejo de la multiplicidad

Escenario 3 (continuación)Escenario 3 (continuación)– El EC resulta concluyente si la primera El EC resulta concluyente si la primera

variable es significativa.variable es significativa.– Para el cálculo del tamaño de la muestra Para el cálculo del tamaño de la muestra

se utilizará un Error de Tipo I de 0.05/n y se utilizará un Error de Tipo I de 0.05/n y se deberá realizar para cada una de las se deberá realizar para cada una de las variables que se analicen como variables que se analicen como principales. Se resuelve seleccionando principales. Se resuelve seleccionando el mayor de ellos.el mayor de ellos.


Manejo de la multiplicidadManejo de la multiplicidad Escenario 4Escenario 4 JerárquicoJerárquico

– Se pre-especifica la jerarquía de las Se pre-especifica la jerarquía de las nn variables variables principales.principales.

– Se evalúa si la 1ª variables es significativa al 0.05, Se evalúa si la 1ª variables es significativa al 0.05, si lo es se comprueba la 2ª al 0.05, si lo es se si lo es se comprueba la 2ª al 0.05, si lo es se comprueba la 3ª al 0.05 de significación. Se comprueba la 3ª al 0.05 de significación. Se detiene en el momento que una de las variables detiene en el momento que una de las variables no resulta significativa. no resulta significativa.

– El EC es concluyente si la primera variable El EC es concluyente si la primera variable principal observada resulta significativa.principal observada resulta significativa.

– Calcular la N separadamente para cada variable al Calcular la N separadamente para cada variable al 5%5%


Variables secundariasVariables secundarias Sentido de las variables secundarias como Sentido de las variables secundarias como

““confirmatorias”confirmatorias”::– La variable primaria presenta resultados La variable primaria presenta resultados

significativos ysignificativos y– Las comparaciones realizadas en las variables Las comparaciones realizadas en las variables

secundarias también están ‘protegidas’ bajo el secundarias también están ‘protegidas’ bajo el mismo Error de Tipo I que la variable principal.mismo Error de Tipo I que la variable principal.

Se indican también procedimientos Se indican también procedimientos similares a los comentados para la similares a los comentados para la protección del Error de tipo I entre las protección del Error de tipo I entre las variables secundarias.variables secundarias.


InteracciónInteracción

Presencia de un efecto modificador de Presencia de un efecto modificador de la intensidad o sentido de la relación la intensidad o sentido de la relación entre diferentes estratos de una entre diferentes estratos de una variable.variable.

– Ejemplos:Ejemplos:Sexo con tratamiento.Sexo con tratamiento.Centro con tratamiento.Centro con tratamiento.Edad con tratamiento.Edad con tratamiento.


InteracciónInteracciónIM Hábito de fumar

No Sí

Sí 9 34

NO 491 466

Edad < 45 añosIM Hábito de fumar

No SíSí 4 6NO 296 294

Edad >= 45 añosIM Hábito de fumar

No SíSí 5 28NO 195 172

1.8% 6.8% d=5%

1.33% 2.0% d=0.7%

2.5% 14% d=11.5%


Factores de confusiónFactores de confusión Categoría especial de sesgos que Categoría especial de sesgos que

cumplen:cumplen:

– 1) Son factores de riesgo para la 1) Son factores de riesgo para la enfermedad (o la variable en estudio).enfermedad (o la variable en estudio).

– 2) Se asocian a la exposición (o la 2) Se asocian a la exposición (o la intervención) en estudio.intervención) en estudio.

– 3) No son pasos o factores intermedios.3) No son pasos o factores intermedios.


Factores de confusiónFactores de confusiónIM Café

No SíSí 10 40NO 490 460

No fumadoresIM Café

No SíSí 8 7NO 472 413

FumadoresIM Café

No SíSí 2 7NO 18 73

2% 8.7% d=6.7%

1.67% 1.67% d=0% 10% 10% d=0%


Subgrupos y la Paradoja de Subgrupos y la Paradoja de SimpsonSimpson

Experimental Controln (%) n (%)

ALL Succes 70 (70%) 60 (60%)Failure 30 (30%) 40 (40%)

100 100


Paradoja de Simpson Paradoja de Simpson continuacióncontinuaciónExperimental Control

n (%) n (%)MALE Succes 10 (33%) 24 (40%)

Failure 20 (67%) 36 (60%)30 60

FEMALE Succes 60 (86%) 36 (90%)Failure 10 (14%) 4 (10%)

70 40

Experimental Controln (%) n (%)

ALL Succes 70 (70%) 60 (60%)Failure 30 (30%) 40 (40%)

100 100


Estudios de SubgruposEstudios de Subgrupos

AspirinaPlacebo

Muerte vascular150 147

Total 1357 1442

11.1% 10.2%

p=0.42045 d=-0.9

Estudio ISIS-2: Muerte vascular por subgrupos de zodiaco

Geminis/Libra Otros Signos

AspirinaPlacebo

Muerte vascular654 868

Total 7228 7157

9.0% 12.1%

p<0.0001 d=3.1

Interacción p = 0.019


SubgruposSubgrupos Recomendaciones: Recomendaciones: (Pocock, Simon, Peto)(Pocock, Simon, Peto)

– 1) Examinar el en subgrupos 1) Examinar el en subgrupos sólo sólo si el si el efecto global es significativoefecto global es significativo

– 2) Examinar subgrupos 2) Examinar subgrupos sólo sólo si la si la interacción es significativainteracción es significativa

– 3) Plantearse ajustes de 3) Plantearse ajustes de en función de en función de los objetivoslos objetivos

– 4) Aspectos que aumentan la credibilidad:4) Aspectos que aumentan la credibilidad:Pre-especificación en protocoloPre-especificación en protocoloEvaluar la plausibilidad biológicaEvaluar la plausibilidad biológica


Análisis intermediosAnálisis intermedios

En EC de larga duración, se pueden planificar En EC de larga duración, se pueden planificar inspecciones intermedias inspecciones intermedias formalesformales (interim (interim analysis) con el fin de analysis) con el fin de

– Investigar Investigar evidencias abrumadorasevidencias abrumadoras de eficacia a favor de de eficacia a favor de E, con lo que sería posible parar prematuramente el EC y E, con lo que sería posible parar prematuramente el EC y concluir superioridad de E respecto a Cconcluir superioridad de E respecto a C

– Investigar la Investigar la inutilidad del ECinutilidad del EC, p.e. que la eficacia de E , p.e. que la eficacia de E respecto a C fuese tan insignificante que no suponga una respecto a C fuese tan insignificante que no suponga una evidencia clara de obtener resultados positivos.evidencia clara de obtener resultados positivos.

– Por temas de Por temas de seguridadseguridad, análogamente a lo comentado , análogamente a lo comentado para eficacia.para eficacia.


Ventajas de los métodos Ventajas de los métodos secuencialessecuenciales

ÉticasÉticas:: La asignación aleatoria es ética siempre La asignación aleatoria es ética siempre que existan dudas sobre qué tratamiento es mejorque existan dudas sobre qué tratamiento es mejor

EconómicasEconómicas:: Requieren menos recursos de Requieren menos recursos de tiempo, dinero y esfuerzotiempo, dinero y esfuerzo

De poder estadísticoDe poder estadístico:: Se mantiene el poder Se mantiene el poder predefinido, independientemente de la variabilidadpredefinido, independientemente de la variabilidad

IncentivosIncentivos: : Motivación al conocer resultadosMotivación al conocer resultados


Interim Analyses in the CDP

Z ValueZ ValueZ ValueZ Value

+2+2

+1+1

00

-1-1

-2-2

+2+2

+1+1

00

-1-1

-2-210 20 30 40 50 60 70 80 90 10010 20 30 40 50 60 70 80 90 100

Month of Follow-upMonth of Follow-up

(Month 0 = March 1966, Month 100 = July 1974)

Coronary Drug Project Mortality Surveillance

Circulation. 1973;47:I-1

http://clinicaltrials.gov/ct/show/NCT00000483;jsessionid=C4EA2EA9C3351138F8CAB6AFB723820A?order=23


Diseño NO aplicable a método Diseño NO aplicable a método secuencialsecuencial

¿Análisis?

Desarrollo total

Reclutamiento


Diseño SÍ aplicable a método Diseño SÍ aplicable a método secuencialsecuencial

Análisis

Desarrollo total

Reclutamiento


Tipos de diseño secuencialTipos de diseño secuencial

1) Reestimación del tamaño muestral1) Reestimación del tamaño muestral

2) Métodos secuenciales por grupos2) Métodos secuenciales por grupos

3) Aproximación por funciones de gasto de 3) Aproximación por funciones de gasto de

4) Intervalos de confianza repetidos4) Intervalos de confianza repetidos

5) Restricción estocástica5) Restricción estocástica

6) Métodos bayesianos6) Métodos bayesianos

7) Límites continuos (función de verosimilitud)7) Límites continuos (función de verosimilitud)


Métodos secuenciales por Métodos secuenciales por gruposgrupos

Pocock (1977)Pocock (1977) Pruebas de significación repetidasPruebas de significación repetidas K = Nº máximo de inspecciones a K = Nº máximo de inspecciones a

realizarrealizar K fijo K fijo a prioria priori Análisis con pruebas estadísticas Análisis con pruebas estadísticas

clásicas (clásicas (22, , t-test, ...t-test, ...))


Corrección del nivel de Corrección del nivel de significaciónsignificación

Uso de un Uso de un ’ más estricto que ’ más estricto que en cada en cada inspeccióninspección

’’: nivel de significación : nivel de significación nominalnominal

DiseñoDiseño Predeterminación del tamaño muestral Predeterminación del tamaño muestral

con con ’ para la última inspección teórica’ para la última inspección teórica NNtotaltotal > N > Nclásicaclásica

NNgrupogrupo = N = Ntotaltotal / K / K


K z ' z ' z '1 2.782 0.005 2.576 0.010 2.178 0.0292 1.967 0.049 1.969 0.049 2.178 0.029

1 3.438 0.001 2.576 0.010 2.289 0.0222 2.431 0.015 2.576 0.010 2.289 0.0223 1.985 0.047 1.969 0.049 2.289 0.022

1 4.084 0.000 3.291 0.001 2.361 0.0182 2.888 0.004 3.291 0.001 2.361 0.0183 2.358 0.018 3.291 0.001 2.361 0.0184 2.042 0.041 1.969 0.049 2.361 0.018

1 4.555 0.000 3.291 0.001 2.413 0.0162 3.221 0.001 3.291 0.001 2.413 0.0163 2.630 0.009 3.291 0.001 2.413 0.0164 2.277 0.023 3.291 0.001 2.413 0.0165 2.037 0.042 1.969 0.049 2.413 0.016

O'Brien & Fleming Peto Pocock

Group Sequential MethodsGroup Sequential Methods


Puntos metodológicos clavePuntos metodológicos clave

MultiplicidadMultiplicidad Interaccción, factores de confusión y Interaccción, factores de confusión y

subgrupossubgrupos Análisis intermediosAnálisis intermedios Missing dataMissing data Ajustes por covariablesAjustes por covariables Superioridad vs No-InferioridadSuperioridad vs No-Inferioridad Meta-análisisMeta-análisis Poblaciones de análisisPoblaciones de análisis


Advantages of Advantages of RandomizedRandomized Control Clinical TrialControl Clinical Trial

1.1. Randomization "tends" to produce Randomization "tends" to produce comparablecomparable groupsgroups

Design Design Sources of ImbalanceSources of Imbalance

RandomizedRandomized ChanceChanceConcurrentConcurrent Chance & Selection BiasChance & Selection Bias

(Non-randomized)(Non-randomized)HistoricalHistorical Chance, Selection Bias,Chance, Selection Bias,

(Non-randomized)(Non-randomized) & Time Bias& Time Bias

2.2. Randomization produces Randomization produces validvalid statistical tests statistical tests

Reference: Byar et al (1976) NEJMReference: Byar et al (1976) NEJM


Bias of Non-RCT’sBias of Non-RCT’s Example - Peto (1979) Example - Peto (1979) BiomedicineBiomedicine

Trials of anticoagulant therapyTrials of anticoagulant therapy

DesignDesign #Patients#Patients P<0.05P<0.05 ObservedObserved

18 Historical18 Historical 900900 15/1815/18 50%50%

8 Concurrent8 Concurrent 30003000 5/85/8 50%50%

6 Randomized6 Randomized 30003000 1/61/6 20%20%

BiasesBiases– False positivesFalse positives– Magnitude of effectMagnitude of effect


Ajuste por covariablesAjuste por covariables

Definición Definición a prioria priori La aparición de La aparición de desigualdades basalesdesigualdades basales

NONO justifica el ajuste justifica el ajuste per se:per se:– Se da más importancia a la randomizaciónSe da más importancia a la randomización– Peligro de los análisis post-hocPeligro de los análisis post-hoc– MultiplicidadMultiplicidad

Como estrategia general, el Como estrategia general, el ajuste por ajuste por variables significativas basalesvariables significativas basales (ej, (ej, p<0.1 o p<0.05) a priori: p<0.1 o p<0.05) a priori: NO NO es válidaes válida


Evolución de los sujetosEvolución de los sujetos

PACVisita

SelecciónVisitaBasal RND

Toma de 1a.Medicación Visita 1 Visita 2 Visita 3 Visita 4

1 X X A X X X X X

2 X X A

3 X X B X X X

4 X X A X

5 X X B X X X X/A @ X/A @

6 X X B X X

7 X X A X X X X

8 X

9 X X B X X X X X

10 X X B X X/ERR. X X X


Ex: LOCF & lineal extrapolation lineal

36

32

28

24-

20

16

12

8

4

0 2 4 6 8 10 12 14 16 18 Time (months)

LOCF

Lineal Regresion

Bias

Ad

as-

Cog

> Worse

< Better


Handling of MDHandling of MD Methods for imputation:Methods for imputation:

– Many techniquesMany techniques– No gold standard for every situationNo gold standard for every situation– In principle, all methods may be valid:In principle, all methods may be valid:

Simple methods to more complex:Simple methods to more complex:– From LOCF to multiple imputation methodsFrom LOCF to multiple imputation methods– Worst Case, “Mean methods”Worst Case, “Mean methods”

But their appropriateness has to be justifiedBut their appropriateness has to be justified

Statistical approaches less sensitive to MDStatistical approaches less sensitive to MD::– Mixed modelsMixed models– Survival modelsSurvival models

They assume no relationship between treatment and the They assume no relationship between treatment and the missing outcome, and generally this cannot be assumed.missing outcome, and generally this cannot be assumed.


http://ferran.torres.name/docencia/lazareto http://ferran.torres.name/docencia/lazareto

usuario: usuario: mahonmahonpassword: password: mahonmahon

mayo-2007 [email protected] 1 problemas metodológicos clave en la evaluación e interpretación...

Documents

consider on multiplicity

consider on application

nivel de significacin

cpmpewp177699 points

pr rechazo h0 h0

h0 falsas

nivel global

prueba kejemplo