1st cuteheart workshop wyatt presentation

19
03/02/2015 1 Exploring causality using Big health Data: some problems and solutions Leadership chair in eHealth Research, Leeds Institute of Health Sciences, Univ. of Leeds Clinical adviser on New Technologies, Royal College of Physicians, London [email protected] Dr Jeremy Wyatt DM FRCP Fellow, American College of Medical Informatics If epidemiologists are compared with fishermen, causality is the big fish – elusive to find, difficult to catch and claims are often exaggerated” Burgess et al BMJ 2012

Upload: lbnicolau

Post on 21-Jan-2018

72 views

Category:

Education


0 download

TRANSCRIPT

03/02/2015

1

Exploring causality using Big health Data: some problems and solutions

Leadership chair in eHealth Research,Leeds Institute of Health Sciences, Univ. of Leeds

Clinical adviser on New Technologies, Royal College of Physicians, London

[email protected]

Dr Jeremy Wyatt DM FRCP Fellow, American College of Medical Informatics

“If epidemiologists are compared with fishermen, causality is the big fish – elusive to find, difficult to catch and claims are often exaggerated” 

Burgess et al BMJ 2012

03/02/2015

2

Agenda

• Introduction to Big health Data & causality• Some biases to be aware of• Emerging methods to overcome bias (and new biases they introduce):– Case only study designs– Regression Discontinuity– Mendelian randomisation / Instrumental Variable technique

• Why not just do an RCT ?

Google flu trends

Nature Feb 2013: Google Flu Trends predicted more than double the proportion of doctor visits for flu than CDC actually recorded. 

Science 2014: Lazer et al. “Big Data Hubris” ‐ It’s Not Just About Size of the Data.

03/02/2015

3

Asthmopolis

Different reasons for exploring causality in healthcare

Researchers: To understand disease mechanisms, how a risk factor / drug might modify this

Clinicians: To guide decisions by accurately predicting the size of the treatment effect on specified outcome in specified patient group / individual

Policy analysts: to help persuade politicians / policy makers / clinicians / clinical commissioners / public health agencies to act on a new care pathway, risk factor, guideline recommendation etc.

03/02/2015

4

Why consider routine data for causality ?

Scientific reasons:• Community setting so results can be more generalisable: unselected population, intervention as routinely delivered [pragmatic RCTs – Treweek et al]

• Obtain results faster [REACT trials – van Staa et al]

Practical reasons:• Cost of running RCT [New EU Clinical Trials Directive 2017]

• Delays clearing academic RCTs through research ethics [UK HRA streamlining HSR RCTs 2015]

Why not to use routine data…

• Usually retrospective – so less predictive• Violates first principle of health informatics: only use data for the purpose for which it was collected (Johan van der Lei, 1989)

• Routine data is of lower quality than prospectively collected study data

• Many potential biases & confounders ‐ of unknown size

• When you really need to know the truth ?

03/02/2015

5

The challenge of data quality

Numerator issues:• Local data definitions & code usage vary by organisation eg. by 

primary care practice• Undocumented changes in data definitions, collection process, 

normal lab ranges, coding systems, incentives and thresholds for incentive payments…

Denominator issues: • Undocumented changes in cohort definition, coverage, follow up• Completeness varies with disease severity, treatment etc. [rarely 

“missing at random”, eg. missing records = litigation…]

Lack of metadata

Reliable inference from routine data

• By definition, if you carry out 20 analyses, at least one will show p = 0.05 

• Some confounders and biases:– Association is not causation– Regression to the mean– Simpson’s paradox: unmeasured confounders– Confounding by indication– [Recall bias, Immortal time bias…]

03/02/2015

6

Is the US recovering from an epidemic of homicidal American lemon truck drivers ?

Source:www.cqeacademy.com/cqe-body-of-knowledge/continuous-improvement/quality-control-tools/

Regression to the mean

• People who lie at the extremes of a distribution for an outcome measure tend to “regress to the mean” over time

• So, if you select outliers for the intervention, their outcomes will improve ‐ even if the therapy is ineffective

• Solution: random allocation 

03/02/2015

7

Simpson’s Paradox: mortality in diabetes

Type 1 Type 2

Data from Poole Diabetes cohort,  cited by Julious et al BMJ 1994

<>>

64% of 358 97% of 544

Confounding by indication• 40% of cancer patients treated with new drug survive 5 years versus 30% of patients treated with old drug

• Difference persist despite taking account of  differences in age, baseline cancer severity, genetic markers…

• Conclusion: the new drug reduces mortality by 10%• But maybe allocation to the new drug depends on the doctor’s intuition on who will survive (subtle predictive feature not recorded in any database)

• So, receipt of the new drug is a marker of better outcome ‐ not the cause

03/02/2015

8

Impact of biases in estimating all cause mortality for ezetimibe in 2233 post‐MI deaths

0

0.2

0.4

0.6

0.8

1

1.2

Cox model Propensity scoring Further modelling

Hazard ratio

 for d

eath com

pared to 

simvastatin group

EzetemibeIntensified statin

Eg. First incident MI; missing cholesterol levels; medication covariates

Pauriah et al. Ezetimibe Use and Mortality in Survivors of an Acute Myocardial Infarction: A Population-based Study. Heart 2014

HR 0.96 (0.64 to 1.43)

Some potential solutions: “Big Learning”

• Mining social media for “wisdom of crowds”• Case crossover designs• Regression discontinuity design• Mendelian Randomisation• Instrumental variable design 

And experiment !

Loder, Bunt & Wyatt. Doctor Know – a knowledge Commons for Health. NESTA 2013

03/02/2015

9

Mining social media – “Dar‐Wiki‐nism”

• Harvests “Wisdom of crowds” – but also positive feedback loops, mass hysteria

• Mainly symptoms; clinical findings & lab data absent• Media & covert industry influence:

– Carl, the “community manager” – “Click factories” and Amazon’s Mechanical Turk service

• How representative are people who tweet or contribute to disease forums ?

Case crossover and self controlled case study designs

• Often used to assess vaccine / drug adverse events• Principles:

– Seek a patient group in database who were not exposed to the drug / vaccine for a period, then were exposed

– Compare outcome rates during baseline period vs. after drug / vaccine started

• Bias: reason for starting drug (eg. age, disease progression) may be cause of adverse event, not drug itself

Case Crossover: Maclure 1991; SCCS: Farrington 1995

03/02/2015

10

Systematic review of case‐only designs in pharmaco‐epidemiology

Focused on case crossover (CC) and self controlled case studies (SCCS)

Located 50 CC and 45 SCCS studies up to 2010; marked increase in publication rates since 2005

Applied new checklist based on STROBE (Strengthening Reporting of Observational Studies in Epidemiology)

Results:• Stat. model poorly reported 31%, sensitivity analysis done 40%• All applicable validity assumptions satisfied in only 12 (24%) of 

CC and 18 (40%) of SCCS articles

Nordmann et al, PLOS One 2012

Regression discontinuity design

• Identify patients who were given the drug / procedure based on a continuous variable (above the threshold get it; below, they don’t)

• Compare outcomes in two pt. groups: those with values just above & just below the threshold (should be otherwise comparable)

• Carry out sensitivity analysis based on width of interval

0

20

40

60

80

100

0 1 2 3 4 5 6 7 8 9

Statin prescrib

ing rate  %

 

Serum cholesterol mMol

• Bias: clinicians may make or record the assignment variable depending on whether they already intend to prescribe drug – or to avoid it (or repeat the measurement until it lies the “right” side of threshold !)

03/02/2015

11

Assignment variables for RD designs 

Examples of assignment variables in RD studies: • Patient age • Scores on disease severity questionnaire • Pre‐intervention pharmaceutical product consumption • Date of introduction of a new treatment

• Hospital quality score 

Source: Joachim Marti, Leeds

Mendelian Randomisation risk factor studies

Require a gene that:• Is strongly associated with risk factor of interest• Divides the population into 2 otherwise similar groups• Only affects outcome via risk factor – no other routeUseful to identify drug targets but may overestimate benefit of drug intervention (whole life exposure; metabolic compensation; other genetic influences)

Biases: pleiotropy, linkage disequilibrium, population stratification, external validity…

See: Burgess BMJ 2012

03/02/2015

12

Some MR studies exploring risk factors

• Genetic variants determining LDL cholesterol and CHD – 2.5% drop in LDL leads to 7% drop in CHD (Burgess, BMJ 2012)

• High BMI and CVD: each extra 4kg/m2 gives 26% increase in OR for IHD (Nordesgaard, PLoS Med 2012) 

• Genetically low vitamin D raised all cause / CVD / cancer mortality (Afzal, BMJ 2014) 

Instrumental variable study design

OutcomeInterventionimproves ?

Instrumental variable

(usually) determines availability of

also improves / increases chance of

Generalisation of Mendelian Randomisation -see: Davey Smith G, James Lind Library.

03/02/2015

13

HSR example: IV study to determine benefit of obesity reduction programme

Health statusSpecific obesity reduction programme

improves

Health district obesity policy

determines the availability of

Worried well, active community group…

also improves

When is reliable causality assessment needed ?

• Complex causal chain – several factors acting• If intervention carries serious patient risk, cost or inconvenience

• If problem is large scale, so national guidance is needed

• If target audience is sceptical  about intervention (“Where’s the evidence ?”)

• When randomisation isn’t a problem – UK Cabinet Office advocating experiments to inform public policy

03/02/2015

14

Bradford Hill’s 1965 criteria for causal association

Strength: the effect is largeConsistency across patient groups, settings, countriesSpecificity: if specific site / disease & no alternative explanationTemporality: the ordering of events makes sense, so does any delay in appearance of outcomeBiological gradient: or a dose‐response effectPlausibility: a mechanism linking cause and effectCoherence: between lab and population findingsExperiment eg. response to withdrawal of the causal agent

NB. none of these criteria is either necessary nor sufficient

Bradford Hill Proc Roy Soc Med 1965; see also Howick JRSM 2009

Is study design associated with notoriety ?

Ionnidis, Contradicted and initially stronger effects in highly cited clinical research. JAMA 2005

Examined 49 highly cited clinical research studies 1990‐2003 in 3 major journals:• Of 49, 45 claimed that intervention was effective• Of these, 20 (44%) were replicated; 7 (16%) were contradicted by subsequent studies, 7 others (16%) found effects larger than those of subsequent studies, and 11 (24%) remained largely unchallenged

• Five (83%) of 6 non‐randomized studies were contradicted or found stronger effects versus 9 (23%) of 39 randomized controlled trials (P = .008)

03/02/2015

15

Some RCTs of unusual interventionsIntervention Outcome measure

Service dogs Self esteem, community integration, school attendance

Psychological counselling Anxiety in road accident  victimsPrayer on behalf of others Recovery of patients in cardiac care unitEducational outreach visits (academic detailing)

Evidence based practice in 4500 women by staff in 25 UK obstetric units

Behavioural therapy Successful job finding in the unemployedInsecticide spraying Control of bed bugs and hepatitis BBreast self examination Death rates in 266000 Chinese womenDesign of web pages Rates of joining  NHS organ donation register

Liu JLY, Wyatt JC. The case for randomized controlled trials to assess the impact of clinical information systems. JAMIA 2011

So, what questions can Big health Data safely answer ?

Descriptive questions:• Rates of symptoms, diseases, investigations, treatments • Severity of illness, results of tests, doses of therapy etc.• Distribution of services, diseases, risks etc. [Asthma map]• Adherence to evidence, to evidence based guidelines

Questions about association:• Prognostic markers to aid targeting of investigations (Ottawa 

ankle rules), drugs, procedures and services

Causative questions ?

03/02/2015

16

Leeds University Institute for Data Analytics

Recent Research Council awards in Big Data totalling £13M:• MRC Medical Bioinformatics Centre £7M• ESRC Consumer Data Research Centre £5M• NERC etc. £0.7M

Sir Alan Langlands, chair, UK Administrative Data Task Force is our new VC & supports the Leeds Institute for Data Analytics, LIDA

LIDA aims: research & capacity development through partnership

Conclusions• Big health Data is coming fast, but varies in quality• Some new analysis methods can help explore causality in routine data, but cannot overcome undocumented bias in data or allocation of interventions

• Data quantity will never trump data quality and careful analysis• To help satisfy doctors, patients and guideline authors, an RCT will usually be needed

• RCTs can be done fast online (900 students in 5 days, Nind 2012) & cheaply using routine data (4500 pts, 25 centres, £30k, Wyatt BMJ 1998)

Jeremy Wyatt: [email protected]

03/02/2015

17

Challenge 4: Data analyst capacity

• Big data is a new discipline for health, requiring fluency in data warehouses & software, analysis methods and tools, biases, IG / ethics …

• And the domain: otherwise hard to understand the questions asked, importance of serendipitous finding

“We’re creating these great datasets, but we don’t have enough scientists to analyse them” NASA Asteroid data hunter contest, 11‐3‐14

03/02/2015

18

What skills are needed ?

• Human skills:– Working with those who ask questions, use results– Communication of the results: infographics

• Technical skills:– Data management– Data access – information governance; PPI– Data exploration / visualisation– Data analysis: biostatistics; machine learning; study design / methodology

What we need is a time machine !

What actually happened with a treatment

What would have happened without

treatment

Compare:

Eg. Compare mortality rates in people prescribed a drug with mortality rates for those same patients predicted by a model, using their baseline data.

www.instructables.com/id/How-to-Build-a-Time-Machine-Vortex-Distortion-Spa/

03/02/2015

19

Study using this technique to estimate effect size / causality

Mark, Harrell et al. Circulation 1994: survival in 9263 coronary artery disease patients corrected using Duke CAD index

Is study design associated with notoriety ?

Intervention Disease Original study TruthPost menopausal HRT CAD & stroke 

preventionNon randomised Ineffective

Vitamin E  1o CAD prevention

RCT Ineffective

Vitamin E  2o CAD prevention

Non randomised Ineffective

Inhaled nitric oxide  ARDS Non randomised IneffectiveEndotoxin antibodies Gram neg sepsis Non randomised Ineffective

Flavonoids CAD prevention Non randomised Effect smallerCarotid endartectomy High grade 

stenosisNon randomised Effect smaller

Coronary stent vs. PTCA

CAD Non randomised Effect smaller

Zidoudine HIV infection Non randomised Effect smaller

Source: Ionnidis, Contradicted and initially stronger effects in highly cited clinical research JAMA 2005