PRISMA-RT a collective in the radiotherapy in the Netherlands

Petra Reijnders M.Amanager patientsafety MAASTRO clinic and

secretary PRISMA-RTseptembre 2010

• Who are we ?

• How did we start ?

• Development until now !

• Opportunities ?

content presentation

“Past, present and future”

association between 17 radiotherapy

departments

www.prisma-rt.nl

how did we start?

Why did MAASTRO became pioneer in 2002?

• Organisational changes• Technology-push• Standardisation versus individualisation• MAASTRO development• Incidents• Masterthesis 2003

What is special in the radiotherapy ?

1. Misses • Overdose: healthy tissue is damaged • Underdose: tumor not optimal treated

(recidive )

• Wrong location (combination of above)

2. Visuality of the incidents• Late effects• group of patients

3. High tech complex care• Strong process standardization• Technique-human inter phase• Rapid innovation within radiotherapy

New safety mindset

Humans make mistakes but the environment, the technique and organization can enhance or reduce the mistakes

What do we want with reports = LEARN • Goal: analyses-results and effective actions

• Insight on failure modes and root causes to prevent system deviations

• Not intervene based on 1 incident but look for trends

PRISMA - model

Prevention and Recovery System for Monitoring and Analysis

developed by prof. T.W.v.d Schaaf

patient data exchangePatient irridiated with data

of an other patient

after summon patient A patient B entered

change of teams during the treatmentsession

wrong verification of the patient

Patient mistaked in hearing his

name

Patient was waiting for a

long time

Patient was deaf

Patient was already in the linac

room

the second tean thought that the first team already

checked

the communicati

on was incorrect

time was nog enough

Programme was too full

a machine failure

to many things to do during the treatment

it was summoned

by an intercom

TDPRF

HRC

OP

OP

OM

TD

classification of base causes

• Technical Failure (T): T-EX,TD,TC,TM

• Organisatonal Failure (O): O-EX,OK,OP,OM,OC

• Human Failure (H):H-EX,HKK,HRQ,HRC,HRV,HRI,HSS,HST

• Patient Related factor: PRF

0.0%

5.0%

1

15

30.0%

HRV HRM HRI OP OM TD HRC OK HKK OC HSS TM PRF HRQ TC O-EX H-EX

Trend analyses total incidents

Trend aantal meldingen

1835

1140

1746

122 129 109 63 89

510660 654

1201

301

1601

1515

195377

531 545

106 850200400600800

100012001400160018002000 aantal meldingen

near miss

miss

1835

Amount of (near) incidents / month

trend misses <5% / >5% dosisafwijking

86

75

118

128

108

52

77

9111

274 10

20

40

60

80

100

120

140

2003 2004 2005 2006 2007 2008

totaal miss

afw <5%

afw >5%

Trend misses <5% or > 5% dosis deviation

0,0%

10,0%

20,0%

30,0%

40,0%

50,0%

60,0%

70,0%

2003 2004 2005 2006 2007 2008

Human

Technical

Organisational

Incident work flow (1)Incident

Miss Near

Miss

Discussion

Incidentcom.

Mail informant

* Thank note

* Read only incident

* Status incident

* Addition

* Mail RTO

* evt Mail AIO

* Mail MRT

Miss

Dosisdev. >5%

Miss

Dosisdev. <5%

Mail

analists

Pre

Selection

Epid incidentmail fysica

BesprekingMeldingscie

Brief naar lijnverantw.

Verzameling 1/2 jaarsoortgelijke meldingen

RegulierePRISMAAnalyse

Pre selectie

Ernst

Detecteerbaarheid

Groeps Analyse

Analyse verslagnaar lijnverantw.Verzoek om actie!!!

Kwartaal analyse perWerkeenheid

BesprekingKwartaal analysemet lijn verantw.

BesprekingKwartaal analyse

Werkeenheid

Analyse verslagnaar lijnverantw.Verzoek om actie!!!

Op de hoogte stellen en/ofVerzoek om actie!!!

Incident work flow (2)

mile stones MAASTRO2002: PRISMA-reporting system2003: data statistics and pass on to colleague

departments2004: first HFMEA/SAFER2005: internal visitation and selective treatment check2006: culture: SAT training and PSO2007: PVT team incl. policy plan2008: VMS certificate & PRISMA-RT development2009: safety walkaround/revisitation by Lloyds

our Dutch prideMAASTRO’s

VMS

PRISMA related projects

Master university projects• Costmodel: recovery in relation to the costs of reports• Transitional risk effect research Electa -> Siemens• Communication research with Siemens

Benchmark projects:• collaboration Cath/ZRTI: patient identification and

datatransfer research

• OZRC : EPID process comparising using PRISMA

Prisma related national projectsPrisma related national projectsbenchmark data PRISMA radiotherapy

-10

0

10

20

30

40

50

60

70

80

90

T-e

x

TC

O-e

x

OP

OC

HK

K

HR

C

HR

I

HS

S

PR

Fbasisoorzaken PRISMA

aan

talle

n

A

B

C

D

E

F

totaal abs

Advantages of a national system

decentral

central

National/sector

•confidence

•more individual input

•more specific organisational improvements

•bigger amount of contributors

•big database in shorter time period

•bigger analyse in shorter time period

•bigger and faster range of learning moments (incl insight about new risks)

Figuur: T.W.v.d. Schaaf 4-11-2004

conditions• Uniform data comparising

• PRISMA correctly

• Database to make comparison possible

• Interrater agreement test

• Commitment organizations

• Privacy protocol for data distribution

development

mile stonesnov-2003kwaliteitsconferentie OZRC: presentatie PRISMA methodiek door MAASTRO aan de 6 zelfstandige radiotherapie instellingenApril t/m okt-2004PRISMA scholing aan de OZRC instellingeneind 2004 start van samenwerkingsproject afd. Radiotherapie van Catharina, ZRTI, MAASTRO oa. op basis van PRISMA mbt de processen: patientenidentificatie en datatransferjan-2005PRISMA scholing van de instelling NKI-AVL 2005tweetal benchmarkbijeenkomsten met OZRC instellingen mbt PRISMA datavergelijking PRISMA-RTjan-2005afstudeer onderzoek PRISMA in het RISO ( B. van Raaij) + afsluitende presentatie voor alle PRISMA geschoolde radiotherapieinstellingen gecombineerd met PRISMA casusbesprekingen van de instellingenjul-2005bachelor onderzoeksproject mbt kostenrelatie van herstel bij incidenten in MAASTRO okt-2005afstudeer onderzoek over risico's bij transitie ( J. Rutteman) + afsluitende presentatie voor alle PRISMA geschoolde radiotherapieinstellingen gecombineerd met PRISMA casusbesprekingen van de instellingennov-2005presentatie over PRISMA en samenwerkingsprojecten in het NVMBR jaar congresjan-2006bijeenkomst PRISMA-radiotherapie in TU / PRISMA- herscholingjul-2006bijeenkomst PRISMA-radiotherapie in TU / PRISMA- herscholingaug-2006eerste contacten NVZ mbt expertise over centrale database mogelijkhedenokt-2006bijeenkomst PRISMA-radiotherapie tbv verdere samenwerking en het plan mbt centrale database ontwikkelingfebr. 2007bijeenkomst PRISMA-radiotherapie met de presentatie van een rapport met de vergelijking van firma's en databases. Tevens het ontstaan van de naam PRISMA-RT en het verder opzetten van contacten met NVZ/DHD en het uitzetten van tekening intentieverklaringen. mei -2007formeel accoord NVZ mbt samenwerking met PRISMA-RT.aug-2007afstudeer onderzoek apparatuur onderzoek MAASTRO (J. Weterings) + afsluitende presentatie voor PRISMA radiotherapieokt-2007afronding van het samenwerkingsproject afd. Radiotherapie van Catharina, ZRTI, MAASTRO oa. op basis van PRISMA mbt de processen: patientenidentificatie en datatransferokt-febr 2008Oprichten binnen PRISMA-RT van de expertgroep febr. 2008start implementatie GRECOM server bij NVZ/DHD mei. 2008eerste ledenvergadering van de vereniging PRISMA-RTjuli /sep 2008scholing van de leden van PRISMA-RT van de database 7-okt-2008bijeenkomst bestuur PRISMA-Rt/DHD/grecom mbt evaluatie traject implementatie. en afspraken mbt acceptatie van de database door het expertteam22-nov-2008vereniging PRISMA-RT officieel de domeinnaamhouder van prisma-rt.nl15-12-2008accepance door de pilot instellingen van de PRISMA-RT database van Grecom22-12-2008aanmelding van Reinier de Graaf Groep als lid 2009Instellingen leren werken met database en sluiten aan op het benchmark-deelAug 2009Site : www.prisma-rt.nl in de lucht31-aug-09Presentatie ESTRO door Gytha Cuppen15 okt-09PRISMA-casus scholing en uitzetten van interobservaribiliteitsonderzoekOkt-09Eerste benchmark data analyseNov 09Relaese updata database

2004: education OZRC PRISMA2005: 2 benchmark projects &

master/bachelor research in MAASTRO2006: first inventarisation departments2007: declaration of intent, NVZ contract partner

and location for the database, research for commercial database, selection of

Grecom/TPSC2008: foundation of expert team and start of

implementation of the database within the departments, dec. 08: lid 17

may 08: formal first meeting of PRISMA-RT2009: start data input, website on line, first

benchmark data available

membres of PRISMA-RT1. Academisch Medisch Centrum, afdeling radiotherapie2. Arnhems Radiotherapeutisch Instituut (Stichting Kankerbestrijding Arnhem en

omgeving)3. Dr. Bernard Verbeeten Instituut4. Catharina ziekenhuis Eindhoven, afdeling radiotherapie5. Erasmus universitair Medisch Centrum Rotterdam,afdeling radiotherapie6. HAGA ziekenhuis, afdeling radiotherapie, lokatie Leyenburgh7. ISALA, afdeling radiotherapie8. MAASTRO clinic9. Medisch Spectrum Twente, afdeling radiotherapie10.Nederlands Kanker Instituut - Antoni van Leeuwenhoek Ziekenhuis, afdeling

radiotherapie11.VU Medisch Centrum, afdeling radiotherapie12.Radiotherapeutisch Instituut Friesland13.Radiotherapeutisch Instituut Stedendriehoek en Omstreken14.Universitair Medisch Centrum Groningen, afdeling radiotherapie15.Universitair Medisch Centrum Utrecht,afdeling radiotherapie16.Zeeuws Radiotherapeutisch Instituut17.Reinier de Graaf groep, afdeling radiotherapie

IMS/ PRISMA database• 2005 first contact MAASTRO- Grecom/TPSC• Development PRISMA-module and input of

MAASTRO• 2006/2007 development SAFER-module• End of 2006: TPSC database PRISMA-RT• 2008: implementation & pilot TPSC database• 2009: Cooperation Maastro/TPSC

Databenching ‘The Problems in the past’

• Data collection was difficult

• Data comparison took al long time

• Plan a meeting

• Discus data was learning process

• Extent to other processes was almost impossible

Control chart

A statistical tool used to differentiate process deviations caused by:

1. normal process variation

2. variation caused by special causes

Why use control chart ?

• Monitor process variation during a period• Differentiate between special & normal

variation• Evaluate effects of process changes• Communication tool for process

performance

Incident Management Systeem

Instance

Radiotherapie instelling A

Incident Management Systeem

Instance

Radiotherapie instelling B

Incident Management Systeem

Instance

Radiotherapie instelling C

Incident Management Systeem

Instance

Radiotherapie instelling ….

Benchmark database

Radiotherapie Benchmarkpunt

middels GreCom Rapportagetool

Geanonimiseerde Data

Geanonimiseerde Data Geanonimiseerde Data

Geanonimiseerde Data

Dedicated Server 1

Dedicated Server 2

Radiotherapie instelling ...Radiotherapie instelling CRadiotherapie instelling BRadiotherapie instelling A

Interrator reliability– Lokal

– confirm reliability database– meassure the performance analysts

– Collective– unables oppertunity to improve knowledge to analyse– improve the reliability of the collective data– uniformity of analyses and continuity of knowledge

Databenching ‘The Future’

Why use the interobservariability

research?

So departments are comparable and speak the same language

Method LIBB

50 ad random base cause prescriptions

=> Percentages agreement between observers/analysts

=> Comparing with gold standard of classification codes

Results LIBB, 2009

Of 51 analysts, scores were compared of 14 departments

Agreement• Base cause level: 69%• Base cause level but only human causes

were combined: 87%• Main cause level: Human, Org and

Technical: 90%

Results LIBB, 2009Beschrijving basisoorzaak

Gouden standaard

Frequentie gouden standaard

in %

Modus / Modale

codering

Frequentie van de modus in

%

5

Bij controle van gegevens, is automatisch aangenomen dat gegevens correct zijn omdat iemand anders gegevens afgetekend heeft

oc 24 hrv 58

30

Behandelend arts vergeet door te geven aan administratie dat patient opgenomen ligt en dus niet voor CT en bestraling komt

hrc 20 hri 65

33

Administratie geeft patient niet door dat zijn tijdstip van bestraling is veranderd

h-ex 16 prf 69

15

epid-beelden hebben een zeer slechte beeldkwaliteit, moeilijk te matchen

tm 34 td 42

35

Fysicus schat situatie op versneller verkeerd in

hri 8 oc 30

41

Patientgegevens onterecht opgeborgen zonder dat er boostplan van patient gemaakt is

tm 29 td 37

10

geen eenduidigheid in communicatie overdracht van voorbereiding naar versneller. Verschillende formulieren werken verwarrend

op 45 op 45

11

De technici van de eigen instelling hebben de beperking van de versneller niet gecommuniceerd naar hoofdlaborant

hrc 45 hrc 45

18

Arts is zich niet bewust en stelt laborant niet op de hoogte van wijziging fractioneringsschema maar alleen de adminstratie om het aantal afspraken te wijzigen

Exclud. (te veel discuss

ie HRC/HKK)

33 hrc 33

20

Hoe te handelen bij een specifieke storing van de versneller niet duidelijk voor alle laboranten

op 49 op 49

Conclusion LIBB

- Sufficient /Good agreement of 69%

- Differences are focussed within the Human classification codes

Recommendation LIBB 2009- Individual education for the low scoring analysts

- Periodically repeating of LIBB

Databenching ‘The Future’

• Definition of context variables?• Datamining/ Textmining?• Comparing more data/information ?

(HFMEA)• Eliminate the influence of the culture of

reporting

• Departement A starts implementing a new process

• Conduct a HFMEA/SAFER• Comparing HFMEA with the national PRISMA-

database• Discover problems of collegae departments and

use this information to complete the pro-active riskanalyses.

• Department A learns anticipates on this information during further implementation.

Databenching ‘The Future’

Mission “Safe irridiation in every

radiotherapy department !!”

SLOGAN???

• PRISMA-RT (Belgium,Germany / Denmark)?

• PRISMA-RT (Europe)?

• PRISMA-RT (world)?

Databenching ‘The Future’

PRISMA

Law protection in Nederlands

• no legislation for data protection of a database for reporting

• case NL: a calamity has to be reported to the national inspection on health care. The patient file did not have any information about the event. Hereby other information was claimed.

• In MAASTRO data of reports are made anonymous after 3 mounts when the analyses is conducted

Extra info

The main conclusion is that only calamities gives the ligal opportunity to ask for the available information from a database of incidents. So at the moment the databases are not immune for juridicairy actions. In my organization we have a database of reports. Every 3 months the reports are made anonymous so the information about the person, who has put in the report, is erased. All the other information about patient and context is still available.By my knowledge, the time period, by which the persons information is erased, is not been defined in the Netherlands. The information from our minister of Health Dr. Klink: He does not want to change the law to protect the person who report because the document (beleidsdocument veilig melden ) is sufficient according to him.