PRISMA-RT a collective in the radiotherapy in the Netherlands
Petra Reijnders M.Amanager patientsafety MAASTRO clinic and
secretary PRISMA-RTseptembre 2010
• Who are we ?
• How did we start ?
• Development until now !
• Opportunities ?
content presentation
“Past, present and future”
association between 17 radiotherapy
departments
www.prisma-rt.nl
how did we start?
Why did MAASTRO became pioneer in 2002?
• Organisational changes• Technology-push• Standardisation versus individualisation• MAASTRO development• Incidents• Masterthesis 2003
What is special in the radiotherapy ?
1. Misses • Overdose: healthy tissue is damaged • Underdose: tumor not optimal treated
(recidive )
• Wrong location (combination of above)
2. Visuality of the incidents• Late effects• group of patients
3. High tech complex care• Strong process standardization• Technique-human inter phase• Rapid innovation within radiotherapy
New safety mindset
Humans make mistakes but the environment, the technique and organization can enhance or reduce the mistakes
What do we want with reports = LEARN • Goal: analyses-results and effective actions
• Insight on failure modes and root causes to prevent system deviations
• Not intervene based on 1 incident but look for trends
PRISMA - model
Prevention and Recovery System for Monitoring and Analysis
developed by prof. T.W.v.d Schaaf
patient data exchangePatient irridiated with data
of an other patient
after summon patient A patient B entered
change of teams during the treatmentsession
wrong verification of the patient
Patient mistaked in hearing his
name
Patient was waiting for a
long time
Patient was deaf
Patient was already in the linac
room
the second tean thought that the first team already
checked
the communicati
on was incorrect
time was nog enough
Programme was too full
a machine failure
to many things to do during the treatment
it was summoned
by an intercom
TDPRF
HRC
OP
OP
OM
TD
classification of base causes
• Technical Failure (T): T-EX,TD,TC,TM
• Organisatonal Failure (O): O-EX,OK,OP,OM,OC
• Human Failure (H):H-EX,HKK,HRQ,HRC,HRV,HRI,HSS,HST
• Patient Related factor: PRF
0.0%
5.0%
1
15
30.0%
HRV HRM HRI OP OM TD HRC OK HKK OC HSS TM PRF HRQ TC O-EX H-EX
Trend analyses total incidents
Trend aantal meldingen
1835
1140
1746
122 129 109 63 89
510660 654
1201
301
1601
1515
195377
531 545
106 850200400600800
100012001400160018002000 aantal meldingen
near miss
miss
1835
Amount of (near) incidents / month
trend misses <5% / >5% dosisafwijking
86
75
118
128
108
52
77
9111
274 10
20
40
60
80
100
120
140
2003 2004 2005 2006 2007 2008
totaal miss
afw <5%
afw >5%
Trend misses <5% or > 5% dosis deviation
0,0%
10,0%
20,0%
30,0%
40,0%
50,0%
60,0%
70,0%
2003 2004 2005 2006 2007 2008
Human
Technical
Organisational
Incident work flow (1)Incident
Miss Near
Miss
Discussion
Incidentcom.
Mail informant
* Thank note
* Read only incident
* Status incident
* Addition
* Mail RTO
* evt Mail AIO
* Mail MRT
Miss
Dosisdev. >5%
Miss
Dosisdev. <5%
analists
Pre
Selection
Epid incidentmail fysica
BesprekingMeldingscie
Brief naar lijnverantw.
Verzameling 1/2 jaarsoortgelijke meldingen
RegulierePRISMAAnalyse
Pre selectie
Ernst
Detecteerbaarheid
Groeps Analyse
Analyse verslagnaar lijnverantw.Verzoek om actie!!!
Kwartaal analyse perWerkeenheid
BesprekingKwartaal analysemet lijn verantw.
BesprekingKwartaal analyse
Werkeenheid
Analyse verslagnaar lijnverantw.Verzoek om actie!!!
Op de hoogte stellen en/ofVerzoek om actie!!!
Incident work flow (2)
mile stones MAASTRO2002: PRISMA-reporting system2003: data statistics and pass on to colleague
departments2004: first HFMEA/SAFER2005: internal visitation and selective treatment check2006: culture: SAT training and PSO2007: PVT team incl. policy plan2008: VMS certificate & PRISMA-RT development2009: safety walkaround/revisitation by Lloyds
our Dutch prideMAASTRO’s
VMS
PRISMA related projects
Master university projects• Costmodel: recovery in relation to the costs of reports• Transitional risk effect research Electa -> Siemens• Communication research with Siemens
Benchmark projects:• collaboration Cath/ZRTI: patient identification and
datatransfer research
• OZRC : EPID process comparising using PRISMA
Prisma related national projectsPrisma related national projectsbenchmark data PRISMA radiotherapy
-10
0
10
20
30
40
50
60
70
80
90
T-e
x
TC
O-e
x
OP
OC
HK
K
HR
C
HR
I
HS
S
PR
Fbasisoorzaken PRISMA
aan
talle
n
A
B
C
D
E
F
totaal abs
Advantages of a national system
decentral
central
National/sector
•confidence
•more individual input
•more specific organisational improvements
•bigger amount of contributors
•big database in shorter time period
•bigger analyse in shorter time period
•bigger and faster range of learning moments (incl insight about new risks)
Figuur: T.W.v.d. Schaaf 4-11-2004
conditions• Uniform data comparising
• PRISMA correctly
• Database to make comparison possible
• Interrater agreement test
• Commitment organizations
• Privacy protocol for data distribution
development
mile stonesnov-2003kwaliteitsconferentie OZRC: presentatie PRISMA methodiek door MAASTRO aan de 6 zelfstandige radiotherapie instellingenApril t/m okt-2004PRISMA scholing aan de OZRC instellingeneind 2004 start van samenwerkingsproject afd. Radiotherapie van Catharina, ZRTI, MAASTRO oa. op basis van PRISMA mbt de processen: patientenidentificatie en datatransferjan-2005PRISMA scholing van de instelling NKI-AVL 2005tweetal benchmarkbijeenkomsten met OZRC instellingen mbt PRISMA datavergelijking PRISMA-RTjan-2005afstudeer onderzoek PRISMA in het RISO ( B. van Raaij) + afsluitende presentatie voor alle PRISMA geschoolde radiotherapieinstellingen gecombineerd met PRISMA casusbesprekingen van de instellingenjul-2005bachelor onderzoeksproject mbt kostenrelatie van herstel bij incidenten in MAASTRO okt-2005afstudeer onderzoek over risico's bij transitie ( J. Rutteman) + afsluitende presentatie voor alle PRISMA geschoolde radiotherapieinstellingen gecombineerd met PRISMA casusbesprekingen van de instellingennov-2005presentatie over PRISMA en samenwerkingsprojecten in het NVMBR jaar congresjan-2006bijeenkomst PRISMA-radiotherapie in TU / PRISMA- herscholingjul-2006bijeenkomst PRISMA-radiotherapie in TU / PRISMA- herscholingaug-2006eerste contacten NVZ mbt expertise over centrale database mogelijkhedenokt-2006bijeenkomst PRISMA-radiotherapie tbv verdere samenwerking en het plan mbt centrale database ontwikkelingfebr. 2007bijeenkomst PRISMA-radiotherapie met de presentatie van een rapport met de vergelijking van firma's en databases. Tevens het ontstaan van de naam PRISMA-RT en het verder opzetten van contacten met NVZ/DHD en het uitzetten van tekening intentieverklaringen. mei -2007formeel accoord NVZ mbt samenwerking met PRISMA-RT.aug-2007afstudeer onderzoek apparatuur onderzoek MAASTRO (J. Weterings) + afsluitende presentatie voor PRISMA radiotherapieokt-2007afronding van het samenwerkingsproject afd. Radiotherapie van Catharina, ZRTI, MAASTRO oa. op basis van PRISMA mbt de processen: patientenidentificatie en datatransferokt-febr 2008Oprichten binnen PRISMA-RT van de expertgroep febr. 2008start implementatie GRECOM server bij NVZ/DHD mei. 2008eerste ledenvergadering van de vereniging PRISMA-RTjuli /sep 2008scholing van de leden van PRISMA-RT van de database 7-okt-2008bijeenkomst bestuur PRISMA-Rt/DHD/grecom mbt evaluatie traject implementatie. en afspraken mbt acceptatie van de database door het expertteam22-nov-2008vereniging PRISMA-RT officieel de domeinnaamhouder van prisma-rt.nl15-12-2008accepance door de pilot instellingen van de PRISMA-RT database van Grecom22-12-2008aanmelding van Reinier de Graaf Groep als lid 2009Instellingen leren werken met database en sluiten aan op het benchmark-deelAug 2009Site : www.prisma-rt.nl in de lucht31-aug-09Presentatie ESTRO door Gytha Cuppen15 okt-09PRISMA-casus scholing en uitzetten van interobservaribiliteitsonderzoekOkt-09Eerste benchmark data analyseNov 09Relaese updata database
2004: education OZRC PRISMA2005: 2 benchmark projects &
master/bachelor research in MAASTRO2006: first inventarisation departments2007: declaration of intent, NVZ contract partner
and location for the database, research for commercial database, selection of
Grecom/TPSC2008: foundation of expert team and start of
implementation of the database within the departments, dec. 08: lid 17
may 08: formal first meeting of PRISMA-RT2009: start data input, website on line, first
benchmark data available
membres of PRISMA-RT1. Academisch Medisch Centrum, afdeling radiotherapie2. Arnhems Radiotherapeutisch Instituut (Stichting Kankerbestrijding Arnhem en
omgeving)3. Dr. Bernard Verbeeten Instituut4. Catharina ziekenhuis Eindhoven, afdeling radiotherapie5. Erasmus universitair Medisch Centrum Rotterdam,afdeling radiotherapie6. HAGA ziekenhuis, afdeling radiotherapie, lokatie Leyenburgh7. ISALA, afdeling radiotherapie8. MAASTRO clinic9. Medisch Spectrum Twente, afdeling radiotherapie10.Nederlands Kanker Instituut - Antoni van Leeuwenhoek Ziekenhuis, afdeling
radiotherapie11.VU Medisch Centrum, afdeling radiotherapie12.Radiotherapeutisch Instituut Friesland13.Radiotherapeutisch Instituut Stedendriehoek en Omstreken14.Universitair Medisch Centrum Groningen, afdeling radiotherapie15.Universitair Medisch Centrum Utrecht,afdeling radiotherapie16.Zeeuws Radiotherapeutisch Instituut17.Reinier de Graaf groep, afdeling radiotherapie
IMS/ PRISMA database• 2005 first contact MAASTRO- Grecom/TPSC• Development PRISMA-module and input of
MAASTRO• 2006/2007 development SAFER-module• End of 2006: TPSC database PRISMA-RT• 2008: implementation & pilot TPSC database• 2009: Cooperation Maastro/TPSC
Databenching ‘The Problems in the past’
• Data collection was difficult
• Data comparison took al long time
• Plan a meeting
• Discus data was learning process
• Extent to other processes was almost impossible
Control chart
A statistical tool used to differentiate process deviations caused by:
1. normal process variation
2. variation caused by special causes
Why use control chart ?
• Monitor process variation during a period• Differentiate between special & normal
variation• Evaluate effects of process changes• Communication tool for process
performance
Incident Management Systeem
Instance
Radiotherapie instelling A
Incident Management Systeem
Instance
Radiotherapie instelling B
Incident Management Systeem
Instance
Radiotherapie instelling C
Incident Management Systeem
Instance
Radiotherapie instelling ….
Benchmark database
Radiotherapie Benchmarkpunt
middels GreCom Rapportagetool
Geanonimiseerde Data
Geanonimiseerde Data Geanonimiseerde Data
Geanonimiseerde Data
Dedicated Server 1
Dedicated Server 2
Radiotherapie instelling ...Radiotherapie instelling CRadiotherapie instelling BRadiotherapie instelling A
Interrator reliability– Lokal
– confirm reliability database– meassure the performance analysts
– Collective– unables oppertunity to improve knowledge to analyse– improve the reliability of the collective data– uniformity of analyses and continuity of knowledge
Databenching ‘The Future’
Why use the interobservariability
research?
So departments are comparable and speak the same language
Method LIBB
50 ad random base cause prescriptions
=> Percentages agreement between observers/analysts
=> Comparing with gold standard of classification codes
Results LIBB, 2009
Of 51 analysts, scores were compared of 14 departments
Agreement• Base cause level: 69%• Base cause level but only human causes
were combined: 87%• Main cause level: Human, Org and
Technical: 90%
Results LIBB, 2009Beschrijving basisoorzaak
Gouden standaard
Frequentie gouden standaard
in %
Modus / Modale
codering
Frequentie van de modus in
%
5
Bij controle van gegevens, is automatisch aangenomen dat gegevens correct zijn omdat iemand anders gegevens afgetekend heeft
oc 24 hrv 58
30
Behandelend arts vergeet door te geven aan administratie dat patient opgenomen ligt en dus niet voor CT en bestraling komt
hrc 20 hri 65
33
Administratie geeft patient niet door dat zijn tijdstip van bestraling is veranderd
h-ex 16 prf 69
15
epid-beelden hebben een zeer slechte beeldkwaliteit, moeilijk te matchen
tm 34 td 42
35
Fysicus schat situatie op versneller verkeerd in
hri 8 oc 30
41
Patientgegevens onterecht opgeborgen zonder dat er boostplan van patient gemaakt is
tm 29 td 37
10
geen eenduidigheid in communicatie overdracht van voorbereiding naar versneller. Verschillende formulieren werken verwarrend
op 45 op 45
11
De technici van de eigen instelling hebben de beperking van de versneller niet gecommuniceerd naar hoofdlaborant
hrc 45 hrc 45
18
Arts is zich niet bewust en stelt laborant niet op de hoogte van wijziging fractioneringsschema maar alleen de adminstratie om het aantal afspraken te wijzigen
Exclud. (te veel discuss
ie HRC/HKK)
33 hrc 33
20
Hoe te handelen bij een specifieke storing van de versneller niet duidelijk voor alle laboranten
op 49 op 49
Conclusion LIBB
- Sufficient /Good agreement of 69%
- Differences are focussed within the Human classification codes
Recommendation LIBB 2009- Individual education for the low scoring analysts
- Periodically repeating of LIBB
Databenching ‘The Future’
• Definition of context variables?• Datamining/ Textmining?• Comparing more data/information ?
(HFMEA)• Eliminate the influence of the culture of
reporting
• Departement A starts implementing a new process
• Conduct a HFMEA/SAFER• Comparing HFMEA with the national PRISMA-
database• Discover problems of collegae departments and
use this information to complete the pro-active riskanalyses.
• Department A learns anticipates on this information during further implementation.
Databenching ‘The Future’
Mission “Safe irridiation in every
radiotherapy department !!”
SLOGAN???
• PRISMA-RT (Belgium,Germany / Denmark)?
• PRISMA-RT (Europe)?
• PRISMA-RT (world)?
Databenching ‘The Future’
PRISMA
Law protection in Nederlands
• no legislation for data protection of a database for reporting
• case NL: a calamity has to be reported to the national inspection on health care. The patient file did not have any information about the event. Hereby other information was claimed.
• In MAASTRO data of reports are made anonymous after 3 mounts when the analyses is conducted
Extra info
The main conclusion is that only calamities gives the ligal opportunity to ask for the available information from a database of incidents. So at the moment the databases are not immune for juridicairy actions. In my organization we have a database of reports. Every 3 months the reports are made anonymous so the information about the person, who has put in the report, is erased. All the other information about patient and context is still available.By my knowledge, the time period, by which the persons information is erased, is not been defined in the Netherlands. The information from our minister of Health Dr. Klink: He does not want to change the law to protect the person who report because the document (beleidsdocument veilig melden ) is sufficient according to him.