validierung molekular - diagnostischer methoden für das .... riemser dia-tage/conraths.pdf · 2...
Post on 11-Aug-2019
217 Views
Preview:
TRANSCRIPT
1
ValidierungValidierung molekularmolekular--diagnostischerdiagnostischer MethodenMethodenffüürr dasdas akkreditierteakkreditierte LaborLabor
Franz J. ConrathsFranz J. Conraths
FriedrichFriedrich--LoefflerLoeffler--InstitutInstitutBundesforschungsinstitut fBundesforschungsinstitut füür Tiergesundheitr Tiergesundheit
Institut fInstitut füür Epidemiologier EpidemiologieWusterhausen Wusterhausen
Riemser Diagnostiktage 2005
Warum Tests Warum Tests validierenvalidieren??
(ideal)
chance
Systematicerror (Bias)
(reality)
Validity
Rel
iabi
lity
Thrusfield, M., Veterinary Epidemiology, 1995
2
Laboratory Laboratory AccreditationAccreditation
ISO 17025ISO 17025�� QualityQuality ManualManual
�� ProceduresProceduresControlControl of of nonnon--conformingconforming workwork
CorrectiveCorrective actionsactions
PreventivePreventive actionsactions
EstimationEstimation of of uncertaintyuncertainty
�� QualityQuality recordsrecordsTests and Tests and specificationsspecifications
ISO/IEC International Standard 17025 (1999). General Requirements for the Competence of Testing and CalibrationLaboratories. International Organisation for Standardisation (ISO), ISO Central Secretariat, 1 rue de Varembé, CasePostale 56, CH - 1211, Geneva 20, Switzerland.
Stadien der Stadien der TestvalidierungTestvalidierung
1.1. MachbarkeitsstudienMachbarkeitsstudien2.2. Testentwicklung und StandardisierungTestentwicklung und Standardisierung
�� Optimieren von Reagenzien, GerOptimieren von Reagenzien, Gerääten und Protokollenten und Protokollen�� Wiederholbarkeit Wiederholbarkeit –– vorlvorlääufige Schufige Schäätzungentzungen�� Bestimmen kritischer KontrollparameterBestimmen kritischer Kontrollparameter�� Analytische SensitivitAnalytische Sensitivitäät und t und SpezifitSpezifitäätt�� MessbereichMessbereich
3.3. Bestimmen der LeistungsfBestimmen der Leistungsfäähigkeithigkeit�� Diagnostische SensitivitDiagnostische Sensitivitäät und t und SpezifitSpezifitäätt�� Wiederholbarkeit und ReproduzierbarkeitWiederholbarkeit und Reproduzierbarkeit
4.4. MonitoringMonitoring der Validitder Validitäät der Leistungsft der Leistungsfäähigkeithigkeit5.5. ÜÜberwachung und Bestberwachung und Bestäätigung der tigung der ValidierungskriterienValidierungskriterien
http://www.oie.int/eng/normes/mmanual/A_00014.htm
3
Optimieren Optimieren
von Reagenzien und Gervon Reagenzien und Geräätenten
Optimieren von ReagenzienOptimieren von ReagenzienAuswahl der ReagenzienAuswahl der Reagenzien
�� QualitQualitäätsstandards: Produktzertifizierungtsstandards: Produktzertifizierungz.B. ISO 9000 z.B. ISO 9000 andere Zertifikateandere ZertifikateQualitQualitäätsgesicherte Produktiontsgesicherte Produktion
�� Kontrollproben: Kontrollproben: 44--5 aus verschiedenen Regionen des geplanten Messbereichs, Negati5 aus verschiedenen Regionen des geplanten Messbereichs, Negativkontrolle; evtl. vkontrolle; evtl. nationale oder internationale Standards einbeziehennationale oder internationale Standards einbeziehenWahrer Status sollte bekannt sein; gut definiertWahrer Status sollte bekannt sein; gut definiertMMööglichst keine Poolsglichst keine PoolsAliquotierungAliquotierung
OptimierenOptimieren�� SchachbrettSchachbrett--TitrationTitration konzentrationsabhkonzentrationsabhäängiger Reagenzienngiger Reagenzien�� Bestimmung der fBestimmung der füür den Untersuchungszweck gr den Untersuchungszweck güünstigsten Parameter nstigsten Parameter
(Konzentrationen, (Konzentrationen, pHpH, Temperatur , Temperatur ……))�� Alle Optimierungsversuche unter identischen Bedingungen durchfAlle Optimierungsversuche unter identischen Bedingungen durchfüühren, stets hren, stets
nur einen Parameter nur einen Parameter äändernndern
Ergebnisse auch verwertbar zur Bestimmung kritischer KontrollparErgebnisse auch verwertbar zur Bestimmung kritischer Kontrollparameterameter
4
Vergleichbarkeit quantitativer DatenVergleichbarkeit quantitativer Daten
In einem Testdurchgang:In einem Testdurchgang:�� BezBezüüge zu Ergebnissen der Kontrollproben ge zu Ergebnissen der Kontrollproben
herstellen:herstellen:�� StandardkurveStandardkurve�� S/PS/P--RatioRatio�� IndexIndex�� ……
Zwischen TestdurchgZwischen Testdurchgäängenngen�� Toleranzen der Messwerte fToleranzen der Messwerte füür Kontrollen festlegen r Kontrollen festlegen
und Messwerte der Kontrollen zwischen und Messwerte der Kontrollen zwischen TestdurchgTestdurchgäängen vergleichenngen vergleichen
Optimieren von GerOptimieren von Geräätenten
Auswahl der GerAuswahl der Geräätete�� QualitQualitäätsstandards: Produktzertifizierungtsstandards: Produktzertifizierung
z.B. ISO 9000 z.B. ISO 9000 andere Zertifikateandere ZertifikateQualitQualitäätsgesicherte Produktiontsgesicherte Produktion
KalibrierungKalibrierung�� Ermittlung der Abweichung der Anzeige eines MessgerErmittlung der Abweichung der Anzeige eines Messgerääts vom wahren ts vom wahren
Wert der MessgrWert der Messgrößöße: e: RRüückfckfüührung auf nationales Normalhrung auf nationales NormalDem GerDem Geräät Objekt mit bekannten Mat Objekt mit bekannten Maßßen vorlegen (en vorlegen (NoNormalrmal) ) Abweichung der Anzeige vom bekannten MaAbweichung der Anzeige vom bekannten Maßß bestimmenbestimmenErgebnis und die zugehErgebnis und die zugehöörige rige MessunsicherheitMessunsicherheit dokumentierendokumentieren
Optimieren variabler ParameterOptimieren variabler Parameter�� ZeitZeit�� TemperaturTemperatur�� pHpH
Ergebnisse auch verwertbar zur Bestimmung kritischer Ergebnisse auch verwertbar zur Bestimmung kritischer KontrollparameterKontrollparameter
5
Optimieren von ProtokollenOptimieren von Protokollen
Definition des PrDefinition des Prüüfvorgangsfvorgangs
Wo beginnt die Analyse?Wo beginnt die Analyse?�� ProbennahmeProbennahme�� Eingesendete ProbeEingesendete Probe
Vorbereitungsschritte zu Analyse erforderlichVorbereitungsschritte zu Analyse erforderlich�� Beispiele: DNABeispiele: DNA--Extraktion aus Gewebeprobe, Extraktion aus Gewebeprobe, ZentrifugierenZentrifugieren
von Blutproben zur von Blutproben zur SerumgewinnungSerumgewinnung
Vorbereitungsschritte nicht erforderlichVorbereitungsschritte nicht erforderlich�� SerumprobeSerumprobe
Auswahl geeigneter Kontrollen zur Auswahl geeigneter Kontrollen zur ÜÜberwachung des gesamten Analysevorgangsberwachung des gesamten Analysevorgangs�� Kontrolle der Vorbereitungsschritte (Prozesskontrolle)Kontrolle der Vorbereitungsschritte (Prozesskontrolle)�� Kontrolle der Analyse im engeren SinnKontrolle der Analyse im engeren Sinn
6
Beispiel: Diagnostische PCRBeispiel: Diagnostische PCR
VermeidungVermeidung falschfalsch--positiverpositiver PCRPCR--ErgebnisseErgebnisse�� LaborLabor--bezogene Problemebezogene Probleme
Das Protokoll beginnt mit der Probenaufbereitung!!!Das Protokoll beginnt mit der Probenaufbereitung!!!�� PrPrüüfung der Probenqualitfung der Probenqualitäät vor und wt vor und wäährend der hrend der
Probenaufbereitung.Probenaufbereitung.
Kreuzkontaminationen verhindern!Kreuzkontaminationen verhindern!
‚‚Carry Carry overover‘‘ (Verschleppen von Probenmaterial) (Verschleppen von Probenmaterial) verhindern!verhindern!
Beispiel: Diagnostische PCRBeispiel: Diagnostische PCR
VermeidungVermeidung falschfalsch--positiverpositiver PCRPCR--ErgebnisseErgebnisse�� LaborLabor--bezogene Problemebezogene Probleme
LLöösungsmsungsmööglichkeitenglichkeiten: : �� separate Rseparate Rääume, separate Pipetten, spezielle Pipettenspitzen, ume, separate Pipetten, spezielle Pipettenspitzen,
separate Laborkleidung etc.separate Laborkleidung etc.
�� MitfMitfüühren von Prozesskontrollenhren von Prozesskontrollen
�� Dekontamination (UV, Chlorbleiche)Dekontamination (UV, Chlorbleiche)
�� TubeTube--ÖÖffner verwendenffner verwenden
�� singlesingle--tubetube teststests (?)(?)
�� Vermeiden von Vermeiden von nestednested--PCRsPCRs
�� UracilUracil--DNADNA GlycosylaseGlycosylase
katalysyiertkatalysyiert das Entfernen von das Entfernen von UracilUracil aus saus s-- und und dsds--DNADNA, , die in Gegenwart von dUTP2 synthetisiert wurde.die in Gegenwart von dUTP2 synthetisiert wurde.
7
Beispiel: Diagnostische PCRBeispiel: Diagnostische PCR
�� TestTest--bezogene Problemebezogene Probleme
Unzureichende OptimierungUnzureichende Optimierung
Unzureichende LeistungsfUnzureichende Leistungsfäähigkeit des Tests higkeit des Tests �� LLöösung:sung: Beispiel: Steigern der Beispiel: Steigern der SpezifitSpezifitäätt durch durch HybridisierungHybridisierung
oder oder SequenzierungSequenzierung, RFLP, , RFLP, ……
Beispiel: Diagnostische PCR Beispiel: Diagnostische PCR
VermeidungVermeidung falschfalsch--negativernegativer PCRPCR--ErgebnisseErgebnisse�� Inhibition, SensitivitInhibition, Sensitivitäätsverlusttsverlust
Das Protokoll beginnt mit der Probenaufbereitung!!! Das Protokoll beginnt mit der Probenaufbereitung!!! PipettierfehlerPipettierfehler
LLöösung: sung: �� MitfMitfüühren von Prozesskontrollenhren von Prozesskontrollen
�� FremdFremd--NukleinsNukleinsääuren als Kontrolle zusetzenuren als Kontrolle zusetzen
DNA DNA mimicsmimics
ArmoredArmored RNARNA
�� DNA als Kontrolle nutzen, die natDNA als Kontrolle nutzen, die natüürlich in allen Proben vorkommtrlich in allen Proben vorkommt
�� FFüür r realreal--timetime und und MultiplexMultiplex--PCRPCR
HousekeepingHousekeeping--GeneGene
WirtsWirts--DNADNA, z.B. , z.B. ßß--ActinActin, GAPDH, , GAPDH, ribosomaleribosomale RNA RNA
8
Kontrollen fKontrollen füür diagnostische PCRr diagnostische PCR
Hoorfar et al. 2004. APMIS 112: 808–14
Wiederholbarkeit prWiederholbarkeit prüüfenfen
RepeatabilityRepeatability: : „„agreementagreement betweenbetween replicatesreplicateswithinwithin and and betweenbetween runsruns of of thethe assayassay““
�� 44--5 Ans5 Ansäätze jeder Probe in mindestens 5 Anstze jeder Probe in mindestens 5 Ansäätzen an tzen an 5 verschiedenen Terminen pr5 verschiedenen Terminen prüüfen.fen.
�� Variationskoeffizient (CV) bestimmen:Variationskoeffizient (CV) bestimmen:Standardabweichung der Standardabweichung der ReplicasReplicas / arithmetisches Mittel der / arithmetisches Mittel der ReplicasReplicasZiel: CV unter 20% in diesem Stadium der Ziel: CV unter 20% in diesem Stadium der TestvalidierungTestvalidierungFertig Fertig validiertevalidierte Tests: CV sollte Tests: CV sollte << 10% sein !!!10% sein !!!
http://www.oie.int/eng/normes/mmanual/A_00014.htm
9
Analytische SensitivitAnalytische Sensitivitäät und t und SpezifitSpezifitäätt
Analytische SensitivitAnalytische Sensitivitäätt
SmallestSmallest detectabledetectable amountamount of of thethe analyteanalyte in in questionquestion
Bestimmung:Bestimmung:�� EndpunktverdEndpunktverdüünnungnnung
Bestimmung der VerdBestimmung der Verdüünnung, in welcher der nnung, in welcher der AnalytAnalyt gerade gerade noch oder gerade nicht mehr nachweisbar ist.noch oder gerade nicht mehr nachweisbar ist.
�� AntikAntiköörperbestimmungenrperbestimmungen
�� Geringste Menge des Geringste Menge des AnalytenAnalyten, die nachgewiesen , die nachgewiesen werden kann.werden kann.
�� Erregernachweise, PCRErregernachweise, PCR
http://www.oie.int/eng/normes/mmanual/A_00014.htm
10
AnalyticalAnalytical specificityspecificity
degreedegree to to whichwhich thethe assayassay doesdoes notnot crosscross--reactreactwithwith otherother analytesanalytes
Bestimmung:Bestimmung:�� Untersuchung von Proben von Individuen, die mit Untersuchung von Proben von Individuen, die mit
verwandten Krankheitserregern infiziert sind oder verwandten Krankheitserregern infiziert sind oder waren waren
�� Untersuchung ausgewUntersuchung ausgewäählter, mehr oder weniger hlter, mehr oder weniger verwandter Organismen (z.B. verschiedene verwandter Organismen (z.B. verschiedene Protozoen bei einer PCR fProtozoen bei einer PCR füür r T. T. gondiigondii))
http://www.oie.int/eng/normes/mmanual/A_00014.htm
Die Bestimmung der Die Bestimmung der analytischenanalytischen SensitivitSensitivitäät t
und und SpezifitSpezifitäätt stellt fstellt füür sich r sich allein keine ausreichende allein keine ausreichende
ValidierungValidierung dar!!!dar!!!
11
Messbereich festlegen Messbereich festlegen
BasisBasis�� Ergebnisse der OptimierungErgebnisse der Optimierung
�� Werte der KontrollenWerte der Kontrollen
�� Ggf. EichkurveGgf. Eichkurve
Diagnostische SensitivitDiagnostische Sensitivitäät und t und SpezifitSpezifitäätt
12
ÜÜbereinstimmung zwischen Testsbereinstimmung zwischen Tests
KappaKappa--SStatistiktatistik
Agreement Agreement beyondbeyondchancechance�� ohne Goldstandardohne Goldstandard
�� κκ liegt zwischen liegt zwischen --1 und 11 und 10: 0: chancechance
00--0.2: 0.2: slightslight
0.210.21--0.4: fair0.4: fair
0.410.41--0.6: moderate0.6: moderate
0.610.61--0.8: substantial0.8: substantial
>0.81: >0.81: almostalmost perfectperfect
1: 1: completecomplete agreementagreement 2 Methoden vergleichen: - 2 PCRs- PCR mit Direktnachweis
http://www.clive.ed.ac.uk/winepiscope/
Diagnostische Se und Diagnostische Se und SpSp
Goldstandard benGoldstandard benöötigttigt�� Ca. 300 pos. und 1000 Ca. 300 pos. und 1000 negneg. .
Proben anhand Proben anhand Goldstandard zuordnen Goldstandard zuordnen ((„„DiseaseDisease““))
�� Mit neuer Methode testenMit neuer Methode testen
�� Ergebnisse in 2x2Ergebnisse in 2x2--Tafel Tafel eingebeneingeben
�� DD--Se, Se, DD--SpSp, positiven und , positiven und negativen Vorhersagewert negativen Vorhersagewert berechnenberechnen
http://www.clive.ed.ac.uk/winepiscope/
13
NNB+DB+DA+CA+CSummenSummen
C+DC+DDDCCnegativnegativ
A+BA+BBBAApositivpositiv
SummenSummenneinneinjaja
Disease (Goldstandard)
Test
A: wahr positivB: falsch positivC: falsch negativD: wahr negativN: Summe
Diagnostische Se (%) =100*A/(A+C)Diagnostische Sp (%) =100*D/(D+B)
Wahre Prävalenz (%) =100*(A+C)/Nscheinbare Prevalence (%) = 100*(A+B)/N
Positiver Vorhersagewert (%) = 100*A/(A+B)Negativer Vorhersagewert (%) = 100*D/(C+D)
Likelihood Ratio (LR+) = (A/A+C)/(B/B+D)Likelihood Ratio (LR-) = (C/A+C)/(D/B+D)
Diagnostische Se und Diagnostische Se und SpSp
EinflEinflüüsse auf Dsse auf D--Se und Se und DD--SpSp
DD--SeSe
InfektionsstadiumInfektionsstadium
Dauer der InfektionDauer der Infektion
IntensitIntensitäät der Infektiont der Infektion
WirtsfaktorenWirtsfaktoren
DD--SpSp
Geografische LokalisationGeografische Lokalisation�� verschiedene coverschiedene co--
endemische Krankheitenendemische Krankheiten
ImpfungImpfung
Nutzung gesunder/nicht Nutzung gesunder/nicht infizierter Kontrollen oder infizierter Kontrollen oder Nutzung von Tieren mit Nutzung von Tieren mit einer Krankheit, die ein einer Krankheit, die ein äähnliches klinisches Bild hnliches klinisches Bild hervorrufthervorruft
14
Probleme mit GoldstandardsProbleme mit GoldstandardsWenn der alternative Test Wenn der alternative Test sensitiversensitiver als der Goldstandard ist, erscheint dies als der Goldstandard ist, erscheint dies als verminderte als verminderte DD--SpezifitSpezifitäätt..
Wenn der alternative Test Wenn der alternative Test spezifischerspezifischer als der Goldstandard ist, erscheint als der Goldstandard ist, erscheint dies als verminderte Ddies als verminderte D--SensitivitSensitivitäät.t.
NNB+DB+DA+CA+CSummenSummen
C+DC+DD D CCnegativnegativ
A+BA+BBBAApositivpositiv
SummenSummennegativnegativpositivpositiv
Goldstandard
alternativerTest
Sensitivität (%)=100*A/(A+C)Spezifität (%)=100*D/(D+B)
0 10 20 30 40 50 60 70 80 90 100
True prevalence [%]
0
20
40
60
80
100
%
apparent prevalence
pos. predictive value
neg. predictive value
LeistungsfLeistungsfäähigkeit und higkeit und PrPräävalenzvalenz
Test:Se: 98%Sp: 95 %
TP = 20%+PV= 83,05%
TP = 1 %+PV= 16,51%
15
0 10 20 30 40 50 60 70 80 90 100
True prevalence [%]
0
20
40
60
80
100
%
apparent prevalence
pos. predictive value
neg. predictive value
LeistungsfLeistungsfäähigkeit und higkeit und PrPräävalenzvalenz
Test:Se: 98%Sp: 95 %
TP = 20%+PV= 83,05%
TP = 1 %+PV= 16,51%
‚‚GoldstandardGoldstandard--freiefreie‘‘ ValidierungValidierung
BayesianischeBayesianische AnsAnsäätzetze
�� OrrOrr KA, KA, OO‘‘ReillyReilly KL, Scholl DT. 2003. KL, Scholl DT. 2003. EstimationEstimation of of sensitivitysensitivity and and specificityspecificity of of twotwo diagnosticsdiagnostics teststests forfor bovine bovine immunodeficiencyimmunodeficiency virusvirus usingusing BayesianBayesiantechniquestechniques..PrevPrev VetVet Med.Med. 61, 7961, 79--89. 89.
�� Smith T & Smith T & VounatsouVounatsou P. 2003. Estimation of infection and recovery rates for P. 2003. Estimation of infection and recovery rates for highly polymorphic parasites when highly polymorphic parasites when detectabilitydetectability is imperfect, using hidden is imperfect, using hidden Markov models. Markov models. Stat Med Stat Med 22, 170922, 1709--24. 24.
�� FrFröösslingssling J, Bonnett B, Lindberg A & BjJ, Bonnett B, Lindberg A & Bjöörkman C. 2003. Validation of a rkman C. 2003. Validation of a NeosporaNeosporacaninumcaninum iscomiscom ELISA ELISA withoutwithout a gold a gold standardstandard. . PrevPrev VetVet MedMed 57, 14157, 141--53. 53.
Latent Latent classclass--AnalyseAnalyse� Hui, S.L., Walter, S.D. 1980. Estimating the error rates of diagnostic tests.
Biometrics 36, 167–171.� Enøe, C., Georgiadis, M.P. and Johnson, W.O. 2000. Estimation of sensitivity
and specificity of diagnostic tests and disease prevalence when the true diseasestate is unknown. Prev. Vet. Med. 45, 61–81.
16
ROC AnalyseROC Analyse
ReceiverReceiver--Operator CharakteristikOperator Charakteristik�� Se gegen 1Se gegen 1-- SpSp auftragenauftragen
NNüützlich ftzlich füür quantitative Tests: r quantitative Tests: Quantitative PCRQuantitative PCR�� Tests, die eine kontinuierliche GrTests, die eine kontinuierliche Größößen en
(Messergebnisse) liefern, die (Messergebnisse) liefern, die dichotomisiertdichotomisiert(pos./(pos./negneg.) werden m.) werden müüssen.ssen.
Ergebnis der Ergebnis der ROCROC--AnalyseAnalyse�� Die FlDie Flääche unter der Kurve ist ein Mache unter der Kurve ist ein Maßß ffüür das r das
DiskriminierungsvermDiskriminierungsvermöögen des Testsgen des Tests
�� Nutzung zur Nutzung zur CutCut--offoff--BestimmungBestimmung
ROCROC--KurveKurve
http://www.chemsilico.com/CS_prGT/GT_graphics/ROC-curve.gif
-
- keine Diskriminierung
◊ Test-Ergebnisse
17
ExplorativeExplorative plottingplotting
Scatter plotData of test A plottedversus data of test B as pairsfor any tested sample- Agreement
Difference-Mean plotDifferences of any sample pairs examined in tests A and B plotted vs. means of these datapairs (Bland & Altman, 1986) - Agreement, repeatability
Externe Externe ValidierungValidierung
EignungsprEignungsprüüfungenfungen
RingversucheRingversuche
MultiMulti--centredcentred studiesstudies
18
ContinuousContinuous monitoringmonitoring
CombinedCombined ShewhartShewhart--CUSUMCUSUM ControlControl ChartChart�� ÜÜberwachung der mit Referenzmaterial berwachung der mit Referenzmaterial
erzielten Ergebnisse (Kontrollen)erzielten Ergebnisse (Kontrollen)
�� CumulativeCumulative sumssums
�� WarnregelnWarnregeln
�� AblehnungsregelnAblehnungsregeln
Westgard et al., 1977, Clin. Chem. 23/10, 1881-87
SchlussfolgerungenSchlussfolgerungenTestzulassung gemTestzulassung gemäßäß TierimpfstoffTierimpfstoff--VOVO und und ValidierungValidierung ffüür die Testanwendung im r die Testanwendung im Labor sind verschieden.Labor sind verschieden.
Die fDie füür die Zulassung von Tests gemr die Zulassung von Tests gemäßäß TierimpfstoffTierimpfstoff--VOVO erforderlichen Daten kerforderlichen Daten köönnen nnen nur einen Teil der nur einen Teil der TestvalidierungTestvalidierung beinhalten, die im akkreditierten Labor erforderlich beinhalten, die im akkreditierten Labor erforderlich ist.ist.
Unter den Bedingungen der Akkreditierung dUnter den Bedingungen der Akkreditierung düürfen nur rfen nur validiertevalidierte Tests eingesetzt Tests eingesetzt werden. Die Validitwerden. Die Validitäät muss in jedem Labor nachgewiesen werden.t muss in jedem Labor nachgewiesen werden.
Die Die ValidierungValidierung muss zeigen, dass der Test muss zeigen, dass der Test „„fit fit forfor purposepurpose““ ist.ist.
Die Einzelheiten, wie die Die Einzelheiten, wie die ValidierungValidierung zu erfolgen hat, legt die Przu erfolgen hat, legt die Prüüfleitung fest.fleitung fest.
top related