umgang mit messunsicherheiten peter zangerl interlab fachkongress 29. april 2009, kempten
TRANSCRIPT
Umgang mit Messunsicherheiten Umgang mit Messunsicherheiten
Peter Zangerl
INTERLAB Fachkongress 29. April 2009, Kempten
2INTERLAB Fachkongress, 2009 2
InhaltInhalt• Einleitung:
Angabe der Messunsicherheit (akkreditierte Laboratorien)
• Definition Messunsicherheit
• Möglichkeit zur Berechnung
• Spezialfall Keimzahlbestimmung
• Probleme bei der Ermittlung der Messunsicherheit mikrobiologischer Verfahren
• Beurteilung von Grenzwerten – unter besonderer Berücksichtigung mikrobiologischer Verfahren
• Literatur
3INTERLAB Fachkongress, 2009
Angabe der Messunsicherheit (1)Angabe der Messunsicherheit (1)
für die Gültigkeit oder Anwendung des Prüfergebnisses von Bedeutung,
vom Kunden verlangt,
oder wenn die Unsicherheit die Einhaltung von Grenzwerten in Frage stellt.
Bei akkreditierten Laboratorien muss gemäß ISO/IEC
17025, 5.10.3.1 c im Prüfbericht, falls anwendbar, die
Messunsicherheit angegeben werden, wenn
4INTERLAB Fachkongress, 2009
Angabe der Messunsicherheit (2)Angabe der Messunsicherheit (2)
Gemäß DAR-4-INF-02 sollte bei Angabe der
Messunsicherheit das Messergebnis zusammen mit einer
„erweiterten Unsicherheit“, die zum Vertrauensniveau von 95
% gehört, wie folgt angegeben werden:
Messwert 100,1 (Einheiten)
Messunsicherheit ± 0,1 (Einheiten)
Erklärung der Messunsicherheit
5INTERLAB Fachkongress, 2009 5
InhaltInhalt• Einleitung:
Angabe der Messunsicherheit (akkreditierte Laboratorien)
• Definition Messunsicherheit
• Möglichkeit zur Berechnung
• Spezialfall Keimzahlbestimmung
• Probleme bei der Ermittlung der Messunsicherheit mikrobiologischer Verfahren
• Beurteilung von Grenzwerten – unter besonderer Berücksichtigung mikrobiologischer Verfahren
• Literatur
6INTERLAB Fachkongress, 2009
Messunsicherheit – Grundlagen (1)Messunsicherheit – Grundlagen (1)
Normalverteilung
(Gauss-Verteilung)
x = Mittelwert
σ = Standradabweichung
Im Intervall
x ± σ
liegen etwa 68 % der Beobachtungen.
Im Intervall
x ± 2σ
liegen etwa 95 % der Beobachtungen
(95 % Vertrauensbereich).
Messunsicherheit
7INTERLAB Fachkongress, 2009
Messunsicherheit – DefinitionMessunsicherheit – Definition
Die Messunsicherheit beschreibt das 95 %
Vertrauensintervall eines Messwertes bei
Anwendung einer bestimmten Methode.
Sie ist sozusagen ein „Werteintervall, das den
Wert der gemessenen Größe mit hoher
Wahrscheinlichkeit überdeckt“*.
* Kessel, W. (1998): Messunsicherheit, ein wichtiges Element der Qualitätssicherung
8INTERLAB Fachkongress, 2009
Messunsicherheit – Grundlagen (2)Messunsicherheit – Grundlagen (2)
MU (U) = k * uc
MU (U)= Messunsicherheit („erweiterte
Unsicherheit)“
k = „Erweiterungsfaktor“
uc = „kombinierte Standardunsicherheit“EUROCHEM/CITAC Leitfaden (2004): Ermittlung der Messunsicherheit bei analytischen Messungen
9INTERLAB Fachkongress, 2009 9
InhaltInhalt• Einleitung:
Angabe der Messunsicherheit (akkreditierte Laboratorien)
• Definition Messunsicherheit
• Möglichkeit zur Berechnung
• Spezialfall Keimzahlbestimmung
• Probleme bei der Ermittlung der Messunsicherheit mikrobiologischer Verfahren
• Beurteilung von Grenzwerten – unter besonderer Berücksichtigung mikrobiologischer Verfahren
• Literatur
10INTERLAB Fachkongress, 2009
Messunsicherheit Messunsicherheit - Möglichkeit zur Berechnung -- Möglichkeit zur Berechnung -
MU = 2 * sR
MU = „(erweiterte) Messunsicherheit“
k = Faktor für ca. 95 % Vertrauensintervall
sR = Vergleichstandardabweichung aus Ringversuchen
EUROCHEM/CITAC Leitfaden (2004): Ermittlung der Messunsicherheit bei analytischen Messungen
Vorteil: Einheitlicher Wert – unabhängig von Labor
11INTERLAB Fachkongress, 2009 11
InhaltInhalt• Einleitung:
Angabe der Messunsicherheit (akkreditierte Laboratorien)
• Definition Messunsicherheit
• Möglichkeit zur Berechnung
• Spezialfall Keimzahlbestimmung
• Probleme bei der Ermittlung der Messunsicherheit mikrobiologischer Verfahren
• Beurteilung von Grenzwerten – unter besonderer Berücksichtigung mikrobiologischer Verfahren
• Literatur
12INTERLAB Fachkongress, 2009
Spezialfall KeimzahlbestimmungSpezialfall Keimzahlbestimmung
Die Koloniezahlen oder die im Mikroskop
gezählten Keime sind nicht normalverteilt!
13INTERLAB Fachkongress, 2009
Kolonien auf Petrischale (Mittelwert aus n=2)
Va
riatio
nsk
oef
fizie
nt i
n P
roze
nt
Poisson-Verteilung: σ2 = µ
Variationskoeffizient in Abhängigkeit von der Variationskoeffizient in Abhängigkeit von der mittleren Koloniezahlmittleren Koloniezahl
- Gesamtkeimzahlbestimmung in Rohmilch -- Gesamtkeimzahlbestimmung in Rohmilch -
Probenzahl: 116
14INTERLAB Fachkongress, 2009 14
InhaltInhalt• Einleitung:
Angabe der Messunsicherheit (akkreditierte Laboratorien)
• Definition Messunsicherheit
• Möglichkeit zur Berechnung
• Spezialfall Keimzahlbestimmung
• Probleme bei der Ermittlung der Messunsicherheit mikrobiologischer Verfahren
• Beurteilung von Grenzwerten – unter besonderer Berücksichtigung mikrobiologischer Verfahren
• Literatur
15INTERLAB Fachkongress, 2009
Probleme bei der Ermittlung von Probleme bei der Ermittlung von Präzisionsparametern Präzisionsparametern
mikrobiologischer Verfahrenmikrobiologischer Verfahren
• Poisson-Verteilung der Mikroorganismen („Stichprobenfehler“) – auch nach log-Transformation nicht immer Normalverteilung
• Eigenschaften der Zielkeime (Klumpen, Ketten)
• Begleitflora – MU abhängig von Begleitflora im Vergleich zum Zielkeim
• Güte der diagnostischen Systeme (Bsp. Baird-Parker-Agar vs. RPF-Agar)
• Gussverfahren – Oberflächenausstrich
• Probenmatrix – z.B. MU größer bei Milchpulver als bei Milch
• Probeninhomogenitäten (größter Beitrag zur Gesamtvarianz)
16INTERLAB Fachkongress, 2009
Anteil von Komponenten an der Anteil von Komponenten an der Gesamtvarianz mikrobiologischer Gesamtvarianz mikrobiologischer
VerfahrenVerfahren
Probenvarianz 50 % - 70 %
Methodenvarianz 4 % - 10 %
Unvermeidbare statistische Plattierungsvarianz (Poissonverteilung)
ca. 25 %
Quelle: Berg et al. (1994) zitiert nach Baumgartner et al. (2006)
17INTERLAB Fachkongress, 2009
Ermittlung der Messunsicherheit Ermittlung der Messunsicherheit aufgrund von Ringversuchsergebnissenaufgrund von Ringversuchsergebnissen
• Methodenbezogene Ringversuche
Teilnahme von ausgewählten Labors zur Feststellung der
Präzisionsdaten einer Methode
(Wiederholbarkeit „r“, Vergleichbarkeit „R“)
Ergebnisse werden in die Methodennorm aufgenommen (ISO).
• Parameterbezogene Ringversuche – Proficiency Testing
Teilnahme von Routinelabors zur Überprüfung ihrer
Arbeitstechnik
Bei einem Parameter können verschiedene Methoden zur
Anwendung kommen.
18INTERLAB Fachkongress, 2009
Quelle sR in log KbE/g
Methoden (z.B. ISO) ca. 0,1 – 0,3 ca. 0,15
Proficiency Tests (Norsk Matanalyse)
ca. 0,2 – 0,5 ca. 0,3
ssRR in Ringversuchen in Ringversuchen
- Keimzählverfahren - - Keimzählverfahren -
19INTERLAB Fachkongress, 2009
Festlegung der Messunsicherheit
an der BAM Rotholz
Nicht auf Methode bezogen, sondern auf die
mikrobiologische Plattentechnik:
uc = ± 0,25 log KbE/g
MU = ± 0,5 log KbE/g (0,5 log entsprechen dem Faktor 3,2 in „normaler“ Skala)
20INTERLAB Fachkongress, 2009
BeispieleBeispiele
Messwert in KbE/ g (ml) Intervall MU ± 0,5 log
100 32 bis 320
1.000 320 bis 3.200
10.000 3.200 bis 32.000
50.000 16.000 bis 160.000
100.000 32.000 bis 320.000
21INTERLAB Fachkongress, 2009
Angaben MU in der LiteraturAngaben MU in der Literatur(mikrobiologische Verfahren)(mikrobiologische Verfahren)
• Schweizerische Akkreditierungsstelle (2006)
Plattenverfahren (Guss-, Spatel- und
Tropftechnik): ± 0,5 log
• EU Kommission (2005 und 2006)
Mikrobiologische Analysen allgemein:
häufig 0,5 – 1,0 log
22INTERLAB Fachkongress, 2009 22
InhaltInhalt• Einleitung:
Angabe der Messunsicherheit (akkreditierte Laboratorien)
• Definition Messunsicherheit
• Möglichkeit zur Berechnung
• Spezialfall Keimzahlbestimmung
• Probleme bei der Ermittlung der Messunsicherheit mikrobiologischer Verfahren
• Beurteilung von Grenzwerten – unter besonderer Berücksichtigung mikrobiologischer Verfahren
• Literatur
23INTERLAB Fachkongress, 2009
Konsequenz der unsicheren Schätzung Konsequenz der unsicheren Schätzung bei mikrobiologischen Zählverfahren bei mikrobiologischen Zählverfahren
Probenahmepläne
Keine Angabe der MU im Prüfbericht
Probenanzahl: n, c
Grenzwerte: m, M
24INTERLAB Fachkongress, 2009
Probe 1 2 3 4 5 6 7 8 9 10
1 <3 3,6 <3 3,5 3,9 <3 4,5 <3 3,6 <3
2 <3 <3 <3 <3 5,8 <3 4,4 4,9 5,4 4,3
3 4,3 3,6 <3 3,7 3,8 <3 4,9 4,3 3,0 3,0
4 <3 <3 5,5 5,8 <3 <3 5,2 5,0 3,3 6,1
5 <3 <3 <3 <3 3,8 <3 5,1 4,5 <3 4,5
Coliforme in log KbE/g in Camembert bei Coliforme in log KbE/g in Camembert bei Nichtbeherrschung des ProzessesNichtbeherrschung des Prozesses
Charge
Die Variabilität der Probenergebnisse übersteigt die
Präzisionsangaben in den Standardmethoden um ein Vielfaches.
25INTERLAB Fachkongress, 2009
Beuteilung von GrenzwertenBeuteilung von GrenzwertenEuropäische Kommission (2005) – Diskussionspapier zu
mikrobiologischen Kriterien:
General policy in recent discussions seems to be that food business operators
should always regard all test results above the limits unacceptable regardless
of the MU involved, whereas in the official controls the MU COULD be
taken into account in order to be sure beyond reasonable doubt that the batch
in question does not comply with the criterion.
Europäische Kommission (2006) – Leitfaden zu VO (EG) Nr. 882/2004:
As regards food-borne pathogens the highest acceptable result including MU
should still be low enough to ensure a high level of human health protection.
Particularly, in the context of enforcement actions the highest acceptable result
must be considered carefully on a case-by-case basis. In Regulation (EC) No
2073/2005, only one quantitative limit is fixed for a pathogen as a food safety
criterion, i.e. Listeria monocytogenes (100 cfu/g).
26INTERLAB Fachkongress, 2009
Beurteilung von Grenzwerten - MöglichleitenBeurteilung von Grenzwerten - Möglichleiten
Upper Control Limit
( i ) Result less uncertainty above limit
( iv ) Result plus uncertainty below limit
( ii ) Result
above limit but limit within
uncertainty
( iii ) Result below limit but limit
within uncertainty
(ii) Wert > Limit; Wert - MU < Limit:
- Charge akzeptiert, da Ergebnis nicht
zweifelsfrei über Grenzwert.
- Charge nicht akzeptiert, da Ergebnis
über Grenzwert –
Sicherheitsaspekt bei Pathogenen
(iii) Wert < Limit; Wert + MU > Limit:
- Charge akzeptiert, da Ergebnis
unter Grenzwert.
- Charge nicht akzeptiert, da
Möglichkeit
einer Überschreitung gegeben -
Gesundheitsgefahr bei Pathogenen
Quelle:CHEM/40182/2006
? bei L. monocytogenes
?
? Anwendbarkeit bei mikrobiologischen Kriterien ?
27INTERLAB Fachkongress, 2009 27
InhaltInhalt• Einleitung:
Angabe der Messunsicherheit (akkreditierte Laboratorien)
• Definition Messunsicherheit
• Möglichkeit zur Berechnung
• Spezialfall Keimzahlbestimmung
• Probleme bei der Ermittlung der Messunsicherheit mikrobiologischer Verfahren
• Beurteilung von Grenzwerten – unter besonderer Berücksichtigung mikrobiologischer Verfahren
• Literatur
28INTERLAB Fachkongress, 2009
Literatur (1)Literatur (1)Deutscher Akkreditierungsrat (1998): Angabe der Unsicherheit in der
quantitativen Prüfung. DAR-4-INF-02 (Internetverfügbar)
Deutscher Akkreditierungsrat (2005): Anforderungen an Prüflaboratorien und Akkreditierungsstellen bezüglich der Messunsicherheitsabschätzung nach ISO/IEC 17025 (5.4.6/5.10.3). DAR-4-INF-08 (Internetverfügbar)
Ellison, S. L. R., Rösslein, M. und Williams, A. (2000): EUROCHEM/CITAC Leitfaden. Ermittlung der Messunsicherheit bei analytischen Messungen. 2. Auflage (Internetversion) Stand 2004. QUAM:2000.P1 http://www.eurolab-d.bam.de/dokumente.html
Baumgartner, A., Bischofsberger, T., Bissig-Choisat, B., Dalla Torre, M., Emch, H., Gafner, J.-L., Hübner, Ph., Meyer, R., Müller, Ch., Scheffeldt, P., Spahr, U., Stephan, R., Wäspi, U. (2006): Leitfaden zur Validierung mikrobiologischer Prüfverfahren und zur Abschätzung der Messunsicherheit im Bereich Lebensmittel- und Umweltmikrobiologie.Mitt. Lebensm. Hyg. 97, 73-106.
CHEM/4018/2006: Measurement uncertainty and accreditation – impact on critical difference approach
29INTERLAB Fachkongress, 2009
Literatur (2)Literatur (2)Kessel, W. (1998): Messunsicherheit, ein wichtiges Element der
Qualitätssicherung. http://www.ptb.de/de/publikationen/download/pdf/kessel.pdf
European Commission (2005): Discussion paper on strategy for setting microbiological criteria for foodstuffs in Community legislation. www.ec.europa.eu/food/food/biosafety/salmonella/discussion_paper_en.pdf
European Commission (2006): Guidance document on official controls, under Regulation (EC) No 882/2004, concerning microbial sampling and testing of foodstuffs. (Internetverfügbar)
Schweizerische Akkreditierungsstelle SAS (2006): Leitfaden zur Validierung mikrobiologische Prüfverfahren und zur Abschätzung der Messunsicherheit im Bereich Lebensmittel- und Umweltmikrobiologie. Dokument Nr. 328.dw; Ausgabe Feber 2006, Rev. 01 (Internetverfügbar)
Niemelä, S.I. (2003): Uncertainty of quantitative determinations derived by cultivation of microorganisms. Centre for Metrology and Accreditation Publication J4/2003 (Internetverfügbar)