Roman Jelínek1, Josef Kratochvíla2 1RNDr. Vladimír Komárek s.r.o., člen skupiny SPADIA LAB, a.s.

2SEKK s.r.o.

Nejistoty, validace a verifikace – teorie a praxe

současný stav a možnosti

Kdo vyžaduje stanovení odhadu nejistot?

• Pacienti ?

• Pojišťovny ?

• Lékaři ?

• Odborné společnosti ?

• Šéf ?

• Norma 15189, 17025

Je postup pro výpočet odhadu nejistot direktivní?

• Není upraveno závazným předpisem

• Jednotlivé laboratoře mohou mít svůj postup

• Odborné společnosti mohou mít svůj postup

Společné doporučení pro klinické laboratoře

kalkulačka nejistot návod + kalkulačka + validační protokol

Doporučení k výpočtu nejistot kvantitativních výsledků měření v klinických laboratořích návod + praktické postupy + komentáře

Schváleno SEKK, výborem ČSKB, ČHS, datum vydání: 11.11.2014

Názvosloví

• Standardní nejistota (u) jednotlivé dílčí nejistoty

• Kombinovaná nejistota (uc)

• Rozšířená kombinovaná nejistota Uc Uc = k∙uc

(k = 2 pro 95% interval spolehlivosti)

• Relativní nejistota (Urel, urel) uváděná v %

Postup pro výpočet odhadu nejistot

Pokud se nezahrnou do vzorce pro výpočet odhadu nejistoty

všechny významné složky

nejedná se o kombinovanou nejistotu

ale pouze dílčí

…a ta je samozřejmě podhodnocená…

připomenutí

Jaká je vypovídací hodnota odhadu nejistoty?

NENÍ KONSTANTNÍ!

• mění se v měřícím rozsahu (mírně až významně, např. INR 1 a 6)

• mění se v čase (např. změna šarže kalibrátoru a reagencie)

(stárnutí reagencie na palubě)

Jaká je vypovídací hodnota odhadu nejistoty?

Dále je dobré si dále uvědomit, že absolutní číselná hodnota

odhadu nejistot (v %) nemá obecně vypovídací hodnotu

nabývá na významu až ve vztahu

• s biologickou variabilitou

• s negativní prediktivní hodnotou

Například: kombinovaná nejistota 5 % u iontů se může jevit jako

skvělá

a kombinovaná nejistota 50 % u D-Dimerů jako nevyhovující,

ale klinicky je to právě naopak

Doporučení k výpočtu nejistot kvantitativních výsledků měření v klinických laboratořích

Datum vydání: 11.11.2014

Doporučení k výpočtu nejistot kvantitativních výsledků měření v klinických laboratořích

Datum vydání: 11.11.2014

Možnosti zápisu

Proč se více zabývat nejistotami?

Uváděné výsledky odhadu nejistot stále vykazují nezvládnutí procesu kvantifikace:

objevují se nereálné hodnoty

Příčiny ?

Nízká standardizace analytických metod

Nedostupnost referenčních materiálů

Odtažitost statistiky obecně

Nevyžadováno lékaři, pacienty, pojišťovnami…

Následky…

Nesmyslné odhady nejistot

(příliš nízké či vysoké)

Účel vnímán rozporuplně

Neurčité klinické využití

Jaký je současný stav? - požadavek uvádět nejistoty v EHK

Hematologie(SEKK)

13/3 KO

Retic na aut. analyzátoru

HKG

Biochemie (SEKK)

28/11 ABR

AKS

ALB

BIL novor.

CRP

GLC

KD

PRO

RFA

TDM

TE

Nukleární m.(SEKK)

4/3 E1, E2

TM

Transfuziologie (SEKK)

2/0

Alergologie a

imunologie

11/3 Imunofenotypizace

CD34

TIE

Patologie (SEKK)

3/0

A) Výpočet pouze u kvantitativních stanovení

B) …případě řady speciálních parametrů a analytů

je výpočet odhadu kombinované nejistoty složitý a finančně náročný

→ např. pro rutinní hematologickou laboratoř prakticky nerealizovatelný

Chybí odpovídající kontrolní a kalibrační materiály

s metrologickou návazností!

Jaký je současný stav? - požadavek uvádět nejistoty v EHK

Proč se neuvádí nejistoty u ostatních

cyklů?

Jaký je současný stav?

Pozitiva:

průměrné hodnoty odhadu nejistot vykazují realistický charakter

ale…

celkové rozložení uváděných odhadů nejistot naznačuje problémy…

Jaký je současný stav?

Jaký je současný stav?

Jaký je současný stav?

25 násobný rozdíl

Jaký je současný stav?

25 násobný rozdíl

Indikátory – jak zpětně posoudit vlastní odhad

• Pokud Váš odhad nejistoty převyšuje hodnotu rozsahu referenčních mezí (nebo přijatelný rozdíl Dmax % z EHK), je zřejmě chybně kvantifikován

Pokud se ale skutečně jedná o reálný odhad, test klinicky ohrožuje pacienta

• Pokud je Váš odhad nejistoty nižší než CV % v rámci vlastní skupiny v cyklu EHK, je sice optimistický, ale významně podhodnocený

• Pokud Váš výsledek s přidruženou nejistotou nezahrnuje cílovou hodnotu, je nejistota zřejmě podhodnocená (často do ní není zahrnut bias).

Validace

Verifikace

• Potvrzení při vývoji, zda test je vhodný pro zamýšlené použití

• Ověření, že test funguje v dané laboratoři

Validace (čl. 5.5.1.3)

1. Metody navržené nebo vyvinuté v laboratoři

2. IVD MD, které byly následně upraveny

Pravdivost (vychýlení, BIAS)

Preciznost (opakovatelnost, mezilehlá preciznost)

Nejistota měření

Analytická specifičnost (interference)

Mez detekce, mez stanovitelnosti

Měřící rozsah, linearita

Robustnost

Diagnostická specifičnost

Diagnostická citlivost (senzitivita)

Referenční meze

Verifikace postupů laboratorních vyšetření (čl. 5.5.1.2)

1. IVD MD

2. dříve validované vlastní metody

3. upravené IVD MD metody (po provedené revalidaci)

Pravdivost (vychýlení, BIAS)

Preciznost (opakovatelnost, mezilehlá preciznost)

Postupy validace a verifikace

teoretický a praktický návod ?

Postupy validace a verifikace

doporučeni z roku 2010 na www.cskb.cz

• Názorné

• Edukační

• Řešené příklady

problematika uzavřených systémů

„analyzátor – kalibrátor – kontrola“

nebezpečí ztráty možnosti zachytit systematické chyby

Materiály pro řízení kvality = vnitřní kontrola kvality

čl. 5.6.2.2

Pro řízení kvality by se mělo zvažovat

použití kontrolních materiálů pocházející

z nezávislých třetích stran

a to namísto nebo navíc ke kontrolním materiálům

dodávaných dodavateli reagencií nebo výrobci přístrojů.

srovnatelnost výsledků vyšetření současný stav

čl. 5.6.4

Pro zjištění srovnatelnosti výsledků vyšetření

velmi dobře poslouží hodnocení EHK (SEKK)

Závěrečná zpráva

Youdenovy grafy

Statistika z Kvantitativní zprávy

FBG 1,21 g/l 1,29 g/l 1,34 g/l 1,43 g/l

Srovnatelnost výsledků vyšetření Certifikovaný referenční materiál KO 2/11

5,3 5,7 5,9 6,0 6,1 6,2 6,3 6,3

4,0

4,5

5,0

5,5

6,0

6,5

7,0

7,5

Siem

ens

Sysm

ex

Ab

bo

tt

Min

dra

y

Nih

on

Ko

hd

en

Bac

kman

Co

ult

er

Ho

rib

aM

edic

al

Orp

hée

WB

C

[1

09/l

]

analyzátor

WBC SEKK KO 2/11

FBG 1,21 g/l 1,29 g/l 1,34 g/l 1,43 g/l

Srovnatelnost výsledků vyšetření HKG SEKK 3/14

0,8

1

1,2

1,4

1,6

1,8

2

Diagon Siemens IL Stago

Fbg [g/l]

analytický systém

Co na závěr?

tři různé rady

vyberte si dle vlastního uvážení

…k VKK přidejte

nezávislou kontrolu…

...stačí repro…

…nemusíte, stačí firemní…

Děkuji za pozornost

Abstrakt Sdělení obsahuje přehled aktuálních předpisů, dokumentů a kalkulátorů, které upravují postupy k určování

odhadů nejistot a k provádění verifikací a validací klinických testů/měření. Jedná se o dokumentaci od odborných společností ČLK JEP a od společnosti SEKK jako poskytovatele EHK.

Jsou konfrontovány teoretické požadavky normy ISO EN ČSN 15189:2013 na tuto problematiku s reálnými možnostmi v praxi. Teoretické požadavky jsou limitovány několika faktory, jako neexistence či nedostupnost referenčních materiálů s metrologickou návazností, dále nízkým stupněm standardizace analytických metod a také rozdílným přístupem odborných pracovníků ke způsobu vyhodnocování odhadů nejistot měření, jakožto součásti verifikace/validace.

Například jedním s požadavků uvedené normy (bod 5.5.1.4) je, že laboratoř musí stanovit nejistotu měření u každého měřícího postupu, který provádí, což ale není a nebude na žádném akreditovaném pracovišti v ČR splněno, neboť to technicky není možné.

Další část přednášky se zabývá jednotlivými výstupy odhadu nejistoty v cyklech EHK (SEKK) u konkrétních

metod. Ty jsou dlouhodobě vzájemně násobně až řádově odlišné. Značná část je nereálně nízká či naopak vysoká. Hlavním důvodem velkého mezilaboratorního rozptylu nejistot měření je rozdílná identifikace podstatných zdrojů nejistot, tedy správnost, reálnost a úplnost vstupních dat.

Bude zmíněna také problematika uzavřených systémů „analyzátor/kalibrátor/kontrola“, které fungují sice

jako samostatné ekosystémy, ale neposkytují srovnatelnost, neboť výrobci nevěnují dostatečnou pozornost systematickým chybám, a tudíž u těchto systémů nastává významné podhodnocování odhadu nejistot měření.

Přednáška se věnuje pouze metodám kvantitativním, nezabývá se metodami semikvantitativními a kvalitativními.