anna mueck grupa a/b, oam
DESCRIPTION
Ocena wartości diagnostycznej testu – obliczanie czułości, swoistości, wartości predykcyjnych testu. Krzywe ROC. Anna Mueck grupa A/B, OAM. Czułość diagnostyczna. Czułość diagnostyczna określa zdolność testu do wykrywania osób chorych. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/1.jpg)
ANNA MUECK GRUPA A/B, OAM
Ocena wartości diagnostycznej testu – obliczanie czułości, swoistości, wartości
predykcyjnych testu. Krzywe ROC.
![Page 2: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/2.jpg)
Czułość diagnostyczna
Czułość diagnostyczna określa zdolność testu do wykrywania osób chorych.
Jest to stosunek wyników prawdziwie dodatnich do sumy wyników prawdziwie dodatnich i fałszywie ujemnych (pomnożone przez 100%).
Czułość 100% oznaczałaby, że wszystkie osoby chore lub ogólnie z konkretnymi poszukiwanymi zaburzeniami zostaną rozpoznane.
![Page 3: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/3.jpg)
Czułość diagnostyczna = PD / (PD + FU)
![Page 4: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/4.jpg)
Przykład:Jeżeli wartość czułości diagnostycznej wynosi
70%, oznacza to, że 70% pacjentów z daną jednostką chorobową, przy pomocy danego testu będzie dobrze sklasyfikowane. 30% natomiast, zostanie źle sklasyfikowane. Im wyższa czułość testu, tym jest on bardziej przydatny diagnostycznie. Idealny byłby test
o 100% czułości.
![Page 5: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/5.jpg)
Swoistość diagnostyczna
Swoistość diagnostyczna określa zdolność testu do poprawnego wykluczenia choroby.
Jest to stosunek wyników prawdziwie ujemnych do sumy wyników prawdziwie ujemnych i fałszywie dodatnich (pomnożone przez 100%).
Swoistość 100% oznaczałaby, że wszyscy ludzie zdrowi w wykonanym teście diagnostycznym zostaną oznaczeni jako zdrowi. Test o wysokiej swoistości posiada niski błąd drugiego typu.
![Page 6: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/6.jpg)
Swoistość diagnostyczna = PU / (PU + FD)
![Page 7: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/7.jpg)
przykład:Jeżeli wartość swoistości diagnostycznej
wynosi 40%, oznacza to, że 40% pacjentów zdrowych, przy pomocy danego testu będzie dobrze sklasyfikowane. 60% natomiast, zostanie źle sklasyfikowane. Im wyższa swoistość testu, tym jest on bardziej przydatny diagnostycznie. Idealny byłby test
o 100% swoistości.
![Page 8: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/8.jpg)
Inne parametry oceniające wartość diagnostyczną testu
Dodatnia wartość predykcyjna
Ujemna wartość predykcyjna
![Page 9: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/9.jpg)
Wartość predykcyjna dodatnia
Wartość predykcyjna dodatnia (PPV) – prawdopodobieństwo, że osobnik miał chorobę mając pozytywny wynik testu. Jeśli więc badana osoba otrzymała pozytywny wynik testu, to PPV daje jej informację na ile może być pewna, że cierpi na daną chorobę.
![Page 10: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/10.jpg)
Dodatnia wartość predykcyjna = PD / (PD + FD)
![Page 11: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/11.jpg)
Ujemna wartość predykcyjna
Wartość predykcyjna ujemna (NPV) – prawdopodobieństwo, że osobnik nie miał choroby mając negatywny wynik testu. Jeśli więc badana osoba otrzymała negatywny wynik testu, to NPV daje jej informację na ile może być pewna, że nie cierpi na daną chorobę.
![Page 12: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/12.jpg)
Ujemna wartość predykcyjna = PU / (PU + FU)
![Page 13: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/13.jpg)
Krzywe ROC
krzywe ROC są często stosowaną metodą służącą do opisania dokładności diagnostycznej testu. Służą one do porównywania testów diagnostycznych, analizy czy dany test jest efektywny w odróżnianiu różnych populacji, i ustalania wartości odcięcia.
Krzywe ROC opisują cały zakres pracy klasyfikatora i pozwalają na miarodajne porównanie wyników z różnych klasyfikatorów. Zaletą stosowania krzywych ROC jest też ich niezależność od jednostek i skal stosowanych w danym badaniu oraz możliwość stosowania do danych skategoryzowanych (nie tylko binarnie).
![Page 14: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/14.jpg)
FP: wyniki fałszywie dodatnieFN: wyniki fałszywie ujemneTP: wyniki prawdziwie dodatnieTN: wyniki prawdziwie ujemne
![Page 15: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/15.jpg)
ChorzyZdrowi
![Page 16: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/16.jpg)
Diagram obrazujący centralną pozycję krzywych ROC w oszacowaniu dokładności diagnostycznej
![Page 17: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/17.jpg)
Krzywe ROC
Potrzebny jest „złoty środek” aby dobrze zaklasyfikować chorych i zdrowych
Liczba osób chorych i osób zdrowych powinna być zbliżona
Zdrowi i chorzy powinni reprezentować populacje dla której wykonuje się oznaczenia
Krzywa ROC jest to zależność pomiędzy czułością a (1- swoistością)
Cel: ustalenie wartości decyzyjnej
![Page 18: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/18.jpg)
Kryteria ustalenia wartości decyzyjnej
Cel badania (przesiewowe, potwierdzające)„strata społeczna” – ile będzie kosztowało
zakwalifikowanie osoby do kategorii „zdrowy” lub „chory”
Częstość choroby w populacji
![Page 19: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/19.jpg)
Bardzo istotne jest właściwe umieszczenie punktu odcięcia na krzywej
Przesunięci punktu odcięcia w prawo spowoduje spadek czułości diagnostycznej ponieważ większa część chorych zostanie zakwalifikowana jako zdrowi. Natomiast wzrośnie swoistość ponieważ wszystkich tych którzy są zdrowi zakwalifikujemy prawidłowo czyli wykluczymy chorobę. Gdy wzrasta czułość to spada swoistość i na odwrót.
Analogiczna sytuacja zaistnieje gdy punkt odcięcia zostanie przesunięty w lewo (wzrośnie czułość, a spadnie swoistość).
![Page 20: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/20.jpg)
Wykres krzywej ROC (ang. Receiver Operating Curve) jest w praktyce klinicznej narzędziem ułatwiającym wybór wartości progowej testu diagnostycznego, dla którego uzyskujemy optymalne parametry czułości i swoistości.
Krzywa to graficzne przedstawienie zależności pomiędzy odsetkami wyników testu prawdziwie dodatnimi (czułość) oraz odsetkami wyników fałszywie dodatnimi (1-swoistość).
![Page 21: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/21.jpg)
Zwiększenie czułości testu wiąże się ze zmniejszeniem odsetka wyników fałszywie ujemnych, ale jednocześnie ze zmniejszeniem swoistości (zwiększeniem odsetka wyników fałszywie dodatnich).
![Page 22: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/22.jpg)
Zwiększenie swoistości testu wiąże się ze zmniejszeniem odsetka wyników fałszywie dodatnich, ale jednocześnie ze zmniejszeniem czułości (zwiększeniem odsetka wyników fałszywie ujemnych).
![Page 23: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/23.jpg)
Optymalna wartość progowa wyniku testu (możliwie wysoka czułość testu przy wysokiej swoistości), to w większości
przypadków wartość najbardziej zbliżona do lewego górnego rogu wykresu (odpowiadającego 100% czułości i swoistości).
![Page 24: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/24.jpg)
Pole powierzchni pod wykresem krzywej ROC – AUC (ang. Area Under Curve), przyjmujące wartości w przedziale od 0 do 1, określa zdolność testu do rozgraniczenia wyników prawidłowych i nieprawidłowych. Im większe jest AUC (im bardziej wklęsła będzie funkcja ROC) tym większa jest moc diagnostyczna testu. Tym samym zdolność rozdzielcza testu jest lepsza.
Większość testów w diagnostyce reprezentuje moc diagnostyczną wyrażająca się wielkościami AUC pomiędzy 0,80 a 0,95.
![Page 25: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/25.jpg)
AUC
Do uzyskania zwartej informacji o skuteczności klasyfikacji można użyć AUC (Area Under Curve), czyli pole powierzchni pod krzywą ROC. Pole powierzchni pod krzywą ROC to prawdopodobieństwo, że klasyfikator nada wyższą rangę losowo wybranemu przypadkowi z odpowiedniej grupy, a nie losowo wybranemu przypadkowi z grupy, w której wiadomo że szukane dane nie występują. W AUC zawarty jest opis precyzji detekcji w całym zakresie pracy systemu. Wartość AUC równą 0.5 można opisać jako działanie losowe, a wartość równa 1.0 to wskaźnik idealny. Oznacza to, że krzywa przechodząca bliżej górnego lewego rogu obrazuje większą dokładność diagnostyczną.
![Page 26: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/26.jpg)
Często stosowany opis jakości testów diagnostycznych jest wzorowany na amerykańskim systemie edukacji i może być opisany w następujący sposób:
· 0.9-1.0 = bardzo dobry
· 0.8-0.9 = dobry
· 0.7-0.8 = satysfakcjonujący
· 0.6-0.7 = średni
· 0.5-0.6 = niedostateczny
Obliczenie AUC wykonywane jest przed programy komputerowe. Pole powierzchni obliczane jestnajczęściej według dwóch metod:
- Metoda nie parametryczna (ang. non-parametric) oparta jest na konstruowaniutrapezoidów pod krzywą w celu oszacowania pola powierzchni pod wykresem.
- Metoda parametryczna oparta jest na zasadzie określania maksymalnegoprawdopodobieństwa (ang. maximum likelyhood estymator) aby dopasować linie ciągłą dowykresu danych.
![Page 27: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/27.jpg)
Przykładowe krzywe ROC dla przypadku idealnego, testu rzeczywistego i dla przypadkowej selekcji na obecność patologii, zupełnie niezdeterminowanej informacją użyteczną.
![Page 28: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/28.jpg)
Wpływ częstości choroby na wartość diagnostyczną testu
Prevalance (częstość) – proporcja ludzi z chorobą w danej populacji, w szczególnym momencie czasu
Incidence (nowe przypadki) – liczba nowych przypadków choroby pojawiających się w danym okresie czasu (n/1000/rok)
![Page 29: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/29.jpg)
Odds ratio i likelihood ratio
Odds ratio (iloraz prawdopodobieństwa) – prawdopodobieństwo obecności danej choroby podzielone przez prawdopodobieństwo jej nieobecności
Likelihood ratio (iloraz wiarygodności) – prawdopodobieństwo pojawienia się danego wyniku (gdy choroba jest obecna) podzielone przez prawdopodobieństwo tego samego wyniku gdy nie ma choroby
![Page 30: Anna Mueck grupa A/B, OAM](https://reader035.vdocuments.site/reader035/viewer/2022062520/568161d7550346895dd1ddaf/html5/thumbnails/30.jpg)
Dziękuję za uwagę