how to read diagnostic study

How to read Diagnostic study

ประชุมวิชาการแพทย์ฉุกเฉิน:Future in Pre-hospital and Emergency care:

24 มิถุนายน 2553

www.cebm.netวัตถุประสงค์

• Basic design of diagnostic studies•Appraising a diagnostic study in 3 steps• ความหมายของคำที่พบบ่อย

www.cebm.net

Series of patients

Index test

Reference (“gold”) standard

เปรียบเทียบผลของ index test กับ reference standard, blinded

Basic structure of diagnostic studies

www.cebm.net

• Scan in UTI abstract

www.cebm.net


Series of patients

www.cebm.net


Index test

Series of patients

www.cebm.net


Index test

Series of patients

Gold standard

www.cebm.net


Index test

Series of patients

Gold standard

Accuracy

www.cebm.net

Series of patients

Index test



www.cebm.net

Series of patients

Index test



Women presenting with history of recurrent UTIs

www.cebm.net

Series of patients

Index test




Self diagnosis based on symptoms

www.cebm.net

Series of patients

Index test





Positive urine culture

www.cebm.net

Series of patients

Index test





Positive urine culture

172 episodes:

Positive urine culture in 144 (84%)

www.cebm.net

Appraising diagnostic tests: 3 steps

1. Are the results valid?

2. What are the results?

3. Will they help me look after my patients?

www.cebm.net





•Appropriate spectrum of patients?

www.cebm.net





•Appropriate spectrum of patients?•Does everyone get the gold standard?

www.cebm.net





•Appropriate spectrum of patients?•Does everyone get the gold standard?•Is there an independent, blind or objective comparison with the gold standard?

www.cebm.netAppropriate spectrum of disease?

•ดีที่สุดคือ ผู้เข้าร่วมงานวิจัยเป็นตัวแทนของโรคนั้นครบทุกระยะของการดำเนินโรค

www.cebm.netAll patients have the gold standard?

•ดีที่สุดคือ ผู้เข้าร่วมงานวิจัย ทุกคน ต้องได้รับการตรวจยืนยันด้วย gold /reference standard

www.cebm.net

•ดีที่สุดคือ Reference หรือ Gold standard นั้น ต้องได้รับการทำโดยเป็นอิสระจากการทำ index test

Independent, blind or objective comparison with the gold standard?

www.cebm.net

•ดีที่สุดคือ Reference หรือ Gold standard นั้น ต้องได้รับการทำโดยเป็นอิสระจากการทำ index test•คนที่แปลผล Reference หรือ Gold standard ต้องไม่รู้ผลของการทำ index test ว่าได้ผลเป็นอย่างไร

Independent, blind or objective comparison with the gold standard?

www.cebm.net





•Sensitivity, specificity•Likelihood ratios•Predictive values

www.cebm.net





www.cebm.net


Will the test apply in my setting?เราสามารถทำการวินิจฉัยด้วย test แบบเดียวกันนั้นที่โรงพยาบาลเราได้หรือไม?่

www.cebm.net



ประโยชน์ที่ผู้ป่วยจะได้รับเทียบกับความเสี่ยงหรืออันตรายจาก test จะมีมากน้อยเพียงใด?

www.cebm.net



ประโยชน์ที่ผู้ป่วยจะได้รับเทียบกับความเสี่ยงหรืออันตรายจาก test จะมีมากน้อยเพียงใด?

ค่าใช้จ่ายในการ test จะเหมาะสมกับโรงพยาบาลเราหรือไม่?

www.cebm.net

สิ่งที่ต้องการจากการทดสอบ

www.cebm.net


• ดีที่สุดคือ test สามารถแยกได้อย่างสมบูรณ์แบบ…

www.cebm.net


• ดีที่สุดคือ test สามารถแยกได้อย่างสมบูรณ์แบบ…• คนเป็นโรคทุกคน ถูกค้นพบโดย test นั้นคือได้ผลเป็น positive และ

www.cebm.net


• ดีที่สุดคือ test สามารถแยกได้อย่างสมบูรณ์แบบ…• คนเป็นโรคทุกคน ถูกค้นพบโดย test นั้นคือได้ผลเป็น positive และ

คนปกติทุกคน ต้องได้ผลการตรวจเป็น negative

2 by 2 table Disease

Test

+ -

+

-


Test

+ -

+

-

True positives

True negatives


Test

+ -

+

-

True positives

False negatives True negatives

False positives

2 by 2 table: sensitivity

Sensitivity = a / a + c

โอกาสท่ีคนเป็นโรคจะได้ผลการตรวจเป็น positive

Disease

Test

+ -+

-

True positives

False negatives

True negatives

False positives

Disease

Test

+ -+

-

True positives

False negatives

True negatives

False positives

2 by 2 table: specificity

Specificity = d / b + d

โอกาสท่ีคนไม่เป็นโรคจะได้ผลการตรวจเป็นลบ

2 by 2 table: Positive predictive value

PPV = a / a + b

โอกาสท่ีจะเป็นโรคจริงเมือผลการตรวจเป็น positive

Disease

Test

+ -+

-

True positives

False negatives

True negatives

False positives

2 by 2 table: Negative predictive value

NPV = c / c + d

โอกาสท่ีจะไม่เป็นโรคจริงเมือผลการตรวจเป็น negative

Disease

Test

+ -+

-

True positives

False negatives

True negatives

False positives

•ชีวิตจริงไม่สามารถสร้าง 2 X 2 table ได้โดยง่าย

•จึงใช้ Likelihood ratio แทน

Disease

Test

+ -+

-

a

c d

b

Likelihood Ratio of Positiveคนเป็นโรคมีโอกาสจะได้ผลการทดสอบเป็นบวก เป็นกี่เท่าของคนที่ไม่เป็นโรค

= Proportion of + in disease = a / a + c Proportion of + in non disease b/ b + d

Likelihood Ratio of Negativeคนเป็นโรคมีโอกาสจะได้ผลการทดสอบเป็นลบ เป็นกี่เท่าของคนที่ไม่เป็นโรค

= Proportion of - in disease = c / a + c Proportion of - in non disease d/ b + d

Disease

Test

+ -+

-

a

c d

b

Bayes theorem

Negative predictive value (NPV) !"#$%&'%()$*+,-./0(1023450'%+67'/-8!"#$ negative 98/)7:(7'/!"#$;5<=5>, 345<2$)?=43*/+:.8@$A454, NPV =B:1<((4!0(43&6 true negative/ all negative ( d/ c+d) <(4 NPV C()D6+3!54)(4 -./01(023450'%+67'/-8 negative :1;+34%7:(!"#$;5<=5>,:43$/+D!E1D,@' D>(,:1<(4 NPV :43 !:F(+7'/-8 negative

3#D>(,:1;+34%7:(!"#$;5<:43

GH,9:/9E0DI=BE6)(4 predictive value :1"5B;DC$I@$345A1<)4::43)(4 senssitivity, specificity 9A(@$345"J>6&A>,4$=5>,9E0DI906=B7:(:104,0546<(4 predicitive value 7'/!8D0&/,$1/!E54B<,7:(:19E0DI<$@'%4:45G%5/4,A454, 2X2 '&,38(4)7'/@$*?BA5)=<$7*/98B7:(%4:45G<2$)?<(4 predictive value 7'/;'D,(4D=H,:1345C()D9E0DI@K/%4:45GK4<(4 predictive value 7'/,(4D*H/$;'D345@C/ Likelihood ratio C()D;'D+4L&D Bayes theorem

Likelihood ratio positive (LR +) !"#$%&'%()$01(9%',)(4<$01(!"#$;5<:1;+34%01(=B7'/-8 positive !"#$31(!0(4*+,<$01(7:(!"#$;5< 345<2$)?=43*/+:.8@$A454, LR+ =B:1<(4!0(43&6 (a / a+c) / (b/ b+d) K5F+:1<(4!0(43&6

sensitivity/ (1- specificity) <(4 LR+ C()D6+3!54)(4 3450'%+6$1/%4:45G9D3<$!"#$;5<++3=43<$7:(!"#$;5<7'/'1!E1D,@'!:F(+7'/-8 positive D>(,:1<(4 LR+ :43 !:F(+7'/-8 positive 3#=B9D3<$!"#$;5<++3=43<$7:(!"#$;5<7'/:43 Likelihood ratio negative (LR -) !"#$%&'%()$01(9%',)(4<$01(!"#$;5<:1;+34%01(=B7'/-8 negative !"#$31(!0(4*+,<$01(7:(!"#$;5< 345<2$)?=43*/+:.8@$A454, LR- =B:1<(4!0(43&6 (c / a+c) / (d/ b+d) K5F+:1<(4!0(43&6 (1-

sensitivity)/ specificity <(4 LR- C()D6+3!54)(4 3450'%+6$1/%4:45G9D3<$!"#$;5<++3=43<$7:(!"#$;5<7'/'1!E1D,@'!:F(+7'/-8 negative D>(,:1<(4 LR- $/+D !:F(+7'/-8 negative 3#=B9D3<$!"#$;5<++3=43<$7:(!"#$;5<7'/:43

=B!K#$)(4345<2$)? likelihood ratio 3#+4L&D A454, 2X2 K5F+7:(3#A/+,0546<(4 sensitivity K5F+ specificity

:43(+$=H,=B<2$)?7'/ 98B!:F(+0546<(4 LR+ 98/)3#D&,A/+,$2<(4$1/:4<2$)?K4<(4 Predictive value MH(,@$A254;'D0&()7"!:F(+GH,*&/$A+$$1/=B!51D3<(401(<2$)?7'/=43 Bayes theorem )(4 Post test probablitiy 02@K/K84D<$!*/4@=)(4!"#$<$8B<(43&$0&/,01(<)4:=5>,98/)<(4 Post test probablitiy 01(7'/=43 LR+ ;'D Bayes theorem $1/3#<F+ Positive

Predictive value 3(+$K$/4$1/$&/$!+, 9:/)(4=B%4:45G@C/ Bayes theorem 7'/9A(3#7:(@C(%4:45G<2$)?7'/;'D,(4D %:34501(@C/@$345<2$)? Post test probalbility A/+,+4L&D%:345 %+,%:345'&,$1/

Post test odd = (LR+ ) X Pretest odd.............................................................(1) (1,3)

odd = probability / (1- probability)...........................................................(2) (1,3)

MH(,+4=!*1D$!"#$+135."K$H(,7'/)(4 probability = odd / ( odd + 1)

A&)+D(4,!C($ !54E6-./KN>,<.(+4DO 22 "1%:5%98/) 2 "1 :1!EL%&:E&$PIA4:"3A>3&6%4:1 7:(7'/<O:32!$>'!$F(+,=43+D43:16OA5 <5&/,$1/:1345*4'"5B=2!'F+$:4 10 )&$ 3(+$K$/4$1/"5B=2!'F+$:47:(%:(2!%:++D.(!'>: 64,5+6:4"3A> 9A(3#:164,5+601(*4'7"7:(:4!"#$!'F+$ 7:(:1+4345<&'AH,!A/4$: 7:(:1+4345<8F($7%/+4!=1D$ -./KN>,<$$1/A/+,3450546)(4A$A&/,<55QIK5F+7:(=H,+D43A5)="&%%4)B ;'D:4*+A5)=3&6;5,ED4648!$F(+,=437:(:&($@=-8*+,345A5)=01(:1*4DA4:0/+,A84' !:F(+023345A5)= Urine pregnancy test -8"543J)(4 positive 0(4$=B6+3-./KN>,<$$1/)(4!P+A&/,<55QIK5F+7:(

Bayes theorem

Urine pregnancy test ม ีsensitivity = 97% และม ีspecificity 98%

LR positive = 97/(100 - 98) = 48.5

หาก pre test probability = 50 %

เมื่อ test positive จะมีโอกาสตั้งครรภ์เท่าไร

!"#$%&&'( )*+,(-.$%/0.1234/56. 2.91% ,"$786/#0,*0+961:;&<=56.786!"#$%&&'( >"$/"#/0.1?@#5AB9!A>!.8>C0.D.&)E:/">!&51=";;.5:F#G?/09D 1-2 ;"=>.3(2*H60@65,?3#8"6/?18.DIJ#/D42=4/7>#

!.8!"50,6.$)8#1:&C#5AB9%G/5K)!6D40.11:,<6$,.D;G3&"-%/+961G;8D.&7867>#3&H0786L/">?/D.&%G/5K1J$89D.&%A>+G normogram IJ#/8.2*H60@65,?3#%G/5K post test probalitiy 7>#$6.,IJ#/>"$/9#

&C=+96 1 );>$ normogram I0$ Likelihood ratio (5)

28H60?@# normogram /9# )*+,(1:*-56.;.8.&L3. post test probability 7>#0,6.$$6.,>.,)E:&5>2&45 M>,D.&E.D2;#/1.D pre test probability N6./2;#/ likelihood ratio +96%G/5K7># 7=!">2;#/ post test probability +96%6.?> %6. post test probablility 1:2=4/%6./"#/2E, 3.D/G8.?@#D"-!"50,6.$2>A8 28H60&C#56. pre test probability 2=4/ 50 % )E:89 LR + 48.5 28H60E.D2;#/1.D pre test probality +96 50% N6./2;#/I0$ Likelihood ratio +96 =&:8.K 50 1:7=*-D"-2;#/I0$ post test probabilty +96&:356.$ 95 - 98 % 3&H03.D&C# LR- +96 0.03 28H60E.D2;#/?/+G/0$2>9,5D"/D41:7=*-D"-2;#/I0$ post test prabability +96 &:356.$ 2 - 5% >"$?/&C=+96 2 FJ6$!&$D"-+96%G/5K7>#)!656.?@#25E.;"#/D56.D"/8.D)E:$6.,?/D.&?@#$./8.DD56.D.&%G/5KM>,;8D.&1&A$O

3. !"#$%&'()*+,-.,/.0'1'(2.31'4(5-6&789:/&,;!</4=)-#$%>('?@/+(*%A(B$?1= (Applicability) (1,3,4)

C@-D,=)?4&'(D3&'(0B;E/.C@-&'(0=%7()+D'%A/$%4F*;,7*&'(A(B$0=%7()+D'%(,%0G)*.*+H,-$B=.I1,&1G&'(9:/%'.&,.$-<=$-='%JK(=A"'- J7=;'%E(,/%&'()*+,-.,/.$'+&"=')2L%&'(0B;E/.;'%$-='%DG=1G",&MN5>HK'5>+'5+% ;'%E(,/%$'+7/$%1G$64&(N8K*>OM;'%$-='% ;'%E(,/%$'+7/$%9:/!</:3.'P&'(K*>OM9.&'(D3&'(0B;E/..,/. A(B$1G#,/.7$.('-"5>$G-@9.&'(D3&'(0B;E/..,/.$-='%>4Q.#/,.7$. @,%.,/.&'($='.!"&'()*+,-.,/.I7/$%0'1'(2>#/'9+9.('-"5>$G-@#$%#,/.7$.7='%9.&'(D3&'(0B;E/. 7/$%D(';('-"5>$G-@>&G=-)&,;>E(B=$%1B$$64&(N8 A(B$E)'1:3.'PK*>OM9.&'(D3 +.>('0'1'(2>#/'9+J"5D3&'(0B;E/..,/.9.D=G4F*;,7*%'.#$%>('?@/$-='%2<&7/$% A'&4(5>1*.J"/)?1=0'1'(2.31'9:/&,;!</4=)-#$%>('?@/C@-7(% $'+7/$%D3&'(4(5-6&789:/C@-&'(4(,;>4"G=-.('-"5>$G-@;'%$-='%+L%+50'1'(2.31'9:/?@/ @,%.,/.&'(4(5>1*.9.#/$.G/ +L%+3>4Q.7/$%>#/'9+('-"5>$G-@>KB=$D3&'(4(,;4(6%9A/>#/'&,;C(%K-';'"9.KB/.DG=#$%>('?@/$-='%2<&7/$%+(*%I

What do likelihood ratios mean?

LR>10 = strong positive test resultLR<0.1 = strong

negative test result

LR=1

No diagnostic value

ROC curve

Evaluation of CT and MR angiography for the diagnosis of renal artery stenosis

ROC curve

ข้อซักถาม

?

สรุป




how to read diagnostic study

Health & Medicine