1

.בית הספר לרפואה של האוניברסיטה העברית בירושלים

ספיראלי טי .שונות בין מומחים למתמחים ברדיולוגיה בפענוח סי

.ח הדסה עין כרם" בביהבטן חריפהלברור

Interobserver variability between Radiology residents

and specialists in the interpretation of abdominal CT for

the diagnosis of acute abdomen at Hadassah University

Hospital, Ein Kerem.

.עדי שחם: עבודת הגמר של התלמידה

.2003: בשנת' סיימתי שנה ו

:בהדרכתם של המורים

.ר דורית שחם"ד

.ירושלים, הדסה עין כרםח "ביה, לרדיולוגיה אבחנתיתהמחלקה

.____________________: חתימת המדריכה

חתימת .מאיר ברזיס' פרופ

.ירושלים, הדסה עין כרםח"ביה, ר ועדת האיכות"יו

.___________________: המדריך

07.2004 :תאריךב

2

:תוכן עניינים

6................................................................................................:חומר ושיטות

9........................................................................................................:תוצאות

19............................................................................................................:דיון

28........................................................................................................:סיכום

30...........................................................................................:סיכום באנגלית

32.....................................................................................................:'נספח א

36..............................................................................................:ביביליוגרפיה

3

מבוא

ההתפתחות המהירה של נוכחכמצופה למערכות הבריאות מתקשות לספק לחולים טיפול איכותי

. ]1[ ב"כפי שעולה ממחקרים שבדקו את איכות הטיפול הרפואי בארה, מדע הרפואה והטכנולוגיה

.הועדה לאיכות הטיפול הרפואיאת ב "בארה "Institute of Medicine" - הקים ה1998 בשנת

את המודעות העלות ל, ב באותה תקופה"ניתן בארה התעד את איכות הטיפוללות הועדה היו מטר

על מנת אי לנושא איכות השרות הרפואי ולמצוא דרכי פעולהו והציבור הרפרחבשל הציבור ה

הועדה פרסמה את המלצותיה לשנוי מבנה מערכת . ]2[ ות את איכות הטיפול ולהפחית בטעוילשפר

ובאחת מהמלצותיה קבעה כי יש לעודד את הארגונים השונים במערכות , הבריאות האמריקאית

.]2[הבריאות לזהות טעויות הנעשות על ידם ולנקוט באמצעים לשיפור הטיפול בעתיד

עיקר . פענוח שגוי של בדיקות הדמיה רדיולוגיות הינו מקור ידוע לשגיאות אבחנתיות וטיפוליות

הזקוקים לאבחנה וטיפול , הבעיה בפענוח בדיקות הדמיה של חולים עם תמונה קלינית דחופה

. מידיים

CTרדיולוגים מומחים בבדיקות לחים י מתמ"עבודה זו עוסקת בהשוואה בין הפענוח שניתן ע

והיא בוצעה במסגרת , כרם-ח הדסה עין"שבוצעו לברור בטן חריפה במחלקה הרדיולוגית של בי

. ח"התוכנית לבקרת איכות בביה

תמונה קלינית עם ,]3[ מושג המתאר כאב בטן המתפתח במהלך מספר שעותאובטן חריפה ה

האבחנה המבדלת כוללת . על מנת לצמצם תחלואה ותמותה, דורשת אבחנה וטיפול דחופיםה

מיידית הכוללת התערבות חשוב להבדיל בין מחלות המצריכות התערבות . שת רחבה של מחלותק

מחלות שאינן מצדיקות התערבות לבין )כגון ניקוז מורסה (כירורגית או התערבות פולשנית דחופה

במקרים רבים האבחנה מאתגרת היות והתמונה . נגד לטיפול זההתוויתואף עשויות להוות , שכזו

CT -במקרים הללו שימוש ב .םיוממצאי המעבדה אינם ספציפיים די, הבדיקה הגופנית, הקלינית

בהחלטה לגבי ול לעזור היכ, חשובהוא כלי אבחנתי י של הבטן והאגן עם חומר ניגודיספיראל

י " ומדויקת עחסכונית ,מאפשר אבחנה מהירה יספיראל CT. ]4-6[ דחיפותומידת הצורך בניתוח ו

. ]3[ בטכניקות ובפרוטוקולים המתאימיםשימוש

CT ומהימנות )רגישות וספציפיות (הוא אמצעי בעל תוקף ,באבחנה של בטן חריפה, יספיראל

CTרגישותו של נמצא ש, חולים91בה נבדקו , חבריהו Siewertכפי שנמצא בעבודתם של , גבוהים

ניקוז / ניתוח של gold standard -ביחס ל( בהערכה קלינית בלבד 76% לעומת 90% היא יספיראל

- ו intraobserver variability -תלויה ב יספיראל CTו של מהימנות" .]6[) מעקב קליני /CTתחת

4

interobserver variability , או למעשה שוני די בודקים שוניםכימות שונה של תופעה על יהמבטא

, חולים50נבדקו בלונדון Lewishamח "מביה וקבוצתו Leslie בעבודתם של.]7[ בין מפענחים

CT בדיקותבפענוח , םמפענחיהשונות בין נמצא ש,י שני רדיולוגים"כאשר כל בדיקה פוענחה ע

בעבודה זו .60% -לנמצאה קרוב , י אחוזי הסכמה"אשר נמדדה ע, )חזה, אגן, בטן, ראש (ותשונ

לפרטים מינוריים ואינו משפיע על האבחנה ועל בעיקר מתייחסבין המפענחיםהשוני נמצא כי

, בין המפענחים נמוכהמידת הסכמה ו וקבוצתו הראWise .[8]ההחלטה לגבי הטיפול הדרוש

הערךי" עהכפי שחושב ,שאינה טיפוסיתחשד לדלקת התוספתן עם הסתמנות חולים עם ב

Kappa .בדיקות 100 פוענחומחקרב CTעם חשד קליני בחולים שונים בשלושה פרוטוקולים

). ושה מומחים ומתמחה אחדשל ( שוניםי ארבעה רדיולוגים"עכל צילום פוענח . לדלקת התוספתן

לברור CT בדיקות פענוחבין השוו קבוצתה ו Albano .]9[ 0.45 -עד 0.36 היו Kappa -ערכי ה

חודשים 7במהלך . מיוןבחולים בי מתמחים לבין פענוח רדיולוגים מומחים "דלקת התוספתן ע

פענוח , בין פענוח המתמחים והשוו בבוקר8:00 - בערב ל9:00 בין השעות CT בדיקות 103 אספו

, מהמקרים93%(ענוח היה זהה פמקרים ההמ 103 מתוך 96 - ב.יים הניתוחםממצאיההמומחים ו

פענוח המתמחים קרוב מאוד הייתה שמחקרמסקנת ה ).97.2% - 87.8% :95% סמך שלרווח

.]10[ לפענוח המומחים

ברדיולוגיהיכולת מתמחים בתעוסק, במסגרת בקרת איכותשבוצעה , עבודה זו, לעיל ןיוכפי שצ

, יספיראל CT פענוח על סמך, להבדיל בין מקרים הדורשים טיפול כירורגי דחוף לבין כאלו שלא

.בחולים עם קליניקה של בטן חריפה

5

:מטרות המחקר

המייצג את מידת ההסכמה בין , Kappa בעזרתמידת ההסכמה בין המפענחיםמוד את אל .1

ההסכמה בין מידת . מעבר להסכמה מקרית) שבצעו שתי בדיקות דומות(שני בודקים

הם Kappa ובינונית כשערכי, 0.8 - גבוהים מ Kappaמפענחים נחשבת טובה כשערכי ה

.0.8 עד 0.4

וח חישוב הסגוליות והרגישות של פעני" עCT -ת הולקבוע את תוקף פענוח בדיק .2

.gold standardהמתמחים תוך התייחסות לפענוח המומחים כאל

ובין מספר )מתמחים כנגד מומחים (לבדוק את הקשר בין מידת ההסכמה בין המפענחים .3

.שנות ותק בהתמחות

CTמוד את מידת ההסכמה בין מומחים למתמחים בפענוח כלל הממצאים בבדיקת אל .4

. של הבטןיספיראל

במחלקה י מתמחים תורנים" עהאבחנה של בטן חריפהיכולת ת הפענוח ואיכומידע זה משקף את

חדשה למתןמדיניותקביעת ביכול לשרת את המחלקהו כרם- ח הדסה עין" בביהרדיולוגית

.אבחנה וטיפול הולמים בעתיד

6

:ומר ושיטותח

ר מפברואהנתונים נאספו בצורה פרוספקטיבית. תצפיתי, מחקר אנליטי: מערך המחקר .א

עם תמונה שנעשו בחוליםCTבמהלך תקופה זו נאספו בדיקות . 2003 ועד מרץ 2002

פענוח ל והשוו, מתמחיםרדיולוגים י " עאשר פוענחו בזמן אמת, קלינית של בטן חריפה

.מומחיםרדיולוגים י שני "עשבוצע מאוחר יותר

הדסה וליםשישה רופאים מתמחים במחלקה הרדיולוגית בבית הח: אוכלוסיית המחקר .ב

שני מתמחים . תורניות לילהואשר סיימו לפחות שנה אחת בהתמחות ובצע, כרם–עין

.ושני מתמחים לקראת סיום ההתמחות' שני מתמחים אחרי שלב א', לפני שלב א

בוצעה על סמך ההנחה שמידת ההסכמה בין המומחים למתמחים : הערכת גודל המדגם .ג

, )90% - ל70%מרווח בין (20%סמך ברוחב נקבע רווח . 80%תהיה ) אלכסון ההסכמה(

לפי טבלה לחישוב גודל המדגם הדרוש לצורך קביעת . 95%של ) בטחון(ורמת סמך

, וחבריו ועל סמך ההנחות שלעילFreedmanי "ההסכמה בין שני גורמים שחושבה ע

.]CT ]11בדיקות 60דרושים למחקרי לפחות מצא כי נ

:המשתנים העיקריים במחקר .ד

אבחנה רנטגנית של בטן חריפה המצריכה או שאינה מצריכה התערבות -המשתנה העיקרי .1

.כירורגית או התערבות פולשנית דחופה

לבטן המתאימים ממצאים רנטגניים שלהיעדרות או ותמצאיה –משתנים בינאריים .2

עכירות , דופןיעיבו כגון פתן סימנים רנטגניים לדלקת חריפה של התוס- מא לדוג,חריפה

.)א שאלון בנספחראה( אפנדיקוליט, השומן

שנות ותק בהתמחות ומשתנה : משתנה אורדינלי לא רציף–משתנים דמוגרפים .3

. המחלקה המפנה:יקטגוריאל

: שיטות עבודה ומדידה .ה

לוג רדיו(י הרופא התורן " בחשד לבטן חריפה פוענחו במהלך תורנויות הלילה עCT- הבדיקות

. )אנספח : ראה שאלון מצורף (הממצאים על גבי השאלוןאת דרש לסמן שנ, )מתמחה

י אחד " עCT - הה בדיקתבבוקר שלמחרת פוענח. השאלונים נאספו על ידי מידי כמה ימים

בדיקות מהתכל אח. ג השאלון" צוין על ידי עהופרוט ממצאי, )'אמומחה (המומחים במחלקה

7

יש לציין כי המומחה . גם כןאשר מילא את השאלון , )'ומחה במ( מומחה נוסף י" עהפוענח

.'אי המתמחה ומומחה "הנוסף לא היה מודע לפענוח שבוצע ע

כיל נתונים לגבי החולה ופרטים לגבי הרופא ה- חלק ראשון: משלושה חלקיםורכבההשאלון

חלק .שעת הפענוח המחלקה המפנה, )מספר שנות ותק בהתמחות, מתמחה/מומחה (המפענח

.1: י סימון אחת משלוש האפשרויות"המפענח נדרש לענות על השאלה המרכזית ע - שני

פתולוגיה שאיננה מצריכה התערבות .2, פתולוגיה המצריכה התערבות כירורגית מיידית

נדרש לסמן "2" או"1"במידה וסימן -חלק שלישי . ללא עדות לפתולוגיה.3, כירורגית מיידית

ים המלווים או י מתוך האבחנות הרשומות ואת הממצאים הרנטגנאבחנה אחת או יותר

).אב שאלון בנספח "רצ: פרוט(. לחלופין לציין אבחנה אחרת

המתמחים ענו על . שבוע טרם הוחל המחקרPre testעל מנת לתקף את השאלון בוצע

לאור מספר מצומצם. דלקת התוספתןעם חשד ל בחולים יספיראל CTשאלונים לגבי פענוח

CTפענוח עוסק בה, במהלך השבוע הוחלט על בנייתו של מחקר חדשאספושל מקרים שנ

. בשאלה של בטן חריפהיספיראל

ן כי עומס העבודה במהלך התורנות או חוסר בטחון לגבי הפענוח תרמו לחוסר הענות יתכ

מנת על . ולכן לא מולאו שאלונים עבור כל הבדיקות שבוצעוי המתמחה"במילוי השאלונים ע

השאלונים הונחו -1: ננקטו מספר צעדיםהגביר את הענות המתמחים למלא את השאלוניםל

לגבי המחקר תזכורותנתלו - 2טי .ת הטכנאי ליד מכשיר הסיובמקום בולט ונגיש בעמד

כחודשיים -3 .בחדר המתמחים, והצורך בשיתוף הפעולה של המתמחים במילוי השאלונים

ברזיס 'פרופי " המחלקה הרדיולוגית להרצאה שנתנה ערופאיל לאחר תחילת המחקר כונסו כ

. איכות ברפואהבקרתנושא ב המרכז לאיכות ובטיחות של ההסתדרות המדיצינית הדסהמ

והבהירה למתמחים את , הביקורת העצמיתחשיבות עקרון השקיפות ועסקה בההרצאה

ודת איסוף הנתונים עבתמחיםלאור היענות מוגבלת של המ. מחקר השתתפותם בשיבותח

של חולים עם חשד לבטן CTבדיקות 60 המחקר נאספו נערךבמהלך השנה בה .שנהנמשכה כ

.ותוי שנעשו במהלך התורנCTבדיקות 350 -חריפה מתוך כ

קציות ינדיאלמעט , בוצעו לפי פרוטוקול אחיד בחולים עם חשד לבטן חריפה CT - בדיקות ה

שתי כוסות של תמיסה המכילה שתיית.1: וטוקול כוללהפר. אשר יפורטו בהמשך, ספציפיות

15ccמימי על בסיס יוד של חומר ניגודי )Telebrix( , מהול בחצי ליטר מים בהפרש של חצי

.3. י מזרק אוטומטי" עml/sec 1.8בקצב של Telebrix של 90cc, הזרקת חומר ניגודי.2 .שעה

8

בחתכים , ניגודי וכדקה לאחר הזרקתובדיקת ההדמיה מתבצעת כשעה לאחר שתיית החומר ה

הדמיה , בשאלות קליניות כדוגמת אבנים בדרכי השתן .מ" מ5.5כל המשוחזרים מ " מ6.5של

לדוגמא ( בוצעה הבדיקה בפרוטוקול מיוחד ואחריםחשד לגידול בלבלב, טריפאזית של הכבד

).דויגהבדיקה מבוצעת ללא שתייה וללא הזרקת חומר נ: בחשד לאבנים בדרכי השתן

:שיטות סטטיסטיות .ו

:י שתי שיטות" שונות בין הבודקים עחישוב .1

לגבי הצורך כמדד למידת ההסכמה בין מתמחים למומחים Kappa -חושב ערך ה .א

ברור לספיראלי CTבפענוח , בהתערבות כירורגית או התערבות פולשנית דחופה

שבצעו מבטא את מידת ההסכמה בין שני בודקים Kappa - ערך ה.בטן חריפה

. שהנה מעבר להסכמה מקרית, פעולה דומה

מאחר ואחוז ההסכמה מתוך כלל המקרים . אחוז ההסכמה בין המפענחיםחושב .ב

)overall agreement ( עשוי להיות מוטה כלפי מעלה בעקבות התייחסות גם

אחוז ההסכמה מתוך המקרים בהם יש ממצא חיוביחושב, לתוצאות השליליות

]7[ .

י מדידת רגישות וסגוליות של פענוח המתמחים ביחס לפענוח "ענבדק וקף ת .2

.gold standard לפענוח המומחים כאל התייחסתי. המומחים לגבי כל אבחנה

מידת ההסכמה של המתמחים מול המומחים כתלות בשנות נערכה השוואה בין .3

.וותק בהתמחות

: השערות. ז

לגבי הצורך בהתערבות כירורגית או , CTוח מידת ההסכמה בין מומחים למתמחים בפענ .א

).<0.7Κappa(גבוהה בינונית עד תהיה התערבות פולשנית דחופה

תהיה , CT - מידת ההסכמה בין מומחים למתמחים בפענוח כלל הממצאים בצילום ה .ב

).75% - אחוז השאלות בהן תהיה הסכמה בין מומחה למתמחה כ(גבוהה

נצפה למידת הסכמה גבוהה יותר , תר בהתמחותככל שלמתמחה מספר שנות ותק רב יו .ג

.הן לגבי אבחנה והן לגבי שאר הממצאים בצילום

9

:תוצאות

בדיקות ה. בשאלה של בטן חריפהCT בדיקות 60 נאספו 2003 ועד יוני 2002 פברואר חודשמ

)'מומחה א (י רדיולוג מומחה בבוקר למחרת"ע, בזמן התורנות)מתמחה (תורןרופא י " עופוענח

. )'מומחה ב (י מומחה נוסף"וע

י רופא תורן עם ותק בהתמחות של "כמחצית מהמקרים פוענחו עלאחר עיבוד הנתונים נמצא כי

בהתמחות שלוש שניםמעלשל י תורן עם ותק " עפוענחומהמקרים וכמחצית,עד שלוש שנים

).1 מספר ראה טבלה(

: מספר שנים בהתמחות-1טבלה מספר

מספר שנים

בהתמחות

אחוז מצטבר אחוז שכיחות

1

1.5

2

3

3.5

4

4.5

5

כ"סה

4

2

7

16

7

18

1

5

60

7

3

12

26

12

30.0

2

8

100.0

7

10.0

22

48

60

90

92

100.0

10

הבדיקות 41/60 .שונותהמחלקות המבשאלה של בטן חריפה CT בדיקות ביצוע החולים הופנו ל

).2 מספר ראה טבלה( מהמיון הופנו)68%(

בשאלה של בטן יספיראל CTי כל מחלקה לצילום "מספר החולים שהופנו ע -2מספר טבלה

:חריפה

רב . בבוקר8:00 ועד 16:00 החל מהשעה וצע בו)מתמחה(י הרופא התורן "פענוח הצילומים ע

).3 מספר ראה טבלה( . 24:00- ל16:00בין השעות , פוענחו בשעות הערב)55% (33/60, הצילומים

:הפענוחשעת -3טבלה מספר

:3הערות לטבלה

. שבוצעו לקראת סיום התורנותCTפוענחו בדיקות , 16:00- 8:00, בשעות הבוקר *

מספר החולים המחלקה המפנה

41 מיון

1 פנימית

1 המטולוגית

1 ילדים

11 כירורגיה

1 אורטופדית

1 כירורגית כלי דם

3 אונקולוגית

מספר המתמחים שעת הפענוח

8 8:00-16:00בוקר *

33 16:00-24:00ערב

15 24:00-8:00לילה

4 לא ציינו שעה

11

דרושה התערבות דחופהבהם קבע המתמחה כי מקרים 13 ו נמצא נתוניםלאחר איסוף ועיבוד ה

9הם מ, מקרים יש צורך בהתערבות כירורגית דחופה11 - קבע כי ב'אמומחה . ) בשאלון"1 "סימן(

9מהם , התערבות דחופהצורך ב מקרים יש 14-קבע כי ב' במומחה .י המתמחה"מקרים צוינו ע

.'י מומחה ב"צוינו גם ע', י מומחה א" מקרים שצוינו ע9 .י המתמחה"מקרים צוינו ע

יש עדות 34/45 - ב, מהמקרים אין צורך בהתערבות כירורגית דחופה45/60 -המתמחה קבע כי ב

אין עדות 11/45 - וב) בשאלון"2"סימן (ה התערבות כירורגית דחופה ינה מצריכלפתולוגיה שא

מהמקרים אין צורך בהתערבות 49/60- קבע כי ב'אמומחה ).בשאלון" 3 "סימן(לפתולוגיה

מקרים בהם יש עדות לפתולוגיה 37/49 .י המתמחה" מקרים צוינו ע36מהם ,כירורגית דחופה

מקרים 12/49 -ו י המתמחה" מקרים צוינו ע30מהם , גית דחופהרושאיננה מצריכה התערבות כיר

מהמקרים 46/60 - קבע כי ב' במומחה .י המתמחה" מקרים צוינו ע6מהם , לוגיהולפת ללא עדות

מקרים בהם 27/46 ,י המתמחה" מקרים צוינו ע30מהם , אין מקום להתערבות כירורגית דחופה

י " מקרים צוינו ע22מהם , גית דחופהרערבות כירויש עדות לפתולוגיה שאינה מצריכה הת

.י המתמחה" מקרים צוינו ע8מהם , מקרים ללא עדות לפתולוגיה19/46 - ו, המתמחה

אחד סימן עדות לפתולוגיה במעי במקרה ,המתמחה לא רשם החלטתו) 60 - מתוך ה(בשני מקרים

כחסימת מעי דק ' מחה אי מו" סוכם עזהמקרה ( הדק עם הרחבת לולאות מעי דק ואזור מעבר

הרחבת לולאות מעי , עם עדות לחסימה, ובמקרה שני סימן עדות לפתולוגיה במעי הדק) חלקית

כהרחבה של לולאות 'י מומחה א" סוכם עזהמקרה (, גורם לחסימהכהדבקויות ו, ואזור מעבר

ולא ידע מהי יתכן , לא ברור מדוע לא סימן המתמחה את החלטתו.)מעי דק עם תוכן נוזלי בתוכן

מקרה השני ב.ההמלצה הטיפולית במקרים הללו או שאולי לא היה בטוח באבחנה או ששכח לסמן

. שאינה מצריכה התערבות דחופהמדובר בפתולוגיה

Kappaי הערך " כפי שחושבה ע)'ב/'אמתמחה ומומחה (מידת ההסכמה בין כל זוג מפענחים

נמצאה Kappa, מה בין המומחים אף היא בינוניתנמצא כי מידת ההסכ. 0.5-0.6, בינוניתנמצאה

.)4ראה טבלה מספר ( 0.7

): ורווח סמךappaK(מידת ההסכמה בין שני מפענחים -4 טבלה מספר

Kappa 95% Confidence Interval מפענחים

0.4-0.8 0.6 'מתמחה ומומחה א

0.3-0.7 0.5 'מתמחה ומומחה ב

0.5-0.8 0.7 'ומומחה ב' מומחה א

12

goldבהתייחס אל פענוח המומחים כאל , לגבי הצורך בהתערבות דחופה, פענוחתוקף הבחישוב

standard עבור פענוח יותר גבוהות סגוליות לציין רגישות ו.ות גבוהגוליותסו רגישות ונמצא

).5ראה טבלה מספר (בין המומחים מלאה רים בהם הייתה הסכמה מק ביםהמתמח

:gold standardת ההדמיה תוך התייחסות אל המומחה כאל תוקף בדיק -5טבלה מספר

רגישות מפענחים

(95% CI)

ספציפיות

(95% CI)

גורם מנבא

חיובי

(95% CI)

גורם מנבא

שלילי

(95% CI)

מתמחה

'ומומחה א

90

)60-100(

91

(78-98)

75

(46-93)

97

(86-100)

מתמחה

'ומומחה ב

64

(41-89)

91

(80-97)

69

(41-89)

91

(80-97)

' מומחה א

'ומומחה ב

78

(52-94)

לא ניתן

לחישוב

לא ניתן

לחישוב

93

(84-98)

מתמחה ושני

, מומחים

במקרים בהם

הייתה הסכמה

בין המומחים

92

(62-100)

97

(87-100)

96

(62-100)

97

(87-100)

13

י " כפי שחושב ע, כתלות בשנות וותק בהתמחותים למומחיםמתמחהבחישוב מידת ההסכמה בין

בין אם מדובר בוותק , ) 0.6 עד 0.4 נעה בין Kappa( נמצאה מידת הסכמה בינונית ,Kappaהערך

).6 ראה טבלה מספר( שלוש שנים בהתמחותפחות או יותר משל

:התפלגות לפי שנים בהתמחות -6טבלה מספר

Kappa מומחה/מתמחה

(95%CI)

רגישות

(95%CI)

ספציפיות

95%CI)(

- ה פחות ממתמח

שנים בהתמחות 3

'ומומחה א

0.6

)0.3-0.9(

100

)47-100(

100

)89-100(

- מתמחה פחות מ

שנים בהתמחות 3

'ומומחה ב

0.5

)0.3-0.8(

70

)26-94(

100

)88-100(

שנים 3מתמחה

בהתמחות או

'יותר ומומחה א

0.6

)0.4-0.8(

80

)41-99(

80

)63-94(

שנים 3מתמחה

בהתמחות או

'יותר ומומחה ב

0.4

)0.2-0.7(

71

)33-95(

82

)62-94(

36- נמצאה בלגבי הצורך בהתערבות דחופה )מתמחה ושני מומחים (הסכמה מלאה בין המפענחים

47 - נמצאה ב) 'ב ומומחה 'אמומחה (והסכמה מלאה בין המומחים בלבד ) 60%(מהמקרים

ראה טבלה ) (1.7%(במקרה אחד נמצא חוסר הסכמה בין שלושת המפענחים. )78%(מהמקרים

).7 מספר

מתוך .ההחלטה הטיפוליתשכלל את המהלך הקליני ו, רפואי נמצא סכום חולים60 מתוך 38 -ב

לגבי הצורך בהתערבות בין המפענחים אשר עבורם הייתה הסכמה מלאה , 8תוך מ7 -ב, 38 -ה

על רקע דלקת עולה של טיפול שמרניך נער8 מתוך 1 -אכן עברו ניתוח ואילו ב, כירורגית מיידית

המתמחה סימן בשאלון עדות לממצאים נוזליים בכבד וקבע שיש לשקול במקרה זה .דרכי המרה

14

, דרכי מרה מורחבים, ציין בועות אוויר במערכת המרה בכבד'א מומחה ,ניקוז אבצס כבדי מיידי

סימן בשאלון 'במומחה ו הפורטליפגם מילוי במוצא הוריד והרחבה של צינור הלבלב , אבצס כבדי

בלוטות לימפה , חשד לאבצס כבדי, SMV - קריש דם ב, יותר משמאל, מרהיעדות להרחבת דרכ

בהם הייתה הסכמה לגבי עדות לפתולוגיה שאיננה ) 38 מתוך 13(בכל המקרים .מרובות בבטן

קבלו החולים רפואיהסכום הפ "ע, )בשאלון" 2"סימון (מצריכה התערבות כירורגית מיידית

בשל אבצס CT -החולה נותח שבוע לאחר ביצוע ה, 13 - מתוך ה במקרה אחד .טיפול שמרני

שאין עדות ור המקרים בהם הייתה הסכמה מלאהעב). להלןראה דוגמא (פריאפנדיקולרי

החולה אושפזה בשל , פיו- סיכום רפואי אחד על נמצא ) בשאלון"3 "סימון(לפתולוגיה

.י שלושת המפענחים"כלומר הממצא הוחמץ ע, פלה שמרניתובחוליות וטאוסטאומיליטיס

15

סיכומים 38נמצאו כ "סה: ( רפואיסיכוםמידת ההסכמה בין המפענחים ונתונים מ -7טבלה מספר

). מקרים60 מתוך רפואיים

מספר

המקרים

אחוז

המקרים

מקרים עם 'מס

רפואיסיכום

טיפול

ניתוחי

טיפול

שמרני

ניתוח

בהמשך

0 1 7 8 15 9 .התערבות מיידית: הסכמה מלאה

פתולוגיה שאיננה : הסכמה מלאה

מצריכה התערבות כירורגית

.מיידית

22 37 13 0 13 *1

ללא עדות : הסכמה מלאה

.לפתולוגיה

5 8 1 0 1

כ הסכמה מלאה בין שלושת "סה

המפענחים

36 60 22 7 15

הסכמה בין מתמחה לאחד *

.מהמומחים

12 20 9 0 9 1

הסכמה מלאה בין המומחים *

.בלבד

11 18 6 3 3

חוסר הסכמה בין שלושת

.המפענחים

***1 2 0

1 27 10 37 100 60 כ"סה

:7הערות לטבלה

.)פרוט המקרה להלן(החולה נותח שבוע לאחר ביצוע הבדיקה ונמצא אבצס פריאפנדיקולרי *

מקרים הייתה הסכמה כי אין 9/11 - בהתערבות דחופה וב מקרים הייתה הסכמה לגבי צורך 2/11 - ב*

. צורך בהתערבות דחופה

סימן ציסטה ' ציין שאין עדות לפתולוגיה ומומחה ב' מומחה א, המתמחה סימן דלקת בתוספתן***

.בשחלה שמאל

הייתה הסכמה בין המתמחה לאחד המומחים שאין צורך בהתערבות דחופה ואילו המומחה 3/12 -ב*

בין שלושת המפענחים כי אין הסכמה מהמקרים הייתה9/12 -ב, שני ציין שיש צורך בהתערבות דחופהה

.CT -אך הדעות היו חלוקות לגבי קיומה או העדרה של פתולוגיה בבדיקת ה, צורך בהתערבות דחופה

16

ת ופתולוגיעבור בין המפענחים הסכמה ה מידתנמצא כי בעיבוד הנתונים עבור האבחנות השונות

שנמצאה עבורהסכמה המידת ל ביחס גבוהה תוסקולארי ופתולוגיה דלקת הלבלב, במעי הדק

היות ומדובר . )8 ראה טבלה מספר(ניקולוגי ופתולוגיה של כיס המרה ממצא ג, דלקת התוספתן

. רחב מאודCI מתקבלעם מספר מקרים קטן, בניתוח תתי קבוצות

אחוז ההסכמה חושב מתוך :בין כל זוג מפענחים, נהאחוז ההסכמה עבור כל אבח -8טבלה מספר

מספר בסוגריים עליונים מופיעים . אשר זוג המפענחים ציינו עבורם את אותה אבחנה, המקרים

עבור אחוז 95%של רווח סמך מתחתם ושניהראשון והמפענח הי " עונחעפו ש באבחנה זוהמקרים

.ההסכמה

%

ההסכמה

מספר (

)המקרים

95% CI

דלקת

וספתןהת

פתולוגיה

במעי דק

ממצא

גניקולוגי

פתולוגיה

תוסקולארי

פתולוגיה

במעי גס

דלקת

בלבלב

פתולוגיה

של כיס

המרה

הנקבות של

איבר חלול

מתמחה

ומומחה

'א

50

)2 ,4(

9-91

94

)15 ,16(

73-100

30

)3 ,2(

13-100

67

)3 ,2(

13-100

63

)8 ,7(

52-99

100

)5 ,5(

55-100

50

)2 ,2(

22-100

50

)1 ,2(

2.5-98

מתמחה

ומומחה

'ב

50

)2 ,4(

9-91

80

)15 ,16(

73-100

0

)2 ,2(

22-100

100

)2 ,2(

22-100

80

)5 ,7(

33-95

80

)5 ,5(

55-100

0

)0 ,2(

0-78

30

)3 ,2(

13-100

' מומחה א

ומומחה

'ב

100

)2 ,2(

22-100

87

)15 ,15(

)82-100(

0

)2 ,3(

13-100

67

)2 ,3(

13-100

63

)5 ,8(

28-89

80

)5 ,5(

55-100

*

)0 ,2(

*

0

)3 ,1(

2-87

:8הערות לטבלה

אי אפשר לקבוע*

17

: ממצאים נוספים

בקע , מרהסבמיטת כי/נוזל חופשי בבטן או באגן: כגון נוספיםממצאיםצוינו

, אתייסנין רת, תפליט פלאורלי, דופן הבטן/קולקציה במיטת הטחול, פריאומביליקלי/פשעתימ

, גידול בראש הלבלב, גוש באדרנל,אבצס כבדי, הגדלת כבד או טחול ראתיציור אינטרסטיציאלי

המתמחה איבחן ממצאים נוספים .בגוף החוליה/ גרורה בכבד, קריש דם-פגם מילוי, אבן בשופכן

ים איבחן ממצא'ב מהמקרים ומומחה 28- איבחן ממצאים נוספים ב'אמומחה , מהמקרים15-ב

. מהמקרים16- נוספים ב

:להלן דוגמאות

,"1"המתמחה סימן בשאלון . בשאלה של בטן חריפה25 בטן ואגן של חולה בת CT :1מקרה

, פולהטעדות לפתולוגיה המצריכה התערבות כירורגית מיידית לאור ממצא גניקולוגי עם סבב של

סימן , אין עדות לפתולוגיהן כי סימ ציין כי אין ממצא מיוחד בבדיקה והמומחה הנוסף'אמומחה

, כאבים בבטן תחתונה( כי לאור קליניקה שאיננה חד משמעית צויןרפואי סיכום ב. "3 "בשאלון

ובסונר ציסטה משמאל PS/PV -ללא ממצא חריג ב,)יציבה המודינמית, ללא סימני גירוי ציפקי

שחלה שמאלית ראתה ובה נהחולה עברה לפרוסקופיה, מ" מX 33 35לרחם לא צלולה בגודל

, מהלך לאחר לפרוסקופיה תקין. גודש של ורידים בשחלה שמאל ותקינה עם ציסטה פשוטה

.התלונות חלפו והחולה שוחררה

ממצא פתולוגי פענוח של להלן דוגמא למקרה שבו הרופא הכירורג החליט לבצע ניתוח מיידי לאור

תכן כי פענוח המומחה במקרה זה היה י. י הרדיולוג המתמחה בשעת התורנות" עCT - הבבדיקת

. מונע קיומו של ניתוח מיותר

:ציסטה שחלתית

18

עדות לפתולוגיה שאינה מצריכה התערבות כירורגית ,"2" סימנו בשאלון המפענחים :2מקרה

. מיידית

חבות עם חשד לאיסכמיהות לימפה בבטן ולולאות מעי דק מורהמתמחה סימן הגדלה של בלוט

ציין בלוטות לימפה בשורש המזנטריום'אמומחה . שאין צורך בהתערבות דחופהובכל זאת סימן

סימן עדות 'במומחה .לא הודגם אפנדיקס, בבטן ימנית תחתונהמ וצבר בלוטות " ס1עד

ללא זיהוי הגורם , אזור מעברעם הרחבת לולאות מעי , חלקית לפתולוגיה במעי הדק עם חסימה

החולה CT -שבוע לאחר ה. בריאה ברקע, 12מדובר בחולה בת כי צוין רפואי בסיכום.החוסם

. עקב אבצס פריאפנדיקןלריהנותח

-בו החלטה הטיפולית התבצעה על סמך הקליניקה ובניגוד לפענוח בדיקת ה דוגמא למקרה שזוהי

CT. י שלושת "ע קושי בפענוח הממצאים הפתולוגים ובמתן אבחנה חד משמעיתבמקרה זה קיים

).המתמחה ושני המומחים (םהמפענחי

:לימפאדנופתיה בבטן ימנית תחתונה

�

19

:דיון

: הממצאים העיקרים

בשאלה של בטן CTבעבודה זו נבדקה יכולת המתמחים במחלקה הרדיולוגית לפענח צילומי

. חריפה ביחס למומחים במחלקה

ערכי ( נמצאה בינונית Kappaי הערך "פי שחושבה עכ, מידת ההסכמה בין המתמחים למומחים

Kappa 0.5 כמו כן נמצאה מידת ). 'ולמומחה ב' בהשוואה בין המתמחה למומחה א, 0.6 ועד

ניתן למצוא ערכים דומים ). 4ראה טבלה מספר) (Kappa = 0.6(הסכמה בינונית בין המומחים

)0.45 עד 0.36 נעה בין Kappa( תן בחשד לדלקת התוספCTבספרות עבור מידת ההסכמה בפענוח

]12[ .

goldבהתייחס אל פענוח המומחים כאל , מטרה נוספת הייתה להעריך את תוקף הפענוח

standard .בהשוואה בין המתמחה לבין (90% עד 64% הם רגישות של הערכים שנתקבלו במחקר

ראה טבלה מספר ( בחשד לבטן חריפה CT עבור פענוח 91% של גוליותוס) 'ומומחה ב' מומחה א

תוקף הפענוח נמצא גבוה יותר עבור המקרים בהם בוצעה השוואה בין המתמחה לבין שני ). 5

97% של גוליות וס92%קבעה רגישות של נ, )כאשר הייתה הסכמה בין המומחים(המומחים יחד

כפי שנרשמה , בהמשך נבדקה תשובת הפענוח בהשוואה להחלטה הטיפולית). 6ראה טבלה מספר (

ברב המקרים ההחלטה . מקרים בהם נמצא סיכום רפואי60 מתוך 38 - ב, בסיכום הרפואי

.י הקלינאי הייתה דומה להחלטת המפענחים"הטיפולית שניתנה ע

העולה ממחקרנו הוא כי מידת ההסכמה בין המתמחים והמומחים הייתה בינונית ממצא נוסף

עובדה היכולה להצביע על יכולת למידה מהירה של המתמחים , ללא תלות בשנות וותק בהתמחות

, עזרה ממפענח נוסף, אך ייתכנו גם הסברים נוספים כדוגמת הטיית מידע, )6ראה טבלה מספר (

). ראה להלן(גבלות המחקר אשר ידונו בפרק העוסק במ

ראה טבלה מספר ) ( מהמקרים36 (60% -כ נמצאה הסכמה מלאה בין שלושת המפענחים ב"בסה

7 .(

20

:מגבלות המחקר

ראה פרק שיטות ( מקרים כפי שנקבע מראש 60הכולל , מדגם מצומצם- גודל המדגם •

מך גדולים בשל מספר מצומצם של מקרים יש לציין רווחי ס). גודל המדגם- וחומרים

ולכן אין ) מידת רגישות וסגוליות ואחוז ההסכמה, Kappa(עבור הערכים שחושבו

.להתייחס לערכים שהתקבלו כערכים מוחלטים

• Selection bias :יתכן וחלקם נמנעו . קושי בהשגת שיתוף פעולה מלא מצד המתמחים

תשומת לב או חוסר , מלענות על השאלונים במהלך התורנות לאור עומס במהלך התורנות

בתקופת המחקר נקטנו באמצעים . במקרים מסוימים בשל קושי לתת אבחנה מדויקת

ראה פרוט בפרק שיטות (שונים על מנת להגביר את שיתוף הפעולה ככל האפשר

רק חלק מהבדיקות שנעשו בתקופת המחקר בזמן התורנות פוענחו , עם זאת, )וחומרים

של CT בדיקות 60שנה בה נערך המחקר נאספו במהלך ה. (י המתמחים ונכללו במחקר"ע

). צילומים שנעשו במהלך התורנות350 -חולים עם חשד לבטן חריפה מתוך כ

• Information bias : מידע אנמנסטי(המתמחה נחשף בזמן התורנות למידע קליני נוסף ,

לא ' באופן חלקי ואילו מומחה ב' אליו נחשף מומחה א, ) או כל מידע אחרUSבדיקת

המומחה הנוסף פענח את הצילומים בשאלה של בטן חריפה ללא . חשף כלל למידע זהנ

חשוב לזכור כי המידע . מידע קליני ואף לא ידע את השאלה הקלינית בגינה הופנה החולה

) הקלינאי(י הכירורג "הקליני והמידע הרנטגני הינם קריטיים בגיבוש האבחנה ע

י ניסוח שאלון המחייב "ה זו הופחתה עמשמעות הטי, עם זאת. ובהחלטה הטיפולית

.CT - התייחסות לקיומם או היעדרם של ממצאים חזותיים בבדיקת ה

• Misclassification : התייעץ עם רדיולוג ) המתמחה\המומחה(מקרים בהם הרדיולוג

מתמחה אחד ציין כי התייעץ עם מומחה אחר , פ השאלונים"ע. נוסף בשעת הפענוח

שאיננה מצריכה התערבות כירורגית , חים ציינו פתולוגיהמקרה ובו שלושת המפענ(

). מיידית

• Hawthorne effect :י המתמחה"אפקט המתייחס לשיפור בתוצאת הפענוח שבוצעה ע ,

כמו כן פענוח הבדיקה נעשה תוך מילוי השאלון . הנובע מעצם היותו נתון תחת בדיקה

ווים שונים הדורשים את המחייב בחינה שיטתית של הבדיקה וסימון של ממצאים נל

21

יש לציין כי הטיה מסוג זה הינה חיובית ומלמדת את המתמחה . התייחסות המפענח

.לבצע פענוח שיטתי ומדויק גם ללא שאלון

מולא ' השאלון של מומחה א, שמלאו את השאלון בעצמם', בניגוד למתמחה ולמומחה ב •

ויתכן כי לא תמיד , ם שדווחופ הממצאי"ידי ע והצורך בהתערבות דחופה צוין על, ידי על

. בעצמו' י מומחה א"לו הייתה ניתנת ע, תאם את ההמלצה להתערבות

:העבודה כחלק מבקרת איכות

נעשה ניסיון של מערכות הבריאות , לנוכח התפתחותם המהירה של מדע הרפואה והטכנולוגיה

י בנייתו של מערך "תוך שיפור בעבודת צוות הרופאים ע, לספק לחולים שרות נאות במחיר סביר

מהווה דוגמא ' 96- '93בוצע בבריטניה בין השנים וחבריוJamesמחקרם של . לבקרת איכות

לשיתוף פעולה בין צוות הרופאים מהמחלקה הרדיולוגית וצוות הרופאים מהמיון בניסיון לבנות

בא לידי כפי ש, י הרופאים במיון"מערכת בקרה שתאפשר הפחתת טעויות בפענוח צילומי רנטגן ע

:מערכת הבקרה שנבנתה כללה. ]13[ ביטוי בספרות

.השלב הראשון כלל איסוף המקרים בהם הייתה טעות בפענוח

:השלב השני כלל נקיטת צעדים ראשוניים על מנת להפחית בטעויות

על מנת לדון במקרים בהם הייתה אי התאמה , כינוס של כל צוות הרופאים מידי חודש •

כל רופא מצוות המיון אף זכה . יתוחםבין הפענוח לבין המהלך הקליני שהציג החולה ונ

.לקבלת משוב אישי לגבי טעויות חוזרות בפענוח שנעשו על ידו

.אשר שימשה לצרכי לימוד, איסוף ושמירה של השגיאות בספרייה מיוחדת •

:י"השלב השלישי כלל תכנון מחדש ע

המשלב צוות מהמיון וצוות, הקמת מערך לפענוח צילומי רנטגן של החולים במיון •

.במטרה להפחית בטעויות בפענוח הרופאים במיון, מהמחלקה הרדיולוגית

הרופאים והצוות הסיעודי , ביצוע סקרים על מנת לבדוק את שביעות רצונם של החולים •

.מקיומו של המערך החדש שהוקם

אשר היה , הקמתו של צוות שכלל רופאים מהמיון ורופאים מהמחלקה הרדיולוגית •

. ם במערך לאור חוסר שביעות רצונם של החולים והרופאיםאחראי לביצוע השינויי

י "מטרת הצוות הייתה למצוא פתרונות על מנת להפחית בטעויות בפענוח שבוצע ע

22

המערך כלל פענוח . תוך מתן תשובות הפענוח לחולים תוך זמן סביר, הרופאים במיון

כחלק ממערך , ךי צוות הרופאים במיון ובהמש"מיידי של צילומי הרנטגן הסטנדרטים ע

במידה . י רופאים רדיולוגים" שעות ע12הצילומים פוענחו בשנית תוך , בקרת האיכות

הממצאים . החולה הוחזר למיון, ונמצאה אי התאמה משמעותית בפענוח המפענחים

שברים : למשל(העיקריים במחקר הראו ירידה במספר הטעויות בעלות משמעות קלינית

תוצאות המחקר הראו שיפור . פענוח הצילומים במיוןב, )או גופים זרים שפוספסו

. ראשוני הכולל הפחתה בטעויות ואף הפחתה נוספת בעקבות תכנון מחדש של המערך

המביאה לשיפור במיומנויות , מסקנתם הייתה כי מערכת מידע לפענוח צילומי רנטגן

יכרת בשיעור צוות הרופאים ומכילה מערך מהימן לעיבוד מידע וטעויות תביא להפחתה נ

.]13[הטעויות לאורך זמן

נקודת תורפה זו . של הרדיולוגים" עקב אכילס"טעויות בפענוח ושוני בין המפענחים מהווים את

קשורה בהתפתחותם המהירה של מדע הרפואה והטכנולוגיה וחוסר יכולת של העין והמח האנושי

י "טעות בפענוח היא למעשה פענוח שאינו תואם את המסקנה שנקבעה ע. "להדביק את הפער

היא , "inter observer variation", בעוד ששונות בין המפענחים, "המומחים"וות קונצנזוס של צ

באשר לממצאים שבצילום והינו קריטי ) קונצנזוס(מצב שבו צוות המומחים לא מגיע להסכמה

בין מומחים CTאת הגורמים לשוני בפענוח בדיקות . ]14[ "כשמשווים בין טכניקות אבחנה שונות

גורמים הקשורים במגבלות . 1: למתמחים לברור בטן חריפה ניתן לסווג לשלוש קבוצות עיקריות

. גורמים הקשורים ברופא המפענח. 3, גורמים הקשורים בחולה הנבדק. 2, ההדמיה והטכנולוגיה

במאמר העוסק בטעויות בפענוח , ואחריםBerlin בעבודתם שלניתן למצוא בספרות חלוקה דומה

.]14[ צילומים ברדיולוגיה

:גורמים הקשורים במגבלות ההדמיה. 1

מגבלות הטכנולוגיה עדיין מהוות מכשול עקרי בפענוח הצילומים וגורם חשוב לשוני בין •

איננה מהווה את בדיקת הבחירה עבור CT - יש לציין כי בדיקת ה. ]14[המפענחים

נמצא ככלי CT -ה. אבחנות כדוגמת פתולוגיה בכיס המרה או פתולוגיה גניקולוגית

, חשד לדלקת התוספתן: עיקריותת אינדיקציו3 - אבחנתי יעיל בשאלה של בטן חריפה ב

. דיברטיקוליטיס וחסימה של מעי דק

23

הגורמים החשובים . ]4[ המתאים מאפשר דיוק מקסימלי באבחנהשימוש בפרוטוקול •

שימוש בחומר ניגודי תוך , collimation( ,pitch(עובי החתך : בבחירת הפרוטוקול הם

בדיקה מוגבלת וממוקדת לעומת (רקטלי והחלטה לגבי היקף הבדיקה / פומי/ ורידי

ח הדסה "בביה, לציין כי במחלקה הרדיולוגית. ]15[) בדיקה הכוללת את כל הבטן והאגן

הכולל שימוש , פ פרוטוקול אחיד" לברור בטן חריפה נעשות עCT - בדיקות ה, כרם- עין

למעט , )ראה פרק חומרים ושיטות(בחומר ניגודי תוך ורידי וחומר ניגודי פומי

ן תוך ורידיבמת, יתרון החומר הניגודי. אינדיקציות ספציפיות כגון אבנים במערכת השתן

, הדמיה טובה יותר של פתולוגיות כגון טרומבוס ורידי במערכת הספלנכניתהינו

, תהליך דלקתי בתוספתן, דליפה מעורקים, אנוריזמות, איסכמיה של המעי

. ]4[ בטחול ובכליות, אבצסים ואוטמים בכבד, גידולים, מחלת קרוהן, דיברטיקוליטיס

אבנים " טשטוש. "3, תגובה אלרגית. 2, סיכון לפגיעה כלייתית. 1 :החסרונות הם

עוזר להבדיל בין לולאות ש הינו בכךבמתן פומי, יתרון החומר הניגודי. ]4[ במערכת השתן

" ערפל"חומר ניגודי פומי עשוי ל. 1 :החסרונות. אגניות ואבצסים/מעי לבין מסות בטניות

, מגביל את היכולת לזהות אבנים בשופכן. 2, עי או איסכמיהאבחנה של שטף דם במ

.]4[י החומר הניגודי "נדרש זמן עד למילוי המעי ע. 3, אפנדיקוליט או אבנים בדרכי המרה

ל לא נכלל בפרוטוקול הסטנדרטי בביצוע "הנ(שימוש בחומר ניגודי רקטלי שנוי במחלוקת

CTיש הטוענים כי השימוש בחומר הניגוד מאפשר אבחנה טובה ). בחשד לבטן חריפה

תסביב של (יטיס 'דיברטיקוליטיס ואפנדג, יותר של ממצאים כדוגמת דלקת התוספתן

יש הטוענים כי יש לבצע הדמיה מהירה ללא חומר . ]16-19[ ) אפיפלויקההאפנדיקס

מסיכונים ואי נוחות של החולה על אף עעל מנת להימנ, רקטלי/פומי/תוך ורידי, ודיניג

הפרוטוקול , באבחנה של דיברטיקוליטיסCT: לדוגמא.]4[קושי מסוים בפענוח הצילום

אך יש המעדיפים שימוש בחומר , המועדף כולל שימוש בחומר ניגודי רקטלי ותוך ורידי

ניגודי פומי ותוך ורידי כבדיקה שגרתית ומעלים אפשרות לשימוש בחומר ניגודי רקטלי

.]3[רק בחולים עם ממצאים השנויים במחלוקת

:גורמים הקשורים בחולה המופנה לצילום. 2

נוכחות רקמת שומן בכמות גדולה מקלה על אבחנה של תהליכים דלקתיים כמו דלקת •

).הסננה של השומן שמסביב לתהליך הדלקתי(התוספתן

24

ובשתיית ) חוסר תזוזה(לה בזמן הבדיקה יש חשיבות מרובה לשיתוף הפעולה של החו •

אם כי ניתן להחדיר את חומר , החומר הניגודי מבחינת איכות הצילום ויכולת האבחנה

. הניגוד גם דרך זונדה

. CT - רקע של מחלה בטנית עשוי להקשות על אבחנה של בטן חריפה באמצעות ה •

CT בפענוח 93%ת של חולים נמצאה רגישו91בה נבדקו , וקבוצתהSiewerבעבודתם של

בכלל 90%לברור בטן חריפה בחולים ללא רקע של מחלה בטנית לעומת רגישות של

97.5% וקבוצתו אשר מצאו Taourelבעבודתם ציינו עבודה נוספת של . ]6[ החולים

]6[ לברור בטן חריפה בחולים ללא רקע של מחלה בטנית CTרגישות בפענוח

:גורמים הקשורים ברופא המפענח. 3

כפי שבא לידי ביטוי , מהווה גורם חשוב באבחנה ובהחלטה הטיפוליתמיומנות המפענח •

אשר בדקו מהם הגורמים התורמים לטעויות בפענוח , וקבוצתוBechtoldבמחקרם של

CTגיל , נשים365 - גברים ו329( חולים 694נבדקו . ]14[ של הבטן במחלקה הרדיולוגית

י שלושה עד חמישה רדיולוגים מומחים "הצילומים פוענחו בבוקר למחרת ע). 54ממוצע

החוקרים בדקו קורלציה בין שיעור . "error rate" - ולאחר מכן חושב שיעור הטעויות

מספר , )inter reader variability(שונות בין הקוראים : הטעויות לגורמים הבאים

, יחולה באשפוז לעומת חולה אמבולטור, נוכחות מתמחה, הצילומים שפוענחו מידי יום

, טעויות56כ " חולים נמצאו סה53בפענוח צילומים של . המערכת הסיסטמית הנבדקת

"overall error rate " מהטעויות 7- מהטעויות בעלות חשיבות קלינית ול19, 7.6%נמצא

error rate -נמצא הבדל משמעותי סטטיסטית ב. הייתה השפעה על ההחלטה הטיפולית

ללא קורלציה משמעותית , )P =0.00062 ,3.6% - 16.1%(שחושב בין המפענחים

מסקנת החוקרים הייתה כי מיומנויות המפענח . סטטיסטית בין שאר הגורמים שנבדקו

, המציין כושר שיפוט, Renfrewפ מחקרו של "ע. ]20[ הן הגורם המשמעותי לטעויות

. ]14[ תפיסה הם הגורמים המרכזיים בטעויות בפענוח

חשוב לזכור כי כל אחד מהמומחים . ינו גורם מרכזי לשוני בין המפענחיםה, חוסר ידע •

.עוסק בתחום ספציפי ומומחים שונים הם בעלי ידע מעמיק בתחומים שונים

:גורמים אפשריים לשוני בפענוח בעבודה הנוכחית כללו

25

נראה כי לעתים . וברישום הממצאיםCT חוסר סטנדרטים קבועים בפענוח בדיקות •

י "בהתאם לשאלה הקלינית שנשאלה ע, מסתפק בציון הממצאים העיקרייםהמפענח

העשויים , רק חלק מהמפענחים מציינים ממצאים נוספים שנצפו בצילום. הרופא המפנה

רק . ם למקרה הנוכחי או ממצאים פתולוגים אחרים שאינם רלוונטייםלהיות רלוונטיי

ים והמלצותיהם להמשך חלק מהמפענחים רושמים בסוף הפענוח את סיכום הממצא

מקרה שבו , לדוגמא. י הקלינאים"שעשויים להיות קריטיים בביצוע ההחלטות ע, טיפול

המומחה הרשמי ציין עדות לאוויר ונוזל חופשי בחלל הצפק עם דפורמציה של בצל

היות ולא נרשם בפענוח אבחנה של הנקבות מעי באופן מפורש והמלצה . התריסריון

. מת אפשרות כי הרופא הקלינאי לא יסיק את המסקנות הנכונותקיי, להתערבות דחופה

פתולוגיה המצריכה התערבות כירורגית מיידית עם עדות , "1"במקרה זה המתמחה סימן

עדות לפתולוגיה שאיננה , "2" של התריסריון ואילו המומחה הנוסף סימן תלהינקבו

סיכום רפואי עולה כי מ. בכמות קטנהתעם עדות למיימ, מצריכה התערבות כירורגית

החולה נותח ועבר אומנטופקסיה לכיב , שאושפז בשל כאב בטן87מדובר בחולה בן

.פרהפילורי פתוח

. ]14[י הרופא המפנה "העדר זמינות של מידע קליני והשאלה הקלינית המוצגות ע •

מצמצמת את , החולה והרופא המפנה לפני ביצוע ההדמיה, תקשורת טובה בין המפענח"

במחקר זה המומחה הנוסף לא ראה את . ]3[" אבחנה המבדלת לכדי אבחנה מתאימהה

לא היה לרשותו מידע נוסף לגבי החולה ולא יכול היה להתייעץ עם , השאלה הקלינית

. הרופא המפנה במקרה הצורך

:ויות בפענוח כרוכה בהפחתה בטע

חשוב לזכור כי פענוח המתמחה מתרחש בזמן . שימת לב לתנאי העבודה של המפענח )1(

ח "המתמחה מספק שירותים רדיולוגים לכל ביה. לאחר יום עבודה מלא, התורנות

. לא נראה כי ניתן לצפות לשינוי משמעותי מבחינה זו.במהלך הלילה

למרות שלא נמצאה השפעה של שנות הוותק של .לימוד והדרכה של הרופאים המפענחים )2(

עדיין ניתן לומר אימון ולמידה הינם , המתמחה על מידת ההסכמה עם פענוח המומחים

.חיוניים לשיפור ביכולת הפענוח של המתמחים

26

במחקרנו הגישה למידע זה הייתה זמינה במלואה . גישה לצילומים ומידע קליני קודם )3(

שפענח את הבדיקה בבוקר שלמחרת ' חלקי למומחה אלמתמחה בלבד ואילו רק באופן

.'ולא הייתה זמינה בידי מומחה ב

גופים מקצועיים בתחום אף מוסיפים . י שני מפענחים או יותר"פענוח הצילומים ע )4(

כשהפענוח המהווה , ]14[י מומחה "ואומרים כי כל הליך הדמיתי צריך להיות מפוענח ע

Yoonבעבודה של . ]14[תוח לדיון ולהצעות נוספות את התשובה הרשמית צריך להיות פ

, ]21[וקבוצתו העוסקת בבקרת איכות בתחום רדיולוגיה דחופה במקרי הטראומה במיון

שהגיעו , של הבטן והאגן של מקרי טראומהCT בדיקות 500 - נבדקו רטרוספקטיבית כ

י מומחה רדיולוג של "י מתמחה ברדיולוגיה ובהמשך ע"כל צילום פוענח במיון ע. למיון

מהחולים חל שינוי בטיפול 8% -ב, מהמקרים נמצאה חוסר התאמה30% -ב. הבטן

. מהמקרים הוא יוחס לטעות בפענוח2% - רק ב, כשלמעשה, בעקבות הפענוח הנוסף

מסקנתם הייתה שברב המקרים חוסר התאמה בפענוח אינו כרוך בהחלפת הטיפול ואינו

שנעשות בשאלה של בטן CTיש לשקול פענוח בדיקות . ]21[ משפיע על מהלך המחלה

ה י רדיולוג מומחה של הבטן והאגן באופן שגרתי ולהעלות לדיון בישיב"חריפה ע

אדם ובמשאבים עולה חלאור חוסר בכו. מחלקתית את כל המקרים השנויים במחלוקת

האפשרות להקמתה של מערכת ממוחשבת לפענוח צילומים בנוסף למפענח הראשוני

).ראה פרוט בהמשך(

פענוח שיטתי של כל . שימוש במונחים מסוכמים ובצורת דיווח אחידה-" סטנדרטיזציה " )5(

. בידי הקלינאי להגיע להחלטה הטיפולית הנכונה ביותרהממצאים בצילום יסייע

למערכת הממוחשבת יכולת לנתח מצבים .Computer-Aided Detection - שימוש ב )6(

אך יש לזכור שבנייתה של מערכת ממוחשבת , מסוימים טוב יותר ממפענח אנושי

ולה בעלת מידע כולל ואפשרות להחליף את הידע האנושי עדיין בחית, מתוחכמת מספיק

כל חידוש והתפתחות טכנולוגית נושאים בחובם אפשרות להופעת טעויות , כמו כן. ]22[

, ניתן למצוא, Computer-Aided Detection, דוגמא לפענוח בעזרת מחשב. חדשות

המודל המוצע משלב בין. במאמר העוסק בניסיון להפחית בטעויות בפענוח של ממוגרפיה

כשמטרת המערכת להביא אזורים חשודים , עבודת המפענח האנושי ומערכת ממוחשבת

27

יכולת עיבוד , הפעלת המערכת דורשת צילום דיגטלי. בצילום לתשומת ליבו של המפענח

. ]22[ נתונים וסימון האזורים החשודים

ת המאפשרת העברת מידע בזמן מערכת ממוחשב, "Telecommunication "- שימוש ב )7(

יעילות המערכת תלויה ביכולת . שאיננו נוכח במחלקה, ח למומחה אחר"התורנות מביה

.]23[עם איכות תמונה ורזולוציה טובה , העברת המידע בקצב סביר

י גורם "י שליחה של מדגם אקראי מהמחלקה לפענוח ע"שימוש במנגנון בקרה חיצוני ע )8(

.]24[ שימוש בשיטה זו מקובל בתחום הפתולוגיה. חיצוני כביקורת ולימוד עצמי

על כן , י רופאים מתמחים"העבודה בבית החולים בתורנויות הלילה מתבצעת ברובה ע, לסיכום

היה חשוב לברר עד כמה חורגות אבחנות המתמחים מאבחנותיהם של המומחים ובאיזו מידה

ממחקרנו עולה כי מידת ההסכמה בין . תן להחליט על טיפול על סמך אבחנת המתמחיםני

המפענחים היא בינונית ונראה כי לרב מדובר באי הסכמה לגבי ממצאים בעלי חשיבות קלינית

פחותה ורק במעט מהמקרים פענוח המומחה מביא לשינוי קריטי בהחלטה הטיפולית ובמהלך

מאפשר גם הוא מתן טיפול הולם לחולה תוך זמן , ה בבוקר למחרתלמעשה פענוח המומח. הקליני

למרות זאת נראה כי יישום ההמלצות העולות מהמחקר עשויות להביא להפחתת הטעויות . סביר

ובכך לשפר את איכות , בזמן התורנות, י המתמחים"בפענוח הצילומים בשאלה של בטן חריפה ע

ק מפרויקט בקרת איכות ועידוד הביקורת העצמית יישום ההמלצות כחל. הטיפול הניתן לחולים

הצלחת התהליך משמעותה שיפור רציף כתלות בשלושה . מהווה צעד ראשון וחשוב בתהליך

עם תבנית עבודה מוגדרת ויכולת אינטגרציה, מנגנון בעל יכולת לבצע הערכה שיטתית: תנאים

.]25[ בארגוןתוכניות העבודה הקיימות

28

:סיכום

כשעיקר , פענוח שגוי של בדיקות הדמיה הינו מקור ידוע לשגיאות אבחנתיות וטיפוליות:רקע

הזקוקים לאבחנה וטיפול , דחופההבעיה בפענוח בדיקות הדמיה של חולים עם תמונה קלינית

. מידיים

CTלבדיקות , י מתמחים לרדיולוגים מומחים"עבודה זו עוסקת בהשוואה בין הפענוח שניתן ע

כרם והיא חלק מהתכנית –ח הדסה עין "במחלקה הרדיולוגית של בי, שבוצעו לברור בטן חריפה

. ח"לבקרת איכות בביה

סכמה בין מתמחים ברדיולוגיה למומחים בנוגע לצורך לבדוק את מידת הה. 1 :מטרות העבודה

. 3. לחשב את אחוז ההסכמה בין המפענחים. 2. לברור בטן חריפהCTבהתערבות דחופה בפענוח

תוך התייחסות לפענוח המומחים כאל , י מדידת רגישות וסגוליות"לבדוק את תוקף הפענוח ע

gold standard .4 .מחים והמומחים כתלות בשנות וותק להשוות בין מידת ההסכמה של המת

.בהתמחות

שנתוניו נאספו בצורה פרוספקטיבית במשך , תצפיתי, המחקר שערכנו הנו מחקר אנליטי:שיטות

אשר פוענחו בזמן , CT בדיקות 60בתקופת המחקר נאספו ). 2003 ועד מרץ 2002מפברואר (כשנה

במחקר השתתפו . שד לבטן חריפה בחולים עם תמונה קלינית בח,י מתמחים"ע) בתורנות(אמת

עם ותק שונה , כרם–שישה רופאים מתמחים מהמחלקה הרדיולוגית בבית החולים הדסה עין

. בהתמחות

פענח את הצילומים ) רדיולוג מתמחה(רופא תורן . 1: י שלושה רדיולוגים" פוענחו עCT-בדיקות ה

בבוקר שלמחרת פוענחו . 2, על גבי שאלוןCT -במהלך תורנויות הלילה וסימן את ממצאי ה

ובהתאם לפענוח מולא על ידי שאלון , )'מומחה א(י אחד המומחים במחלקה " עCT - בדיקות ה

אשר מילא את ) 'מומחה ב(, י מומחה נוסף"כל אחד מהצילומים פוענח ע. 3, עבור כל בדיקה

.'אמחה י המתמחה ומו"השאלון במועד מאוחר יותר מבלי שידע את תוצאות הפענוח שבוצע ע

כשהוא נדרש לענות על השאלה המרכזית , י הרופא המפענח בוצע בעילום שם"מילוי השאלונים ע

פתולוגיה ) 2(, פתולוגיה המצריכה התערבות מיידית) 1: (י סימון אחת משלוש האפשרויות"ע

בהמשך נדרש לסמן את האבחנה . ללא עדות לפתולוגיה) 3(, שאיננה מצריכה התערבות מיידית

.מה ביותר וממצאים נלוויםהמתאי

29

בפענוח , נמצאה מידת הסכמה בינונית בין המתמחים למומחים במחלקה הרדיולוגית:תוצאות

CT ערכי ( בטן חריפה לברורKappa 0.5 כמו כן נמצאה מידת הסכמה בינונית בין ). 0.6 עד

. (Kappa = 0.6) המומחים

90% ועד 64%רגישות של : gold standardבהתייחס אל פענוח המומחים כאל , תוקף הפענוח

תוקף הפענוח נמצא גבוה יותר עבור המקרים בהם בוצעה השוואה בין . 91% של גוליותוס

92%רגישות של : במקרים בהם הייתה הסכמה בין המומחים, המתמחה לבין שני המומחים יחד

פי שנמצאה בהשוואה בין תשובות המפענחים לבין ההחלטה הטיפולית כ. 97% של גוליותוס

נמצא כי מרבית ההבדלים בפענוח היו בעלי חשיבות קלינית . הרפואיים של החוליםסיכומיםב

ממצא נוסף העולה ממחקרנו הוא כי מידת ההסכמה בין המתמחים והמומחים הייתה . מינורית

. בינונית ללא תלות בשנות וותק בהתמחות

לשוני אךהייתה בינונית בטן חריפה לברורCTבפענוח מידת ההסכמה בין המפענחים :מסקנות

י אימון "להפחית את הטעויות בפענוח עוצריך ניתן , למרות זאת. בפענוח משמעות קלינית מועטה

י בדיקה של מדגם מתוך הבדיקות ובעתיד שימוש במערכות "בקרה של גורם חיצוני ע, ולמידה

. י כך לשפר את איכות הטיפול הניתן לחולים"ממוחשבות וע

30

:כום באנגליתסי

Background: Errors in the interpretation of imaging examinations lead to errors in

diagnosis and treatment, and are most significant in patients presenting with acute

medical conditions.

In the current study, comparison was made between the interpretations given by

residents and specialists for abdominal CT conducted for the workup of acute

abdomen at the department of Radiology of Hadassah Ein Kerem hospital.

The study was part of the hospital's quality assurance program.

Purpose: 1- To evaluate interobserver variability between radiology residents and

specialists in the interpretation of abdominal computed tomography (CT) for the

diagnosis of acute abdomen at Hadassah University Hospital, Ein Kerem. 2- To

determine the percentage of agreement between the readers. 3- To determine the

sensitivity and specificity of the residents' interpretations compared to the specialists'

interpretation, serving as the "gold standard". 4- To compare interobserver variability

between residents and specialists as a function of the number of years in residency.

Materials and Methods: CT reports of 60 patients with clinically suspected acute

abdomen were collected prospectively. The CT's were interpreted by three

radiologists: (1) A resident who interpreted the CT during a night shift, (2) a specialist

(specialist A) who's interpretation was published as the final report of the

examination, (3) a second specialist (specialist B) who, interpreted the CT

retrospectively, (without knowledge of the resident and specialist As' interpretations).

The resident and the specialist B filled out a questionnaire to determine whether there

was: (1) a pathology which required an immediate surgical intervention, (2) a

pathology with no need for an immediate surgical intervention, (3) no evidence of

pathology. A third questionnaire was filled out according to specialist A's report.

31

Interobserver variability between the readers was determined by calculating Kappa

values. The sensitivity and specificity of the residents' interpretations were calculated

while the specialists' interpretations were considered as the gold standard.

Results: interobserver agreement between the residents and the specialists was

moderate for the diagnosis of acute abdomen in CT, with Kappa values of 0.5-0.6.

Kappa values for agreement between specialists A and B were similar. The sensitivity

and specificity of the residents' interpretation were 64%-90% and 91% respectively

when compared to the specialists' interpretation. The sensitivity and specificity of the

residents' interpretation were higher for cases with agreement between specialists.

Correlation between the radiologists' interpretations and the clinical decisions, as

found in the medical records, showed that most disagreements were minor and would

have not affected clinical management.

Conclusions: Although interobserver agreement was found to be moderate,

interobserver variability had only insignificant impact on clinical decisions.

Nevertheless, errors in interpretation can be minimized by adopting methods and

strategies such as training of observers, structured reporting, external quality control

of a sample of the examinations and in the future possibly computer-aided detection,

thus improving the quality of care.

32

:' אנספח

.למומחה\שאלון למתמחה

. בשאלה של בטן חריפהT.Cבדיקת

: המתמחה\פרטים של הרופא המומחה . מתמחה\ציין האם הנך רופא מומחה

. ___________: אם הנך מתמחה ציין מספר שנות ותק בהתמחות

._____________: תאריך הפענוח. ________: שעת הפענוח

:פרטיי החולה הנבדק

:יק מדבקהנא למלא הפרטים או להדב

. ______________: שם

. ______________: ז.ת

. _____: גיל. ' נ\' ז: מין

. ____________: המחלקה המפנה

.____________________: השאלה הקלינית שבגינה הופנה החולה

) את הממצאיםx -י ב/סמנ( :בבדיקה

.בות פולשנית דחופההתער\ מודגמת פתולוגיה המצריכה התערבות כירורגית□. 1

. מודגמת פתולוגיה שאיננה מצריכה התערבות כירורגית□. 2

. לא נמצאה עדות לפתולוגיה בטנית□

:נמצאו סימנם רנטגניים המתאימים ל

: דלקת חריפה של התוספתן□ .א

.הרחבת חלל התוספתן □

.עיבוי של דופן התוספתן □

.עכירות של שומן בבטן ימנית תחתונה □

. נוזל חופשי בבטן או באגן □

. קולקציה בבטן או באגן□

. אפנדיקוליט□

.בועות אויר חופשי בבטן או באגן □

.____________: אחר□

מדבקה

33

: פתולוגיה במעי הדק□ .ב

. עיבוי דופן□: איסכמיה□

. פגם מילוי בעורק מזנטרי□

. פגם מילוי בוריד מזנטרי□

.לאות מעי דק הרחבת לו□: חסימה□

).Transition zone( אזור מעבר □

).Closed loop. ( מודגמת לולאה סגורה□

. עיבוי דופן□

. התפשלות מעי\ הדבקויות \ בזואר \בקע : הגורם לחסימה□

. לא זוהה הגורם לחסימה□

□ Crohn's Disease:

. עיבוי דופן של לולאות מעי□

. עכירות שומן□

. קולקציה□

.____________: אחר□

: ממצא גניקולוגי בנשים□ .ג

□ Torsion of ovary:

. קולקציה בטפולה□

.____________: אחר□

□ PID:

. הרחבה של חצוצרה□

. עיבוי דופן החצוצרה□

.__________: אחר□

: פתולוגיה וסקולרית□ .ד

: דליפה של מפרצת באאורטה□

. אאורטה מורחבת□

. המטומה רטרופריטונאלית□

:יסקציה של האאורטה ד□

□ Intimal flap.

. אוטם בטחול□

. אוטם בכיליה□

34

: פתולוגיה במעי הגס□ .ה

: גוש□

.________: מיקום

.__________ : גודל

. עכירות שומן□

. חסימה□

: דברטיקוליטיס□

.______________: מיקום□

. סעיפים□

. עכירות שומן□

. בועות אויר חופשי□

. קולקציה□

.____________: אחר□

: עדות לקוליטיס□

.___________: מיקום□

. עיבוי דופן□

. עכירות שומן□

)Appendigitis: (יטיס' אפנדיג□

.___________: מיקום□

. עכירות שומן□

: פרפורציה של איבר חלול□ .ו

. מעי גס\ תריסריון \קיבה : מיקום□

. גדולה\ בינונית \קטנה : אוויר חופשי בכמות□

. נוזל חופשי□

. ____________- עדות לדליפת חומר ניגוד ב □

: פנקריאטיטיס□ .ז

. עכירות שומן\ טישטוש גבולות לבלב □

. בצקת של הלבלב□

. קולקציות סביב הלבלב□

. נוזל חופשי בבטן□

35

: דלקת או פתולוגיה של כיס המרה□ .ח

. הרחבת כיס המרה□

. עיבוי דופן כי המרה□

. אבנים□

.בת דרכי מרה הרח□

.___________________: אחר□

. _________________________: ממצא אחר□ .ט

.____________: אם כן נא ציין את שמו. לא\כן? האם התייעצת עם רדיולוג נוסף בעת הפענוח

___________________________________________:לגבי מבנה או תוכן השאלון הערות

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

)נא לא לסמן: (תוצאות

.______________: ממצאים בניתוח. בוצע ניתוח□

.________: שעת הניתוח. _______: תאריך הניתוח

. החולה קיבל טיפול אחר□

. החולה אושפז להשגחה□

. החולה נשלח לביתו□

36

:ביביליוגרפיה

1. Leavitt, M., Medscape's response to the Institute of Medicine Report: Crossing the quality chasm: a new health system for the 21st century. MedGenMed, 2001. 3(2): p. 2.

2. Homsted, L., Institute of Medicine report: to err is human: building a safer health care system. Fla Nurse, 2000. 48(1): p. 6.

3. Urban, B.A. and E.K. Fishman, Tailored helical CT evaluation of acute abdomen. Radiographics, 2000. 20(3): p. 725-49.

4. Gore, R.M., et al., Helical CT in the evaluation of the acute abdomen. AJR Am J Roentgenol, 2000. 174(4): p. 901-13.

5. Siewert, B. and V. Raptopoulos, CT of the acute abdomen: findings and impact on diagnosis and treatment. AJR Am J Roentgenol, 1994. 163(6): p. 1317-24.

6. Siewert, B., et al., Impact of CT on diagnosis and management of acute abdomen in patients initially treated without surgery. AJR Am J Roentgenol, 1997. 168(1): p. 173-8.

7. Gruis, L., Epideiology - Chap 4: Assesing the Validity and Reliability of Diagnosis and Screening tests. PP:63-80.

8. Leslie, A., A.J. Jones, and P.R. Goddard, The influence of clinical information on the reporting of CT by radiologists. Br J Radiol, 2000. 73(874): p. 1052-5.

9. Wise, S.W., et al., Comparative assessment of CT and sonographic techniques for appendiceal imaging. AJR Am J Roentgenol ,2001 .176)4 :( p. 933-41.

10. Albano, M.C., et al., Resident interpretation of emergency CT scans in the evaluation of acute appendicitis. Acad Radiol, 2001. 8(9): p. 915-8.

11. Freedman, L.S., M.K. Parmar, and S.G. Baker, The design of observer agreement studies with binary assessments. Stat Med, 1993. 12(2): p. 165-79.

12. Torbati, S.S. and D.A. Guss, Impact of helical computed tomography on the outcomes of emergency department patients with suspected appendicitis. Acad Emerg Med, 2003. 10(8): p. 823-9.

13. Espinosa, J.A. and T.W. Nolan, Reducing errors made by emergency physicians in interpreting radiographs: longitudinal study. Bmj, 2000. 320(7237): p. 737-40.

14. Robinson, P.J., Radiology's Achilles' heel: error and variation in the interpretation of the Rontgen image. Br J Radiol, 1997. 70(839): p. 1085-98.

15. Mindelzun, R.E. and R.B. Jeffrey, The acute abdomen: current CT imaging techniques. Semin Ultrasound CT MR, 1999. 20(2): p. 63-7.

16. Rao, P.M., et al., Helical CT with only colonic contrast material for diagnosing diverticulitis: prospective evaluation of 150 patients. AJR Am J Roentgenol, 1998. 170(6): p. 1445-9.

17. Rao, P.M. and R.A. Novelline, Case 6: primary epiploic appendagitis. Radiology, 1999. 210(1): p. 145-8.

18. Rao, P.M., CT of diverticulitis and alternative conditions. Semin Ultrasound CT MR, 1999. 20(2): p. 86-93.

19. Rao, P.M., et al., Helical CT combined with contrast material administered only through the colon for imaging of suspected appendicitis. AJR Am J Roentgenol, 19 97 .169)5 :( p. 1275-80.

20. Bechtold, R.E., et al., Interpretation of abdominal CT: analysis of errors and their causes. J Comput Assist Tomogr, 1997. 21(5): p. 681-5.

37

21. Yoon, L.S., et al., Evaluation of an emergency radiology quality assurance program at a level I trauma center: abdominal and pelvic CT studies. Radiology, 2002. 224(1): p. 42-6.

22. Astley, S.M. and F.J. Gilbert, Computer-aided detection in mammography. Clin Radiol, 2004. 59(5): p. 390-9.

23. Vari, S.G., et al., Telepathology and imaging spectroscopy as a new modality in histopathology. Stud Health Technol Inform, 1999. 68: p. 211-6.

24. Selman, A.E., et al., Quality assurance of second opinion pathology in gynecologic oncology. Obstet Gynecol, 1999. 94(2): p. 302-6.

25. Dolmans, D.H . , H.A. Wolfhagen, and A.J. Scherpbier, From quality assurance to total quality management: how can quality assurance result in continuous improvement in health professions education? Educ Health (Abingdon), 2003. 16(2): p. 210-7.