“Quality” の評価

兵庫県立尼崎総合医療センター臨床研究推進ユニット

辻本啓、辻本康、片岡裕貴

2

この時間の目標

• QUADAS-2 tool で迷うポイントを説明出来る

• QUADAS-2 tool をリサーチクエッションに応じて改変するやり方がわかる

3

まず復習： SR ＆ MA の全体像

構造化された疑問

系統的な検索・データベースの選択

・検索式の作成・文献の選択基準

・事前登録

漠然とした疑問

選択文献を対象とした批判的吟味

・事前に規定した評価基準 (Risk of bias)

発表 結果の統合とまとめ(=meta-analysis など )

4

復習

QUADAS-2 における　 質　“ Quality” 　はどう定義されたか

≠ Quality of Evidence (GRADE アプローチ )

5

復習

QUADAS-2 における“ Quality” とは

バイアスのリスク risk of bias (=RoB) とレビューのリサーチクエッションへの適用可能性 (Applicability) 　の両方をあわせたもの

復習： QUADAS-2 ツールのポイント

① ４つのドメインを設定した② 一次研究について・ Bias の Risk (RoB) と・レビューの RQ への Applicability　　　の２つにわけて評価した

6

フェーズ１： RQ を整理

宿題の RQ

P: プライマリケアの場で心不全が疑われる患者I: BNPC: 他の BNPT: 専門家による心不全診断O: 感度・特異度など

7

フェーズ２

QUADAS-2 tool をリサーチクエッションに応じて改変する

8

こちらは本日後半で取り扱いますので事前学習ではスキップしました。

フェーズ 3 ：フローダイアグラム

9

1. 心不全症状＠プライマリケア現場2. 病歴と身体診察3. BNP の測定

4. 心エコー / レントゲン /ECG を見て専門家パネルが診断

10

この時間の目標

• QUADAS-2 tool で迷うポイントを説明出来る

• QUADAS-2 tool をリサーチクエッションに応じて改変するやり方がわかる

みなさんに出していただいた評価

11

Patient selectionRoB Applicability

Index testRoB Applicability

Reference standardRoB Applicability

Flow

不一致が多かった

12

Patient selectionRoB Applicability

Index testRoB Applicability

Reference standardRoB Applicability

Flow

13

この時間の目標

• QUADAS-2 tool で迷うポイントを説明出来る

• QUADAS-2 tool をリサーチクエッションに応じて改変するやり方がわかる

そもそも Applicability が割れた本質的な原因は Phase 1 にある

14

クワダスなだけに一杯くわされたワン

そもそも Applicability が割れた本質的な原因は Phase 1 にある

フェーズ１：もう一度、 RQ を整理

こちらが用意した宿題のレビューの RQ

P: プライマリケアの場で心不全が疑われる患者I: BNPC: 他の BNPT: 専門家パネルの診断による心不全O: 感度・特異度など

15

フェーズ１： ( 例 ) P を整理

P: プライマリケアの場で心不全が疑われる患者

16

1. クリニックから総合病院への紹介患者　 etc.2. 総合病院の内科外来から紹介　 etc.

• どこまで OK かは決めておかないと割れたときに困る• Study quality assessment details というものを作っておく• Specific にすればするほど、臨床的異質性は下がる• Specific にすればするほど、間接的なエビデンスが利用できない ( 利用可能なエビデンスを全て利用したレビューと言えるか )

Study quality assessment details  (こちらも査読に出す)

レビューメンバーで決めた細かい判断の基準を記述していく (≠ えいやで決めて 2 人で一致したら OK)

例 1: Sampling が組み入れ期間のみの記載で、 random や連続サンプリングと書いてなければ一旦 unclear としておく

例 2: 心不全の既往の除外は許容

17

QUADAS-2 の RoB を評価する

18

数少ない一貫した Empirical Evidence で示唆されていることを探して”評価しよう”としている

クワダスワンと同じノリかと思ったワン

注目： Avoid 〜の質問になっている

QUADAS-2 の RoB を評価する

19

数少ない一貫した Empirical Evidence で示唆されていることを探して”評価しよう”としている>High は結構選びにくい

クワダスワンと同じノリかと思ったワン

注目： Avoid 〜の質問になっている

20

復習： Empirical Evidence の例

Schulz KF, Chalmers I, Hayes RJ, Altman DG. Empirical Evidence of Design-Related Bias in Studies of Diagnostic Tests. JAMA J Am Med Assoc. 1995;273(11):408–12.

DTA の Empirical Evidence のまとめ

21

Empirical Evidence = “ こういうことがあると診断精度がゆがめられる傾向” と観察して記述した論文があること

P のドメインの RoB で割れた意見

1. UHFO-IA 研究自体が GP リクルートされた症例であるため、バイアス が生じている可能性がある

2. acute sign や symptom を除外しているが、定義が不明確である

3. 連続サンプリングかどうか不明

22

High risk と判断いただいたご意見

P のドメインの RoB で割れた意見

1. UHFO-IA 研究自体が GP リクルートされた症例であるため、バイアス が生じている可能性がある

2. acute sign や symptom を除外しているが、定義が不明確である

3. 連続サンプリングかどうか不明

23

High risk と判断いただいたご意見

＞この書き方であればどちらかというと Unclear を選ぶ

P のドメインの RoB で割れた意見

1. 除外は妥当、重症度の高い患者を除外しているのは、今回のリサーチクエスチョンでは適当

2. 連続サンプリングと判断した

24

Low risk と判断した方々

I のドメインの RoB で割れた意見

1. 閾値が後で決まっている

25

High risk と判断した方々

I のドメインの RoB で割れた意見

1. BNP 値の高低によって 3 群に分けているがこれは 2008年の ESC のカイドラインに準拠しており、 Low risk と判断した

26

Low risk と判断した方々

フローダイアグラムのドメインの RoB で割れた意見

1. 6 か月間のフォローの間に治療介入されており、当日と 6 か月後で病態が変化している可能性があるため Bias のリスクがあると考える 2. 検体不良などの理由により除外さている症例があり、それらの症例は Reference Standard の評価を受けておらず、解析からも除外されている

27

High risk と判断した方々

フローダイアグラムのドメインの RoB で割れた意見

1. 28 人のサンプルが得られなかったが、サンプル無し群と有り群での背景に差はなし

2. reference standard と index test の時期には大きな時間差はないと考えられ low risk とした

28

Low risk と判断した方々

リサーチクエッションに応じて QUADAS-2 を改変する

29

フェーズ２：各レビュー用に QUADAS-2 を調整

30

1. ツール内容の調整

2. 評点の明確なガイドを作成

3. 少数の研究に対して適用

4. QUADAS-2 評価をすべての研究に適用評価者間の一致が良好

一致が少ないツール内容 / 評価ガイドの改良

例：胃管のレビューの場合

P: 胃管をいれる必要がある患者I: エコーでの位置確認C: なしT: レントゲンで確認した胃内への胃管挿入成功O: 感度・特異度

Tsujimoto H, Kataoka Y, Tsujimoto Y, Nakata Y, Uemura M. Ultrasonography for confirmation of gastric tube placement. Cochrane Database of Systematic Reviews [Under review]

31

例：患者選択ドメインで Signaling Question を追加

・聴診所見の取り扱い

- “胃泡音が聞こえない場合入れ直しをする行為” をさけているか

32

注意

Yes の回答が low risk of BiasNo の回答が high risk of Bias

となるような質問とする

33

例：患者選択ドメインで追加

・不適切な除外

- “ チューブを入れにくい患者を除外すること” をさけているか

- “ チューブを描出しにくい患者を除外すること” をさけているか

34

例： Flow and Timing のドメイン

・参照基準と指標検査の intervalStudy quality assessment details を追加

- 先行研究からに 4 時間以上を high risk of bias とした

35

グループワーク： BNP の課題 review の場合

36

実習

お手元に QUASAS-2 の一部のシートStudy quality assessment detailsみなさんの回答

今回のレビュークエッションにあわせて Pのところを改変してください。

37

タイムテーブル

1. 参加者から書記を決める　 1 分程度2. 資料にざっと目をとおす　 4 分程度3. ばらついている考えられる原因を挙げてもらう 5 分4. 改変の案をディスカッション　 7 分5. 班の中でまとめ　 3 分

14:00-5. 班ごとに 1 つ発表してもらう

38

試験的に少数の研究を評価する

不一致が多ければ、カイドとなるSignaling question と Risk of Bias assessment details を改変した方がいいかもしれません。

39

Cochrane training であげられていた例

残念ながら Cochrane contributors のみ閲覧可

http://training.cochrane.org/authors/dta-reviews

40

患者選択の評価ドメインの tailoring41

Ex) inappropriate exclusion を具体的にする腎不全患者を除外していないか ? 　 (BNP の課題研究の場合 )

質問共有

42

43

この時間の目標

• QUADAS-2 tool で迷うポイントを説明出来る

• QUADAS-2 tool をリサーチクエッションに応じて改変するやり方がわかる

参考文献

• Handbook for DTA Reviews [internet] available fromhttp://srdta.cochrane.org/handbook-dta-reviews

• QUADAS-2: A Revised Tool for the Quality Assessment of Diagnostic Accuracy Studies

• Cochrane training: Distance learning Modules available from http://training.cochrane.org/authors/dta-reviews/distance-learning

• Whiting PF, Rutjes AWS, Westwood ME, Mallett S. A systematic review classifies sources of bias and variation in diagnostic test accuracy studies. J Clin Epidemiol. 2013 Oct;66(10):1093–104.

44