重症度スコアの評価2017年2⽉21⽇慈恵ICU勉強会⾦⼦貴久

1

参考⽂献•「臨床研究の教科書」医学書院

•「診断法を評価する」健康医療評価研究機構

•「マンガでわかる統計学[回帰分析編]」オーム社

• TransparentReportingofamultivariablepredictionmodelforIndividualPrognosisOrDiagnosis(TRIPOD):TheTRIPODStatement

AnnInternMed2015;162:55-63

2

p重症度スコアとは？

p重症度スコアの意義

p重症度スコアはどうやって作られる？

p重症度スコアの信頼性の評価⽅法

3

重症度スコアとは？BP

HRPaO2

BT

WBCLac

HbRR

ClinicalPredictionRule

Prognosticmodel Diagnosticmodel

4

重症度スコアとは？•集中治療領域における最初の重症度スコアは1974年に発表された”TherapeuticInterventionScoringSystem”

•ただし治療強度の測定に主眼が置かれており、死亡予測能についての⾔及が⼗分ではないため今⽇ではほとんど⽤いられない

•近年ではAPACHE(I~IV),SAPS(I,II,3)に代表される重症度スコアが開発され、死亡をはじめとする転帰の予測に⽤いられている

5

Crit CareMed1974; 2:57-60

集中治療に関連する重症度スコア

6

Critical Care 2010; 14: 207-15

集中治療領域における重症度スコアの種類、使い⽅についてのレビュー

p予後予測p臓器障害の評価p看護師の仕事量

の三種類に分けて解説されている

7

予後予測スコア

Ø 院内予測死亡率を算定できるØ 院内予測死亡率≠患者個⼈が死亡する確率

8

臓器障害のスコア

2016/5/17慈恵ICU勉強会より

9

看護師の仕事量のスコアNAS(Nursingactivitiesscore)

看護師の仕事量(時間ベース)をスコア化したもの必要⼈員の予測やスタッフ配置の⽬安とすることを⽬的としているその後の研究でスコアの⾼値と死亡との関連が⽰された

IntensiveCrit CareNurs 2008:24;197-204

10

重症度スコア使ってますか？

研究に使うものでしょ？

治療⽅針に影響しないし…

あまりなじみがないし…

意識することはない

11

重症度スコアの意義

•⽇常的に重症度スコアを算出しながら診療を⾏うことはほとんどない

•実際にアメリカの10-15%(患者数ベース)のICUでしか使⽤されていない

•予後の予測が診療内容に影響を及ぼさないから？

CHEST 2012;141:245-252

12

ICUでの診療における重症度スコアの使⽤

13

2016/5/17慈恵ICU勉強会より

14

癌の予後予測

Blood 2012:120;2454-66

MDSの予後予測スコア遺伝⼦型、⽩⾎球数などでリスクを分類

⽣存期間中央値はverylowで約8年、veryhighで1年未満

IPSS-R(Revised-InternationalPrognosticScoringSystem)

15

重症度スコアはICUでの治療内容に影響を与えない？

•重症度スコアの点数に応じて治療内容を変更するだろうか？

※例えばØ APACHEIIで重症度が⾼いと判断し、介⼊を変えたØ RRT導⼊となる危険性が⾼いため腎保護を強化した

16

•臨床におけるclinicalpredictionrule(CPR)の扱い⽅について解説

•治療⽅針の決定において⾮常に有⽤なツールとなり得るが、治療効果への影響についての解析はほとんどないと述べられている

•今回集中治療に関連するCPRのアウトカムへの影響を検討した⽂献を探したが、⾒つからなかった。

AnnInternMed2006;144:201-9.

17

•予後予測の研究の意義、⽅法について解説

•スコアの使い⽅として

BMJ 2009;338:b375.

①治療⽅針設定の基準②臨床研究の適切な対象の選択基準③施設間の治療成績の⽐較

が挙げられている

18

患者および関係者への説明•予後を予測することで医療者、患者間での共通認識をつくり、意思決定を円滑化する

• “Framinghamcardiovascularriskscore”を基にに脂質異常症や⾼⾎圧症の治療を⾏う

• SASの重症度分類に基づいて夜間CPAPを導⼊する

例えば…

19

臨床研究の指標として

20

NEngl JMed2013;368:2201-9.

【⽬的】ICUの夜間のスタッフ配置についての検討【⽅法】夜間に集中治療専⾨医

を配置した場合とレジデントを配置して専⾨医が電話対応した場合のICU在室期間を⽐較

【結果】両群の在室期間に差はないAPACHEIIIscoreにも差がない

21

üいずれかの群に、偶然に重症度が⾼い患者が多く含まれてしまう可能性がある

üそのために誤った結果が導出されることがないように重症度を数値化し、調整が⾏われる

ü重症度の算定が正確でなければ、患者特性の前提が崩れることとなる

22

重症度スコアができるまで① 結果、転帰を⽬的変数、要因を説明変数として単変量解析を⾏い、候補因⼦を選定

② 候補因⼦を出し⼊れしながら多変量解析を⾏いロジスティック回帰モデルを作成する

③ ロジスティック回帰モデルにおける回帰係数（結果と因⼦の関連の強さ）を元にスコアを作成する

23

ロジスティック回帰モデル•結果の起こる確率を説明変数と、関連の強さを⽰す回帰係数から算出する式

•スコアは使いやすいように、回帰係数を整数化したもの

β0 :切⽚βn:回帰係数Xn:説明変数

ロジット

β0+

24

AnnInternMed2015;162:55-63

Crit CareMed 2009;37:1913-20.

【⽬的】ALI患者の院内死亡率の予測スコアの作成【デザイン】ALVEOLI trialのデータの2次解析【⽅法】414⼈のデータからロジスティック回帰分析

で予測モデルを作成し、459⼈のデータで検証を⾏う

ASimpleClinicalPredictiveIndexforObjectiveEstimatesofMortalityinAcuteLungInjury

25

解析の結果四つの因⼦が抽出され、上記のように重みづけがされた

【結果】 26

AUROC=0.72Hosmer-Lemeshow goodnessoffittestforthecustommodelinthedevelopmentandvalidationcohortshowednoevidenceofinadequatefit

【検証結果】27

理想的なスコアとは？

üある結果が「起こる」か、「起こらない」かを確実に予測できる

üある結果が起こるリスクの⾼低を層化し、確率を正確に算定できる

28

Discrimination（識別能）•ある結果が起こる⼈と起こらない⼈を識別する能⼒

•あるリスクと結果について検討するとき、その結果が起こった⼈全員が起こらなかった⼈全員より⾼いリスクを有していた場合、最⾼の識別能と評価される（感度、特異度ともに100%）

•スコアの感度、特異度はカットオフ値によって変化

29

AUROC(AreaUnderReceiverOperatingCharacteristic)

•感度を縦軸、1-特異度(偽陽性率)を横軸にとるROC曲線の下⾯積として求められる

•元はレーダーが⾶⾏機と他の⾶⾏物を識別する能⼒の評価⽅法として開発

or

30

BloodPurif 2015;39:246-57

AUROC 識別能0.7> poor

0.7~0.9 good

0.9< excellent

曲線が左上に近づく=感度を⾼めても偽陽性率が上がらない=識別能が⾼い

AUROCは0.5~1の値をとる0.5（直線となる）の時、結果とスコアの値には全く関連がない

31

2016/5/17慈恵ICU勉強会より

32

Circulation 2007;115:928-35.

p CPR研究におけるAUROCの意義や解釈の仕⽅について解説

p AUROC(=識別能)はある結果が起こるか否かを分ける能⼒

p どの程度の危険因⼦を持つ集団で、ある結果が起こる確率を算定する精度を表すものではない

p AUROCのみではCPRの評価として不⼗分

33

⼼⾎管イベント発⽣の予測スコアから項⽬を出し⼊れして識別能を検討相対危険度の⾼い項⽬を出し⼊れしても識別能に⼤差がない

34

Calibration

•作成した予測モデルの⺟集団における適合度

•ある集団における予測と実際の結果がどれだけ⼀致するかを⽰す

重症度

⾼

低

における予測死亡率 X%実際の死亡率Y%

35

Hosmer-Lemeshow検定

•作成されたロジスティック回帰モデルが、⺟集団での結果をどれだけ正確に予測するかの検定

•予測確率を算出し、各群が同数となるように確率によって10群に分割

•それぞれの群における予測確率と実際の確率についてχ²検定で適合するかの有意確率を計算

36

予測の確率0.85

0.76

0.72

0.66

0.58

0.53

0.49

0.38

0.25

0.17

•帰無仮説が「モデルが実際の結果に適合する」であるため「有意である」=「適合しない」

サンプル

実際の確率0.82

0.77

0.68

0.59

0.55

0.47

0.42

0.33

0.22

0.21

モデルによる確率の予測

確率によって10群に分割

モデルが実際の結果に適合するか検定

37

Hosmer-Lemeshow検定の⽋点

•サンプル数の多寡に結果が左右される可能性がある

•尤度⽐や正判別率などの当てはまりを⽰す他の尺度と結果が必ずしも⼀致しない

pサンプル数が多い→有意である（適合しない）pサンプル数が少ない→有意でない（適合する）と判定されやすい

東京情報⼤学研究論集 2004: 8; 9-14

38

Likelihoodratio(層別尤度⽐）

•尤度⽐を重症度の層ごと=点数別に表している

•各点数において死亡者が⾮死亡者=⽣存者の何倍いるのかを⽰す

39

Crit CareMed 2009;37:1913-20

Internalvalidation

•スコア作成の元となった⺟集団のデーを使⽤するモデルの検証

Ø Split-samplevalidationØ Cross-validationØ Bootstrapvalidation

などの種類がある

40

Split-sample validation

•収集したデータの⼀部をモデル作成に、⼀部を検証にあてる⽅法

•モデル作成⽤のデータと検証⽤のデータは重複してはならない

全体のデータ

モデル開発⽤データ

検証⽤データ

41

Crossvalidation•ランダムに10等分したデータのうち、9群のデータでモデルを開発、残りの1群のデータで検証を⾏う

• 10群すべてを検証⽤データとして⽤いて10回同様の作業を⾏い、10回の平均を求める

モデル開発

検証

×10

42

Bootstrap法1. 元の集団全体から予測モデルを作成、検証する2. 元の集団からランダムに重複を許して同数のサンプルを抽出

3. このサンプルから新しい予測モデルを作成して、元の集団で検証

4. 元のモデルを抽出したサンプルで検証し、3と4の差をoptimismとして算出

5. 2-4を100回以上繰り返す6. Optimismの平均を1の検証結果から差し引く

①②③④⑤⑥⑦⑧⑨⑩

⑤①⑥⑦⑤③⑦⑧②⑧

抽出

43

重症度スコアを信頼できるのか？

• Internalvalidationが⾏われていても、ある⺟集団でのデータから作成されたもの

•スコア作成の元となった⺟集団においてはoverfittingの可能性がある

•他の⺟集団での重症度として当てはめてよいのか？

44

Externalvalidation•スコア開発に使われたサンプルとは全く別の集団における転帰の予測性能を検討する

•通常は元のサンプルと同様の転帰をたどる可能性が⾼い集団が選択される

•地域、時間、もしくはその両者が異なるサンプルを⽤いる

• Overfittingが解消されるため、低い精度が⽰される傾向にある

45

Crit CareMed2011;39:1023-28

【⽬的】ARDSnetworkが開発したARDSの死亡率予測スコアのexternalvalidation

【⽅法】2004-2007年に13のICUに⼊室したALIと診断された患者のデータを⽤いて予測精度を検証識別能はAUROCCalibrationは実際の死亡率と予測死亡率の直接⽐較

46

【結果】

A:院内死亡率B:28⽇死亡率

AUROC=0.68 AUROC=0.64

Intermediaterisk群での予測が正確でないと結論

47

重症度スコア間の⽐較

【⽬的】各重症度スコアの精度の⽐較⼊院初⽇のDNRstatusの有無の精度への影響の検討

【⽅法】単施設の中の三つのICUに⼊室した患者2596⼈のデータで4種類のスコアの精度を検証識別能はAUROCCalibrationはHosmer-Lemeshow検定

48

CHEST 2012;142:851–58

識別能はAPACHE IIIが最も⾼いがスコア間の有意差は認められなかった

いずれもAUROCは良好だがHosmer-Lemeshow検定では帰無仮説が棄却された＝モデルがサンプルに適合しない

ROC曲線【結果】 49

メタ解析

• CABG術後30⽇までの死亡率を予測するEuroSCOREを例にメタ解析の⼿順について解説

• 22のexternalvalidationstudyから解析

• calibrationの検証の⼿法がばらばらであったため、後から算出が可能なO:Eratioをcalibrationに⽤いている

BMJ 2017;356:i6460.

※O:Eratio=実際に観察死亡率と予測された死亡率の⽐0.8-1.2でcalibrationが良好と記載

50

モデルの修正

• ExternalValidationによってスコアの精度が低いと判断された場合、より精度の⾼いモデルにアップデートが⾏われる

•新しいサンプルにおいて識別能、calibrationのどちらに問題があったかでアップデートの⼿法が異なる

51

モデルの修正① 回帰モデルの切⽚の調整② ①+回帰係数の調整③ ②+新たなサンプルでの、より強い予測因⼦に重みを加える

④ ②+予測因⼦の追加⑤ 新たなサンプルのデータから、すべての予測因⼦の回帰係数を変更する

⑥ ⑤+予測因⼦の追加

①②はcalibration、③-⑥は識別能を向上させる

52

IntensiveCareMed2009;35:616-22

【⽬的】SAPS3のオーストラリアでのICUにおける予測精度の検証

【⽅法】22のICUに⼊室した患者のデータを前向きに収集し、その中でのSAPS3の識別能、calibrationについて検証識別能はAUROCCalibrationはHosmer-Lemeshow検定

53

【結果】

識別能は良好だが、当てはまりが不⼗分

予測死亡率

SAPS3の各因⼦の重みは変えずに回帰係数と切⽚を変えることで当てはまりが向上

54

まとめ•重症度スコアは複数の予測因⼦を数値化して組み合わせたclinicalpredictionrules(CPR)の⼀種

• Diagnosticmodelと⽐べると実際に臨床の現場で使⽤される場⾯は限られる

•重症度の評価は臨床研究の信頼性の根幹を担うものであり、正確に⾏わなければならない

•重症度スコアの精度は識別能(discrimination)とcalibrationに分けて考える必要がある

55

まとめ②•識別能はAUROC、calibrationはHosmer-Lemeshow検定で評価されることが多い

•重症度を層別化して予後を予測するスコアではcalibrationは極めて重要

•スコア作成の元となったサンプルでの検証では精度が過⼤評価される可能性があり、独⽴したサンプルでの検証が必要

• Externalvalidationの結果から、スコアをより精度の⾼いものに修正することができる

56

私⾒•同じCPRでも結果の有無の識別を主⽬的とするdiagnosticmodelとは⼤きな違いがあると感じた

• Calibrationを評価する⼿法は⽂献によってまちまちであり、信頼性についての結論は出せなかった

•実際にExcelやSPSSでデータの扱い⽅を学習して解析についての理解を深めたい

57

今後の研究について• AKIの多施設観察研究 JAKIDが進⾏中

•現在症例のリクルートは終了し、転帰を追跡中

• 3⽉に転帰の追跡が終了、チェックが終了する6⽉以降にデータを扱えるようになる

•このデータでのAKIの重症度スコアのexternalvalidationを計画

58

•イタリアのAKIデータベースを基に開発されたRRT導⼊を予測するスコア

• Cox回帰分析によってモデルが作成されているため更なる勉強が必要…

Blood Purif 2015; 39: 246–57

59

PLoS One2017:12

60