Improving  the  Clinical  Quality  Measure  Tes8ng  and  Cer8fica8on  Process    

HIMSS13  March  4,  2013  

Agenda  

•  Cypress  v2  Overview  •  Feedback  on  CQM  Tes:ng  and  Cer:fica:on  •  Improvements  to  Cer:fica:on  Process  –  Jacob  Reider,  Office  of  the  Na8onal  Coordinator  for  Health  Informa8on  Technology  (ONC)  

– Saul  Kravitz,  MITRE  – Steve  Emrick,  Na8onal  Library  of  Medicine  – Bob  Dolin,  Lantana  Consul8ng  Group  

•  Open  Discussion  

2  

•  Meaningful  Use  (MU)  Stage  2  Clinical  Quality  Measure  (CQM)  Tes:ng  and  Cer:fica:on  Tool  –  ONC  championed  ac8vity  

–  MITRE  designed  and  stewarded  free  open  source  soVware  

•  Enables  repeatable  tes:ng  that  an  EHRs’  ability  to  calculate  Eligible  Professional  (EP)  CQMs,  Eligible  Hospital  (EH)  CQMs,  and  Quality  Repor:ng  Document  Architecture  (QRDA)  XML  is  accurate  and  aligned  with  MU  Stage  2  1.  Capture  and  Export    2.  Import  and  Calculate    3.  Electronic  Submission  

Cypress  Overview  

3  

Status  of  Cypress  and  MU  Stage  2  CQMs  

•  Cypress  released  to  Authorized  Tes:ng  Labs  (ATLs)    –  V2.0.0  released  12/21/2012  –  V2.1.0  released  2/28/2013  

•  ONC’s  2014  HIT  Cer:fica:on  Program  opera:onal  January  2,  2013  

•  ATLs  have  successfully  cer:fied  vendors  using  the  new  CQM  tes:ng  procedure  and  Cypress  

•  We  are  receiving  feedback  from  vendors  and  ATLs  –  125+  discussions  on  the  public  open  source  email  list  –  200+  issues  on  ONC’s  Jira  tool    

•  We  are  improving  the  cer:fica:on  tools  and  process  based  on  your  feedback  

  4  

Types  of  Feedback  Collected  

•  eCQM  Logic  •  Value  Sets  •  QRDA-­‐I  Test  Data    (Capture/Export)  •  QRDA-­‐III  Test  Data  (Compute)  

5  

eCQM  Logic  Feedback  

•  Many  ques:ons  regarding  proper  interpreta:on  of  MU2  eCQMs  

•  Ques:ons  about  specific  eCQMs,  e.g.:  – Measure  X  doesn’t  reflect  the  clinical  guidelines  

•  General  Ques:ons,  e.g.:  – How  to  interpret  specific  occurrence  idioms?  – How  are  episode  of  care  eCQMs  computed?  

6  

Response  to  eCQM  Feedback  

•  Short-­‐Term  Ac:ons  –  V1.1  of  eCQM  Implementa8on  Guide  on  CMS  Website  –  eCQMs  updated  as  part  of  2013  annual  update  

•  Longer-­‐Term  Ac:ons  –  Publica8on  of  test  data  for  use  by  vendors  to  demonstrate  intended  behavior  for  each  measure  

–  Improvements  to  logic  syntax  –  Incorpora8on  of  automated  tes8ng  in  MU3  eCQM  development  process  

7  

Value  Set  Authority  Center  (VSAC)  

•  Provides  Value  Sets  that  support  MU  Stage  2  CQMs  –  Requires  UMLS  Metathesaurus  License  for  access  to  GUI  and  download  files  

•  Received  lots  of  useful  feedback  and  input  from  users,  e.g.:  –  How  can  I  obtain  pre-­‐packaged  value  sets  for  all  eCQMs?  –  Can’t  you  sort  these  in  various  ways  –  CMS  ID,  QDM  category?  –  How  can  I  filter  my  search  results  by  code  system  (SNOMED  CT,  RxNorm,  etc),  in  the  user  interface?  

–  How  do  I  find  out  about  updates  to  value  sets  or  the  VSAC?  

8  

Value  Set  Authority  Center  (VSAC)  

9  

Consumption Authorship Web page population for human consumption

Integration with Authoring Tool(s) to support value set authorship

Web download / web services for machine consumption

Free-standing, web-based value set authoring tool(s)

API

Phase 1 Phase 2

API

Controlled Value Set Repository & Validation Engine

Value Set / Measure Authors Consensus Organization(s)

NLM ONC Consensus Org(s)

NLM

Vendors Providers Public Health Orgs

Curation Delivery

Value  Sets  –  Downloadable  Resources  Table  

CMS ID Value Set Name QDM Category

Packages available for EP, EH, and EP+EH measures

10  

Value  Sets  –  Code  System  Filter  

Show only value sets containing RxNorm codes

Statin prescribed at discharge

11  

VSAC:    Ongoing  Work  

•  Development  of  VSAC  authoring  environment  –  Improve  quality  of  value  sets  –  Improve  authoring  produc8vity  

•  Value  set  harmoniza:on  –  Gather  ‘purpose’  of  all  value  sets  as  structured  metadata  – Will  provide  ‘seman8c  boundaries’  of  value  sets,  which  could  be  helpful  on  determining  overlap  of  value  sets,  new  code  appropriateness,  etc.  

•  Gathering  of  non-­‐MU  value  sets    –  e.g.,  Route  of  Administra8on    –  Could  eventually  be  used  in  some  MU  context  

12  

QRDA-­‐I  Cer:fica:on  Feedback  

•  “Excessive”  data  entry  burden  •  Test  data  incompa:ble  with  clinical  applica:ons  

•  QRDA-­‐I  specifica:on  issues  •  Many  spurious  valida:on  errors  and  warnings  

13  

Response  to    QRDA-­‐I  Cer:fica:on  Feedback  

•  Near  Term  (Following  2/28  release)  – Addi8onal  QRDA-­‐I  implementa8on  guidance  –  Revise  test  procedure  to  reuse  Logic  Test  Deck  for  QRDA-­‐I  Tes8ng  •  Ini8al  focus  on  syntac8c  correctness  only  •  Elimina8on  of  MANY  warnings  

•  Longer  Term  (With  4/26  release)  –  SoVware  changes  to  check  that  QRDA-­‐I  files  are  within  upper  and  lower  bounds  of  informa8on  content  

– Minor  revision  to  test  procedure  

14  

QRDA-­‐III  Cer:fica:on  Feedback  

•  Comments  on  the  challenge  of  working  with  HQMF  files  

•  Ques:ons  about  correctness  of  eCQM  interpreta:on  

•  Spurious  valida:on  errors  on  QRDA-­‐III  output  

15  

Response  to    QRDA-­‐III  Cer:fica:on  Feedback  

•  Feedback  to  HL7  HQMF  revision  process  •  Sofware  fixes  •  Feedback  to  eCQM  update  process  

16  

Changes  to  QRDA-­‐III  Test  Deck  

•  For  EH  and  EP  Cer:fica:on:  – Moved  dates  off  of  January  1st  –  All  ‘ac8ve’  states  have  a  dura8on  –  Tried  to  use  widely  supported  codes  –  Avoid  unprescribable  medica8ons*  – Moved  all  events  inside  of  business  hours  – Moved  all  events  inside  encounters  

•  For  EH  Cer:fica:on:  –  Reduced  length  of  stay  

17  

Cypress  Timeline  

•  Version  2.0  –  12/21/2012  •  Version  2.1.0  –  2/28/2013  

–  Addresses  all  resolved  QRDA-­‐I  valida8on  issues  –  Supports  shiV  to  use  of  Logic  Test  Decks  for  QRDA-­‐I  Cer8fica8on  –  Updates  to  EH  and  EP  test  decks  based  on  feedback  –  Support  ATL  tes8ng  of  mul8ple  eCQM  releases  with  a  single  Cypress  installa8on  

•  Version  2.2.0  –  4/26/2013  –  Support  for  ‘dynamic’  logic  tes8ng  for  all  measures  –  Improved  QRDA-­‐I  tes8ng  based  on  Logic  Test  Decks  –  Support  for  2013  EH  Update,  versioned  value  sets  

•  Updated  Test  Decks    –  EH  –  Early  May  2013  –  EP  –  Early  July  2013  

18  

Communica:ons  Channels  

•  Cypress  Email  Lists  –  talk@projectcypress.org  -­‐  public  e-­‐mail  list  –  announcement@projectcypress.org  -­‐  broadcast  list  –  Details  on  hqp://projectcypress.org/faq.html  –  ONC  Tes8ng  and  Cer8fica8on  Team  ONC.Cer8fica8on@hhs.gov  

•  ONC  Jira  for  Issue  Tracking  –  General  CQM  Tracker  

hqps://cqm-­‐issue-­‐tracker.atlassian.net/browse/CQM  –  Cypress-­‐specific  Tracker

hqps://cqm-­‐issue-­‐tracker.atlassian.net/browse/CYPRESS  

•  VSAC  updates  listserv    –  Go  to  hqps://list.nih.gov/cgi-­‐bin/wa.exe?A0=nlm_vsac_updates  –  Click  on  ‘Subscribe  or  Unsubscribe’  –  Enter  your  name,  e-­‐mail,  and  click  ‘Subscribe  (NLM_VSAC_UPDATES)’  

19  

QUESTIONS  AND  FEEDBACK  AND  FEEDBACK  

BACKUP  

21  

Capture  and  Export    Current  Concept  of  Opera:ons  

22  

Import,  Calculate  and  Electronic  Submission  Concept  of  Opera:ons  

23  

Release  Notes  for  Cypress  V2.1.0  Test  Deck  Changes  

•  Measurement  period  updated  from  2010  to  2012,  ending    Dec  31,  2012  at  23:59  •  Code  provided  for  each  data  element  trigger  logic  in  a  consistent  manner  across  all  

measures  •  Added  code  descrip8on  mouse  overs  to  the  HTML  pa8ent  records  (RxNorm  

descrip8ons  and  all  other  code  sets)  •  Length  of  stay  for  encounters  minimized  for  EP  •  Pa8ent  data  with  the  status  of  "ac8ve"  given  a  dura8on  in  the  test  deck  •  EP  and  EH  events  occur  during  business  hours  •  EP  and  EH  Test  deck  events  occur  during  encounters  •  EP  GP_Peds,  E  immuniza8on  end  8me  fixed  •  EH  Newborn,  A  and  Newborn,  B  birthdate  and  delivery  8mes  brought  into  sync  •  Value  sets  added  to  the  Cypress  bundle  to  allow  coordina8ng  value  set  &  measure  

releases  •  EH  Newborn,  A/B  and  OB  A/B  updated  admit  and  discharge  8mes  on  encounter  to  

match  start/end  8mes    

24  

Release  Notes  for  Cypress  V2.1.0  Cypress  Sofware  Changes  

•  Quality  Measure  Engine:  –  Dynamic  Support  for  CV  measures  in  EH  and  EP  –  Bundle  Import  code  Moved  to  Health  Data  Standards  library  

•  Measures:  –  Reloaded  measure  defini8ons  from  CMS  to  fix  issue  with  measure  popula8on  criteria  ids  

•  Cypress:  –  Added  support  for  mul8ple  bundles  to  be  loaded  simultaniously  –  Fixed  double  quoate  bug  in  resources/schematron/qrda/qrda_cat_1/measure_specific/

d78ce034-­‐8288-­‐4012-­‐a31e-­‐7f485a74f2a9.sch  –  Removed  xsi:type='CE'  checks  from  generic  Cat  I  schematron  rules  –  Updated  schematron  rule  for  CONF:7618  –  to  remove  check  for  unit='1'    –  Added  ability  to  import  bundle  from  within  the  applica8on  –  Updated  QRDA  Cat  I  test  pa8ent  generator  to  eliminate  duplicate  entries  

25