Tutorial:    Imaging  a  mouse  brain  tumor  in  an  MRI-­‐coupled  fluorescence  molecular  tomography  system    This  tutorial  will  use  sample  files  found  here.    Background/context  for  tutorial:     An  MRI-­‐coupled   fluorescence  tomography   system   was   used   to  examine   the   receptor   expression  profile   (EGFR   in   this   case)   of   a  glioblastoma  model   in  a  mouse.     The  system   geometry   is   shown   in   Fig.   1,  and  consists  of  8  optical   fibers  which  couple   light  between  the  head  of  the  mouse,   the   laser   source,   and   the  spectrograph  detectors.      

An  EGFR-­‐targeted  fluorophore  was  injected  into  the  mouse  two  days  prior   to   imaging   to   allow   it   to  accumulate   in   the   tumor   and   clear  from   the   surrounding   tissue.     On  imaging   day,   MRI   (T1-­‐weight   with  Gadolinum,  stored  as  DICOM  images)  and  optical  data   (both  excitation  and  fluorescence  emission,  stored  in  a  .paa  file)  were  acquired  concurrently.    We  need  to  merge  these  data  sets  to  recover  images  of  the  fluorescence  activity  in  the  mouse  head,  illustrated  here:  

 

       

MRI  Data

Optical  Data

MRI-­‐fluorescence  overlay

   

Fig.  1.    MRI-­‐fluorescence  tomography  system  geometry  for  mouse  head  imaging.  

Now  let’s  walk  through  the  steps  of  creating  a  mesh  from  the  MRI  images,  calibrating  the  optical  data,  and  reconstructing  multi-­‐modal  FMT  images.        

1.   Open  NIRFAST    

2.   Load  DICOMS:    In  the  modules  list  open  the  “DICOM”  module.    Select  Import  and  browse  to  the  MRI  directory  with  the  DICOM  images  and  import  them.    The  folder  would  normally  contain  several  MRI  sequences,  but  there  should  only  be  one  sequence  here  –  click  Load.  

 

NIRFASTSlicer  will  create  a  “Volume”  which  is  just  your  3D  image  data  upon  which  you  can  do  various  operations.    As  you  work  with  and  process  this  volume  (such  as  cropping  or  segmenting),  NIRFASTSlicer  may  create  new  volumes  with  modified  names.        

3.   View  and  render  loaded  DICOMS:  Open  the  “Volume  Rendering”  module.  

         

   You  will  need  to  select  your  volume  and  enable  3D  visualization.    The  3-­‐D  volume  will  show  in  the  purple  window  –  you  can  rotate,  zoom,  etc.    You  can  also  try  different  presets  and  experiment  with  advanced  visualization  settings:    

     

4.   Crop  the  image  volume  to  the  tissue  region:  Select  the  “Crop  Volume”  module  and  click  on  the  eye  to  enable  ROI  visibility.        Use  the  crop  box  to  select  an  ROI  encompassing  only  the  tissue.    Select  Crop!    This  will  create  a  new  volume  of  the  cropped  ROI  with  an  appended  “…-­‐subvolume-­‐scale_1”  

     

5.   Change  the  number  format:    Now  we  need  to  do  a  format  change  (due  to  the  vagaries  of  segmenting  in  Slicer).  Select  the  “Cast  Scalar  Volume”  module.    Make  sure  to  select  your  cropped  subvolume  for  the  input  and  output  volumes,  as  shown  below.    Select  Short  and  Apply.  

   

6.   Saving:    (at  any  point,  you  may  want  to  save  your  work.    File  >  Save  and  select  “Change  Directory  for  Selected  Files”.    Choose  a  directory  and  save.    If  you  Save  again,  we  recommend  following  the  same  procedure  and  replacing  your  files).    

7.   Segment  the  tissue  into  regions:    Now  we  want  to  segment  the  tissue  into  4  regions:    The  background,  the  brain,  the  tumor,  and  all  other  tissues.    This  will  let  us  perform  spatially-­‐guided  image  reconstructions  when  we  come  to  that.    Select  the  “Editor  (segment  tissue)”  module  to  view  the  segmentation  tools  (choose  “Generic  Colors”  from  the  dropdown  the  first  time  you  select  the  Editor).    There  are  several  approaches  to  segmenting  tissue  (see  3DSlicer  Editor  documentation),  and  the  most  efficient  methods  are  often  case-­‐specific.    For  this  case  we  recommend:  

a.   Make  sure  the  proper  subvolume  is  selected  as  “Master  Volume”  b.   Select  the  threshold  tool  and  move  the  lower  threshold  range  to  label  as  much  of  the  

head  as  possible,  leaving  few  “holes”  inside  and  few  “islands”  outside  the  tissue.    A  minimum  of  about  445  works  for  this  case.    Select  Apply.  

   

c.   You  can  change  the  opacity  of  the  label  by  selecting  the  pin  and  then  double  arrows  to  reveal  the  viewing  details.    Note  that  two  volumes  are  shown  –  the  master  subvolume-­‐scale1  and  the  “label”.    You  can  select  the  rings  to  apply  your  changes  to  all  3  views.    

   

d.   To  remove  remaining  holes,  use  the  dilate  tool,  and  then  erode  by  the  same  amount.    Make  sure  there  are  no  holes  or  islands  in  the  volume.  

e.   Additional  tissue  types:    For  each  new  region,  select  a  new  label  (brown,  3,  is  selected  below).      We  typically  segment  the  brain  and  tumor  manually  using  the  Draw  or  Paint  (which  allows  multi-­‐slice  painting)  tools,  slice-­‐by-­‐slice.    You  can  also  try  the  Wand  Effect,  Level  Tracing  Effect,  and  other  built-­‐in  tools.    The  bottom  image  below  shows  a  slice  segmented  into  brain,  tumor,  and  head  regions.  

   

f.   (Good  idea  to  Save  once  you’re  done  segmenting!    If  you  save,  you  can  load  everything  back  up  just  as  you  left  it!).    

8.   Positioning  optical  sources/detectors:    Now,  we  need  to  place  markers,  or  fiducials,  where  the  8  optical  fibers  touch  the  tissue.  This  needs  to  be  done  in  a  specific  order  to  correspond  to  the  order  of  the  actual  fibers,  as  shown  here:    

               Select  the  Markup/Fiducial  tool  at  the  top  of  NIRVIEW  to  place  “fiducial”  markers.    Select  “persistent”  in  this  tool  so  you  can  place  all  8  without  re-­‐selecting  the  tool.    Note  that  these  will  show  up  in  the  Volume  rendering  as  well.    (Save  your  work)  

12

   

9.   Create  the  finite  element  mesh  for  optical  reconstruction:    Now  it’s  time  to  create  the  mesh  (aka,  numerical  model  geometry)  by  selecting  the  “Create  Mesh”  module.    Choose  your  Input  Label  Map,  and  the  markup  variable  in  “Sources/Detectors”  (usually  this  is  just  called  “F”).    You  might  want  to  change  the  output  directory  and  output  mesh  name.    Under  Mesh  Parameters,  change  the  mesh  “type”  to  “fluorescence”,  and  reduce  cell  radius  and  facet  distance  to  about  0.8.    Do  not  “optimize  mesh”  –  this  is  good  to  do,  but  will  take  a  long  time.    Your  inputs  should  look  like  the  below.    Select  Apply.  

     

10.  Complete  mesh  creation:  NIRFAST  will  create  a  mesh  and  launch  Matlab.    Once  created,  a  program  which  allows  the  user  to  refine  source-­‐detector  locations  will  open.    If  you  do  

nothing,  NIRFAST  will  automatically  attempt  to  place  sources  and  detector  positions  an  appropriate  distance  inside  the  surface  of  the  mesh.    This  will  work  for  this  tutorial,  but  for  more  accurate  positioning,  a  drop-­‐down  menu  provides  system-­‐specific  scripts  which  move  the  sources  and  detectors  in  a  pre-­‐defined  way  (more  on  this  at  www.nirfast.org).  You  can  write  and  add  your  own  script  for  your  specific  geometry  (look  in  Nirfast/toolbox/fiducials  for  examples  on  how  to  write  these  –  adding  your  script  to  this  folder  will  automatically  make  it  available  in  the  GUI).    For  this  tutorial,  do  not  select  from  the  drop  down  list  and  simply  select  Done.    You  have  now  created  an  FEM  mesh!  

   

11.  Using  the  interface  for  the  Matlab  component  of  NIRFAST:    The  NIRFASTMatlab  main  GUI  window  will  be  opened  automatically.    While  it  is  possible  to  use  this,  currently,  we  recommend  starting  a  new  instance  of  Matlab  and  typing  “nirfast”  to  run  the  program  and  browse  to  the  directory  you  saved  your  mesh  (this  step  is  necessary  because  the  automatically-­‐started  instance  currently  does  not  open  the  Matlab  workspace  window,  which  is  very  handy  when  using  NIRFASTMatlab.    A  fix  is  coming).          

12.  Calibrate  the  optical  data  to  the  diffusion  light  propagation  model:    From  the  NIRFASTMatlab  GUi,  select  Data  >  Calibrate  >  Fluorescence  and  fill  in  the  fields  as  below.    This  program  will  calibrate  the  data  to  the  model  and  generate  a  homogeneous  initial  guess  mesh  which  will  become  an  input  to  the  reconstruction  program.      Input  mesh:  (browse  to  the  mesh  you  created)  Data:  (browse  to  the  Optical  data  provided  in  your  tutorial  files)  Save  Data  To:  Browse  to  a  folder  to  save  the  calibrated  data  and  name  it  something  like  “Calib_data_tutorial”  Save  Mesh  To:    This  is  the  homogeneous  initial  guess  mesh  which  will  become  an  input  to  the  reconstruction  program.    We  like  to  name  these  “initial  guess”  meshes  with  an  “IG”  prefix.  Other  fields:    Leave  as  default  

   

13.  Reconstruct  optical  images:    Now  it’s  time  to  reconstruct  an  image.  From  the  Main  GUI,  select  Reconstruct  >  Reconstruct  >  Fluorescence.  

   First,  we  will  run  a  reconstruction  with  no  spatial  priors.    Fill  in  the  fields  as  shown  below:  Input  mesh:  Browse  to  the  mesh  you  initial  guess  mesh  Input  Data:  Browse  to  the  your  calibrated  data  file  Save  Solution  To:  Enter  the  name  of  your  solution  files  –  e.g.  “recon_mouse_tutorial”  Reconstruction  Basis:  In  this  example,  we  will  not  use  priors.    You  will  need  to  change  the  pixel  (reconstruction)  basis  to  define  3  dimensions.    Try  [20  20  20]  for  now.  Uncheck  View  Solution  Other  fields:    Leave  as  default  

   

14.  Spatial  priors  option:    You  can  now  repeat  the  reconstruction  using  hard  priors  (remember,  this  is  a  3-­‐region  volume)  if  you  like.    You  can  compare  results  from  both  approaches.    

15.  Visualizing  reconstructed  optical  images  and  image  overlay:    Go  back  to  the  NIRFASTSlicer  window.    If  you  have  closed  the  Scene  for  this  animal,  reopen  it  now.      

a.   Loading  and  displaying  optical  data:    Select  the  “Import  Optical  Properties”  module  

     

Select  the  browse  symbol  next  to  “VTK  Mesh”  and  browse  to  “solmesh_recon_mouse_tutorial.vtk”.      For  the  Bounding  Volume,  select  the  subvolume_scale_1  volume.    This  is  the  MRI  volume  you  created  when  you  cropped  the  original  volume.    Select  Resample  Mesh.  

   You  will  now  see  a  list  of  optical  parameters  from  the  mesh.    In  this  case,  the  only  one  we  are  interested  in  ends  with  “etamuaf”,  since  this  is  the  parameter  we  reconstructed.  

     By  default,  etamuaf  should  load  and  be  displayed,  looking  something  like  the  below:  

   

b.   Adjusting  the  image  display,  transparency:    There  are  many  parameters  that  you  can  adjust  to  change  the  look  of  this  display.    Start  by  expanding  the  options  in  a  slice  window.    Select  the  double  ring  icon  to  ensure  your  adjustments  change  all  slice  views.    Select  the  double  arrow  to  see  more  options.    Notice  there  are  3  volumes  shown,  the  label  map  (you  do  not  want  to  visualize  this),  the  MRI  subvolume-­‐scale_1  as  the  background  and  the  _etamuaf  volume  as  the  foreground.    Adjust  the  number  box  next  to  the  etamuaf  volume  to  change  the  transparency  of  the  solution  over  the  MRI  background.    You  can  also  use  the  interpolate  icon  to  smooth  the  image  values,  as  shown  in  the  two  examples  below.  

   

   

c.   Adjusting  the  image  display,  thresholding  values:    Now  select  the  “Volumes”  module  and  select  the  “etamuaf”  volume  as  the  Active  Volume.  

   

Use  the  Threshold  sliders  to  adjust  the  image  overlays.    Feel  free  to  play  with  other  presets  and  mappings.    

   Another  tip:    To  view  colorbars  for  the  optical  parameters,  select  the  “Quantification  >  Data  Probe”  module,  Enable  ScalarBar  and  select  Foreground  

     

d.   3-­‐D  rendering  of  optical  images:    Finally,  you  can  go  back  to  the  “Volume  Rendering”  module  and  select  the  etamuaf  volume  to  show  in  3-­‐D.    Ultimately,  you  might  have  a  window  that  looks  like  the  below.    You  can  open  the  Advanced  menu  and  continue  adjusting  the  look  of  the  rendering.  

   At  any  point,  you  can  save  your  data,  and  all  info  in  the  scene  will  be  available  for  future  viewing.        

16.  Finally,  if  you  ran  a  hard  priors  reconstruction,  go  ahead  and  load  those  images  by  again  using  “Import  Optical  Properties”  and  browsing  to  the  hard  prior  vtk  files.      

   

For  more  tutorials  and  documentation  on  NIRFAST,  or  to  join  our  mailing  list,  please  visit  http://www.nirfast.org/.    See  Davis,  et  al.,  Academic  Radiology,  2010  and  Davis  et  al.,  JBO,  2010  for  details  on  MR-­‐guided  FMT  for  diagnosing  brain  tumors  over-­‐expressing  epidermal  growth  factor  receptor.    Data  used  for  this  tutorial  were  originally  published  in  these  papers.