cesar working document 9 urban strategy experiment 6

24
CESAR WORKING DOCUMENT SERIES Working document no.9 DRAWING VERSUS CALCULATING The difference in added value between a drawing PSS (Phoenix) and a calculating PSS (Urban Strategy) (trial No6) M. te Brömmelstroet 14 March 2014 This working document series is a joint initiative of the University of Amsterdam, Utrecht University, Wageningen University and Research centre and TNO The research that is presented in this series is financed by the NWO program on Sustainable Accessibility of the Randstad: http://dbr.verdus.nl/pagina.asp?id=750

Upload: marco

Post on 01-Nov-2014

143 views

Category:

Technology


0 download

DESCRIPTION

 

TRANSCRIPT

Page 1: Cesar working document 9 urban strategy experiment 6

CESAR  WORKING  DOCUMENT  SERIES  Working  document  no.9  

     

       DRAWING  VERSUS  CALCULATING    The   difference   in   added   value   between   a   drawing   PSS   (Phoenix)   and   a  calculating  PSS  (Urban  Strategy)  (trial  No6)    

 

M.  te  Brömmelstroet  14  March  2014    

 

     This  working  document  series  is  a  joint  initiative  of  the  University  of  Amsterdam,    Utrecht  University,  Wageningen  University  and  

Research  centre  and  TNO  

       

   

The  research  that  is  presented  in  this  series  is  financed  by  the  NWO  program  on  Sustainable  Accessibility  of  the  Randstad:  http://dbr.verdus.nl/pagina.asp?id=750  

 

   

Page 2: Cesar working document 9 urban strategy experiment 6

CESAR Working Document Series no. 9 Drawing vs. calculating

Page 2

TABLE  OF  CONTENT  

1.   INTRODUCTION  ...............................................................................................................  3  

2.   SETUP  OF  THE  EXPERIMENT  ............................................................................................  4  2.1   Urban  Strategy  ......................................................................................................................  4  2.2   Phoenix  .................................................................................................................................  5  2.3   Setup  of  the  experiment  .......................................................................................................  6  Student  groups  .............................................................................................................................  6  Control  and  treatments  ................................................................................................................  7  2.4   Data  gathering  and  analysis  ..................................................................................................  7  

3.   EVALUATION  RESULTS  .....................................................................................................  9  3.1   Perceived  quality  of  the  planning  process  ............................................................................  9  3.2   Perceived  quality  of  the  planning  outcome  ........................................................................  10  3.3   Perceived  Usability  of  the  PSS  ............................................................................................  11  

4.   CONCLUSIONS  AND  IMPLICATIONS  ...............................................................................  13  4.1   Reflections  ..........................................................................................................................  13  4.2   General  conclusions  ...........................................................................................................  13  

REFERENCES  ..........................................................................................................................  14  

APPENDIX  I:  COMPETITION  SHEET  (DUTCH)  .........................................................................  15  

5.   STEDELIJKE  PLANNING  COMPETITIE  ..............................................................................  15  5.1   Introductie  ..........................................................................................................................  15  

APPENDIX  II:  THE  ROLES  AND  THEIR  INFORMATION  (DUTCH)  .............................................  17  

APPENDIX  II:  EVALUATION  FORM  FOR  QUALITY  OF  THE  PROCES  ........................................  21  

APPENDIX  III:  EVALUATION  FORM  FOR  QUALITY  OF  THE  OUTCOME  ...................................  23  

APPENDIX  IV:  EVALUATION  FORM  FOR  USABILITY  OF  PSS  ...................................................  24  

 

Page 3: Cesar working document 9 urban strategy experiment 6

CESAR Working Document Series no. 9 Drawing vs. calculating

Page 3

1. INTRODUCTION  

In  this  working  document  we  report  on  a  sixth  randomized  controlled  trial  to  test  the  added  value  of  Planning  Support  Systems  (PSS)  in  strategy  making  practices.  In  this  trial  we  are  focussing  on  the  differences  between  a  PSS   that   aims   to   support   collective  drawing   (Phoenix  of  Geodan)   and  one  that  aims  to  offer  quick  calculations  of  effects  (TNO’s  Urban  Strategy).      Both   state   of   the   art   instruments   claim   and   aim   to   improve   strategy-­‐making   processes   in   urban  planning  practice.  In  this  research  line,  these  claims  are  tested  under  controlled  conditions.  In  trial  six,  the  goal  is  to  find  out  what  the  strengths  and  weaknesses  are  of  an  instrument  that  specifically  offers  support  for  collective  drawing  and  designing  (Phoenix)  and  an  instrument  that  offers  explicit  knowledge  about  the  effects  of  urban  interventions  (Urban  Strategy).    To  do  so,  we  have  designed  a  trial  in  which  groups  of  students  from  the  Urban  Planning  bachelor  of  the  University  of  Amsterdam  were  invited  to  create  designs  for  an  area  in  the  city  of  Utrecht.  The  nine  groups  were   randomly  divided  over   three   conditions:  business  as  usual,   support  by  Phoenix  and  support  by  Urban  Strategy.  We  were  especially   interested   in  how   these  different   treatments  would   influence  the  usability  of  PSS  and  the  general  quality  of   the  planning  process  and  planning  outcomes.  To  do  so,  we  made  use  of  the  conceptual-­‐  and  measuring  frameworks  as  introduced  and  discussed  in  CESAR  Working  Document  No.  1.      First,  we  describe  the  setup  of  the  experiment  and  the  different  treatments  that  we  have  compared  (section  2).  Then,  the  findings  of  the  experiment  are  presented  (section  3).  In  the  fourth  section  we  will  briefly  discuss  the  implications  of  these  findings  and  further  research.    

   

Page 4: Cesar working document 9 urban strategy experiment 6

CESAR Working Document Series no. 9 Drawing vs. calculating

Page 4

2. SETUP  OF  THE  EXPERIMENT  

2.1 Urban  Strategy    

TNO   started   around   2005   with   the   development   of   Urban   Strategy   (Borst   et   al.   2007;   2009a;  2009b).   This   instrument   specifically   aims   to   bridge   the   existing   flexibility-­‐   and   communication  bottlenecks  that  severely  limit  the  usability  of  many  PSS.  Urban  Strategy  aims  to  improve  complex  spatial  planning  processes  on  the  urban-­‐  and  regional  level.  To  do  this,  different  computer  models  are  linked  to  a  central  database  and  interface  to  provide  insights  in  a  wide  area  of  urban  indicators  and  maps.  The  effects  of  interventions  in  infrastructure,  land  use,  build  objects  and  their  functions  can  be  calculated  and  visualized.  Because  the  PSS  is  able  to  calculate  fast  and  present  the  results  in  an   attractive   1D,   2D   and   3D   visualisation   this   can   be   used   in   interactive   sessions   with   planning  actors.      Starting  point  for  Urban  Strategy  is  the  use  of  existing  state-­‐of-­‐the-­‐art  and  legally  accepted  models.  To  link  these  existing  models  a  number  of  new  elements  were  developed:  - a  database  with  an  uniform  datamodel;  - interfaces  that  show  a  3D  image  of  the  modeled  situation,  indicators  and  that  offer  functionality  

to  add  interventions;  - a  framework  that  structures  the  communication  between  the  models  and  the  interfaces.    The  goal  of  Urban  Strategy  is  to  enable  planning  actors  in  workshop  sessions  to  communicate  their  ideas  and  strategies  to  the  PSS  and  to  learn  from  the  effects  that  are  shown.  This  interactivity  calls  for   fast   calculations  of  all   the  model  and   fast   communication  between  all   elements.   For   this,   the  models   were   enabled   to   respond   on   events   (urban   interventions   from   the   participants   in   the  workshops.  A  new  software  architecture  was  developed  to  have  all   these  elements  communicate  (figure  2).    Through  this  increases  speed  and  the  wide  variety  of  models  that  are  linked  together,  the  PSS  aims  to   be   highly   flexible   in   offering   answers   to   a   large   number   of   questions   that   a   group   of   urban  planning  actors  can  have.    

Figure  2      Schematic  overview  of  communication  architecture  of  Urban  Strategy.    

   The  3D  interface  generates,  based  on  objects   in  the  database,  a  3D  digital  maquette  of  the  urban  environment.  To  this,  different  information  layers  can  be  addes,  such  as  air  quality  contours,  noise  contours  and  groundwater  levels.  Also,  the  objects  can  be  colored  according  to  their  characteristics  (function,  energy  use,  CO2  emissions,  number  of  inhabitants,  etc).  The  2D  interface  can  be  used  by  the  end  user  (or  operator)  to  add  changes  to  the  database.  Objects  can  be  added  or  removed,  their  location   can   be   changed   and   the   characteristics   of   the   object   can   be   changed.   The   1D   interface  shows   indicators   that   are   calculated   by   all   the   models   that   are   included.   Examples   are   the  

Page 5: Cesar working document 9 urban strategy experiment 6

CESAR Working Document Series no. 9 Drawing vs. calculating

Page 5

percentage  of  noise  hindrance,  group  risk  in  an  area  or  the  contribution  of  types  of  objects  to  CO2  emission.      

Figure  3      The  three  interfaces  of  Urban  Strategy    

       Urban   Strategy   as   a   PSS   is   not   only   a   computer   instrument,   but   also   offers   process   support   for  groups  of  planning  participants.   It   does   so  by  using  a  Maptable   (a   surface   table   screen  on  which  people  can  interact  with  the  information  from  the  instrument)  and  by  having  a  mediator  organize  the  exchange  of  knowledge  between  participants  and  between  them  and  the  computer  instrument.    Using  Urban  Strategy  in  a  participatory  setting  is  supported  by  a  mediator  (who  guides  the  process  and   interaction  between   the   instrument   and   the  users)   and   two   chauffeurs   (who   translate   ideas  into  the  instrument  and  run  the  analyses).      

2.2 Phoenix  

The  map  is  a  natural  platform  for  discussion.  This  new  touch  table  application  supports  this  for  effective  internal  and  external  communication.  By  combining  simple  controls  with  a  clear  user  interface  design  it  offers  valuable  tools  for  interaction.  Phoenix  allows  users  to  quickly  combine  and  overlay  layers  of  huge  amounts  of  geographical  information,  to  consult  data  and  to  draw  interventions.  It  can  be  using  for  a  wide  range  of  processes  and  spatial  scales,  ranging  from  local  participatory  processes  to  regional  location  decisions  to  international  negotiations.        Through  this,  Phoenix  allows  the  users   to  use  maps  that  are  often   individually  used   in   interactive  situations.   The   focus   is   not   on   specialist   operations   and   analysis   but   on   clear   visualization,  accessible  map  navigation   in  2D  and  3D  and  easy  ways   to  draw   interventions  or  make  notes.  For  this   purpose,   Phoenix   offers   a   package   of   specially   designed   hard-­‐   and   software   that   is   also  accessible  and  usable  for  actors  without  a  technical  background.    Using  Phoenix  in  a  participatory  setting  is  supported  by  a  mediator  and  one  chauffeur.                

Page 6: Cesar working document 9 urban strategy experiment 6

CESAR Working Document Series no. 9 Drawing vs. calculating

Page 6

   

Figure  4      Phoenix  as  a  information  sharing  platform    

       

2.3 Setup  of  the  experiment    

The  research  question  is:  Is  there  a  difference  in  the  added  value  of  a  communicating  PSS  and  a  analytical  PSS  for  the  quality  of  strategy  making?    We  designed  our  study  as  a  randomized  controlled  laboratory  experiment.  With  this  we  aimed  to  optimize  the  internal  and  external  validity  of  our  findings.  Testing  general  claims  of  the  PSS  literature  calls  for  a  strong  focus  on  the  ability  to  translate  our  findings  to  theory.  Although  we  aimed  to  mirror  characteristics  of  urban  planning  practice  (see  below),  the  focus  on  internal  and  external  validity  means  a  sacrifice  of  ecological  validity.  

Student  groups  

The  experiment  was  set  up  as  an  obligatory  part  of  a  second  year  combined  course  of  the  Urban  Planning  and  Social  Geography  bachelors  of  the  University  of  Amsterdam.  For  these,  students  were  randomly  assigned  to  a  group.  Each  of  these  groups  of  about  8  students  were  asked  to  join  a  90  minute  urban  strategy  making  competition  for  an  infill  area  in  the  city  of  Utrecht.  On  arrival,  each  groups  was  presented  with  an  existing  plan  for  the  area  (figure  5)  and  problems  of  this  plan  on  air  quality,  noise  and  mobility.  Among  the  students,  four  roles  were  assigned  randomly:  transport  planner,  environmental  advisor,  urban  designer  and  citizen.  Each  of  these  roles  received  a  specific  role  specific  problem  definition  and  goal.  To  win  the  competition,  each  role  competed  with  the  same  roles  in  other  groups.    A  total  of  69  students  participated  in  9  groups.              

Page 7: Cesar working document 9 urban strategy experiment 6

CESAR Working Document Series no. 9 Drawing vs. calculating

Page 7

Fig.  4.  Urban  infill  plan  for  the  Cartesiusdriehoek  area  in  the  city  center  of  Utrecht  

 

Control  and  treatments  

The  nine  groups  were  randomly  divided  into  control  and  treatment  conditions.  The  three  control  groups  received  no  support;  they  were  assigned  to  a  table  with  empty  plans,  instructed  to  start,  and  informed  when  the  time  was  up.  Three  groups  received  the  full  support  by  TNO’s  Urban  Strategy,  together  with  their  mediator  and  chauffeurs.  The  other  three  groups  received  the  full  support  by  Geodan  with  their  mediator  and  chauffeur.          

Fig.  6.  Physical  setup  for  groups:  Control  group  (left)  Urban  Strategy  (middle)  and  Phoenix  (right)  

             

2.4 Data  gathering  and  analysis  To  find  out  if  there  are  any  systematic  differences  in  the  performance  of  the  control-­‐  and  treatment  groups  we  have  made  use  of  several  data  gathering  techniques.  For  this  we  used  the  framework  for  quality  of  planning  as  presented  on  the  2013  CUPUM  conference.  See  table  1  for  the  dimensions  and  subdimensions  that  were  measured.      

Page 8: Cesar working document 9 urban strategy experiment 6

CESAR Working Document Series no. 9 Drawing vs. calculating

Page 8

Table  1.  Dimensions  of  the  quality  of  planning    

   First,  two  external  planning  experts  (PhD  candidates  in  Urban  Planning  of  the  University  of  Amsterdam)  rated  the  general  quality  of  the  resulting  strategies.  For  each  strategy,  they  were  asked  to  respond  to  statements  on  the  dimensions  A  to  F  of  table  1  (on  a  7  point  Likert  scale).  They  were  not  informed  of  the  hypothesis,  nor  were  they  aware  of  which  strategies  came  from  control-­‐  or  treatment  groups.      Secondly,  all  participants  filled  in  an  evaluation  form  in  which  we  solicited  their  personal  perceptions  of  the  quality  of  the  planning  process.  They  responded  to  statements  relating  to  the  dimensions  J-­‐W  of  table  1.  And  thirdly,  we  have  used  direct  observation.  These  observations  were  mainly  used  to  understand  the  outcomes  of  the  first  three  analytical  instruments.    For  the  analysis,  the  responses  on  the  statements  were  averaged  and  then  compared  and  tested  for  systematic  differences.  To  indicate  the  strength  of  the  differences  in  effects,  we  used  the  p-­‐value  of  a  ANOVA  F-­‐test  to  compare  two  independent  means  (<0,05  is  considered  statistical  significant).  The  statements  were  grouped  for  the  subdimensions  and  overall  dimensions  by  averaging  them.  The  two  statements  on  conflict  were  first  inverted  to  make  them  compatible  with  this  process.  For  the  outcome  dimensions,  the  scores  of  the  raters  were  also  averaged  and  then  processed  in  the  same  way.    Finally,  when  relevant,  we  asked  the  participants  to  rate  the  used  PSS  on  a  number  of  generic  usability  indicators,  using  a  7-­‐point  Likert  scale.        

Page 9: Cesar working document 9 urban strategy experiment 6

CESAR Working Document Series no. 9 Drawing vs. calculating

Page 9

3. EVALUATION  RESULTS  

3.1 Perceived  quality  of  the  planning  process  

All  findings  are  represented  in  figure  7.  On  the  x-­‐axis,  all  process  dimensions  are  represented  (the  grouped  dimensions  are  capitalized).  The  y-­‐axis  represents  the  average  score  on  a  seven  point  Likert  Scale.  Table  2  presents  the  outcomes  in  more  detail.  Also,  the  differences  (between  the  PSS  and  the  control  group  and  between  the  PSS  themselves)  and  their  statistical  significance  are  presented.    We  see  here  that  the  scores  of  the  treatment  groups  are  relatively  high  (an  overall  overage  of  5.2).  Especially  on  consensus  (on  problem  and  strategies)  and  role  satisfaction.  Participants  that  were  supported  by  Phoenix  perceived  less  quality  of  the  process  on  all  measured  dimensions.    Urban  Strategy  scores  lower  on  some  dimensions  (i.e.  Shared  language,  Consensus  and  Role  satisfaction)  and  higher  in  others  (most  notably  in  Reaction  and  Insight)    

Fig.  7.  Scores  on  all  process  dimensions  on  7-­‐point  Likert  scale  (composite  dimensions  are  capitalized)    

   

Table  2.  Scores,  differences  and  p  values  on  all  process  dimensions  (significant  differences  are  highlighted)  

   

   

Average  control  

Urban  Strategy   Phoenix   Dif  US   P  value  US  

Dif  Phoenix   P  value  Phoenix  

Dif  US  -­‐  Phoenix  

Pvalue  US  -­‐  Phoenix  

REACTION   5,26   5,42   4,89   0,15   0,571   -­‐0,37   0,138   0,53   0,071  

 ENTHUSIASM   5,10   5,58   4,98   0,49   0,098   -­‐0,12   0,695   0,60   0,038  

 SATISFACTION   5,62   5,63   5,25   0,01   0,982   -­‐0,37   0,125   0,37   0,188  

 CREDIBILITY   5,05   5,10   4,47   0,05   0,887   -­‐0,58   0,077   0,63   0,077  

INSIGHT   4,81   5,06   4,66   0,25   0,26   -­‐0,16   0,423   0,40   0,045  

 INSIGHTPROBLEM   4,73   5,05   4,66   0,33   0,2   -­‐0,07   0,775   0,40   0,095  

 INSIGHTASSUMPTIONS   4,88   5,07   4,66   0,18   0,43   -­‐0,23   0,304   0,41   0,062  

COMMITMENT   5,62   5,54   5,04   -­‐0,08   0,826   -­‐0,58   0,046   0,50   0,181  COMMUNICATION   5,19   5,38   5,04   0,18   0,47   -­‐0,15   0,64   0,33   0,267  SHAREDLANGUAGE   5,00   4,52   4,27   -­‐0,48   0,105   -­‐0,73   0,005   0,25   0,390  CONSENSUS   5,66   5,33   5,34   -­‐0,34   0,193   -­‐0,32   0,162   -­‐0,02   0,952  

 CONSENSUSPROBLEM   5,74   5,23   5,33   -­‐0,51   0,101   -­‐0,40   0,13   -­‐0,10   0,742  

 CONSENSUSGOALS   5,38   5,29   5,21   -­‐0,09   0,774   -­‐0,17   0,566   0,08   0,785  

 CONSENSUSSTRATEGIES   5,74   5,44   5,42   -­‐0,30   0,267   -­‐0,32   0,175   0,02   0,942  

COHESION   4,67   4,47   4,01   -­‐0,20   0,472   -­‐0,66   0,013   0,46   0,065  EFFICIENCY   5,19   4,92   4,25   -­‐0,27   0,541   -­‐0,94   0,043   0,67   0,143  ROLLEN   5,78   5,40   5,28   -­‐0,38   0,164   -­‐0,50   0,051   0,13   0,678  TOTAAL   5,15   5,11   4,75   -­‐0,05   0,812   -­‐0,41   0,022   0,36   0,085  

       

                 

N   21   24   24              

Page 10: Cesar working document 9 urban strategy experiment 6

CESAR Working Document Series no. 9 Drawing vs. calculating

Page 10

3.2 Perceived  quality  of  the  planning  outcome  

Figure  8  has  a  similar  setup  as   figure  7.  The  scores  of   the  two  raters  are  averaged  per  statement  and  than  averaged  for  each  dimension.  Table  3  presents  the  detailed  scores  and  differences.  Here,  we   see   that   the   Urban   Strategy   groups   score   higher   on   all   measured   dimensions,   except   on  implementability.  The  plans  of   the  groups   that  were   supported  by  Phoenix   score   lowest  on  most  dimensions.      

Fig.  8.  Scores  on  all  outcome  dimensions  on  7-­‐point  Likert  scale  (composite  dimensions  are  capitalized)  

   

Table  3.  Scores,  differences  and  p  values  on  all  outcome  dimensions  (there  are  no  significant  differences)    

   

Average  control  

Urban  Strategy   Phoenix   Dif  US   P  value  US  

Dif  Phoenix  

P  value  Phoenix  

Dif  US  -­‐  Phoenix  

Pvalue  US  -­‐  Phoenix  

NOVELTY   3,89   4,28   4,00   0,39   0,600   0,11   0,808   0,28   0,733  

 ORIGINALITY   3,75   4,33   3,88   0,58   0,477   0,13   0,775   0,46   0,608  

 PARADIGM  RELATEDNESS   4,17   4,17   4,25   0,00   1,000   0,08   0,872   -­‐0,08   0,911  

WORKABILITY   4,33   4,50   4,33   0,17   0,587   0,00   1,000   0,17   0,609  

 IMPLEMENTABILITY   4,17   3,83   3,67   -­‐0,33   0,653   -­‐0,50   0,417   0,17   0,834  

 ACCEPTABILITY   4,39   4,72   4,56   0,33   0,349   0,17   0,101   0,17   0,624  

RELEVANCE   4,44   4,50   3,72   0,06   0,768   -­‐0,72   0,334   0,78   0,296  

 APPLICABILITY   4,67   4,83   4,17   0,17   0,519   -­‐0,50   0,588   0,67   0,477  

 EFFECTIVENESS   4,33   4,33   3,50   0,00   1,000   -­‐0,83   0,238   0,83   0,238  

SPECIFICITY   4,88   5,08   4,48   0,20   0,305   -­‐0,40   0,160   0,60   0,074  

 COMPLETENESS   4,60   4,79   4,29   0,19   0,329   -­‐0,31   0,171   0,50   0,057  

 IMPLICATIONAL  EXPLICITNESS   5,33   5,67   4,67   0,33   0,422   -­‐0,67   0,294   1,00   0,101  

 CLARITY   5,67   5,83   5,08   0,17   0,519   -­‐0,58   0,165   0,75   0,134  

TOTAL   4,47   4,70   4,25   0,23   0,385   -­‐0,22   0,434   0,45   0,249  

       

                 

N   3   3   3                          

                 

Page 11: Cesar working document 9 urban strategy experiment 6

CESAR Working Document Series no. 9 Drawing vs. calculating

Page 11

3.3 Perceived  Usability  of  the  PSS  

Figure  9  and  table  4  present  the  scores  on  the  generic  usability  characteristics  as  perceived  by  the  participants.  On  all  dimensions,  Urban  Strategy  scores  higher.  This  difference  can  be  considered  statistical  significant  for  the  dimensions  Credibility,  Extensiveness,  Level  of  Detail,  and  for  the  total  usability.    

Fig.  9.  Scores  on  generic  usability  characteristics  of  the  PSS  on  7-­‐point  Likert  scale    

   

 Table  4.  Detailed  results  for  the  usability  characteristics  

Transparancy

Communicative value Clarity

Userfriend-lyness

Credibility

Extensive-ness Focus

Leve of detail

Easy to understand

Connects to role

Urban Strategy

Mean 5,57 5,79 5,92 5,57 5,96 6,08 5,43 5,63 5,83 5,58

N 23 24 24 23 24 24 23 24 23 24

Std. Deviation ,992 1,285 1,100 ,843 ,859 ,830 1,121 1,056 ,984 1,349

Phoenix Mean 5,36 5,29 5,46 5,17 4,88 5,38 5,08 4,54 5,57 5,17

N 22 24 24 23 24 24 24 24 23 24

Std. Deviation ,727 ,690 ,884 1,029 ,850 1,245 1,018 1,351 1,161 1,167

Sig.    

0,443   0,1   0,118   0,165   0   0,025   0,266   0,003   0,415   0,258  

 

Supports evaluating

ideas Supports

generating ideas Supports sketching

Bullshit detector

Creativity support

Understandable

indicators Efficiency Total Urban Strategy

Mean 5,58 5,42 5,83 4,96 4,00 4,83 5,46 5,50

N 24 24 24 23 24 23 24 24

Std. Deviation 1,018 1,213 1,007 1,522 1,44463 1,403 1,318 ,56014

Phoenix Mean 5,38 5,42 5,63 4,38 3,58 4,35 5,04 5,03

N 24 24 24 24 24 23 23 24

Std. Deviation 1,096 1,283 ,970 1,439 1,41165 1,027 1,296 ,53076

Sig.    

0,498   1   0,469   0,185   0,317   0,194   0,283   0,005  

Page 12: Cesar working document 9 urban strategy experiment 6

CESAR Working Document Series no. 9 Drawing vs. calculating

Page 12

 When  we  zoom  in  on  the  differences  in  roles  we  find  two  significant  differences  for  Urban  Strategy  and  one  for  Phoenix  (figure  10).    Fig.  9.  Role  specific  scores  on  usability  characteristics  based  on  significant  effects  for  Urban  Strategy  (left)  and  Phoenix  

(right)    

     

Page 13: Cesar working document 9 urban strategy experiment 6

4. CONCLUSIONS  AND  IMPLICATIONS  

4.1 Reflections  

There  are  several  important  reflections  to  make  on  the  methodology  that  have  serious  implications  for  the  results  and  their  generalizability.  The  laboratory  setup  with  students  allows  for  strong  control  over  the  treatment  and  control  groups,  but  it  also  simplifies  the  complexity  of  daily  planning  practice  on  some  important  aspects.  The  most  important  limitations  are  discussed  below.      Students:  In  the  context  of  planning  practice,  the  student  population  of  this  experiment  can  be  considered  as  being  empty  vessels.  They  do  not  have  much  tacit  knowledge  about  the  issues  in  the  Waalhaven  case;  neither  do  they  have  vested  interests  or  accountability  for  it.  This  makes  the  experiment  relatively  insensitive  for  some  important  effects  that  can  be  expected  in  real  planning  practice,  such  as  developing  a  shared  language  or  gaining  consensus.  Related  to  that,  we  would  also  expect  to  see  more  effects  on  the  quality  of  the  planning  outcome  in  such  a  practical  environment.      First  timers:  A  large  majority  of  the  students  stated  in  the  open  question  that  they  enjoyed  the  strategy  making  exercise,  since  they  never  did  this  before.  This  is  mirrored  in  the  relatively  high  scores  on  the  process  dimensions  (such  as  satisfaction)  by  the  students  in  the  control  group.  Again,  this  makes  the  experiment  less  sensitive  for  process  effects  that  would  be  expected  in  planning  practice.  Here,  the  participants  would  have  much  more  (negative  and  positive)  experiences  with  similar  processes  and  are  better  able  to  assess  the  added  value  of  Urban  Strategy.  Also,  they  would  be  able  to  score  the  instrument  characteristics  (table  3)  more  in  relation  to  other  instruments.  Related  to  that,  we  cannot  assume  that  the  control  group  worked  as  ‘business  as  usual’.      Raters:  Due  to  time  constraints,  we  worked  with  two  external  raters  from  the  University  of  Amsterdam.  For  them  it  was  difficult  to  assess  some  of  the  quality  dimensions  of  the  planning  outcome.  This  affected  both  their  judgment  of  the  control  and  treatment  planning  outcomes,  which  makes  its  implications  less  relevant.  They  both  noted  that  the  outcomes  were  poorly  written  and  some  lacked  a  legend.  This  sometimes  made  rating  difficult.    

4.2 General  conclusions    

With   these  methodological   limitations   in   mind,   the   experiment   has   offered   us   some   interesting  insights  how  the  usability  and  use  of  two  different  types  of  PSS:  communicating  and  analytical.      As  in  earlier  experiments  the  generic  usability  characteristics  of  both  instruments  are  highly  rated.  Overall,  participants  are  enthusiastic  about  the  instrument  and  often  surprised  about  its  speed  and  ease  of  use.      The  data  of  this  experiment  does  not  allow  to  draw  many  hard  conclusions.  However,  we  can  say  that   in   this   case  Urban  Strategy   is   considered   to  be   significantly  more  usable   than  Phoenix.  Also,  participants   that   have  worked  with   Urban   Strategy   score   significantly   higher   on   Enthusiasm   and  Insight   than   the   participants   that   worked  with   Phoenix.   Observations   indicated   that   these   could  relate  to  the  process  in  which  the  students  were  engaged  with  the  instrument.  Phoenix  decided  to  follow   a   process   in  which   each   role  was   coming   to   the   table   and   then   conflicts  were   discussed,  while  Urban  Strategy  focused  more  on  getting  all  roles  together  and  engaged  with  the  instrument  and   eachother.   Again,   as   also   found   in   the   earlier   experiments,   it   seems   that   this   process   is   the  main  element  on  which  the  effect  of  PSS  can  be  (easily  and  significantly)  improved.    

Page 14: Cesar working document 9 urban strategy experiment 6

CESAR Working Document Series no. 9 Drawing vs. calculating

Page 14

REFERENCES  

Al,  J.,  &  van  Tilburg,  W.  (2005).  Basisboek  instrumenten  regionale  bereikbaarheid.  Rotterdam:  Rijkswaterstaat  AVV.  

Couclelis,  H.  (2005).  “Where  has  the  future  gone?”  Rethinking  the  role  of  integrated  land-­‐use  models  in  spatial  planning.  Environment  and  Planning  A,  37,  1353-­‐1371.  

Dean,  D.  L.,  Hender,  J.  M.,  Rodgers,  T.  L.,  &  Santanen,  E.  L.  (2006).  Identifying  Quality,  Novel,  and  Creative  Ideas:Constructs  and  Scales  for  Idea  Evaluation.  Journal  of  the  Association  for  Information  Systems,  7,  646-­‐699.  

Friedmann,  J.  (1987).  Planning  in  the  public  domain:  From  knowledge  to  action.  Princeton:  Princeton  University  Press.  

Klosterman,  R.  (1999).  The  What  If?  collaborative  planning  support  system.  Environment  and  Planning  A,  26,  393-­‐408.  

Lee,  D.  B.  (1973).  Requiem  for  large-­‐scale  models.  Journal  of  the  American  Planning  Association,  39,  pp.  163-­‐178.  

Lee,  D.  B.  (1994).  Retrospective  on  large-­‐scale  urban  models.  Journal  of  the  American  Planning  Association,  60,  35-­‐40.  

Rittel,  H.,  &  Webber,  M.  (1984).  Dilemmas  in  a  general  theory  of  planning.  In  N.  Cross  (Ed.),  Developments  in  design  methodology  pp.  135-­‐144).  Chicester:  John  Wiley  and  Sons.  

Rouwette,  E.  A.  J.  A.,  Vennix,  J.  A.  M.,  &  Van  Mullekom,  T.  (2002).  Group  model  building  effectiveness:  a  review  of  assessment  studies.  System  Dynamics  Review,  18,  5-­‐45.  

Te  Brömmelstroet,  M.  (2010).  Equip  the  warrior  instead  of  manning  the  equipment:  Land  use  and  transport  planning  support  in  the  Netherlands.  Journal  of  Transport  and  Land  Use,  3,  25-­‐41.  

Te  Brömmelstroet,  M.  (2011).  What  do  we  support  and  how  (well)  do  we  do  it?  A  multidimensional  framework  to  measure  the  effectiveness  of  Planning  Support  Systems.  Environment  and  Planning  B:  Planning  and  Design,  submitted.  

Te  Brömmelstroet,  M.,  &  Schrijnen,  P.  M.  (2010).  From  Planning  Support  Systems  to  Mediated  Planning  Support:  A  structured  dialogue  to  overcome  the  implementation  gap.  Environment  and  Planning  B:  Planning  and  Design,  37,  3-­‐20.  

Vonk,  G.  (2006).  Improving  planning  support;  The  use  of  planning  support  systems  for  spatial  planning.  Utrecht:  Nederlandse  Geografische  Studies.  

Vonk,  G.,  &  Ligtenberg,  A.  (2009).  Socio-­‐technical  PSS  development  to  improve  functionality  and  usability—Sketch  planning  using  a  Maptable.  Landscape  and  Urban  Planning,  doi:10.1016/j.landurbplan.2009.10.001          

Waddell,  P.  (2002).  UrbanSim:  Modeling  Urban  Development  for  Land  Use,  Transportation  and  Environmental  Planning.  Journal  of  the  American  Planning  Association,  68,  297-­‐314.  

Waddell,  P.  (2011).  Integrated  Land  Use  and  Transportation  Planning  and  Modelling:  Addressing  Challenges  in  Research  and  Practice.  Transport  Reviews,  31,  209-­‐229.  

     

Page 15: Cesar working document 9 urban strategy experiment 6

CESAR Working Document Series no. 9 Drawing vs. calculating

Page 15

APPENDIX  I:  COMPETITION  SHEET  (DUTCH)  

5. STEDELIJKE  PLANNING  COMPETITIE    

Datum:     29/30  Oktober  2013    5.1  

Introductie  

Utrecht  wil  zich  in  de  toekomst  verder  ontwikkelen  als  aantrekkelijke  stad  voor  creatieve  bedrijven  en  jonge  gezinnen.  Daarvoor  wordt  nu  vooral  gezocht  naar  locaties  binnen  de  bestaande  stad  die  in  aanmerking  komen  voor  herontwikkeling.  Doordat  deze  plekken  op  korte  afstand  liggen  van  het  centrum  bieden  ze  de  stad  interessante  ontwikkelingslocaties.  Eén  van  deze  locaties  is  de  zogenaamde  Cartesiusdriehoek  (zie  figuur  1)  

Figuur  1:  Locatie  Cartesiusdriehoek  in  de  Utrechtse  binnenstad  

   

De  Cartesiusdriehoek  zou  een  creatieve  zone  moeten  worden  waar  hoog  stedelijk  wonen,  sport,  ontspanning  en  kleine  dienstverlening  hand-­‐in-­‐hand  gaan.  Het  moet  daarbij  voorop  lopen  op  het  gebied  van  milieuvriendelijke  en  duurzame  stedelijke  ontwikkeling.  Dat  schrijft  de  gemeente  Utrecht  in  een  uitgebreide  visie.  Daarvoor  moet  de  wegenstructuur  worden  aangepast,  is  er  meer  groen  nodig  en  zouden  er  enkele  cafés  moeten  komen,  zegt  de  gemeente.  Ook  moet  er  op  het  terrein  gezinsappartementen  en  een  groot  bedrijfsverzamelgebouw  verrijzen.  De  contouren  van  deze  strategie  zijn  in  een  ontwerp  vastgelegd  (figuur  2).  Het  ontwerp  scoort  helaas  nog  mager  op  ruimtelijke  kwaliteit.  Daarnaast  zijn  er,  door  de  ligging  in  de  buurt  van  het  spoor  en  in  het  oude  industrieterrein,  een  aantal  harde  (milieu-­‐)grenzen  die  overschreden  worden.  De  milieudruk  in  het  plangebied  is  zeer  hoog.  De  naastgelegen  industrie  zorgt  voor  de  nodige  geluidsoverlast  en  heeft  een  nadelig  effect  op  de  luchtkwaliteit  in  het  plangebied.  Daarnaast  is  geluidsoverlast  van  het  spoor  groot  en  zijn  er  vragen  gesteld  over  de  veiligheid  van  het  spoor:  er  komen  hier  namelijk  af  en  toe  transporten  met  gevaarlijke  stoffen  langs.    De  Cartesiusweg  levert  de  nodige  geluidsoverlast  in  het  plangebied.  Hoewel  de  doorstroming  op  de  Cartesiusweg  goed  is,  is  de  verkeersafwikkeling  

Page 16: Cesar working document 9 urban strategy experiment 6

CESAR Working Document Series no. 9 Drawing vs. calculating

Page 16

direct  buiten  het  plangebied  ook  een  punt  van  discussie.  Deze  was  zonder  dit  plan  al  problematisch,  maar  wordt  door  de  bijdrage  van  het  plangebied  alleen  maar  verergerd.  Aan  jullie  de  opdracht  om  hiervoor  en  op  basis  van  de  aangereikte  informatie  een  zo  goed  mogelijk  alternatieve  strategie  op  te  stellen.    

Figuur  2:  Kaart  van  het  gebied  met  een  indeling  van  woningen  (appartementen),  horeca,    winkels,  groen  en  een  wegenstructuur  .  

   Opdracht  In  90  minuten  met  je  team  tot  een  verbeterd  plan  komen.  Eén  kaart  (+legenda)  en  een  toelichting  worden  door  ons  beoordeeld  op  hoe  aantrekkelijk  het  gebied  wordt  en  hoe  het  scoort  op  ruimtelijke  kwaliteit  en  milieueisen.  Daarnaast  wordt  gekeken  naar  innovatie,  relevantie,  haalbaarheid  en  specificiteit  van  jullie  plan.                                    

Page 17: Cesar working document 9 urban strategy experiment 6

CESAR Working Document Series no. 9 Drawing vs. calculating

Page 17

APPENDIX  II:  THE  ROLES  AND  THEIR  INFORMATION  (DUTCH)  

~UW  ROL~    De   ontwerpcompetitie   gaat   uit   van   verschillende   rollen.   Iedere   groep   bestaat   uit  stedenbouwkundigen,  milieu   adviseurs,   verkeerskundigen   en  burgers.   Voor   ieder   van  deze   rollen  staat  een  prijs  op  het  spel  voor  de  groep  die  het  rol-­‐specifieke  belang  het  beste  in  het  uiteindelijke  plan  hebben  gekregen.    Uw  rol  is  STEDENBOUWKUNDIGE  (Zilveren  hoed).  Dit  houdt  concreet  in  dat  u  wordt  gevraagd  om  op   basis   van   de   programmatische   uitgangspunten   een   ruimtelijk   plan   op   te   stellen   en   daarbij  tijdens  het  gehele  proces  zo  goed  mogelijk   te   letten  op  de  algehele  kwaliteiten  en  uitstraling  van  het   plan.   Als   er   enkel   naar   juridische   randvoorwaarden   wordt   gekeken,   wordt   er  misschien   een  gebied   ontwikkelt   dat   onvoldoende   ruimte   en   flexibiliteit   biedt   en   niet   interessant   is   voor   de  (creatieve)  bedrijven  en  stedelijke  gezinnen  die  zich  hier  kunnen  vestigen.  Het  is  aan  u  en  uw  mede  stedenbouwkundigen  om  dit  te  voorkomen.  Denk  bij  het  plan  vooral  aan  de  verhoudingen  tussen  de  gebouwen  in  het  gebied,  de  aantrekkelijkheid  van  de  openbare  ruimte  (gedurende  de  hele  dag),  de   samenhang   met   omliggende   buurten   en   functies   die   het   gebied   ook   een   interessante  bestemming  voor  Utrechters  kan  maken.    Het   beste   stedenbouwkundige   team   wint   uiteindelijk   het   prijzenpakket.   U   kunt   hierbij   op   de  volgende  aspecten  punten  scoren:  -­‐ algehele  uitstraling  van  het  uiteindelijke  plan   (voor   (creatieve)  bedrijven  en   jonge  gezinnen)  

-­‐ Samenhangend  concept  -­‐ Samenhang  met  omliggende  buurten  en  structuur  van  de  stad  -­‐ Ideeën  voor  de  openbare  ruimte  en  sfeerbeeld  van  bebouwing  -­‐ Aandacht  voor  het  plan  zelf  (legenda,  korte  en  bondige  tekst)    Om   te   beginnen   wordt   u   gevraagd   om   samen   met   de   andere   stedenbouwkundigen   1   á   2  verbeteringen  van  het  bestaande  plan  op   te  stellen  vanuit  uw  rol.  U  heeft  daarvoor  vijf  minuten.  Daarna  gaat  u  samen  een  optimaal  nieuw  plan  voor  het  gebied  uitwerken.          

                                                                 

Page 18: Cesar working document 9 urban strategy experiment 6

CESAR Working Document Series no. 9 Drawing vs. calculating

Page 18

 

~UW  ROL~    De   ontwerpcompetitie   gaat   uit   van   verschillende   rollen.   Iedere   groep   bestaat   uit  stedenbouwkundigen,  milieu   adviseurs,   verkeerskundigen   en  burgers.   Voor   ieder   van  deze   rollen  staat  een  prijs  op  het  spel  voor  de  groep  die  het  rol-­‐specifieke  belang  het  beste  in  het  uiteindelijke  plan  hebben  gekregen.    Uw   rol   is  BURGER   (Blauwe  hoed)  die   pal   naast   het   plangebied  woont   (kies   desgewenst   zelf   een  plek).   Dit   houdt   concreet   in   dat   u   twee   belangen   heeft:   Enerzijds   wilt   u   dat   de   nieuwe  ontwikkelingen   niet   teveel   negatieve   effecten   hebben   voor   uw  woongenot   (bv   extra   verkeer).   U  wilt   daarbij   dat   er   in   de   nieuwe   wijk   zoveel   mogelijk   voorzieningen   die   iets   toevoegen   aan   uw  woonomgeving,   zoals   bijvoorbeeld   winkels,   parken   en   een   aantrekkelijke   openbare   ruimte.  Anderzijds  bent  u  ook  kritisch  naar  de  algehele  financiële  huishouding  van  uw  stad.  Al  die  grote  en  dure  projecten  waarvan  het  voor  u  onduidelijk  is  wat  de  meerwaarde  voor  de  Utrechter  is.  Daarom  kijkt  u  ook  kritisch  naar  de  ambities  die   in  het  gebied  worden  gerealiseerd  en  hoe  deze  volgens  u  wel  of  niet  bijdragen  aan  een  de  buurt  en  de  stad.  Wees  samen  met  de  andere  burgers  in  uw  groep  zoveel  mogelijk  de  kritische  luis  in  de  pels  voor  de  andere  deskundigen.    Het   beste   team   van   burgers   wint   uiteindelijk   het   prijzenpakket.   U   kunt   hierbij   op   de   volgende  aspecten  punten  scoren:  -­‐ Blijven  de  kosten  voor  de  Utrechtse  belastingbetaler  binnen  de  perken?  -­‐ Blijven  de  negatieve  effecten  voor  de  omwonende  beperkt?  -­‐ Hoeveel   nuttige   functies   en   voorzieningen   voor   de   omliggende   buurten   is   er  gerealiseerd  in  het  plangebied?  

 Om  te  beginnen  wordt  u  gevraagd  om  samen  met  de  andere  burgers  1  á  2  verbeteringen  van  het  bestaande  plan  op  te  stellen  vanuit  uw  rol  als  burger.  U  heeft  daarvoor  vijf  minuten.  Daarna  gaat  u  samen  een  optimaal  nieuw  plan  voor  het  gebied  uitwerken.        

                                                                   

Page 19: Cesar working document 9 urban strategy experiment 6

CESAR Working Document Series no. 9 Drawing vs. calculating

Page 19

   

~UW  ROL~    De   ontwerpcompetitie   gaat   uit   van   verschillende   rollen.   Iedere   groep   bestaat   uit  stedenbouwkundigen,  milieu   adviseurs,   verkeerskundigen   en  burgers.   Voor   ieder   van  deze   rollen  staat  een  prijs  op  het  spel  voor  de  groep  die  het  rol-­‐specifieke  belang  het  beste  in  het  uiteindelijke  plan  hebben  gekregen.    Uw  rol  is  VERKEERSKUNDIGE  (Paarse  hoed).  Dit  houdt  concreet  in  dat  u  verantwoordelijk  bent  voor  de  afwikkeling  van  al  het  verkeer  in  en  rond  het  plangebied.  Daarnaast  moet  u  en  uw  team  zo  goed  mogelijk  proberen  om  de  negatieve  effecten  van  deze  mobiliteit  zoveel  mogelijk  te  reduceren.  Kan  het  bestaande  wegennet  al  het  nieuwe  verkeer   in  en  uit  het  plangebied  verwerken?  Ontstaan  er  capaciteitsproblemen   en   hoe   lost   u   dit   op?   Is   er   voldoende   parkeergelegenheid   voorzien?  Daarnaast   moet   u   en   de   andere   verkeerskundigen   ook   kijken   naar   de   mogelijkheden   van   het  openbaar   vervoer,   de   fiets   en   de   voetganger.   Wordt   er   in   het   plangebied   voldoende   aan   hen  gedacht  en  kan  er  wellicht  gebruik  worden  gemaakt  van  faciliteiten  in  aangrenzende  buurten?    Het   beste   team   van   verkeerskundigen   wint   uiteindelijk   het   prijzenpakket.   U   kunt   hierbij   op   de  volgende  aspecten  punten  scoren:  -­‐ Functioneren  van  het  netwerk  in  en  rondom  het  gebied  -­‐ Aandacht  voor  openbaar  vervoer,  fiets  en  voetganger  -­‐ Afdoende  parkeerfaciliteiten  -­‐ Reductie  van  negatieve  effecten  van  mobiliteit  in  en  rond  het  plangebied    Om  te  beginnen  wordt  u  gevraagd  om  samen  met  de  andere  verkeerskundigen  1  á  2  verbeteringen  van  het  bestaande  plan  op  te  stellen  vanuit  uw  rol.  U  heeft  daarvoor  vijf  minuten.  Daarna  gaat  u  samen  een  optimaal  nieuw  plan  voor  het  gebied  uitwerken.      

                                                                   

Page 20: Cesar working document 9 urban strategy experiment 6

CESAR Working Document Series no. 9 Drawing vs. calculating

Page 20

   

~UW  ROL~    De   ontwerpcompetitie   gaat   uit   van   verschillende   rollen.   Iedere   groep   bestaat   uit  stedenbouwkundigen,  milieu-­‐adviseurs,   verkeerskundigen   en   burgers.   Voor   ieder   van   deze   rollen  staat  een  prijs  op  het  spel  voor  de  groep  die  het  rol-­‐specifieke  belang  het  beste  in  het  uiteindelijke  plan  hebben  gekregen.    Uw   rol   is  MILIEU  ADVISEUR   (Gele   hoed).   Dit   houdt   bij   deze   opdracht   concreet   in   dat   u   en   uw  collega-­‐adviseurs   zich   vooral   richten   op   de   randvoorwaarden   voor   het   plan   vanuit   verschillende  milieunormen  en  de  kansen  om  een  hogere  milieukwaliteit   te   realiseren.  Een   focus  op  kansen   in  plaats   van   alleen   op   beperkingen   is   hierbij   belangrijk.   Zo   mogen   er   geen   woningen   worden  gebouwd  op  de  plekken  waar  sprake  is  van  een  overschrijding  van  de  geluidsnormen  en  kan  door  meer   afstand   te   houden   dan   wettelijk   vereist   of   het   treffen   van   maatregelen   (zoals  geluidschermen)   een  betere   geluidkwaliteit   bij   de  woningen  worden  bereikt.  Naast  het   letten  op  externe  problemen  die  worden  veroorzaakt  door  industrie  en  verkeer  moet  u  uiteraard  ook  letten  over  de  milieu-­‐  en  duurzaamheidskenmerken  van  de  geplande  interventies   in  het  plangebied.  Kijk  daarbij  extra  kritisch  naar  de  ideeën  van  de  andere  partijen  in  je  groep.    Het   beste   team   van   milieu   adviseurs   wint   uiteindelijk   het   prijzenpakket.   U   kunt   hierbij   op   de  volgende  aspecten  punten  scoren:  -­‐ De   mate   waarin   het   plan   voldoet   aan   geluids-­‐   en   luchtkwaliteitscontouren   die  worden   veroorzaakt   door   het   spoor   en   de   weg   (hier   mogen   nu   geen   woningen  dichtbij  worden  gepland)  

-­‐ De  mate  waarin  het  plan  voldoet  aan  de  contouren  van  de  industrie  -­‐ Reductie  van  negatieve  milieueffecten  in  en  rond  het  plangebied  -­‐ De  milieuvriendelijkheid  van  alle  interventies  en  van  het  algehele  plan    Om  te  beginnen  wordt  u  gevraagd  om  samen  met  de  andere  milieu  adviseurs  1  á  2  verbeteringen  van  het  bestaande  plan  op  te  stellen  vanuit  uw  rol.  U  heeft  daarvoor  vijf  minuten.  Daarna  gaat  u  samen  een  optimaal  nieuw  plan  voor  het  gebied  uitwerken.          

                                                                     

 

 

 

Page 21: Cesar working document 9 urban strategy experiment 6

CESAR Working Document Series no. 9 Drawing vs. calculating

Page 21

APPENDIX  II:  EVALUATION  FORM  FOR  QUALITY  OF  THE  PROCESS  (DUTCH)  

   

Uw#groepsnummer:

Uw#studentnummer:

Wat#was#uw#rol?

Ik#heb#er#vertrouwen#in#dat#de#uitkomst#goed#is

Ik#ondersteun#de#meeste#resultaten#van#de#sessie

De#sessie#heeft#geleid#tot#nieuwe#inzichten

Ik#begrijp#nu#de#voorgestelde#oplossingen#van#de#andere#deelnemers#beter

Het#resultaat#van#de#sessie#is#gebaseerd#op#correcte#aannames#over#het#stedelijk#systeem

De#sessie#was#succesvol

Het#proces#heeft#me#inzicht#gegeven#in#de#meningen#en#ideeen#van#anderen#over#het#probleem

Ik#heb#een#goed#gevoel#over#de#sessie

Ik#heb#nu#meer#inzicht#in#de#processen#die#een#rol#spelen#in#het#probleem

Ik#zal#inzichten#uit#de#sessie#gaan#gebruiken#in#mijn#dagelijkse#praktijk

Ik#begrijp#nu#hoe#andere#deelnemers#het#probleem#zien

Het#resultaat#biedt#een#echte#oplossing#voor#het#probleem

############

NVT

1 2 3 4 5 6 7

Zeer.meeoneens

Zeer.meeeens

Het#is#duidelijk#voor#mij#wat#de#oorzaken#van#het#probleem#zijn

De#andere#deelnemers#begrijpen#beter#hoe#ik#het#probleem#zie

Ik#ben#tevreden#met#de#sessie

De#sessie#heeft#geresulteerd#in#bruikbare#resultaten

Mijn#inzicht#in#het#probleem#is#vergroot

Mijn#begrip#van#de#meningen#van#andere#deelnemers#over#het#probleem#is#toegenomen

We#hebben#tijdens#de#sessie#een#gemeenschappelijke#professionele#taal#ontwikkeld

De#sessie#heeft#mijn#inzicht#in#de#relatie#tussen#de#verschillende#elementen#van#het#probleem#vergroot

De#andere#deelnemers#zijn#volgens#mij#tevreden#met#de#sessie

Stedenbouwkundige# Burger#

Milieu#adviseur# Verkeerskundige#

Page 22: Cesar working document 9 urban strategy experiment 6

CESAR Working Document Series no. 9 Drawing vs. calculating

Page 22

   

Ik#was#goed#in#staat#mijn#mijn#rol#uit#te#voeren

We#hebben#een#gedeelde#visie#over#strategische#doelen#bereikt

Er#was#sprake#van#conflict#tijdens#de#sessie

We#waren#in#staat#consensus#over#het#probleem#te#ontwikkelen

We#hebben#een#gedeelde#visie#over#mogelijke#oplossingen#bereikt

Er#was#conflict#over#de#uit#te#voeren#taak

We#hebben#een#gemeenschappelijke#visie#over#het#probleem#bereikt

We#hebben#de#tijd#efficiënt#benut

Tijdens#de#sessie#ontstond#een#platform#die#het#delen#van#ideeen#ondersteunde

De#sessie#bracht#me#dichter#bij#de#andere#deelnemers

Ik#heb#vanuit#mijn#rol#interventies#kunnen#inbrengen#in#het#plan

De#onderwerpen#die#vanuit#mijn#rol#van#belang#zijn,#zijn#tijdens#de#sessie#goed#naar#voren#gekomen

De#resultaten#zijn#een#integratie#van#diverse#meningen#en#ideeen#van#de#deelnemers

Ik#had#een#sterk#groepsgevoel#tijdens#de#sessie

Heeft#u#nog#andere#opmerkingen#over#de#sessie?

NVT

1 2 3 4 5 6 7

Zeer.meeoneens

Zeer.meeeens

Page 23: Cesar working document 9 urban strategy experiment 6

CESAR Working Document Series no. 9 Drawing vs. calculating

Page 23

APPENDIX  III:  EVALUATION  FORM  FOR  QUALITY  OF  THE  OUTCOME  (DUTCH)  

 

Geef a.u.b. het nummer van de strategie aan:

NVT

1 2 3 4 5 6 7

De  strategie  is  ingenieus

De  strategie  is  fantasierijk

De  strategie  is  verrassend

De  strategie  is  vernieuwend

De  strategie  is  radicaal

De  strategie  heeft  een  transformerende  potentie

De  strategie  is  eenvoudig  te  implementeren

De  strategie  is  sociaal  acceptabel

De  strategie  is  juridisch  acceptabel

De  strategie  is  politiek  acceptabel

De  strategie  heeft  een  duidelijk  verband  met  het  probleem

De  strategie  zal  het  probleem  oplossen

Dit  is  een  effectieve  strategie

De  strategie  kan  worden  opgedeeld  in  verschillende  componenten

De  strategie  gaat  in  op  "wie"

De  strategie  gaat  in  op  "wat"

De  strategie  gaat  in  op  "waar"

De  strategie  gaat  in  op  "wanneer"

De  strategie  gaat  in  op  "waarom"

De  strategie  gaat  in  op  "hoe"

Er  is  een  duidelijke  relatie  tussen  voorgestelde  acties  &  verwachte  uitkomsten

de  strategie  wordt  duidelijk  gecommuniceerd

De  strategie  is  makkelijk  te  begrijpen

De  strategie  sluit  aan  op  stedelijke  dynamiek

Heeft  u  nog  verdere  opmerkingen  over  deze  strategie?

Zeer meeoneens

Zeer meeeens

Page 24: Cesar working document 9 urban strategy experiment 6

CESAR Working Document Series no. 9 Drawing vs. calculating

Page 24

APPENDIX  IV:  EVALUATION  FORM  FOR  USABILITY  OF  PSS  (DUTCH)  

 

Uw#groepsnummer

Uw#Studentennummer

Wat#was#uw#rol? StedenbouwkundigeBurgerMilieu#adviseurVerkeerskundige

N.V.T

1 2 3 4 5 6 7

Het$instrument$was$transparant

De$communicatieve$waarde$van$de$output$was$hoog

De$output$werd$duidelijk$weergegeven

Het$instrument$was$gebruiksvriendelijk

De$output$was$geloofwaardig

Het$instrument$was$uitgebreid$genoeg

De$focus$van$het$instrument$was$voldoende

Het$detailniveau$van$de$kaarten$was$voldoende

Het$instrument$was$makkelijk$te$begrijpen

Het$instrument$sloot$goed$aan$bij$de$rol$die$ik$vervulde

Het$instrument$ondersteunde$het$evalueren$van$alternatieven$goed

Het$instrument$ondersteunde$het$creëren$van$ideeën$goed

Het$instrument$ondersteunde$het$schetsen$van$ideeën$goed

Door$het$gebruik$van$het$instrument$werden$zin$en$onzin$van$elkaar$gescheiden$Door$het$gebruik$van$het$instrument$werd$onze$creativiteit$beperkt

Ik$begrijp$wat$er$(niet)$werd$meegenomen$in$de$indicatoren

Door$het$instrument$waren$we$in$staat$om$meer$te$doen$in$minder$tijd

Zeer#meeoneens

Zeer#meeeens

Heeft$U$nog$andere$opmerkingen$over$het$instrument?