Jumping  To  Conclusions  

Een  onderzoek  naar  eisen  aan  conclusies  van    ontwerpgerichte  praktijkgerichte  onderzoeksrapporten  

             

     Barbara  C.M.  Devilee  MA  studentnummer:  2512641  masterthese  Teaching  and  Learning  in  Higher  Education  Vrije  Universiteit  Amsterdam  Faculteit  Psychologie  en  Pedagogiek    eerste  begeleider:  dr.  Hester  A.  Glasbeek  tweede  beoordelaar:  dr.  Judith  Schoonenboom    

 

 

                   

 

 

 

 

Samenvatting  Studenten  van  het  afstudeerprofiel  Redactie  en  Mediaproductie  (RMP),  onderdeel  van  de  opleiding  Media,  Informatie  en  Communicatie  (MIC)  van  de  Hogeschool  van  Amsterdam  (HvA)  hebben  grote  moeite  met  het  schrijven  van  goede  conclusies  in  hun  onderzoeksrapporten.  Uit  een  inventarisatie  van  de  documenten  van  de  opleiding  blijkt  dat  het  de  studenten  ontbreekt  aan  duidelijke  instructies  voor  het  schrijven  van  een  conclusie.  Dit  is  niet  alleen  een  probleem  voor  de  studenten,  ook  voor  docenten  zijn  een  duidelijke  definitie  van  en  eisen  aan  de  conclusie  van  belang.  Zij  moeten  immers  in  staat  zijn  om  studenten  hierin  adequaat  te  begeleiden.    Dit  gebrek  aan  eisen  voor  een  conclusie  blijkt  een  hiaat  in  het  onderzoeksvaardighedenonderwijs  van  de  opleiding  en  ook  in  de  literatuur  over  onderzoeksmethodologie.  Doel  van  dit  onderzoek  is  om  een  complete,  consistente  en  eenduidige  instructie  ten  aanzien  van  de  inhoud,  de  structuur  en  de  kwaliteit  van  conclusies  van  ontwerpgericht  praktijkgericht  onderzoek  op  te  stellen.    Hiervoor  is  een  duidelijke  definitie  van  een  conclusie  onontbeerlijk.  Aan  de  hand  van  de  eerste  uitkomsten  van  dit  onderzoek  is  deze  als  volgt  geformuleerd:  De  conclusie  is  het  antwoord  op  de  probleemstelling  dat  aan  de  hand  van  een  synthese  van  onderzoeksresultaten  wordt  gegeven  en  waarin  wordt  uitgelegd  op  welke  wijze  het  antwoord  bijdraagt  aan  de  doelstelling  van  het  onderzoek.       Uit  de  gefundeerde  theorie-­‐analyse  van  onderzoeksrapporten  van  studenten  en  uit  interviews  met  docenten  Onderzoek  is  gebleken  dat  de  geïdentificeerde  knelpunten  in  de  conclusies  van  onderzoeksrapporten  in  sterke  mate  samenhangen  met  andere  onderdelen  van  hun  onderzoek.  De  kwaliteit  van  de  conclusie  hangt  sterk  af  van  de  kwaliteit  van  het  gehele  onderzoeksproces.  Ook  konden  alle  knelpunten  in  de  conclusies  gekoppeld  worden  aan  zes  veelvoorkomende  fouten  in  een  onderzoeksproces  zoals  Oost  (2002)  deze  beschrijft.  Oost  koppelt  de  zes  veelvoorkomende  fouten  aan  zes  kwaliteitscriteria  voor  het  gehele  onderzoeksproces.  De  kwaliteitscriteria  voor  de  conclusie  zijn  daarom  afgeleid  van  de  criteria  van  Oost:  controleerbaar,  vakkundig,  betrouwbaar,  logisch,  valide  en  adequaat.  Daarnaast  is  gesteld  dat  kwaliteitscriteria  voor  ontwerpgericht  praktijkgericht  onderzoek  niet  afwijken  van  die  voor  theoriegericht  onderzoek,  maar  dat  deze  wel  een  specifieke  uitwerking  hebben.  Dit  heeft  te  maken  met  het  verschil  in  doel-­‐  en  vraagstelling  tussen  theoriegericht  onderzoek  en  ontwerpgericht  praktijkgericht  onderzoek.  De  vraag-­‐  en  doelstelling  van  theoriegericht  onderzoek  zijn  gericht  op  het  verwerven  van  (meer)  kennis  over  een  bepaald  onderwerp,  terwijl  vraag-­‐  en  doelstelling  van  praktijkgericht  onderzoek  gericht  is  op  de  oplossing  van  een  specifiek  veldprobleem.  Dat  is  van  invloed  op  de  functie  van  de  conclusie.  De  conclusie  van  ontwerpgericht  praktijkgericht  onderzoek  is  gericht  op  het  aantonen  van  de  bruikbaarheid  en  toepasbaarheid  van  de  oplossing  voor  een  specifiek  probleem.  Op  basis  van  de  uitkomsten  van  dit  onderzoek  konden  de  eisen  aan  de  conclusie  met  betrekking,  inhoud,  structuur  en  kwaliteit  vastgesteld  worden.    

 

 

Voorwoord  Deze  these  is  geschreven  ter  afronding  van  de  master  Teaching  and  Learning  in  Higher  Education  aan  de  Vrije  Universiteit  van  Amsterdam.  Bij  deze  opleiding  geldt  dat  de  eigen  onderwijspraktijk  van  de  deelnemers  een  belangrijke  inspiratiebron  is  voor  de  opdrachten  en  onderzoeken  die  de  deelnemers  uitvoeren.  Voor  het  zoeken  naar  een  onderwerp  voor  deze  these  was  dit  zeker  het  geval.  Aan  de  basis  van  dit  onderzoek  liggen  drie  persoonlijke  overtuigingen.  Ten  eerste  vind  ik  dat  een  taak  van  docenten  is  om  te  achterhalen  waarom  een  student  moeite  heeft  met  bepaalde  lesstof  of  opdrachten.  Docenten  moeten  begrijpen  waarom  een  student  iets  niet  begrijpt  en  om  de  instructie  daarop  aan  te  passen.  Daarom  heb  ik  in  dit  onderzoek  de  knelpunten  die  studenten  ondervinden  bij  het  schrijven  van  een  conclusie  diepgaand  geanalyseerd.     Ten  tweede:  over  docenten  wordt  gezegd  dat  ze  vaak  alleen  maar  letten  op  wat  studenten  fout  doen  en  dat  ze  geen  aandacht  hebben  voor  wat  er  wel  goed  gaat.  Dat  is  misschien  ten  dele  zo,  maar  ik  vind  dat  docenten  anders  moeten  omgaan  met  fouten  die  studenten  maken:  we  moeten  als  uitgangspunt  nemen  dat  studenten  leren  van  hun  fouten  en  dat  fouten  maken  dus  een  belangrijk  onderdeel  is  van  het  leerproces.  De  aanwijzingen  die  studenten  krijgen  om  hun  fouten  te  verbeteren,  maken  dat  leerproces  mogelijk.       Ten  derde  ben  ik  ervan  overtuigd  dat  studenten  meer  leren  wanneer  ze  niet  alleen  weten  wat  ze  moeten  doen,  maar  ook  waarom  ze  dat  moeten  doen.  Zo  wordt  het  maken  van  een  schoolopdracht  geen  afvinklijstje,  maar  een  uitdaging  waar  studenten  zelf  ook  het  nut  van  inzien.  Daarom  is  een  belangrijk  onderdeel  van  de  instructie  over  onderzoeksrapporten,  uitleg  over  het  nut  van  een  het  verrichten  van  onderzoek  en  het  nut  van  de  conclusie.     De  uitkomsten  van  dit  onderzoek  zijn  in  eerste  instantie  bedoeld  om  het  onderzoeksvaardighedenonderwijs  van  de  opleiding  MIC  te  verbeteren.  Ik  hoop  dan  ook  dat  de  opzet  voor  de  instructie  van  een  conclusie,  die  dit  onderzoek  heeft  opgeleverd,  voor  veel  van  mijn  collega’s  bruikbaar  is.     Dankzij  de  docenten  van  de  master  Teaching  en  Learning  in  Higher  Education  heb  ik  me  kunnen  verdiepen  in  verschillende  facetten  van  het  doceren  in  het  Hoger  Onderwijs  en  heb  ik  mij  als  docent  verder  kunnen  professionaliseren.  In  de  afstudeerfase  heb  ik  veel  steun  gehad  aan  eerste  begeleider  Hester  Glasbeek  en  tweede  beoordelaar  Judith  Schoonenboom.  Hester  heeft  zich  in  korte  tijd  zorgvuldig  verdiept  in  mijn  onderwerp  en  mij  adviezen  gegeven  waardoor  ik  de  redeneerlijn  van  deze  these  kon  aanscherpen.  Judith  heeft  me  ook  al  in  eerdere  fasen  van  mijn  studie  veel  bijgebracht  over  onderzoeksmethodologie.  Als  ik  zelf  de  draad  even  kwijt  was,  bleef  zij  vertrouwen  op  een  goede  afronding  van  het  onderzoek.  Ook  dank  ik  Jos  Beishuizen  voor  zijn  hulp  bij  het  aanscherpen  van  het  onderzoeksvoorstel.     Het  onderzoek  is  uitgevoerd  tussen  februari  en  juli  2014  aan  de  opleiding  Media  Informatie  en  Communicatie  van  de  Hogeschool  van  Amsterdam.  Dit  was  niet  mogelijk  geweest  zonder  de  medewerking  van  docenten  en  studenten.  Ik  dank  mijn  collega’s  Eelco  Brancart,  Suzanne  van  der  Wateren,  Rick  Goossens  en  Harold  Pflug  voor  hun  medewerking  aan  de  interviews  en  alle  studenten  die  hun  onderzoeksrapporten  ter  beschikking  stelden  voor  dit  onderzoek.  Het  eindresultaat  is  mede  te  danken  aan  het  kritische  oog  van  mijn  collega’s:  Rose  Leighton  en  Gerlof  Donga  valideerden  mijn  knelpuntenanalyse  en  lazen  mee  met  de  tekst;  Yvonne  Poot,  Reintje  Gianotten  en  Bas  Homans  lazen  mee  en  gaven  feedback  en  Wouter  Janssen  redigeerde  het  geheel.  Ik  prijs  mezelf  gelukkig  met  zulke  fijne  collega’s.  Speciale  dank  gaat  uit  naar  mijn  partner  Fifi  Schwarz.  Onze  talloze  gesprekken  over  het  onderzoek  en  haar  opbouwende  commentaar  op  verschillende  concepten  hebben  mij  het  vertrouwen  gegeven  dat  ik  nodig  had  om  deze  these  af  te  ronden.              

 

INLEIDING  ..........................................................................................................................  1  

"De  smurfen  zijn  van  kleur  veranderd"  ....................................................................................................  1  

Probleemstelling  ......................................................................................................................................  2  

Relevantie  .................................................................................................................................................  3  

Onderzoeksvaardigheden  in  het  curriculum  van  het  afstudeerprofiel  RMP  ............................................  4  METHODE  ..........................................................................................................................  7  

Materiaal  en  participanten  .......................................................................................................................  8  

Context  .....................................................................................................................................................  9  

Onderzoeksmethodologie  ........................................................................................................................  9  

Validiteit  .................................................................................................................................................  12  RESULTATEN  ....................................................................................................................  15  

Instructie  voor  het  schrijven  van  een  conclusie  vanuit  de  opleiding  .....................................................  15  

Instructie  voor  het  schrijven  van  een  conclusie  in  de  literatuur  ............................................................  16  

Instructie  voor  het  schrijven  van  een  conclusie  door  andere  opleidingen,  online  gepubliceerd  ...........  17  

Knelpunten  in  de  conclusies  van  onderzoeksrapporten  ........................................................................  18  

Vergelijking  van  de  knelpunten  met  veelgemaakte  fouten  in  onderzoek  ..............................................  26  

Knelpunten  gekoppeld  aan  kwaliteitscriteria  voor  onderzoek  ..............................................................  29  

Verschillen  in  kwaliteitscriteria  voor  theoriegericht  en  ontwerpgericht  praktijkgericht  onderzoek?  ...  31  

De  functie  van  de  conclusie  van  ontwerpgericht  praktijkgericht  onderzoek  .........................................  32  

Samengevat  ............................................................................................................................................  32  CONCLUSIE  ......................................................................................................................  34  

De  inhoud  en  de  structuur  van  de  conclusie  ..........................................................................................  35  

Kwaliteitscriteria  voor  de  conclusie  van  ontwerpgericht  praktijkgericht  onderzoek  .............................  35  

Beperkingen  van  dit  onderzoek  .............................................................................................................  36  DISCUSSIE  ........................................................................................................................  37  

Relevantie  voor  de  praktijk  ....................................................................................................................  37  

Aanbevelingen  voor  de  opleiding  MIC  ...................................................................................................  38  

Aanbevelingen  voor  verder  onderzoek  ..................................................................................................  38  LITERATUUR  .....................................................................................................................  41  BIJLAGEN  .........................................................................................................................  43  

Bijlage  I  Advies  voor  opleiding  MIC  ........................................................................................................  43  

Bijlage  II  interviewschema's  ...................................................................................................................  45  

Bijlage  III  Huidige  richtlijnen  voor  de  conclusie  in  onderzoeksrapporten  vanuit  de  opleiding  MIC  .......  46  

Bijlage  IV  Overzicht  geïnventariseerde  literatuur  onderzoeksmethodologie  ........................................  50  

Bijlage  V  Instructie  voor  validering  .........................................................................................................  51  

 

 

1    

Inleiding  

Het  curriculum  van  de  opleiding  Media,  Informatie  en  Communicatie  (MIC),  onderdeel  van  de  Hogeschool  van  Amsterdam,  is  de  afgelopen  jaren  veranderd.  Uiteraard  worden  jaarlijks  de  vakinhoudelijke  modules  geüpdatet.  Dat  is  noodzakelijk  om  aansluiting  te  blijven  houden  met  de  snel  veranderende  beroepsprofielen  binnen  de  mediasector.  Daarnaast  is  binnen  het  curriculum  steeds  meer  nadruk  komen  te  liggen  op  onderwijs  in  onderzoeksvaardigheden.  Dat  geldt  niet  alleen  voor  de  opleiding  MIC.  Onderwijs  in  onderzoeksvaardigheden  neemt  een  steeds  grotere  en  belangrijkere  plaats  in  binnen  het  hoger  beroepsonderwijs.  Daar  zijn  meerdere  aanleidingen  voor.  Professionals  moeten  in  staat  zijn  om  relevante  informatie  te  verzamelen,  te  beoordelen  en  daarop  te  reflecteren.  Hiervoor  zijn  onderzoeksvaardigheden  onontbeerlijk  (Griffioen,  Boerma,  Engelbert,  en  van  der  Linden,  2013).  Een  andere  belangrijke  drijfveer  is  de  wettelijke  taakstelling;  meer  specifiek  de  daarop  gebaseerde  eisen  in  de  beoordelingskaders  van  het  accreditatiestelsel  voor  hoger  onderwijs.  Volgens  de  wet  op  het  hoger  onderwijs  uit  1992  moeten  hogescholen  zich  richten  op  ontwerp-­‐  en  ontwikkelactiviteiten  of  onderzoek  gericht  op  de  beroepspraktijk  (Griffioen,  Visser-­‐Wijnveen,  en  Willems,  2013).  Dat  was  een  reden  voor  de  Nederlands  Vlaamse  accreditatieorganisatie  (NVAO)  om  "verankering  van  onderzoek  in  het  onderwijs"  te  introduceren  als  een  belangrijk  criterium  om  de  kwaliteit  van  een  opleiding  te  beoordelen  (Beoordelingskaders  accreditatiestelsel  hoger  onderwijs,  2011).       De  opleiding  Media  Informatie  en  Communicatie  bereidt  studenten  voor  op  een  functie  binnen  de  mediasector  en  kent  een  gemeenschappelijk  propedeutisch  jaar.  Na  dit  jaar  kiezen  de  studenten  voor  een  van  de  vijf  afstudeerprofielen  van  de  opleiding.  Het  afstudeerprofiel  Redactie  en  Mediaproductie  (RMP)  leidt  studenten  bijvoorbeeld  op  tot  productiemedewerker  bij  een  televisieprogramma,  social-­‐mediastrateeg  bij  een  tijdschrift  of  acquirerend  redacteur  bij  een  uitgeverij.  Van  deze  mediaprofessionals  wordt  verwacht  dat  zij  in  staat  zijn  om  op  basis  van  onderzoek,  adviezen  te  formuleren  voor  de  ontwikkeling  of  innovatie  van  mediaproducten  en  –diensten.  

    "De  smurfen  zijn  van  kleur  veranderd"  In  de  wandelgangen  klagen  docenten  vaak  over  de  kwaliteit  van  de  onderzoeksopdrachten  die  studenten  inleveren.  Deze  klachten  betreffen  voornamelijk  de  analytische  vaardigheden  van  de  studenten.  Studenten  kunnen  volgens  de  docenten  slecht  redeneren  en  argumenteren.  Dit  uit  zich  vooral  in  de  conclusies  van  de  onderzoeksrapporten.  Hierin  moeten  studenten  laten  immers  zien  dat  ze  de  resultaten  van  hun  onderzoek  kunnen  verklaren,  interpreteren  en  relateren  aan  de  onderzoeksvraag.  Uit  de  conclusies  van  onderzoeksopdrachten  die  ik  zelf  beoordeel  en  uit  de  klachten  van  docenten  blijkt  dat  studenten  niet  goed  weten  wat  het  verschil  is  tussen  een  resultaat  en  een  conclusie:  vaak  geven  ze  alleen  een  opsomming  of  een  samenvatting  van  hun  resultaten.  Een  oefening  die  docent  Rick  Goossens  aan  de  opleiding  MIC  in  onderzoekslessen  doet  met  de  studenten,  illustreert  dit.    

Zoals  jullie  allemaal  weten,  kunnen  smurfen  heel  oud  worden,  er  gaan  zelfs  geruchten  dat  ze  onsterfelijk  zijn.  'Onderzoeker  Gargamel'  wil  weten  wat  dit  te  maken  heeft  met  hun  huidskleur.  Een  van  dingen  die  hij  moet  achterhalen,  is  welke  huidskleur  de  smurfen  hebben.  Hij  gaat  op  zoek  in  de  bibliotheek  en  vindt  in  een  oud  naslagwerk  dat  alle  smurfen  blauw  zijn  (Grote  Smurf,  1980).  Maar  het  is  inmiddels  2014  en  hij  wil  controleren  of  deze  gedateerde  informatie  nog  klopt.  Dus  zet  hij  een  enquête  uit  in  smurfendorp  waarin  hij  onder  andere  vraagt:  welke  kleur  heeft  je  huid?  De  smurfen  zijn  een  plichtsgetrouw  volkje  dus  alle  100  smurfen  vullen  netjes  de  enquête  in  (een  respons  van  100%).  Tachtig  smurfen  vullen  in  dat  hun  huid  blauw  is,  twintig  smurfen  geven  aan  dat  ze  een  rode  huidskleur  hebben.       Dan  maak  ik  drie  kolommen  op  het  bord:  resultaten  deskresearch,  resultaten  fieldresearch  en  één  voor  de  conclusie.  In  de  eerste  kolom  komt  te  staan  Alle  smurfen  zijn  blauw.  Vervolgens  vraag  ik  de  studenten  wat  er  bij  de  conclusie  ingevuld  kan  worden.  Dan  zeggen  bijna  altijd  alle  studenten  in  de  klas:  "20%  van  de  smurfen  is  rood".  Op  die  manier  kan  ik  vervolgens  zeggen,  "nee,  dat  is  een  resultaat  van  je  enquête,  dat  hoort  in  de  tweede  

2    

kolom,  resultaten  fieldresearch.  De  conclusie  zou  kunnen  zijn,  de  smurfen  zijn  van  kleur  veranderd.  Zo  kan  ik  vervolgens  uitleggen,  dat  een  conclusie  een  verklaring  is  voor,  of  een  interpretatie  van  de  resultaten.    

 Uit  eigen  ervaring  als  docent  bij  het  afstudeerprofiel  RMP  weet  ik  dat  studenten  moeite  hebben  met  onderzoeksopdrachten.  Dit  blijkt  eveneens  uit  de  resultaten  van  de  module  Onderzoek  die  RMP-­‐studenten  in  het  derde  jaar  volgen.  In  het  collegejaar  2013-­‐2014  leverden,  van  een  cohort  van  262  studenten,  slechts  170  studenten  hun  onderzoeksrapport  bij  de  eerste  mogelijkheid  in.  Van  deze  170  rapporten  werden  er  80  met  een  voldoende  beoordeeld  (Sinnema,  2014).  Na  de  eerste  kans  had  slechts  iets  meer  dan  een  kwart  van  de  studenten  een  voldoende  resultaat  behaald.    

Het  trekken  van  conclusies  is  een  essentiële  vaardigheid  om  goed  onderzoek  te  kunnen  verrichten  en  erover  te  kunnen  rapporteren.  Het  is  niet  gemakkelijk  om  uit  te  leggen  hoe  dit  in  zijn  werk  gaat.  Docenten  wijten  de  slechte  kwaliteit  gemakkelijk  aan  het  gebrek  aan  analytisch  vermogen  van  de  studenten.  Maar  bij  mij  bestaat  het  vermoeden  dat  de  slechte  conclusies  het  gevolg  zou  kunnen  zijn  van  te  weinig  (goede)  instructie  daarover.  Wat  is  een  conclusie?  En  waarom  hebben  studenten  er  zoveel  moeite  mee?  Hoe  leg  je  studenten  uit  wat  je  moet  doen  als  je  een  conclusie  trekt?    

Probleemstelling  De  drie  bovenstaande  vragen  en  het  vermoeden  van  een  gebrek  aan  (goede)  instructie  waren  het  uitgangspunt  voor  dit  onderzoek.  Uit  een  eerste  grove  inventarisatie  van  de  documentatie  over  onderzoeksvaardigheden  bleek  snel  dat  de  instructie  summier  en  niet  consistent  was.  Uit  een  eerste  inventarisatie  van  studieboeken  over  het  verrichten  van  onderzoek  bleek  ook  hier  een  hiaat  te  bestaan  ten  aanzien  van  de  conclusie  van  een  onderzoeksrapport.  Dat  bracht  een  zinvolle  doelstelling  van  dit  onderzoek  in  zicht.  

Doelstelling  Het  doel  van  het  onderzoek  was  om  de  instructie  vanuit  de  opleiding  te  verbeteren  zodat:    

• de  studenten  meer  complete,  eenduidige  en  consistente  informatie  krijgen  over  het  schrijven  van  een  conclusie  van  een  onderzoeksrapport;    

• de  docenten  meer  handvatten  krijgen  om  studenten  daar  adequaat  in  te  begeleiden.  Bijlage  I  bevat  een  opzet  voor  deze  instructie.  

Vraagstelling  Kwalitatief  onderzoek  is  een  iteratief  proces  (Verschuren  en  Doorewaard,  2007).  Toen  ik  begon  met  dit  onderzoek  heb  ik  een  voorlopige  centrale  vraag  geformuleerd:  Aan  welke  eisen  moeten  de  conclusies  van  de  onderzoeksrapporten  van  de  studenten  RMP  voldoen?  In  deze  vraagstelling  was  de  aanname  dat  de  kwaliteit  van  de  conclusies  in  onderzoeksrapporten  van  studenten  slecht  was.  Onduidelijk  was  aan  welke  eisen  deze  zouden  moeten  voldoen.    Vervolgens  zijn  de  tussenliggende  onderzoeksvragen  ontwikkeld.  De  eerste  had  tot  doel  te  toetsen  of  de  slechte  instructie  inderdaad  een  oorzaak  zou  kunnen  zijn  voor  de  slechte  kwaliteit  van  de  conclusies.  

1. Welke  instructie  ontvangen  de  studenten  van  het  afstudeerprofiel  RMP,  onderdeel  van  de  opleiding  MIC  ten  aanzien  van  het  schrijven  van  een  conclusie  van  een  onderzoeksrapport?  

  Dit  is  onderzocht  door  een  inventarisatie  van  documentatie  van  onderzoeksopdrachten  en  de  voorgeschreven  literatuur  over  onderzoek,  binnen  de  propedeuse  van  de  opleiding  MIC  en  het  afstudeerprofiel  RMP.  Het  is  in  een  later  stadium  van  het  onderzoek  aangevuld  met  informatie  uit  interviews  met  docenten  Onderzoek.       De  instructie  ten  aanzien  van  de  conclusie  bleek  versnipperd  te  worden  aangeboden  en  niet  consistent  en  eenduidig  beschreven.  Hieruit  werd  niet  voldoende  duidelijk  welke  eisen  aan  een  conclusie  gesteld  worden.  Daarom  moest  in  de  theorie  gezocht  worden  naar  informatie  over  conclusies  van  onderzoeksrapporten.  Dit  leidde  tot  de  tweede  deelvraag  van  dit  onderzoek:  

2. Wat  is  uit  de  literatuur  bekend  over  de  eisen  waaraan  een  conclusie  van  een  onderzoeksrapport  moet  voldoen?  

  Dit  is  onderzocht  door  in  literatuur  over  onderzoek,  onderzoeksmethodologie  en  onderzoeksvaardigheden  te  inventariseren  welke  uitspraken  gedaan  worden  over  de  conclusie  van  

3    

een  onderzoeksrapport.  Bij  de  eerste  grove  inventarisatie  zijn  alleen  studieboeken  gericht  op  studenten  bestudeerd.  In  deze  fase  zijn  ook  handboeken  voor  (beginnende)  onderzoekers  geraadpleegd.     Hieruit  bleek  dat  de  conclusie  van  een  onderzoeksrapport  een  onderbelicht  aspect  is.  Zowel  in  studieboeken  voor  studenten  als  methodologische  boeken  voor  onderzoekers  wordt  hier  nauwelijks  aandacht  aan  besteed.  Daarom  moest  gezocht  worden  naar  een  manier  om  deze  zelf  te  formuleren.  Er  is  gekozen  voor  een  voor  docenten  voor  de  hand  liggende  insteek,  namelijk  een  analyse  van  de  fouten  die  studenten  in  een  conclusie  maken,  ofwel  een  knelpuntenanalyse.  Een  duidelijk  beeld  van  knelpunten  kan  leiden  tot  inzichten  over  de  eisen  waaraan  de  conclusie  wel  zou  moeten  voldoen.  Dit  leidde  tot  de  volgende  onderzoeksvraag:  

3. Wat  zijn  de  knelpunten  in  de  conclusies  van  onderzoeksrapporten  van  studenten  RMP?  Dit  is  onderzocht  middels  een  gefundeerde  theorieanalyse  van  de  onderzoeksrapporten,  aangevuld  met  informatie  uit  de  interviews  met  docenten  Onderzoek.  De  analyse  liet  zien  dat  veel  van  de  knelpunten  in  de  conclusies  samenhangen  met  fouten  die  in  het  onderzoeksproces  gemaakt  waren.    Aangezien  de  informatie  over  de  eisen  ten  aanzien  van  conclusies  in  onderzoeksrapporten  erg  schaars  was  en  de  knelpunten  in  conclusies  in  sterke  mate  samen  bleken  te  hangen  met  knelpunten  in  het  onderzoeksrapport,  is  de  volgende  onderzoeksvraag  geformuleerd:  

4. Op  welke  wijze  zijn  de  knelpunten  in  conclusies  van  onderzoeksrapporten  te  koppelen  aan  in  de  theorie  bekende  knelpunten  bij  het  verrichten  van  onderzoek?    

Een  bruikbaar  model  om  deze  knelpunten  te  koppelen  was  dat  van  Oost  (2002),  waarin  zes  veelgemaakte  fouten  in  onderzoeksprocessen  worden  beschreven  en  gekoppeld  aan  zes  kwaliteitscriteria  voor  het  verrichten  van  onderzoek.  Dit  model  was  in  het  bijzonder  nuttig  omdat  Oost  uitgaat  van  fouten  om  vervolgens  uit  te  leggen  hoe  het  wel  moet.  Op  deze  manier  konden  de  gevonden  knelpunten  gekoppeld  worden  aan  bestaande  kwaliteitscriteria  voor  het  verrichten  van  onderzoek.  In  een  volgende  stap  konden  deze  worden  vertaald  naar  kwaliteitscriteria  voor  het  trekken  van  een  conclusie.  De  daaropvolgende  stap  was  het  opstellen  van  een  lijst  van  eisen  ten  aanzien  van  de  inhoud,  structuur  en  kwaliteit  van  de  conclusie  van  een  onderzoek.  Daarbij  was  een  ander  aspect  van  belang,  namelijk  het  type  onderzoek  dat  studenten  RMP  verrichten.  Uit  de  theorie  bleek  dat  momenteel  een  discussie  gaande  is  over  de  kwaliteitseisen  aan  onderzoek  in  het  hoger  beroepsonderwijs,  waaraan  vaak  gerefereerd  wordt  als  praktijkgericht  onderzoek.  Volgens  sommige  methodologen  en  onderzoekers  zouden  deze  afwijken  van  kwaliteitseisen  voor  onderzoek  zoals  dat  uitgevoerd  wordt  aan  universitaire  instellingen,  waaraan  vaak  gerefereerd  wordt  als  theoriegericht  onderzoek.  Daarom  moest  onderzocht  worden  hoe  het  onderzoek  dat  de  studenten  RMP  verrichten  getypeerd  kon  worden  en  of  deze  typering  van  invloed  was  op  de  kwaliteitseisen:  

5. Welk  type  onderzoek  verrichten  studenten  RMP  en  op  welke  wijze  beïnvloedt  dit  de  eisen  die  worden  gesteld  aan  hun  onderzoek  en  aan  de  conclusie  van  hun  onderzoek?    

Dit  is  onderzocht  door  artikelen  en  literatuur  over  de  verschillen  tussen  praktijkgericht  en  theoriegericht  onderzoek  te  raadplegen.    Aan  de  hand  van  deze  uitkomsten  konden  tot  slot  eisen  worden  geformuleerd  ten  aanzien  van  de  inhoud,  de  structuur  en  de  kwaliteit  van  conclusies  van  ontwerpgericht  praktijkgericht  onderzoek.  Deze  eisen  waren  noodzakelijk  om  de  instructie  ten  aanzien  van  de  conclusie  te  verbeteren.    De  definitieve  centrale  onderzoeksvraag  luidde  dan  ook:           Aan  welke  eisen  ten  aanzien  van  inhoud,  structuur  en  kwaliteit  moet  een  conclusie  van  een     ontwerpgericht  praktijkgericht  onderzoek  voldoen?    

Relevantie  De  aanleiding  van  dit  onderzoek  was  een  zeer  praktische:  het  verbeteren  van  de  instructie  voor  het  schrijven  van  een  conclusie  van  een  onderzoeksrapport.  Het  onderzoek  kent  ook  theoretische  relevantie.  Niet  alleen  in  het  onderzoeksvaardighedenonderwijs  bleek  een  hiaat  te  bestaan  ten  aanzien  van  (de  instructie  voor)  een  conclusie  van  een  onderzoekrapport.  Dit  hiaat  bestond  ook  in  de  literatuur  over  onderzoek,  onderzoeksvaardighedenonderwijs  en  onderzoeksmethodologie.  Voorliggend  onderzoek  levert  een  heldere  lijst  van  eisen  voor  een  conclusie  van  een  ontwerpgericht  praktijkgericht  onderzoeksrapport  op.  Daarnaast  levert  dit  onderzoek  een  bijdrage  aan  de  discussie  over  de  vermeende  verschillen  tussen  praktijkgericht  en  theoriegericht  onderzoek  en  het  daarmee  samenhangende  verschil  in  kwaliteitseisen  aan  praktijkgericht  onderzoek.      

4    

Onderzoeksvaardigheden  in  het  curriculum  van  het  afstudeerprofiel  RMP  Alvorens  in  te  kunnen  gaan  op  de  onderzoeksvragen  is  het  goed  om  eerst  het  kader  te  schetsen  waarbinnen  dit  onderzoek  plaatsvindt.  Wat  is  de  rol  van  het  onderzoeksvaardighedenonderwijs  in  het  curriculum  van  het  afstudeerprofiel  RMP?     Verburgh  en  Elen  (2013)  beschrijven  drie  modellen  voor  de  integratie  van  onderzoeksvaardigheden  binnen  het  hoger  beroepsonderwijs:  het  model  voor  een  professionele  onderzoeker  gericht  op  het  verwerven  van  een  onderzoeksdispositie  (p.  77);  het  model  voor  de  onderzoekende  professional,  waarin  het  curriculum  zowel  gericht  is  op  de  inzetbaarheid  van  de  student  op  de  arbeidsmarkt  als  op  de  voorbereiding  op  een  vervolgstudie;  en  het  model  voor  een  professional  met  onderzoekscompetenties,  waarin  het  curriculum  zich  zowel  richt  op  het  ontwikkelen  van  beroepsspecifieke  competenties  als  op  onderzoekscompetenties.  Het  onderzoeksvaardighedenonderwijs  binnen  het  afstudeerprofiel  RMP  sluit  aan  bij  het  laatstgenoemde  model,  een  professional  met  onderzoekscompetenties.  Om  de  studenten  de  benodigde  onderzoeksvaardigheden  aan  te  leren  is  er  een  aparte  leerlijn  Onderzoek,  die  bestaat  uit  meerdere  modules  waarin  de  aandacht  wordt  besteed  op  de  methodologische  en  praktische  kant  van  het  verrichten  van  onderzoek.  Ook  in  het  projectonderwijs  spelen  onderzoeksvaardigheden  een  grote  rol.  Binnen  het  projectonderwijs  werken  studenten  in  kleine  groepen  aan  authentieke  projectopdrachten  voor  een  opdrachtgever  uit  de  mediasector.  De  onderzoeksopdrachten  vormen  de  basis  voor  adviesrapporten  voor  bijvoorbeeld  de  ontwikkeling  of  verbetering  van  een  applicatie  voor  het  digitale  schoolbord  bij  een  educatief  televisieprogramma  of  een  digitaal  magazine  voor  de  klanten  van  een  zorgverzekeraar.  Voor  de  onderzoeksopdrachten  binnen  het  projectonderwijs  zijn  de  probleemstelling  en  methoden  van  onderzoek  veelal  van  tevoren  vastgesteld  door  de  coördinatoren  van  de  modules.  Dit  heeft  tot  doel  dat  studenten  zich  bekwamen  in  de  meest  voorkomende  methodes  en  technieken  van  onderzoek  binnen  het  vakgebied.  Studenten  zoeken  door  middel  van  deskresearch  uit  wat  al  bekend  is  over  de  gedefinieerde  onderzoeksvraag.  Ze  maken  bijvoorbeeld  een  trendanalyse  en  analyseren  best  practices.  Vervolgens  voeren  de  studenten  fieldresearch  uit  waarin  zij  voornamelijk  kwalitatieve  onderzoeksmethoden  inzetten,  zoals  interviews,  panelgesprekken  en  prototyping.  Wanneer  gebruik  wordt  gemaakt  van  kwantitatieve  gegevens  beperkt  zich  dat  tot  beschrijvende  statistiek  van  de  onderzoekspopulatie.  De  lessen  in  de  projectlijn  worden  vaak  ontwikkeld  en  gegeven  door  vakdocenten  die  veel  ervaring  hebben  in  het  werkveld,  maar  niet  per  se  over  veel  onderzoekservaring  beschikken.       In  de  overkoepelende  onderwijsvisie  van  de  opleiding  MIC  wordt  het  als  volgt  omschreven:  "Bij  de  opleiding  MIC  [..]  speelt  onderzoek  een  belangrijke  rol,  daar  waar  het  gericht  is  op  praktische  toepassing  in  het  beroepenveld.  Het  gaat  bij  onderzoek  in  het  hbo  niet  om  theorievorming,  maar  om  het  kunnen  onderbouwen  van  ideeën  en  ontwikkelen  van  producten  op  basis  van  literatuur,  best  practices  en  fieldresearch"  (Managementteam,  2012).  Het  onderzoek  dat  de  studenten  RMP  verrichten  is  daarom  het  beste  te  typeren  als  ontwerpgericht  praktijkgericht  onderzoek.  Aken  en  Andriessen  (2011,  pp.  15-­‐16)  onderscheiden  dit  als  volgt:    

Wetenschappelijk  onderzoek  met  als  doel  kennis  te  ontwikkelen  om  daarmee  een  betere  wereld  te  realiseren  wordt  wel  toegepast  of  praktijkgericht  onderzoek  genoemd.  Dit  type  onderzoek  kan  zich  beperken  tot  het  beschrijven  van  veldproblemen  en  het  verklaren  van  hun  oorzaken  [..].  Maar  er  bestaat  ook  ontwerpgericht  praktijkgericht  onderzoek:  onderzoek  dat  zich  niet  alleen  richt  op  het  beschrijven  en  verklaren  van  typen  veldproblemen  maar  zich  vervolgens  ook  richt  op  het  ontwikkelen  en  testen  van  generieke  oplossingen  voor  die  veldproblemen  [..].  Dit  levert  generieke  kennis  op  voor  het  ontwerpen  van  specifieke  oplossingen  voor  specifieke  veldproblemen  voor  de  professionals  die  met  de  problemen  te  maken  hebben.  

 De  typering  van  het  onderzoek  is  van  belang  omdat  het  type  doelstelling  van  ontwerpgericht  praktijkgericht  onderzoek  afwijkt  van  doelstellingen  van  theoriegericht  onderzoek.  Ontwerpgericht  praktijkgericht  onderzoek  heeft  tot  doel  om  ontwerpoplossingen  aan  te  dragen  voor  specifieke  veldproblemen.  Volgens  een  aantal  methodologen  en  onderzoekers  is  dit  zodanig  van  invloed  op  het  ontwerp  van  het  onderzoek  dat  dit  tot  andere  kwaliteitscriteria  en  richtlijnen  zou  moeten  leiden  (Andriessen,  2007;  Klapwijk,  2013;  Tavecchio  en  Gerrebrands,  2012;  Verschuren,  2011).  Ook  is  het  van  belang  op  te  merken  dat  bij  het  ontwerpen  van  oplossingen  creativiteit  een  rol  speelt.  Zeker  als  het  gaat  om  het  ontwikkelen  en  verbeteren  van  creatieve  producten  kan  het  ontwerp  niet  enkel  uit  de  onderzoeksresultaten  worden  afgeleid.  Aken  en  Andriessen  (2011,  p.  50)  noemen  dit  'de  creatieve  

5    

sprong':  "Een  ontwerp  kun  je  niet  logisch  afleiden  uit  de  input  voor  het  ontwerpproces.  Het  houdt  altijd  een  creatieve  sprong  in  naar  iets  dat  nog  niet  bestaat”.  

Terminologie  In  de  knelpuntenanalyse  wordt  vaak  verwezen  naar  knelpunten  met  betrekking  tot  de  probleem-­‐  en  doelstelling.  De  lezer  van  dit  onderzoek  zij  erop  gewezen  dat  binnen  de  opleiding  MIC  aan  sommige  onderzoekstermen  een  andere  betekenis  wordt  toegekend  dan  in  veel  methodologieboeken  en  bij  andere  instituten  voor  hoger  onderwijs  gebruikelijk  is.     In  het  algemeen  bestaat  een  probleemstelling  uit  de  volgende  elementen:  het  onderzoeksdoel,  het  te  onderzoeken  probleem,  de  probleemanalyse  en  de  centrale  vraagstelling  met  eventuele  deelvragen.  In  het  opleidingsformat  voor  het  schrijven  van  een  onderzoeksvoorstel  staat:  “probleemstelling  (het  WAT  van  het  onderzoek).  Dit  is  de  centrale  vraag  waarop  het  onderzoek  antwoord  moet  geven.  Dit  moet  een  open  vraag  zijn”  (Afstudeercommissie,  2013).  De  probleemstelling  bestaat  dus  uit  één  vraag,  waaraan  in  veel  gevallen  aan  wordt  gerefereerd  als  de  centrale  vraag  van  een  onderzoek.  Hiermee  lijkt  het  afstudeerprofiel  RMP  aan  te  sluiten  bij  de  definitie  van  Morse  et  al:  "De  probleemstelling  is  de  centrale  vraag  waarop  de  onderzoeker  antwoord  wil  geven  binnen  de  kennisstroom  van  ontwerpgericht  onderzoek.  Dit  is  de  vraag  die  (een  deel  van)  het  kennisprobleem  verwoordt,  in  één  zin  met  een  vraagteken  erachter”  (geciteerd  in  Aken  en  Andriessen,  2011).  Overigens  gaat  het  opleidingsformat  wel  uit  van  het  formuleren  van  deelvragen  waarin  de  probleemstelling  wordt  geoperationaliseerd.     Ook  de  doelstelling  zoals  deze  beschreven  staat  in  hetzelfde  format  verdient  een  nadere  verklaring.  Het  onderzoek  dat  studenten  verrichten  bij  de  opleiding  MIC  staat  in  dienst  van  het  ontwikkelen  of  verbeteren  van  een  beroepsproduct.  Wanneer  in  het  format  wordt  gevraagd  naar  de  doelstelling  van  het  onderzoek,  wordt  gedoeld  op  een  concrete  beschrijving  van  dit  beroepsproduct.  Onder  de  doelstelling  moeten  studenten  beschrijven  wat  de  reden  van  het  onderzoek  is  en  wat  ze  met  hun  uitkomsten  beogen:  “Doelstelling  (het  WAAROM  van  het  onderzoek).  Formuleer  concreet  wat  het  eindproduct  van  de  afstudeeropdracht  is”  (Afstudeercommissie,  2013).  In  de  conclusie  geven  de  studenten,  in  tegenstelling  tot  wat  gebruikelijk  is,  niet  aan  wat  de  beperkingen  zijn  van  hun  onderzoek.  Dit  wordt  gedaan  in  een  apart  hoofdstuk  Evaluatie.  

7    

Methode  

In  de  inleiding  zijn  de  onderzoeksvragen  met  bijbehorende  methoden  uiteengezet.  Deze  zijn  ten  behoeve  van  het  overzicht  verwekt  in  figuur  1.    Figuur  1  Overzicht  van  onderzoeksvragen  en  toegepaste  methoden    

 

 

8    

Materiaal  en  participanten  Binnen  kwalitatief  onderzoek  gaat  men  bij  de  selectie  van  onderzoeksmateriaal  en  participanten  uit  van  het  principe  van  theoretische  verzadiging.  Dat  houdt  in  dat  men  gedurende  het  onderzoeksproces  doorgaat  met  het  verzamelen  van  materiaal  zolang  de  analyse  van  nieuw  materiaal  tot  nieuwe  bevindingen  leidt.  Maar  om  praktische  redenen  is  het  niet  ongebruikelijk  dat  een  onderzoeker  het  aantal  te  onderzoeken  gevallen  of  verschijnselen  van  tevoren  bepaalt  (Eisenhardt,  K.M.,  2002).  Gedurende  het  onderzoek  wordt  dan  getoetst  of  het  punt  van  theoretische  verzadiging  is  bereikt.  Dit  is  ook  het  geval  binnen  dit  onderzoek.  Daarnaast  is  bij  de  selectie  van  onderzoeksmateriaal  ook  gekeken  of  deze  selectie  een  goede  representatie  is  van  al  het  onderzoeksmateriaal.  Volgens  Maxwell  (2002)  dient  dit  twee  doelen.  Ten  eerste  maakt  deze  selectiemethode  mogelijk  dat  de  variëteit  aan  gevallen  binnen  de  selectie  gerepresenteerd  wordt.  Ten  tweede  is  het  mogelijk  om  die  gevallen  te  selecteren  die  van  cruciaal  belang  zijn  voor  de  ideeontwikkeling  binnen  het  onderzoek.  

Onderzoeksrapporten  van  studenten     Voor  dit  onderzoek  zijn  onderzoeksrapporten  van  derdejaars  RMP-­‐  studenten  geselecteerd.  Zij  schreven  deze  rapporten  in  het  kader  van  de  module  Onderzoek  die  in  het  eerste  blok  van  studiejaar  2013-­‐2014  werd  aangeboden.  Het  gaat  om  262  studenten,  verdeeld  over  negen  klassen  van  ongeveer  30  studenten.  Van  242  studenten  is  bekend  welke  vooropleiding  zij  hebben  gedaan:  174  studenten  hebben  een  havodiploma,  40  studenten  een  mbo-­‐diploma  en  28  studenten  een  vwo-­‐diploma.  Van  deze  242  studenten  deden  vier  studenten  een  21+  toets.  Van  20  studenten  is  de  vooropleiding  niet  te  achterhalen  uit  de  beschikbare  data.  De  leeftijd  van  de  studenten  varieert  tussen  de  19  en  de  27  jaar.  De  gemiddelde  leeftijd  is  21,4  jaar  (SD=1,5).  Een  ruime  meerderheid  van  de  studenten  is  vrouw,  het  cohort  bestaat  uit  233  vrouwelijke  studenten  en  29  mannelijke  studenten.    

Van  de  262  studenten  hebben  170  studenten  bij  de  eerste  imogelijkheid  een  onderzoeksrapport  ingeleverd.  Van  deze  170  rapporten  zijn  er  80  met  een  voldoende  beoordeeld  en  90  met  een  onvoldoende  (Sinnema,  2014).  Voor  dit  onderzoek  zijn  35  onderzoeksrapporten  geselecteerd.  Hiervan  waren  25  rapporten  bij  de  eerste  mogelijkheid  ingeleverd,  daarvan  waren  er  12  beoordeeld  met  een  voldoende  en  13  met  een  onvoldoende.  De  resterende  10  rapporten  waren  van  herkansers.  Daarvan  waren  er  5  met  een  voldoende  en  5  met  een  onvoldoende  beoordeeld.  De  35  rapporten  vormden  een  representatieve  afspiegeling  van  het  werk  dat  de  studenten  inleveren,  doordat  ze  verzameld  zijn  in  de  verschillende  klassen,  omdat  er  zowel  rapporten  met  een  voldoende  als  met  een  onvoldoende  beoordeling  en  omdat  ook  rapporten  van  herkansers  in  de  selectie  zijn  opgenomen.  De  geselecteerde  onderzoeksrapporten  zijn  geanonimiseerd  en  op  verzoek  te  verkrijgen.  

Docenten  De  participanten  voor  de  interviews  zijn  doelgericht  geselecteerd  (Babbie,  2012),  vanwege  hun  specifieke  ervaring  met  het  geven  en  ontwikkelen  van  onderzoeksvaardighedenonderwijs.  Het  afstudeerprofiel  RMP  heeft  drie  docenten  die  zijn  aangesteld  als  onderzoeksdocenten.  Zij  zijn  verantwoordelijk  voor  de  leerlijn  Onderzoek  binnen  het  afstudeerprofiel  en  voor  de  aansluiting  van  de  onderzoeksopdrachten  binnen  het  projectonderwijs  bij  deze  leerlijn.  Voor  de  voorafgaande  proefinterviews  konden  geen  onderzoeksdocenten  geselecteerd  worden,  maar  is  gekozen  voor  docenten  die  wel  onderwijs  geven  in  onderzoeksvaardigheden  binnen  het  afstudeerprofiel  RMP.  Daarnaast  zijn  twee  docenten  gevraagd  om  de  gefundeerde  theorie-­‐analyse  die  in  het  kader  van  dit  onderzoek  is  uitgevoerd,  te  valideren.  Zij  zijn  eveneens  docenten  bij  het  afstudeerprofiel  RMP.  Ze  zijn  niet  specifiek  aangenomen  als  docent  Onderzoek  maar  doceren  wel  in  binnen  het  projectonderwijs  en  begeleiden  afstudeerders  bij  hun  onderzoeksopdracht.  Aan  alle  docenten  is  persoonlijk  gevraagd  of  zij  mee  wilden  werken  aan  een  onderzoek  naar  conclusies  in  onderzoeksrapporten.  Zij  stemden  ermee  in  om  dit  op  vrijwillige  basis  te  doen.  De  selectie  is  gebaseerd  op  de  ervaring  van  de  docenten  in  het  geven  van  onderzoeksvaardigheden  binnen  de  opleiding  MIC  en  het  afstudeerprofiel  RMP.  Tabel  1  is  een  weergave  van  de  respondenten  met  de  voor  dit  onderzoek  belangrijke  kenmerken.        

9    

Tabel  1  Kenmerken  respondenten  

Respondent     Geslacht   Leeftijd   Aantal  jaar  werkzaam  als  docent  in  het  hbo  

Opleiding  

respondent  1   m   29   5   WO  Bedrijfswetenschappen  

respondent  2   m   52   11   WO  Psychologie  en  Beleid  

respondent  3   m   32   7   WO  Communicatie  en  Beleid  

respondent  4    (validering  analyse)  

v   34   10   HBO  Media,  Informatie  en  Communicatie  &  WO  Teaching  &  Learning  in  Higher  Education  

respondent  5  (validering  analyse)  

m   56   13   Eindfase  WO  Informatiewetenschappen  

 

Context  Het  afstudeerprofiel  Redactie  en  Mediaproductie  maakt  deel  uit  van  de  opleiding  Media,  Informatie  en  Communicatie  van  de  Hogeschool  van  Amsterdam  (HvA).  Aan  de  HvA  stonden  binnen  zeven  verschillende  domeinen  46.290  studenten  ingeschreven  en  waren  3.333  medewerkers  werkzaam  (Hogeschool  van  Amsterdam,  2011)  i).  De  opleiding  MIC  valt  onder  het  domein  Media,  Informatie  en  Creatie,  waar  ruim  7.300  studenten  ingeschreven  stonden  en  500  medewerkers  werkzaam  waren  (Hogeschool  van  Amsterdam,  z.j.  Over  media  informatie  en  creatie).  Exacte  cijfers  over  het  aantal  ingeschreven  studenten  aan  de  opleiding  MIC  en  het  afstudeerprofiel  RMP  waren  niet  verkrijgbaar,  maar  bij  benadering  stonden  in  het  studiejaar  2013-­‐2014  4.000  studenten  ingeschreven  voor  deze  opleiding.  Bij  het  afstudeerprofiel  RMP  stonden  ten  tijde  van  dit  onderzoek  bij  benadering  800  studenten  ingeschreven.  Er  waren  drieëndertig  docenten  werkzaam,  waarvan  er  drie  specifiek  aangesteld  als  docent  Onderzoek.       Voor  dit  onderzoek  zijn  onderzoeksrapporten  van  derdejaars  studenten  gebruikt.  De  studenten  voeren  een  individuele  onderzoeksopdracht  uit,  waarvoor  zij  zelf  een  onderwerp  bepalen,  geïnspireerd  door  actuele  problematiek  binnen  het  werkveld.  Het  is  de  eerste  keer  dat  zij  zelfstandig  alle  fasen  van  het  onderzoek  doorlopen:  van  het  formuleren  van  een  probleemstelling  tot  en  met  het  schrijven  van  de  conclusie  en  het  advies.  Voorbeelden  van  onderwerpen  voor  deze  onderzoeksopdrachten  zijn:  Hoe  waarderen  de  lezers  van  VIVA  de  modepagina’s?  Hoe  kan  nu.nl  meer  bezoekers  trekken?  Hoe  moet  een  digitale  versie  van  het  tijdschrift  Linda  eruitzien?    Zelf  ben  ik  zes  jaar  werkzaam  als  docent  bij  het  afstudeerprofiel  RMP.  Voor  dit  onderzoek  heeft  dat  als  voordeel  dat  ik  het  curriculum  goed  ken  en  dat  ik  gemakkelijk  toegang  heb  tot  data  en  respondenten.  Het  kan  daarentegen  iets  lastiger  zijn  om  met  afstand  te  kijken  naar  de  objecten  van  onderzoek.  Daarom  heb  ik  voor  de  uitvoering  van  dit  onderzoek  een  module  geselecteerd  waarin  ik  zelf  geen  onderwijs  geef.  De  geselecteerde  rapporten  zijn  dan  ook  niet  eerder  door  mij  beoordeeld.  

Onderzoeksmethodologie  Wanneer  sprake  is  van  weinig  overzichtelijke  problematiek  en  complexe  thematiek  wordt  vaak  gekozen  voor  een  kwalitatieve  onderzoeksbenadering  (Baarda,  de  Goede  &  Teunissen,  2005).  Kwalitatief  onderzoek  geeft  inzicht  in  de  complexiteit  van  de  onderzochte  verschijnselen  en  hun  achtergronden  (Hutjes  &  van  Buuren,  1992).       Het  onderzoek  kent  een  diagnostische  doelstelling.  Bij  diagnostisch  onderzoek  gaat  men  ervan  uit  dat  sprake  is  van  een  probleem  en  wordt  gezocht  naar  de  oorzaken  en  achtergronden  en  de  onderlinge  samenhang  van  dit  probleem  (Smaling,  2006).  Het  diagnostische  deel  van  dit  onderzoek  betreft  het  beschrijven  en  verklaren  van  de  knelpunten  binnen  de  conclusies  van  onderzoeksrapporten.    

De  analyse  is  uitgevoerd  in  de  vorm  van  een  meervoudige  gevalsstudie.  Een  klein  aantal  gevallen  (onderzoeksrapporten)  is  diepgaand  geanalyseerd  en  vergeleken.  Yin  (2009)  geeft  aan  dat  

                                                                                                               i  Dit  zijn  meest  recente,  beschikbare  cijfers  uit  december  2011  

10    

een  gevalsstudie  een  goede  onderzoeksmethode  kan  zijn  als  de  grenzen  tussen  het  verschijnsel  en  de  context  niet  helemaal  duidelijk  zijn.  In  dit  geval  is  slechte  kwaliteit  van  de  conclusies  waarschijnlijk  contextafhankelijk,  maar  in  hoeverre  de  kwaliteit  afhankelijk  is  van  de  individuele  mogelijkheden  en  inzet  van  de  student  en  in  hoeverre  deze  afhankelijk  is  van  de  instructie  vanuit  de  opleiding,  is  niet  helemaal  duidelijk.  Yin  (2009)  en  Hutjes  en  van  Buuren  (1992)  geven  aan  dat  bij  een  gevalsstudie  het  verschijnsel  wordt  bestudeerd  in  de  natuurlijke  situatie.  De  onderzoeksrapporten  van  de  studenten  zijn  niet  bewerkt  of  uit  de  context  gehaald,  voor  de  analyse  zijn  de  rapporten  gebruikt  zoals  deze  zijn  ingeleverd  door  de  studenten.    

Veldonderzoek  binnen  de  gevalsstudie  is  vaak  beschrijvend  en  vergelijkend.  De  analyse  bestond  uit  een  beschrijving  van  knelpunten  en  een  vergelijking  van  deze  knelpunten  met  knelpunten  in  andere  onderzoeksrapporten.  Dit  is  een  combinatie  van  een  'within-­‐case'  analyse  en  een  'cross-­‐case'  analyse.  Middels  een  within-­‐case  analyse  verkrijgt  de  onderzoeker  bekendheid  met  de  data,  waardoor  voorlopige  verklaringen  kunnen  worden  geformuleerd,  de  cross-­‐case  analyse  dwingt  een  onderzoeker  om  de  eerste  impressies  diepgaander,  vanuit  meerdere  perspectieven  te  beschouwen  (Eisenhardt,  K.M.,  2002).  Door  te  zoeken  naar  overeenkomsten  en  verschillen  in  de  knelpunten  is  gezocht  naar  patronen  in  de  geobserveerde  verschijnselen  (Babbie,  2012).  De  gevonden  patronen  leidden  tot  een  indeling  van  de  knelpunten  in  categorieën.  Door  deze  categorisering  konden  nieuwe  ideeën  ontstaan  over  de  eisen  voor  een  conclusie  van  een  onderzoeksrapport.  Door  deze  ideeën  te  toetsen  aan  bestaande  theorie  is  via  een  inductieve  redeneerwijze  een  nieuwe  theorie  afgeleid  (Eisenhardt,  K.M.,  2002).         Dit  onderzoek  kende  daarnaast  een  ontwerpgerichte  doelstelling,  gericht  op  het  ontwikkelen  van  generieke  oplossingen  voor  het  gediagnosticeerde  veldprobleem  (Aken  en  Andriessen,  2009).  Het  ontwerpgerichte  deel  is  nader  uitgewerkt  in  een  opzet  voor  een  instructie  voor  studenten  ten  aanzien  van  de  conclusie  van  een  onderzoeksrapport.  Deze  is  te  vinden  in  bijlage  I.    

Instrumenten  

Gefundeerde  theorie-­‐analyse  De  onderzoeksrapporten  van  de  studenten  zijn  gecodeerd  op  basis  van  de  gefundeerde  theoriebenadering  (Birks,  2011;  Boeije,  2005).  Dit  is  in  meerdere  fasen  gedaan:  in  de  eerste  fase,  ‘de  open  codering’,  zijn  codes  toegekend  aan  de  ruwe  data  en  zijn  daarvan  beschrijvingen  gemaakt.  Vervolgens  zijn  deze  codes  in  de  fase  van  ‘axiale  codering’  beschreven  en  waar  nodig  samengevoegd  of  gesplitst.  In  de  laatste  fase  van  ‘selectieve  codering’  is  gezocht  naar  patronen  in  codes  en  zijn  de  codes  gecategoriseerd.  Een  belangrijk  uitgangspunt  van  de  gefundeerde  theorie-­‐analyse  is  die  van  'constante  vergelijking'  van  data  met  codes,  van  codes  met  categorieën  en  van  categorieën  met  elkaar.  Ook  zijn  de  categorieën  vergeleken  met  bestaande  theorieën  over  knelpunten  in  onderzoek  en  met  de  bevindingen  uit  de  interviews  met  de  docenten.    

Interviews  Er  is  gekozen  om  naast  de  gefundeerde  theorie-­‐analyse  een  tweede  methode  van  onderzoek  te  gebruiken,  zodat  de  uitkomsten  van  de  analyse  konden  worden  getoetst.  Gekozen  is  om  semigestructureerde  interviews  af  te  nemen.  Hierbij  is  een  aantal  vragen  van  tevoren  is  vastgelegd  in  een  interviewschema.  Die  methode  biedt  ook  ruimte  om  gedurende  het  interview  de  vragen  in  een  andere  volgorde  te  stellen  of  vragen  toe  te  voegen,  indien  het  gesprek  daar  aanleiding  toe  geeft  (Baarda,  de  Goede  en  Teunissen,  2005).  Deze  manier  van  interviewen  was  voor  dit  onderzoek  het  meest  geschikt  omdat  het  onderwerp,  de  conclusie  van  een  onderzoeksrapport,  lastig  te  beschrijven  bleek.  Wanneer  de  vragen  te  moeilijk  bleken  om  te  beantwoorden  kon  een  vraag  worden  toegevoegd  en  wanneer  de  antwoorden  van  de  geïnterviewden  niet  helemaal  duidelijk  waren,  kon  worden  gevraagd  om  het  antwoord  te  herformuleren  of  te  verduidelijken  aan  de  hand  van  een  voorbeeld.  

De  interviews  dienden  twee  doelen:    1. Toetsen  of  de  knelpunten  die  naar  voren  kwamen  uit  de  analyse  van  de  

onderzoeksrapporten  herkend  worden  door  de  docenten  en  of  deze  nog  aangevuld  dienden  te  worden.    

2. Achterhalen  op  welke  wijze  de  instructie  voor  de  interviews  in  de  lessen  wordt  overgebracht  en  of  dit  overeenkomt  met  de  instructie  die  wordt  gegeven  in  de  documentatie  van  de  onderzoeksmodules.    

Daarom  bestonden  de  interviews  uit  twee  delen,  in  het  eerste  deel  werden  vragen  gesteld  om  te  achterhalen  welke  ideeën  docenten  hebben  over  de  functie  van  een  conclusie  in  een  

11    

onderzoeksrapport  en  meer  inzicht  te  krijgen  in  hoe  zij  instructie  geven  over  de  conclusie  in  onderzoekslessen.  In  het  tweede  deel  werden  drie  conclusies  van  onderzoeksrapporten  voorgelegd  met  de  vraag  om  van  deze  conclusies  de  sterke  en  de  zwakke  punten  te  benoemen.    

Werkwijze  Inventarisatie  van  de  documentatie  Op  de  digitale  leer-­‐  en  werkomgeving  van  de  opleiding  is  gezocht  naar  documentatie  van  onderzoekslessen  en  -­‐opdrachten.  In  alle  gedocumenteerde  informatie  over  de  modules  waar  aandacht  wordt  besteed  aan  onderzoeksvaardigheden,  zoals  modulehandleidingen,  PowerPointpresentaties  van  lessen,  digitale  lesomgevingen  en  docentinstructies,  is  gezocht  naar  omschrijvingen  van  en  instructies  voor  (het  schrijven  van)  de  conclusie.  Daarnaast  is  het  boek  Wat  is  onderzoek?    van  Nel  Verhoeven  geraadpleegd,  omdat  dit  het  voorgeschreven  boek  is  bij  voor  de  onderzoeksmodules  van  de  opleiding  MIC.  Ook  hieruit  zijn  de  fragmenten  geselecteerd  over  (het  schrijven  van)  de  conclusie  van  een  onderzoek.  Dit  gaf  een  inzicht  in  de  instructie  die  studenten  krijgen  vanuit  de  opleiding  ten  aanzien  van  de  conclusie.  Een  compleet  overzicht  van  de  instructie  die  betreffende  de  conclusies  aan  de  studenten  gegeven  wordt  is  te  vinden  in  bijlage  III  

Inventarisatie  van  de  literatuur  over  onderzoeksmethodologie  Om  te  achterhalen  wat  in  de  literatuur  geschreven  wordt  over  de  conclusie  van  een  onderzoeksrapport  is  in  eerste  instantie  gekeken  bij  de  methodologiesectie  van  de  mediatheek  van  de  HvA.  Daarna  is  in  de  online  catalogus  van  de  Bibliotheek  van  de  Hogeschool  van  Amsterdam  gezocht  naar  literatuur,  met  als  zoektermen:  onderzoek,  methoden,  methoden  en  technieken,  methodologie,  conclusie,  onderzoek  conclusie  en  methode  conclusie.  In  alle  gevonden  boeken  is  gezocht  naar  die  fragmenten  die  instructie  voor  het  schrijven  van  een  conclusie  van  een  onderzoek  bevatten.  Vervolgens  is  gezocht  naar  online  gepubliceerde  handleidingen.  Er  is  gezocht  met  Google  en  Google  Scholar  op  de  volgende  zoektermen  onderzoek,  methoden,  methoden  en  technieken,  methods,  research  methods,  conclusion,  research  conclusion,  discussion  en  research  and  discussion.  In  alle  gevonden  boeken  en  online  handleidingen  is  gezocht  naar  fragmenten  die  gaan  over  de  conclusie  van  een  onderzoek.  Een  overzicht  van  alle  geraadpleegde  boeken  is  te  vinden  in  bijlage  IV.    

Knelpuntenanalyse  onderzoeksrapporten  Dataverzameling  

Om  een  goed  beeld  te  krijgen  van  de  knelpunten  in  de  conclusies  van  onderzoeksrapporten  werd  een  gefundeerde  theorie-­‐analyse  uitgevoerd.  Voor  het  uitvoeren  van  deze  analyse  waren  de  digitale  versies  van  de  rapporten  nodig.  De  studenten  hadden  hun  rapporten  echter  uitsluitend  in  hardcopy  ingeleverd.  De  digitale  versies  zijn  op  verschillende  manieren  verzameld:  een  deel  van  de  rapporten  is  op  mijn  verzoek  aangeleverd  door  de  negen  docenten  die  doceerden  in  de  module  onderzoek.  Ik  heb  iedere  docent  gevraagd  om  vier  onderzoeksrapporten  aan  te  leveren,  waarvan  twee  met  een  voldoende  waren  beoordeeld  en  twee  met  een  onvoldoende.  Niet  iedere  docent  had  de  mogelijkheid  of  de  tijd  om  onderzoeksrapporten  aan  te  leveren.  Zes  docenten  hebben  onderzoeksrapporten  per  mail  opgevraagd  bij  de  studenten.  Dit  leverde  24  rapporten  op,  daarnaast  zijn  nog  elf  rapporten  gedownload  van  de  digitale  leer-­‐  werkomgeving  van  de  opleiding.  Hiervoor  is  toestemming  gevraagd  aan  de  coördinator  van  de  module  Onderzoek.  De  studenten  zijn  op  de  hoogte  gesteld  dat  hun  onderzoeksrapport  gebruikt  zou  worden  voor  een  onderzoek,  zij  hebben  daarvoor  geen  beloning  ontvangen.  De  in  dit  onderzoek  geanalyseerde  onderzoeksrapporten  zijn  geanonimiseerd  en  niet  te  herleiden  tot  de  studenten  die  deze  hebben  geschreven.  

Data-­‐analyse     In  de  eerste  fase,  het  open  coderen,  zijn  met  behulp  van  het  programma  Nvivo  (betaversie  voor  Mac)  codes  toegekend  aan  de  knelpunten  in  de  onderzoeksrapporten.  In  eerste  instantie  zijn  in  dit  onderzoek  de  knelpunten  aangeduid  met  zeer  algemene  termen,  zoals  'slechte  formulering',  of  'geen  antwoord  op  de  probleemstelling'.  Gedurende  de  knelpuntenanalyse  zijn  de  beschrijvingen  steeds  nauwkeuriger  geformuleerd.  Het  knelpunt  'slechte  formulering'  is  bijvoorbeeld  opgesplitst  in  onder  andere:  'de  zinnen  zijn  onbegrijpelijk  door  slechte  formulering',  'er  is  sprake  van  een  overbodige  herhaling'  en  'de  student  spreekt  zichzelf  tegen'.  Vervolgens  werden  aan  de  knelpunten  labels  toegekend,  als  voorbereiding  op  de  categorisering.     In  de  fase  van  axiale  codering  werden  de  codes  nauwkeuriger  beschreven,  daardoor  werden  de  labels  gesplitst  of  samengevoegd.  Dit  gaf  dat  aanleiding  om  de  geanalyseerde  conclusies  nogmaals  

12    

te  doorlopen  en  de  codes  daarin  aan  te  passen.  Deze  fase  kon  worden  afgerond  op  het  moment  dat  ieder  nieuw  knelpunt  onder  bestaande  codes  kon  worden  ondergebracht.  De  knelpunten  zijn  vervolgens  overgezet  naar  Excel  (voor  Mac  2011)  zodat  deze  aan  de  hand  van  de  labels  konden  worden  gecategoriseerd.  De  categorieën  en  subcategorieën  vormden  de  basis  voor  de  selectieve  codering  van  de  rapporten.  In  deze  fase  is  gezocht  naar  patronen  en  uitzonderingen.  Een  voorbeeld  daarvan  was  het  knelpunt  dat  in  de  conclusie  duidelijk  werd  dat  de  belangrijkste  oorzaken  van  een  probleem  niet  geanalyseerd  waren.  Voor  dit  knelpunt  is  een  subcategorie  probleemstelling  niet  nauwkeurig  genoeg  geformuleerd  opgesteld.  De  categorieën  zijn  enkele  malen  aangepast,  omdat  het  van  sommige  knelpunten  moeilijk  te  bepalen  was  onder  welke  categorie  deze  het  best  pasten.  Dit  was  bijvoorbeeld  het  geval  bij  de  categorie  ‘onjuiste  selectie  van  respondenten’.  Deze  was  in  eerste  instantie  ingedeeld  bij  het  knelpunt,  'vertaling  van  resultaten  naar  conclusies',  maar  omdat  deze  categorie  niet  duidelijk  was,  zijn  de  knelpunten  die  hieronder  ingedeeld  waren,  in  andere  categorieën  geplaatst.  In  eerste  instantie  is  'onjuiste  selectie  van  respondenten’  als  een  aparte  categorie  opgenomen,  vervolgens  is  besloten  om  een  categorie  'knelpunten  in  de  opzet  van  het  onderzoek'  in  te  voeren  en  het  knelpunt  'onjuiste  selectie  van  respondenten’  daarin  onder  te  brengen.  Uiteindelijk  is  een  tabel  samengesteld  van  37  knelpunten  die  in  vijf  categorieën  zijn  ingedeeld.    

Interviews  

Dataverzameling  De  drie  semigestructureerde  interviews  zijn  afzonderlijk,  ‘face-­‐to-­‐face’  afgenomen  in  het  gebouw  van  de  opleiding  MIC  en  op  audio  vastgelegd.  De  vragen  voor  de  interviews  zijn  van  tevoren  vastgelegd  in  een  interviewschema.  De  interviews  duurden  tussen  de  35  de  50  minuten.    

Data-­‐analyse  De  interviews  zijn  volledig  getranscribeerd,  waarna  relevante  tekstfragmenten  zijn  geselecteerd  om  te  vergelijken  met  de  bevindingen  uit  de  knelpuntenanalyses  van  de  conclusies  en  de  bevindingen  uit  de  literatuur.  Dit  gaf  beter  inzicht  in  het  type  onderzoek  dat  studenten  verrichten  bij  het  afstudeerprofiel  RMP  en  de  instructie  die  studenten  van  de  opleiding  krijgen  ten  aanzien  van  de  conclusie  van  een  onderzoeksrapport.  Het  gaf  tevens  een  bevestiging  van  de  gevonden  knelpunten.  De  transcripties  van  de  interviews  zijn  geanonimiseerd  en  op  verzoek  te  verkrijgen  bij  de  onderzoeker.  

Vergelijken  van  bevindingen  met  literatuur     Omdat  bleek  dat  de  knelpunten  in  de  conclusies  sterk  samenhingen  met  knelpunten  in  het  gehele  onderzoeksproces  is  vervolgens  gekeken  of  deze  gekoppeld  konden  worden  aan  in  de  literatuur  genoemde  knelpunten  in  een  onderzoek.  Daarbij  is  gebruik  gemaakt  van  het  model  van  Oost  (2002),  omdat  hierin  heel  uitgebreid  de  mogelijke  fouten  in  een  onderzoeksproces  worden  beschreven  en  gekoppeld  aan  kwaliteitscriteria.  Dit  model  is  uitermate  geschikt  voor  voorliggend  onderzoek,  gegeven  de  doelstelling  om  kwaliteitscriteria  en  instructies  voor  conclusies  te  schrijven  aan  de  hand  van  een  knelpuntenanalyse.  Vervolgens  is  onderzocht  of  kwaliteitscriteria  voor  praktijkgericht  onderzoek  afwijken  van  kwaliteitscriteria  voor  theoriegericht  onderzoek.  Dit  is  gedaan  door  literatuur  over  de  verschillen  tussen  praktijkgericht  en  theoriegericht  onderzoek  te  raadplegen  en  de  kwaliteitseisen  met  elkaar  te  vergelijken.  Tot  slot  heeft  deze  vergelijking  geleid  tot  een  koppeling  van  de  knelpunten  uit  de  conclusie  aan  kwaliteitscriteria  voor  onderzoek  en  konden  deze  kwaliteitscriteria  specifieker  worden  afgestemd  op  de  conclusie  van  een  onderzoeksrapport.    

Validiteit  

Interne  validiteit  Voor  de  beantwoording  van  de  onderzoeksvragen  over  de  knelpunten  in  de  conclusies  die  studenten  schrijven,  wordt  gebruik  gemaakt  van  meerdere  bronnen:  de  literatuur,  de  onderzoeksrapporten  van  de  studenten  en  de  interviews  met  de  docenten  onderzoek.  Wanneer  meerdere  bronnen  bijdragen  aan  eenzelfde  conclusie,  is  sprake  van  convergentie  van  de  onderzoeksresultaten  en  draagt  dit  bij  aan  de  constructvaliditeit  van  het  onderzoek  (Van  Burg,  2011).  Het  gebruik  van  meerdere  bronnen  wordt  ook  wel  triangulatie  van  bronnen  genoemd,  wat  bijdraagt  aan  een  sterkere  ondersteuning  van  de  uitkomsten  (Yin,  2009).  Doordat  binnen  case  study  research  de  analyse  en  de  ideevorming  zo  direct  worden  afgeleid  uit  de  data,  het  onderzoeksmateriaal  binnen  de  natuurlijke  context  is  het  waarschijnlijk  dat  de  idee-­‐  en  theorievorming  consistent  is  met  de  empirische  observatie  (Eisenhardt  

13    

K.M.  2002).  Ook  het  vergelijken  van  de  ideeën  en  de  zich  ontwikkelende  theorie  met  bestaande  literatuur  verhoogt  de  interne  validiteit  van  die  theorie  (Eisenhardt,  K.M.,  2002;  Yin,  2009).       Bij  een  meervoudige  gevalsstudie  worden  de  uitkomsten  (in  dit  geval  de  gedefinieerde  knelpunten)  gedurende  het  analyseproces  geverifieerd.  Er  is  sprake  van  herhaaldelijke  verificatie  omdat  de  knelpunten  uit  verschillende  onderzoeksrapporten  met  elkaar  vergeleken  worden,  (Eisenhardt,  K.M.,  2002).  Dit  draagt  bij  aan  de  interne  validiteit  van  de  gevonden  knelpunten.  Daarnaast  zijn  de  bevindingen  uit  de  analyse  van  de  onderzoeksrapporten  gevalideerd  door  twee  docenten.  Zij  beoordeelden  ieder  tien  analyses  van  conclusies  die  door  mij  waren  geanalyseerd.  Zij  kregen  de  instructie  om  na  te  gaan  of  ik  alle  knelpunten  had  aangegeven  in  een  conclusie,  of  deze  een  logische  beschrijving  hadden  en  of  de  indeling  van  categorieën  logisch  was.  In  de  tien  geselecteerde  conclusies  die  voor  deze  validering  werden  geselecteerd,  moesten  alle  categorieën  ten  minste  twee  keer  voorkomen.  Aan  de  hand  van  deze  validering  zijn  de  categorieën  heringedeeld  en  de  knelpunten  nauwkeuriger  beschreven.  De  docenten  gaven  aan  geen  nieuwe  knelpunten  in  de  conclusies  te  hebben  aangetroffen.  De  validering  leidde  wel  tot  aanscherping  van  formuleringen  en  het  verplaatsen  van  enkele  knelpunten  naar  een  andere  categorie.  De  instructie  voor  de  docenten  is  opgenomen  in  bijlage  V.  Daarnaast  zijn  de  in  de  in  dit  onderzoek  beschreven  knelpunten  in  de  interviews  met  de  docenten  gevalideerd.  De  geïnterviewde  docenten  kregen  ieder  drie  conclusies  voorgelegd  met  de  vraag  of  zij  hiervan  de  knelpunten  konden  aangeven.  Dit  diende  niet  alleen  ter  validering  van  het  opgestelde  coderingsschema;  het  gaf  ook  een  meer  open  en  holistische  analyse  van  de  conclusies.  Dat  was  van  nut  om  te  achterhalen  wat  volgens  de  docenten  de  belangrijkste  knelpunten  in  de  conclusies  zijn.       De  validiteit  van  de  interviews  is  verhoogd  door  een  proefinterview  af  te  nemen.  Zo  is  getoetst  of  de  vragen  die  zijn  opgesteld  waren,  werden  geïnterpreteerd  zoals  bedoeld.  Tevens  is  nagegaan  of  de  uitkomsten  van  het  interview  bijdragen  aan  de  beantwoording  van  probleemstelling.    Uit  het  proefinterview  bleek  dat  veel  vragen  te  algemeen  geformuleerd  waren  en  niet  bijdroegen  aan  de  beantwoording  van  de  onderzoeksvragen.  Ook  bleek  dat  het  voorleggen  van  de  gevonden  knelpunten  niet  leidde  tot  meer  inzicht  in  deze  knelpunten  of  een  aanvulling  daarop.  Daarom  is  het  interviewschema  grondig  herzien:  de  vragen  zijn  aangepast  en  scherper  geformuleerd.  Bovendien  is  een  element  toegevoegd  aan  het  interview.  Na  het  stellen  van  de  openvragen  werden  de  docenten  gevraagd  drie  conclusies  van  studenten  te  lezen  en  te  beoordelen.  De  aanpassingen  in  het  interviewschema  waren  zo  groot,  dat  is  besloten  om  nog  een  proefinterview  af  te  nemen.  Het  tweede  proefinterview  gaf  geen  aanleiding  tot  nieuwe  aanpassingen.  

Externe  validiteit:  bruikbaarheid  en  generaliseerbaarheid  Dit  onderzoek  is  een  kleinschalig  kwalitatief  onderzoek,  waarbij  een  relatief  klein  aantal  onderzoeksobjecten  diepgaand  is  geanalyseerd.  Daarom  is  het  goed  om  de  externe  validiteit  te  benaderen  vanuit  twee  perspectieven:  de  bruikbaarheid  van  de  uitkomsten  binnen  de  context  waarin  het  onderzoek  is  uitgevoerd,  te  weten  de  opleiding  MIC,  en  de  mogelijkheid  om  deze  uitkomsten  te  generaliseren.  Omdat  binnen  dit  onderzoek  de  conclusies  in  onderzoeksrapporten  van  RMP-­‐studenten  diepgaand  zijn  geanalyseerd  is  een  duidelijk  beeld  ontstaan  van  de  knelpunten  die  deze  studenten  ondervinden  bij  het  schrijven  van  een  conclusie.  De  inzichten  die  hieruit  voortkomen,  zijn  heel  goed  bruikbaar  om  het  onderwijs  in  onderzoeksvaardigheden  binnen  deze  opleiding  te  verbeteren.  Heel  concreet  levert  dit  onderzoek  een  opzet  voor  instructie  voor  het  schrijven  van  een  conclusie  op.  Daarnaast  is  het  om  meerdere  redenen  niet  onaannemelijk  dat  de  opgestelde  eisen  ook  binnen  andere  contexten  bruikbaar  zijn.  Omdat  bij  kwalitatief  onderzoek  sprake  is  van  'purposeful  selection'  van  data  gaat  men  ervan  uit  dat  onderzoeksuitkomsten  vooral  bruikbaar  zijn  voor  vergelijkbare  context.  Yin  (2009)  spreekt  in  dit  verband  over  analytische  generalisatie  waarin  "the  investigator  is  striving  to  generalize  a  particular  set  of  results  to  some  broader  theory"  (p.  43).  De  uitkomsten  van  dit  onderzoek  kunnen  gegeneraliseerd  worden  omdat  zijn  vergeleken  met  bestaande  literatuur.  De  vergelijking  van  de  door  de  analyse  ontstane  ideeën  met  bestaande  literatuur  draagt  bij  aan  de  externe  validiteit  van  dit  onderzoek  (Eisenhardt,  K.M.,  2002).  Dat  houdt  dat  het  aannemelijk  is  dat  de  uitkomsten  van  dit  onderzoek  ook  gelden  binnen  vergelijkbare  contexten:  opleidingen  op  hogescholen  met  een  vergelijkbaar  curriculum  en  een  vergelijkbaar  type  populatie.  Om  dit  te  toetsen,  zou  het  onderzoek  of  een  deel  daarvan  binnen  een  andere  context  herhaald  moeten  worden.  Zo  zouden  de  knelpunten  die  gevonden  zijn  binnen  de  onderzoeksrapporten  als  uitgangspunt  kunnen  dienen  voor  een  toetsing  van  dit  onderzoek  binnen  andere  opleidingen  met  soortgelijke  onderzoeksopdrachten.  

14    

 

15    

Resultaten  

Instructie  voor  het  schrijven  van  een  conclusie  vanuit  de  opleiding  Om  te  achterhalen  welke  instructie  studenten  krijgen  ten  aanzien  van  het  schrijven  van  een  conclusie  voor  een  onderzoeksrapport,  is  een  inventarisatie  gemaakt  van  de  documentatie  van  de  onderzoeksmodules  en  onderzoeksopdrachten  binnen  de  propedeuse  van  de  opleiding  MIC  en  het  afstudeerprofiel  RMP.  Om  te  achterhalen  of  deze  instructie  afdoende  is,  is  gebruik  gemaakt  van  de  aanwijzingen  van  Oost  (2002)  over  effectieve  instructie  voor  het  verrichten  van  onderzoek.       Om  te  leren  (onderzoeken)  moeten  studenten  volgens  Oost  (2002,  p.  8)  vier  dingen  weten:  "Wat  er  gedaan  moet  worden,  waarom  dat  gedaan  moet  worden,  wanneer  dat  goed  gedaan  is  en  hoe  het  gedaan  kan  worden."  Om  een  conclusie  te  kunnen  schrijven  moeten  studenten  weten  uit  welke  componenten  de  conclusie  bestaat  en  in  welke  volgorde  deze  aan  bod  moeten  komen  -­‐wat  er  gedaan  moet  worden.  Ze  moeten  weten  wat  de  functie  van  de  conclusie  is  –  waarom  het  gedaan  moet  worden  –  en  aan  welke  kwaliteitscriteria  deze  moet  voldoen  –  wanneer  dat  goed  gedaan  is.  Tot  slot  moeten  ze  richtlijnen  krijgen  –  hoe  het  gedaan  kan  worden.  Op  welke  wijze  de  instructie  verweven  is  in  het  onderzoeksvaardighedenonderwijs  van  het  curriculum  van  RMP,  wordt  hieronder  beschreven.     Uit  de  interviews  met  de  docenten  Onderzoek  komt  naar  voren  dat  in  de  verschillende  onderzoeksmodules  over  het  algemeen  één  les  wordt  besteed  aan  de  conclusie.  Vaak  wordt  in  een  van  de  laatste  lessen  de  instructie  over  de  conclusie  aan  de  hand  van  voorbeelden  gegeven.  Wanneer  dit  mogelijk  is,  komen  de  voorbeelden  uit  de  onderzoeksrapporten  van  de  studenten,  maar  het  gebeurt  vaak  dat  zij  nog  geen  resultaten  hebben  die  de  docent  kan  gebruiken  als  voorbeeld.  In  dat  geval  worden  generieke  voorbeelden  gebruikt.  Docenten  geven  aan  dat  zij  het  lastig  vinden  om  uit  te  leggen  wat  het  inhoudt  om  een  conclusie  te  trekken,  is.  Eén  docent  (respondent  2)  geeft  aan  "Ik  vind  het  best  lastig  wat  je  vraagt,  want  ik  weet  zelf  niet  wat  ik  doe  als  ik  een  conclusie  trek."  Een  ander  (respondent  1)  vertelt:  "[..]  want  een  samenvatting  van  de  resultaten,  geef  je  in  het  hoofdstuk  resultaten  en  hier  [in  de  conclusie]  geef  je  dus  een  waardeoordeel,  een  interpretatie,  waarin  je  [resultaten  van]  desk  en  field[research]  met  elkaar  vergelijkt".  Docenten  merken  daarnaast  op  dat  de  les  waarin  de  conclusie  aan  de  orde  komt,  vaak  slecht  bezocht  wordt:  studenten  komen  niet  en  geven  als  reden  op  dat  ze  niet  ver  genoeg  gevorderd  zijn  met  hun  onderzoek  of  dat  ze  aan  andere  studieactiviteiten  voorrang  geven  (respondent  2  en  3).  In  de  praktijk  is  het  merendeel  van  de  studenten  daardoor  aangewezen  op  de  instructie  uit  de  documentatie  van  de  modules  en  de  voorgeschreven  literatuur.       Uit  deze  inventarisatie  blijkt  dat  de  opsommingen  van  de  componenten  van  de  conclusie  bij  iedere  module  anders  geformuleerd  worden.  Hetzelfde  geldt  voor  de  instructie  ten  aanzien  van  de  structuur  van  de  conclusie  .  De  informatie  over  –  wat  er  gedaan  moet  worden  –  is  inconsistent  en  de  afzonderlijke  instructies  zijn  incompleet.  De  studenten  ontvangen  geen  instructie  over  de  functie  van  de  conclusie  –  waarom  het  gedaan  moet  worden.  Tot  slot  wordt  nauwelijks  aandacht  besteed  aan  de  kwaliteitscriteria  van  een  conclusie  –  wanneer  is  het  goed  gedaan.  Daarover  wordt  alleen  gezegd  wat  er  niet  moet  worden  gedaan:  een  samenvatting  of  herhaling  geven  van  je  resultaten.  Een  voorbeeld  is  de  powerpointsheet  uit  een  les  in  de  eerstejaarsmodule  onderzoeksvaardigheden:  

 In  de  conclusie:  

• herhaal  je  de  hoofdvraag  van  je  onderzoek.  • beantwoord  je  kort  de  deelvragen  en  daarna  de  hoofdvraag.  • geef  je  aan  of  je  genoeg  informatie  hebt  kunnen  vinden.  • NB:  Conclusies  trekken  is  meer  dan  samenvatten:  Dus  géén  herhaling  van  de  resultaten!  

  (Wesseling,  2012)    De  meest  uitgebreide  instructie  ten  aanzien  van  de  conclusie  krijgen  studenten  aan  het  einde  van  de  propedeuse,  in  de  modulehandleiding  van  de  module  Kwalitatief  Onderzoek:    

Wat  is  een  conclusie:    Verbinden  van  onderzoeksresultaten  aan  probleemstelling  /  onderzoeksvragen.    Antwoord  op  de  'hoofdvragen'  van  je  onderzoek;  aangeven  of  de  doelstelling  is  bereikt.    Conclusies  trekken  is  meer  dan  samenvatten.      

16    

De  opzet  van  een  conclusie:    Korte  schets  aanleiding  onderzoek:  herhaal  de  centrale  vraagstelling  (is  gegeven).  Kort  aanstippen  van  de  opzet  van  je  onderzoek,  vervolgens  beantwoorden  van  de  deelvragen  en  daarna  de  centrale  vraagstelling.    Evt.  aanbevelingen.  (Wesseling  2013,  pp.  17,  18).  

 Hier  wordt  ingegaan  op  de  inhoud  en  de  structuur  van  de  conclusie.  Wat  nog  wel  ontbreekt,  is  een  uitleg  hoe  een  student  dit  moet  aanpakken  en  de  kwaliteitscriteria  waaraan  de  conclusie  moet  voldoen.     Na  de  propedeuse  stromen  de  studenten  door  naar  de  hoofdfase  van  de  opleiding.    Binnen  het  afstudeerprofiel  RMP  worden  gedurende  het  tweede  studiejaar  geen  aparte  modules  onderzoeksvaardigheden  aangeboden.  De  onderzoeksopdrachten  zijn  onderdeel  van  het  projectonderwijs.  Binnen  deze  projectmodules  wordt  alleen  in  de  coachingsuren  aandacht  besteed  aan  de  conclusie.  De  wijze  waarop  dit  gebeurt,  wordt  ingevuld  door  de  docenten  die  de  groepen  coachen.  Het  is  binnen  de  opleiding  niet  gebruikelijk  om  docentinstructies  te  geven  voor  coachingsuren,  omdat  men  ervan  uitgaat  dat  studenten  zelf  de  agenda  bepalen  voor  deze  lessen  en  zelf  met  vragen  komen.  In  de  meeste  gevallen  worden  de  coachingsbijeenkomsten  gegeven  door  docenten  met  weinig  onderzoekservaring  (vakdocenten  of  instructeurs  praktijkonderwijs).       In  het  derde  leerjaar  staat  voor  de  eerste  keer  in  de  hoofdfase  van  de  opleiding  een  module  op  het  programma  die  volledig  draait  om  onderzoeksvaardigheden:  de  module  Onderzoek.    De  instructie  voor  de  conclusie  bestaat  uit  het  volgende:    

• Een  conclusie  is  de  beantwoording  van  de  probleemstelling.  • Een  conclusie  is  geen  samenvatting  van  de  resultaten.  • Een  conclusie  is  analytisch.  • Een  conclusie  is  compact  .  • Koppeling  met  literatuur  hoofdstuk/deskresearch  is  erg  belangrijk.  

  (Brancart  en  Goossens,  2013,  p.  13)    Hier  wordt  de  inhoud  van  de  conclusie  anders  beschreven  dan  in  de  instructie  in  het  eerste  jaar,  er  wordt  niet  ingegaan  op  de  structuur.  Wel  worden  voor  de  eerste  maal  kwaliteitscriteria  genoemd  namelijk  een  conclusie  moet  logisch  en  analytisch  zijn.  Deze  criteria  worden  niet  nader  toegelicht  en  er  worden  geen  richtlijnen  bij  gegeven.  Een  volledig  overzicht  van  de  instructie  vanuit  de  opleiding  MIC  ten  aanzien  van  een  conclusie  is  te  vinden  in  bijlage  II  van  dit  onderzoeksrapport.     Naast  de  instructies  in  de  lessen  wordt  één  studieboek  over  onderzoeksmethodologie  voorgeschreven:  Wat  is  onderzoek?  van  Nel  Verhoeven  (2007).  In  dit  boek  is  de  uitleg  over  de  conclusie  eveneens  uiterst  beknopt:      

Bij  het  trekken  van  de  conclusie  verbind  je  de  onderzoeksresultaten  met  de  probleemstelling  en  geef  je  antwoord  op  de  centrale  vraag  van  je  onderzoek.  Je  interpreteert  dus  de  resultaten  aan  de  hand  van  je  probleemstelling.  Ook  ga  je  in  op  de  vraag  of  je  met  deze  antwoorden  je  onderzoeksdoel  kunt  bereiken.  Conclusies  trekken  is  dus  niet  simpelweg  samenvatten  van  de  resultaten:  er  komt  meer  bij  kijken!  (p.  276)  

 Een  aantal  zaken  valt  op:    In  de  propedeuse  wordt  meerdere  malen  aandacht  besteed  aan  de  conclusie  van  een  onderzoek,  in  leerjaar  twee  wordt  dit  overgelaten  aan  de  individuele  docent  die  de  studenten  begeleidt  tijdens  de  coachingsuren.  Meer  dan  een  jaar  later,  in  de  module  Onderzoek  in  het  derde  leerjaar,  krijgen  de  studenten  instructie  over  de  conclusie.  De  instructie  is  versnipperd.  De  instructie  die  studenten  krijgen  voor  de  conclusie  wordt  bij  iedere  module  anders  geformuleerd:  de  componenten  van  de  conclusie  worden  niet  consistent  allemaal  genoemd  en  niet  eenduidig  benoemd.  Daarnaast  wordt  een  aantal  keer  verteld  wat  een  conclusie  níet  moet  zijn  -­‐  een  samenvatting  van  resultaten  -­‐  maar  niet  concreet  beschreven  wat  een  conclusie  wel  moet  zijn.  De  instructie  is  niet  compleet,  niet  consistent  en  niet  eenduidig.  

Instructie  voor  het  schrijven  van  een  conclusie  in  de  literatuur     De  instructie  voor  het  schrijven  van  een  conclusie  die  vanuit  de  opleiding  gegeven  wordt,  is  summier.  Ook  Verhoeven,  wiens  boek  Wat  is  onderzoek?  wordt  voorgeschreven,  is  beknopt  in  haar  uitleg.  Om  een  beter  beeld  te  krijgen  van  wat  een  conclusie  is  volgens  onderzoekers  en  methodologen,  is  een  inventarisatie  gemaakt  van  studie-­‐  en  handboeken  over  het  verrichten  van  onderzoek.  Ook  

17    

daaruit  blijkt  dat  de  conclusie  een  onderbelicht  onderwerp  is.  In  studieboeken  gericht  op  studenten,  bijvoorbeeld  het  eerder  genoemde  Wat  is  onderzoek?  van  Verhoeven  (2007)  en  Dit  is  onderzoek  van  Baarda,  de  Goede  en  Teunissen  (2005)  wordt  meestal  niet  meer  dan  één  of  enkele  regels  besteed  aan  de  conclusie:  "De  conclusie  dient  altijd  te  beginnen  met  het  antwoord  op  de  onderzoeksvraag"  (2005,  p.  149).  Dan  wordt  verwezen  naar  een  voorbeeld  en  aangegeven  dat  de  conclusie  nooit  kan  zijn:  "Het  blijkt  dat  wij  gelijk  hebben".       In  handboeken  over  het  ontwerpen  van  een  onderzoek  die  gericht  zijn  op  (beginnende)  onderzoekers,  zoals  Het  ontwerpen  van  onderzoek  van  Verschuren  en  Doorewaard  (2007)  en  Methoden  en  technieken  van  onderzoek  van  Schreuder-­‐  Peters  (2012),  zijn  geen  aparte  hoofdstukken  of  paragrafen  over  de  conclusie  opgenomen.    Het  Basisboek  methoden  en  technieken  van  Baarda  (2012,  p.  318)  vermeldt  over  de  conclusie:  

 Na  de  discussie  over  de  betekenis  van  de  onderzoeksresultaten  sluit  je  dit  hoofdstuk  af  met  een  of  meer  conclusies.  Deze  conclusies  geven  kort  en  krachtig  antwoord  op  de  onderzoeksvraag,  gebaseerd  op  de  onderzoeksresultaten.  De  conclusie  mag  geen  nieuwe  informatie  bevatten.  Vraag  je  bij  het  trekken  van  conclusies  af  of  deze  echt  af  te  leiden  zijn  uit  het  onderzoeksmateriaal  dat  je  hebt  gepresenteerd  en  niet  je  eigen  ideeën  of  meningen  weergeven.  Formuleer  je  conclusies  bovendien  op  de  juiste  manier:  geef  aan  dat  je  wel  of  geen  steun  vindt  voor  het  idee  dat…  zeg  nooit  dat  je  hypothese  'klopt'  of  'juist'  is  [sic]  het  tegendeel  kan  immers  altijd  nog  gevonden  worden.    

Het  belangrijkste  punt  dat  hier  wordt  benadrukt,  is  de  samenhang  tussen  'het  antwoord'  en  de  onderzoeksresultaten.  Er  wordt  nagelaten  aanwijzingen  te  geven  over  de  structuur  en  de  functie  van  de  conclusie.  Bovendien  gaat  Baarda  uit  van  hypothesetoetsend  onderzoek,  dat  is  niet  het  type  onderzoek  dat  de  studenten  RMP  verrichten.  In  het  boek  Onderzoeksvaardigheden!  van  Fischer  en  Julsing  (2014)  gericht  op  de  onderzoekende  professionals  wordt  aangeraden  om  "meerdere  collega's  op  basis  van  je  informatie  conclusies  te  laten  trekken"  (p.  204),  maar  worden  geen  handvatten  gegeven  hoe  dit  te  doen  of  hoe  de  verschillende  conclusies  te  wegen  en  tot  een  finale  conclusie  te  komen.  Ook  in  handboeken  waarin  uitleg  gegeven  wordt  over  specifieke  onderzoeksmethodes,  bijvoorbeeld  over  case  studies  of  over  het  ontwikkelen  van  vragenlijsten,  komt  de  conclusie  nauwelijks  aan  de  orde.  In  het  boek  Enquêteren:  het  opstellen  en  gebruiken  van  vragenlijsten  van  Bartelds,  Jansen,  en  Joostens  (1989),  staat  een  zeer  beknopte  uitleg  over  de  conclusie:  "Met  het  onderdeel  conclusies  en  aanbevelingen  besluiten  we  het  rapport.  Hierin  geven  we  een  interpretatie  van  de  gevonden  vragenlijstuitkomsten  en  geven  we  een  antwoord  op  de  geformuleerde  probleemstelling."       In  het  boek  Onderzoeken  doe  je  zo  (Verhoeven,  2010)  wordt  aan  de  hand  van  een  voorbeeldonderzoek  geïllustreerd  hoe  een  conclusie  eruit  ziet.  Het  gebruik  van  voorbeelden  is  vaak  wel  verhelderend,  maar  als  enkel  een  voorbeeld  wordt  gegeven  zonder  verdere  uitleg  aan  welke  eisen  de  conclusie  moet  voldoen,  is  de  instructie  niet  compleet.  Door  enkel  uitleg  te  geven  aan  de  hand  van  een  voorbeeld,  ontbreekt  het  aan  instructies  ten  aanzien  van  de  functie,  de  structuur  en  de  kwaliteit  van  de  conclusie.  In  bijlage  IV  is  een  overzicht  opgenomen  van  alle  geraadpleegde  hand-­‐  en  studieboeken.      

Instructie  voor  het  schrijven  van  een  conclusie  door  andere  opleidingen,  online  gepubliceerd  Het  gebrek  aan  instructies  voor  het  schrijven  van  conclusies  kan  een  reden  zijn  voor  instituten  voor  hoger  onderwijs  om  zelfgeschreven  handleidingen  en  opdrachten  online  te  publiceren.  Een  voorbeeld  daarvan  is  de  instructie  van  de  Rijksuniversiteit  Groningen  (2002,  para  4).  Ook  hierin  is  de  informatie  over  de  conclusie  niet  heel  uitgebreid:  er  wordt  enkel  aangegeven  dat  de  conclusie  antwoord  geeft  op  de  in  de  inleiding  geformuleerde  onderzoeksvraag  en  dat  de  conclusie  laat  zien  hoe  de  stand  van  het  onderzoek  is  gewijzigd  door  de  toevoeging  van  nieuwe  kennis  en  inzichten.  Er  wordt  dus  alleen  aangegeven  wat  de  functie  van  de  conclusie  is.     Professor  Valcke  (2010)  van  de  Universiteit  van  Gent  geeft  zijn  studenten  de  opdracht  schrijf  een  conclusie  bij  een  bestaand  artikel.  Hij  geeft  de  studenten  instructie  over  de  inhoud  en  de  structuur  van  een  conclusie:    

Herhaal  kernachtig  de  centrale  probleemstelling  van  het  onderzoek.  • Benadruk  waarom  de  aanpak  van  deze  probleemstelling  belangrijk,  noodzakelijk,  innovatief  is.  

18    

• Schets  beknopt  de  aanpak  van  de  probleemstelling:  theorie,  onderzoeksdesign,  analyseaanpak.  • Vat  de  voornaamste  resultaten  samen.  • Bekijk  op  basis  van  de  resultaten  opnieuw  de  probleemstelling.  • Schets  de  belangrijkste  implicaties  van  de  resultaten  en  conclusies.  • Schets  de  belangrijkste  stap  naar  de  toekomst  toe.  (para.  4)  

     Valcke  gaat  eveneens  in  op  de  functie  van  de  conclusie:    

Een  goede  kernachtige  conclusie  schrijven  heeft  als  resultaat  dat  een  lezer:  • zich  goed  terug  de  probleemstelling  voor  ogen  houdt;  • het  belang  van  het  uitgevoerde  onderzoek  onderkent  (waar  zat  de  lacune  in  de  literatuur);  • de  kern  van  de  aanpak  (theorie  en  onderzoeksdesign)  herinnert;  • de  belangrijkste  conclusies  kan  onthouden;  • de  implicaties  van  de  bevindingen  onderkent;  • een  richting  naar  de  toekomst  toe  mee  krijgt.  

   (2010,  para  2)    Het  laatste  punt  licht  hij  nader  toe:  "Dit  kan  één  van  de  volgende  richtingen  uit  gaan:  aanpak  van  een  vervolgonderzoek,  herbekijken  van  de  theorie,  aanpassen  van  de  praktijk,  herbekijken  van  de  huidige  praktijk,  enz."  (Richtlijnen  voor  de  uitwerking,  para.  4).  In  deze  redelijk  uitgebreide  instructie  wordt  wel  ingegaan  op  de  inhoud  en  de  structuur  van  de  conclusie  –  wat  er  gedaan  moet  worden  –  en  de  functie  van  de  conclusie  –  waarom  het  gedaan  moet  worden  –  maar  ontbreken  de  kwaliteitscriteria  voor  de  conclusie  –  wanneer  het  goed  gedaan  is.         Al  met  al  is  de  instructie  voor  de  inhoud,  de  structuur  en  de  kwaliteit  van  een  conclusie  niet  compleet,  eenduidig  en  niet  consistent  beschreven.  Om  nauwkeurig  aan  te  geven  wat  binnen  dit  onderzoek  wordt  verstaan  onder  de  conclusie  van  een  onderzoeksrapport  is  op  basis  van  bovenstaande  informatie  een  werkdefinitie  van  de  conclusie  opgesteld.      De  conclusie  is  het  antwoord  op  de  probleemstelling  dat  aan  de  hand  van  een  synthese  van  onderzoeksresultaten  wordt  gegeven  en  waarin  wordt  uitgelegd  op  welke  wijze  het  antwoord  bijdraagt  aan  de  doelstelling  van  het  onderzoek.    

Knelpunten  in  de  conclusies  van  onderzoeksrapporten  Er  is  een  knelpuntenanalyse  uitgevoerd  van  onderzoeksrapporten  op  basis  van  de  gefundeerde  theoriebenadering.  Daarnaast  is  tijdens  de  interviews  aan  de  docenten  onderzoek  gevraagd  wat  volgens  hen  de  grootste  knelpunten  zijn  in  de  conclusies  van  onderzoeksrapporten.  In  tabel  2  zijn  de  resultaten  uit  de  knelpuntenanalyse  te  zien.  Alle  categorieën  worden  toegelicht.  De  knelpunten  waarvan  enkel  uit  de  beschrijving  in  de  tabel  niet  duidelijk  wordt  hoe  een  dergelijke  fout  eruit  zou  kunnen  zien,  zijn  aan  de  hand  van  een  voorbeeld  uitgelegd.  De  citaten  uit  de  onderzoeksrapporten  zijn  letterlijk  overgenomen  en  bevatten  daarom  formulerings-­‐  en  spelfouten.  In  de  tweede  paragraaf  worden  de  bevindingen  uit  de  interviews  met  docenten  gepresenteerd  en  wordt  aangegeven  of  deze  hebben  geleid  tot  aanpassingen  van  de  opgestelde  categorisering  van  knelpunten.      

19    

     

Tabel  2  Knelpunten  in  conclusies  van  onderzoeksrapporten  

Categorie   Knelpunten    1.Knelpunten  in  de  inhoud  van  de  conclusie.    Niet  (volledig)  af  te  leiden  uit  de  conclusie  zelf.  

 Relevante  onderzoeksresultaten  zijn  niet  gebruikt  voor  de  conclusie.  Een  conclusie  is  gebaseerd  op  slechts  één  of  enkele  resultaten  van  het  onderzoek.  Resultaten  worden  foutief  gegeneraliseerd.  Alle  resultaten  worden  genoemd,  er  is  geen  selectie  gemaakt  van  die  resultaten  die  relevant  zijn  voor  de  beantwoording  van  de  probleemstelling.  Er  is  sprake  van  een  foutieve  gevolgtrekking.    In  de  conclusie  staan  citaten.    In  de  conclusie  staat  nieuwe  informatie.    In  de  conclusie  wordt  een  onderzoeksmethode  beschreven.    De  conclusie  bevat  geen  (sluitende)  argumentatie,  maar  is  alleen  een  samenvatting  van  resultaten.    De  conclusie  geeft  geen  antwoord  op  de  probleemstelling.    

2.  Knelpunten  in  de  structuur  van  de  conclusie.    Niet  (volledig)  af  te  leiden  uit  de  conclusie  zelf.    

In  de  conclusie  wordt  de  probleemstelling  niet  herhaald.  De  conclusie  is  niet  gestructureerd  (aan  de  hand  van  de  probleemstelling).    In  de  conclusie  wordt  niet  gerefereerd  aan  de  doelstelling.        

3.  Knelpunten  bij  de  formulering  van  de  conclusie.    

Er  is  sprake  van  een  cirkelredenering.  De  schrijver  spreekt  zichzelf  tegen.  Eenzelfde  (kern)begrip  wordt  niet  consequent  benoemd.    De  zinnen  zijn  onbegrijpelijk  door  slechte  formulering.  Er  is  sprake  van  een  overbodige  herhaling.    

4.  Knelpunten  in  de  opzet  van  het  onderzoek.  Niet  (volledig)  af  te  leiden  uit  de  conclusie  zelf.  

De  probleemstelling  is  niet  of  niet  precies  genoeg  geformuleerd.  Er  is  geen  onderscheid  gemaakt  tussen  probleemstelling  en  doelstelling:  de  probleemstelling  is  geen  kennisvraag.    Er  is  geen  doelstelling  geformuleerd:  de  relevantie  van  de  probleemstelling  is  niet  aangetoond.  De  probleemstelling  sluit  niet  aan  bij  de  doelstelling.    In  de  probleemstelling  wordt  uitgegaan  van  een  verkeerde  aanname.  In  de  conclusie  wordt  een  andere  doelstelling  genoemd  dan  in  de  inleiding.  De  gebruikte  methoden  zijn  niet  geschikt  om  de  (volledige)  onderzoeksvraag  te  beantwoorden.    De  geformuleerde  deelvragen  leiden  niet  tot  volledige  beantwoording  van  de  probleemstelling:    

• Er  ontbreken  relevante  deelvragen  om  de  probleemstelling  te  beantwoorden.  

• Geformuleerde  deelvragen  zijn  niet  relevant  voor  het  beantwoorden  van  de  probleemstelling.  

De  selectie  van  respondenten  is  niet  goed.  Het  is  niet  duidelijk  op  welke  wijze  de  respondenten  zijn  geselecteerd.    

5.  Knelpunten  in  de  gebruikte  instrumenten.  Niet  (volledig)  af  te  leiden  uit  de  conclusie  zelf.  

Een  enquêtevraag  of  interviewvraag  is  niet  relevant  voor  het  onderzoek.    De  formulering  van  enquête-­‐  of  interviewvragen  is  slecht:  

• De  vraag  is  sturend  gesteld.  • De  vraag  is  multi-­‐interpretabel.  • De  vraag  is  onbegrijpelijk.  • In  de  vraag  wordt  gebruik  gemaakt  van  begrippen  die  niet  duidelijk  zijn  voor  

de  respondent  (vakjargon).  • De  vraag  is  niet  precies  genoeg  geformuleerd  om  bij  te  dragen  aan  de  

beantwoording  van  de  probleemstelling.  Noot.  De  knelpunten  zijn  thematisch  ingedeeld  in  vijf  categorieën,  de  volgorde  waarin  ze  in  deze  tabel  gepresenteerd  staan,  houdt  geen  verband  met  de  frequentie  of  de  ernst  van  het  knelpunt.  

20    

Knelpunten  in  de  inhoud  van  de  conclusie  In  deze  categorie  worden  die  knelpunten  beschreven  die  te  maken  hebben  met  de  vertaalslag  van  de  resultaten  van  een  onderzoek  naar  de  conclusie.  Het  komt  vaak  voor  dat  studenten  geen  goede  selectie  maken  van  de  resultaten  uit  hun  onderzoek:  ze  benoemen  relevante  resultaten  niet  in  de  conclusie,  of  herhalen  álle  resultaten.  De  argumentatielijn  ontbreekt  of  de  conclusie  bestaat  uitsluitend  uit  een  opsomming  van  resultaten.  Een  voorbeeld  hiervan  is  de  conclusie  van  een  onderzoeksrapport,  opgesteld  voor  theaterfestival  de  Parade  (rapport  23).  Hiervan  luidde  de  probleemstelling  als  volgt:  "Wat  kan  het  theaterfestival  De  Parade  [sic]  op  social  media  gebied  [sic]  doen  om  door  het  jaar  heen  bij  de  aandacht  van  de  doelgroep  te  blijven  [sic]  en  hierdoor  enthousiasme  opwekken  [sic]  voor  het  festival?"    

Conclusie  doelgroep  De  doelgroep  is  breder  dan  de  Facebookpagina  van  'de  Parade'  weergeeft  [sic].  De  grootste  groep  is  namelijk  25  jaar  of  jonger.  Maar  ook  zijn  de  26-­‐30  jarige  [sic]  goed  vertegenwoordigd  met  27,8%.  Het  merendeel  van  de  doelgroep  is  een  vrouw.  De  interesses  van  de  doelgroep  zijn  theater,  muziek,  kunst  en  cultuur.  Hier  zou  de  doelgroep  ook  graag  content  van  willen  zien  [sic]  op  de  Facebookpagina.  Op  de  Facebookpagina  van  de  Parade  wordt  nu  al  content  geplaatst  over  deze  onderwerpen.  

 Conclusie  social  media    In  de  desk-­‐  en  field  research  [sic]  is  uitgekomen  [sic]  dat  het  consistent  [sic]  updaten  van  content  erg  belangrijk  is  om  niet  vergeten  te  worden  bij  de  doelgroep.  Deze  ontdekking  is  erg  relevant  voor  dit  onderzoek  over  de  Parade.  Content  over  theater,  muziek,  kunst  en  cultuur  zou  de  doelgroep  graag  willen  zien  [sic].  Ook  zou  de  doelgroep  graag  filmpjes  en  foto’s  terug  willen  zien  van  de  Parade.  Voor  de  leden  van  de  Facebookpagina  van  de  Parade  gaat  het  meer  om  het  laten  zien  dat  ze  lid  zijn  en  niet  om  de  content  zelf.  Ook  zijn  ze  niet  heel  tevreden  met  de  platforms,  want  ze  geven  een  6  voor  de  social  media  platforms  [sic].      

In  deze  conclusie  leidt  de  ontbrekende  argumentatie  ertoe  dat  de  probleemstelling  niet  wordt  beantwoord.  Het  komt  ook  voor  dat  de  probleemstelling  wel  wordt  beantwoord,  maar  dat  niet  duidelijk  is  of  het  antwoord  wel  af  te  leiden  is  uit  het  onderliggende  onderzoek.  Dit  is  het  geval  bij  de  conclusie  bij  het  onderzoek  naar  een  applicatie  voor  het  televisieprogramma  'Goede  Tijden,  Slechte  Tijden,  (GTST)'  met  als  probleemstelling:  "  Met  wat  voor  applicatie  kan  RTL  [sic]  de  interactie  met  de  kijkers  van  GTST  [sic]  het  hele  jaar  door  vergroten?”  (rapport  22)    

Uit  de  deskresearch  is  gebleken  dat  RTL  al  meerdere  malen  succesvol  een  applicatie  heeft  geproduceerd  voor  GTST.  De  laatste  app  ‘Springlevend’  werd  ruim  een  half  miljoen  keer  gedownload.  Waarom  was  deze  app  zo  populair?  Volgens  de  respondenten  van  de  enquête  kwam  dit  vooral  doordat  RTL  de  app  erg  spannend  had  gemaakt.  Dit  deed  RTL  door  iedere  week  wat  meer  informatie  te  verstrekken  waarmee  de  gebruiker  steeds  een  stapje  dichter  bij  de  oplossing  kwam.  De  leuke  spelletjes  en  filmpjes  in  de  app  droegen  ook  bij  aan  het  succes.      Uit  de  Doelgroepsanalyse  [sic]  blijkt  dat  de  GTST-­‐kijker  wordt  omschreven  als  iemand  die  van  gezelligheid  houdt  en  erg  is  gesteld  op  het  samenzijn  met  anderen.  Hij  hecht  veel  waarde  aan  de  menselijke  karaktereigenschappen  en  kan  zich  ook  in  deze  eigenschappen  inleven.  Ook  bleek  dat  GTST  vooral  vrouwelijke  kijkers  trekt,  met  een  gemiddelde  leeftijd  van  25  jaar.  Dat  is  ook  gebleken  uit  de  enquêtes  die  voor  dit  onderzoek  zijn  afgenomen:  maar  liefst  80%  van  de  respondenten  was  vrouw.      Door  het  onderzoeken  van  applicaties  die  mogelijke  concurrenten  vormen  voor  de  nieuwe  app  van  GTST,  zijn  een  aantal  inzichten  naar  voren  gekomen:  

• Een  zeer  goede  zet  zou  zijn  om  de  nieuwe  applicatie  voor  GTST  tweetalig  te  maken  (want  GTST  heeft  ook  veel  buitenlandse  fans)  

• De  vormgeving  van  de  app  moet  goed  aansluiten  bij  het  programma  GTST.  Dit  zorgt  voor  herkenning  bij  de  gebruiker.  

• De  app  moet  gegevens  van  de  gebruiker  onthouden,  zodat  deze  niet  steeds  opnieuw  hoeft  in  te  loggen.  

 De  eerste  conclusie  die  hier  wordt  genoemd,  namelijk  dat  GTST  ook  veel  buitenlandse  fans  heeft,  is  niet  herleidbaar  tot  uitkomsten  in  het  onderliggende  onderzoek.  Bovendien  geeft  de  student  hier  eerst  een  advies,  'maak  de  applicatie  tweetalig',  om  daarna  pas,  tussen  haakjes,  de  conclusie  te  geven  die  leidt  tot  dit  advies.        

21    

    Een  ander  knelpunt  is  dat  studenten  hun  conclusie  baseren  op  een  foutieve  gevolgtrekking  (rapport  21):       Het  is  dus  alleen  nog  maar  een  kwestie  van  de  fotografie  van  recepten  op  'Pinterest'  zetten.       Op  deze  manier  kan  'Delicious'  nieuwe  lezers  aantrekken  die  van  koken  en  eten  houden  en     houden  van  mooie  foodfotografie.  Dit  kunnen  dan  nieuwe  lezers  van  het  tijdschrift  worden.    Uit  de  resultaten  van  dit  onderzoeksrapport  blijkt  dat  het  kookblad  Delicious  geen  gebruik  maakt  van  het  sociale  medium  Pinterest,  een  'bookmarkingsite'  voor  beeldmateriaal,  waar  de  leden  onder  andere  fotocollages  plaatsen  en  delen.  Fotografie  is  juist  een  van  de  sterke  punten  van  het  blad  Delicious.  De  student  concludeert  vervolgens  dat  het  blad  door  foto's  te  plaatsen  op  Pinterest  nieuwe  lezers  kan  werven.  De  denkfout  die  wordt  gemaakt,  is  dat  een  persoon  die  het  kookblad  Delicious  gaat  volgen  op  Pinterest  meteen  een  nieuwe  lezer  van  het  blad  is.  In  dit  geval  is  wel  sprake  van  argumentatie,  maar  deze  is  zwak  en  niet  logisch.       Studenten  geven  in  de  conclusie  soms  informatie  die  in  een  ander  hoofdstuk  gegeven  dient  te  worden.  Een  voorbeeld  daarvan  is  dat  ze  in  de  conclusie  beschrijven  dat  ze  een  enquête  hebben  afgenomen  onder  60  respondenten,  informatie  die  in  de  methodesectie  hoort.  Het  luistert  nauw:  aan  de  ene  kant  wordt  aangeraden  om  in  de  conclusie  duidelijk  te  maken  op  welke  wijze  de  informatie  is  verkregen;  Valcke  (2010)  geeft  aan  dat  de  kern  van  het  onderzoeksontwerp  moet  worden  uiteengezet.  Dat  zou  ervoor  pleiten  om  wel  aan  te  geven  op  basis  van  welke  uitkomsten  in  het  onderzoek  de  conclusie  wordt  getrokken.  Aan  de  andere  kant  moet  de  informatie  die  gegeven  wordt,  in  dienst  staan  van  de  conclusie,  in  die  zin,  dat  de  conclusie  een  sterk  beargumenteerd,  gestroomlijnd  betoog  is.  Wanneer  er  te  veel  en  te  vaak  aantallen  respondenten  en  percentages  genoemd  worden,  zorgt  dit  voor  een  onoverzichtelijke  tekst,  waardoor  de  argumentatielijn  verloren  gaat.    

Knelpunten  in  de  structuur  van  de  conclusie  In  deze  categorie  worden  de  knelpunten  besproken  die  met  de  structuur  van  een  conclusie  te  maken  hebben.  Studenten  verzuimen  bijvoorbeeld  de  probleemstelling  te  herhalen.  Of  de  tekst  van  de  conclusie  springt  van  de  hak  op  de  tak,  waardoor  het  onduidelijk  is  welke  conclusie  uit  welke  resultaten  wordt  getrokken.  Een  voorbeeld  hiervan  is  de  conclusie  van  een  onderzoeksrapport  met  als  probleemstelling:  "Hoe  kan  de  content  en  vorm  van  de  beautypagina’s  van  LINDA.  Magazine  vernieuwd  en  aangepast  worden  zodat  de  lezer  weer  uitdaging  ziet  in  het  lezen  van  die  pagina’s?"  (rapport  13).    

De  doelgroep  van  LINDA.  Magazine  zijn  vrouwen  tussen  de  20  en  49  jaar.  Zij  zijn  zelfstandig  [sic]  hebben  een  gezin  [sic]  houden  van  mode  en  zijn  altijd  druk  bezig.  Vele  vrouwen  uit  de  doelgroep  geven  veel  om  mode  en  houden  zich  daar  dagelijks  mee  bezig.  De  gemiddelde  vrouw  geeft  in  haar  hele  leven  gemiddeld  105.000  euro  uit  aan  kleding,  een  man  zou  al  gauw  zeggen  [sic]  daar  kan  je  een  mooie  auto  van  kopen.  Ook  vinden  vrouwen  het  belangrijk  om  zich  voor  een  feestje  even  om  te  kleden  omdat  ze  het  belangrijk  vinden  hoe  ze  eruitzien.  Voor  hogeropgeleiden  vrouwen  is  mode  minder  aan  de  orde,  door  hakken  en  accessoires  vinden  zij  vaak  al  snel  dat  ze  er  leuk  uitzien.      De  concurrenten  van  LINDA.  magazine  [sic]  hebben  allemaal  dezelfde  doelgroep  [sic]  hoogopgeleide  vrouwen  met  een  royaal  inkomen  en  gevoel  voor  mode  en  beauty  tussen  de  20  en  49  jaar  oud  [sic].  Alle  concurrenten  maken  gebruik  van  de  pijlers  mode  en  beauty  en  de  grote  lijn  van  alle  magazines  gaat  over  'human'  en  'general  interest'.  Doordat  alle  concurrenten  duidelijk  gebruik  maken  van  modepagina’s  is  het  voor  de  LINDA.  modepagina’s  extra  van  belang  om  haar  eigen  stijl  te  behouden.  Bij  LINDA.  magazine  [sic]  speelt  humor  en  zelfspot  een  grote  rol  ten  overstaande  van  de  concurrenten  die  eigenlijk  door  het  gehele  magazine  serieus  overkomen.  Dit  is  een  belangrijk  onderdeel  dat  LINDA.  onderscheidt  van  de  rest.  'Beau  Monde'  richt  zich  vooral  op  de  bekende  Nederlander  en  'JAN',  'Red'  en  'Marie-­‐Claire'  richten  zich  naast  mode  ook  op  maatschappelijke  onderwerpen  maar  gaan  niet  zo  ver  erin  als  LINDA.  Magazine  [sic]  ook  dit  onderscheidt  LINDA.    

 In  deze  conclusie  gaat  de  student  niet  gestructureerd  in  op  de  constructen  uit  de  probleemstelling:  content  en  vorm  van  de  beautypagina's  van  LINDA.  Magazine.  De  student  gaat  alleen  in  op  de  voorkeuren  van  de  doelgroep  en  de  sterke  en  minder  sterke  kanten  van  de  concurrenten.  Daarmee  geeft  de  student  geen  antwoord  op  de  probleemstelling.  

22    

Knelpunten  bij  de  formulering  van  de  conclusie  In  de  rapporten  zijn  talloze  voorbeelden  te  vinden  van  slechte  formuleringen.  Het  is  echter  vaak  moeilijk  om  te  bepalen  of  een  student  alleen  moeite  heeft  met  de  taal  of  dat  de  slechte  formulering  voortkomt  uit  onbekendheid  met  de  terminologie.  Soms  lijkt  het  erop  dat  een  student  niet  weet  waarover  hij  het  heeft.  Bijvoorbeeld:  "In  de  leeftijdscategorie  13-­‐19  jaar  is  het  percentage  in  de  doelgroepanalyse  bijna  vier  keer  zo  groot  als  het  percentage  van  de  respondenten  [sic]"  (rapport  18).  De  zin  is  onbegrijpelijk  maar  het  lijkt  er  ook  op  dat  de  student  niet  begrijpt  dat  haar  steekproeftrekking  een  vertekend  beeld  geeft  van  de  doelgroep.  Een  voorstelbaar  scenario  zou  zijn  dat  de  student  in  de  doelgroepanalyse  is  uitgegaan  van  de  potentiële  doelgroep  zoals  haar  opdrachtgever  die  heeft  gedefinieerd  (13-­‐19  jaar).  Of  dat  de  student  een  enquête  heeft  uitgezet  in  haar  eigen  netwerk,  en  daarom  veel  meer  respondenten  van  haar  eigen  leeftijd  (derdejaars  studenten  zijn  vaak  ouder  dan  20)  de  enquête  hebben  ingevuld.  Maar  er  kan  dus  ook  sprake  zijn  van  extreem  slechte  formulering.  Voor  de  lezer  van  het  onderzoeksrapport  is  het  in  ieder  niet  duidelijk  wat  de  student  bedoelt.  Verderop  spreekt  deze  student  zichzelf  tegen  in  de  conclusie:  "Girlscene  [sic]  beperkt  zich  tot  mode,  levensstijl  en  uiterlijk.  De  onderwerpen  van  haar  concurrenten  zijn  breder  [sic].  Aan  de  andere  kant  zoekt  de  doelgroep  gericht  naar  de  specifieke  onderwerpen  die  Girlscene  bieden  [sic].  Onderwerpen  kunnen  uitgebreider  gemaakt  worden,  maar  dus  niet  teveel  [sic].  

 De  student  wil  hier  waarschijnlijk  zeggen  dat  het  blad  Girlscene  aan  meer  verschillende  onderwerpen  aandacht  zou  moeten  besteden,  maar  geeft  ook  aan  dat  het  niet  verstandig  is  het  aantal  onderwerpen  uit  te  breiden,  omdat  de  doelgroep  het  blad  juist  leest  vanwege  de  specifieke  selectie  van  onderwerpen.     Studenten  blijken  het  ook  lastig  te  vinden  om  voor  één  construct  consequent  dezelfde  term  te  gebruiken.  Een  voorbeeld  hiervan  is  te  vinden  in  een  onderzoeksrapport  over  de  content  en  functionaliteiten  van  een  'app'  voor  een  festival  (rapport  19).  In  de  conclusie  (en  de  rest  van  het  rapport)  wordt  het  begrip  app  afwisselend  gebruikt  met  het  begrip  'second  screen'.  Het  is  daardoor  onduidelijk  of  het  nu  twee  verschillende  producten  betreft  of  dat  met  beide  begrippen  hetzelfde  wordt  bedoeld.    

Knelpunten  in  de  opzet  van  het  onderzoek  Uit  de  analyse  –  en  in  het  bijzonder  uit  de  categorisering  van  de  knelpunten  wordt  duidelijk  dat  de  kwaliteit  van  de  conclusie  van  een  onderzoeksrapport  niet  op  zichzelf  staat.  Bij  vier  van  de  vijf  categorieën,  namelijk  categorie  1,2  4  en  5  (zie  tabel  2)  komen  de  knelpunten  deels  voort  uit  knelpunten  in  de  opzet  van  het  onderzoek.  Om  in  de  conclusie  een  duidelijk  antwoord  te  geven  op  de  probleemstelling,  moet  deze  zo  geformuleerd  zijn  dat  beantwoorden  mogelijk  is.  Bij  de  volgende  probleemstelling  is  dat  niet  het  geval:  "Hoe  kan  Cosmopolitan  een  applicatie  ontwikkelen  die  voldoet  aan  de  behoefte  van  de  doelgroep  van  vrouwen  van  18  tot  35  jaar?"  (rapport  2).  Er  is  niet  gespecificeerd  om  welke  behoefte  van  de  doelgroep  het  hier  gaat.  In  de  conclusie  wordt  alleen  ingegaan  op  het  mediagebruik  en  de  vrijetijdsbesteding  van  de  doelgroep  in  het  algemeen.  In  de  conclusie  ontbreekt  informatie  over  wat  de  doelgroep  graag  wil  terugzien  in  het  blad  Cosmopolitan.  Een  ander  voorbeeld  (rapport  34)  is:  "Welke  trends  moet  Beaumonde  integreren  in  de  website?"  Het  is  onduidelijk  om  wat  voor  soort  trends  het  gaat.  Het  kan  daarom  zowel  over  technologische,  vormgevingstechnische  trends  voor  websites  gaan  of  trends  ten  aanzien  van  de  inhoud  van  Beaumonde.  Hier  is  het  niet  goed  te  bepalen  of  de  conclusie  daadwerkelijk  antwoord  geeft  op  de  probleemstelling.     Een  volgend  knelpunt  in  de  onderzoeksrapporten  is  dat  de  geformuleerde  probleemstelling  eigenlijk  een  doelstelling  is,  bijvoorbeeld:  "Wat  kan  het  nieuwe  tijdschrift  Women’s  Health  op  het  gebied  van  social  media  doen  om  meer  lezers  te  genereren  voor  het  blad?"  (rapport  3).  Doel  is  te  zorgen  dat  meer  mensen  het  tijdschrift  Women's  Health  gaan  lezen  (en  kopen).  Een  antwoord  hierop  komt  in  de  vorm  van  een  concreet  advies.  Om  dat  advies  te  kunnen  opstellen  is  het  noodzakelijk  om  de  achterliggende  kennisvragen  te  formuleren.  Deze  vormen  de  basis  voor  een  probleemstelling.  In  dit  geval  zou  dat  bijvoorbeeld  kunnen  zijn:  Welke  social  media-­‐acties  zet  de  potentiële  doelgroep  van  Women's  Health  aan  tot  het  aanschaffen  van  of  een  abonnement  nemen  op  een  tijdschrift  over  gezondheid?       Het  komt  ook  voor  dat  studenten  de  probleemstelling  baseren  op  een  foutieve  aanname,  bijvoorbeeld:  "Hoe  moet  de  applicatie  van  Girlscene  aangepast  worden  voor  meer  tevredenheid  onder  de  doelgroep  en  zorgen  voor  meer  gebruikers  van  de  applicatie?"  Hier  worden  eigenlijk  twee  problemen  benoemd  en  met  elkaar  in  verband  gebracht.  De  doelgroep  is  niet  tevreden  over  de  applicatie  en  Girlscene  vindt  dat  er  te  weinig  gebruikers  zijn.  Het  is  niet  gezegd  dat  door  de  app  

23    

gebruiksvriendelijker  te  maken  er  vanzelf  meer  mensen  uit  de  doelgroep  gebruik  gaan  maken  van  de  app.  Sterker  nog:  dat  vraagt  waarschijnlijk  om  een  andere  oplossing,  zoals  meer  aandacht  voor  de  applicatie  in  het  tijdschrift  of  op  de  website.  Daarnaast  blijkt  uit  de  inleiding  van  het  onderzoeksrapport  dat  het  probleem  voornamelijk  zit  in  de  content  die  Girlscene  aanbiedt  in  de  app  en  niet  (alleen)  in  de  gebruiksvriendelijkheid.     Daarnaast  hebben  studenten  moeite  met  het  vaststellen  van  de  onderzoekspopulatie.  Ze  maken  geen  goede  selectie  van  respondenten.  Dat  komt  meestal  doordat  de  opdrachtgever  van  het  onderzoek  (vaak  is  dit  een  mediabedrijf)  aan  de  student  meegeeft  wat  de  door  hun  gewenste  doelgroep  voor  het  mediaproduct  is.  Vaak  is  deze  doelgroep  heel  breed  gedefinieerd,  bijvoorbeeld  alle  vrouwen  tussen  de  18  en  60  jaar.  Studenten  gebruiken  de  gehele  potentiële  doelgroep  om  een  steekproef  uit  te  trekken,  terwijl  het  in  bijna  alle  gevallen  gaat  om  de  daadwerkelijke  lezers  van  een  magazine  en  de  steekproef  uit  die  populatie  moet  worden  getrokken.  Een  voorbeeld  hiervan  is:  "  De  doelgroep  van  het  programma  [GTST]  zijn  tevens  de  'boodschappers'ii  van  20  tot  en  met  49  jaar  oud  (RTL,  2013).  De  enquêtes  worden  in  de  tweede  helft  van  oktober  van  2013  afgenomen  onder  de  doelgroep  van  RTL  Nederland"(rapport  7).  In  dit  geval  is  het  doel  van  het  onderzoek  om  de  applicatie  van  GTST  te  verbeteren  en  bestaat  de  onderzoekspopulatie  in  werkelijkheid  uit  gebruikers  van  de  applicatie  en  niet  uit  de  potentiële  doelgroep  van  het  televisieprogramma.  

Knelpunten  in  de  gebruikte  instrumenten  De  onderzochte  onderzoeksrapporten  zijn  allemaal  geschreven  in  het  kader  van  de  module  Onderzoek  die  in  het  derde  jaar  van  het  afstudeerprofiel  wordt  gegeven.  In  deze  module  is  het  verplicht  om  een  enquête  te  gebruiken  als  (een  van  de)  onderzoeksmethode(s),  omdat  aan  deze  methodiek  binnen  het  afstudeerprofiel  RMP  niet  eerder  aandacht  is  besteed.  In  sommige  gevallen  is  de  probleemstelling  van  het  onderzoek  niet  te  beantwoorden  met  behulp  van  (alleen)  een  enquête.  In  deze  gevallen  hebben  studenten  een  probleemstelling  geformuleerd  waarbij  een  enquête  niet  bijdraagt  aan  de  (volledige)  beantwoording  daarvan;  terwijl  geen  andere  methoden  van  onderzoek  worden  gebruikt  in  het  onderzoek.  Daarnaast  zijn  de  studenten  niet  geoefend  in  het  opstellen  van  enquête  en  interviewvragen.  Dit  leidt  onder  andere  tot  sturende  vragen  en  stellingen  in  de  vragenlijsten:           Het  aanmaken  en  het  moeten  aanmelden  met  een  RTL-­‐account  vind  ik  irritant.       Helemaal  mee  oneens  –  Oneens  –  Neutraal  –  Eens  –  Helemaal  mee  eens.  (rapport  7)  

Docenten  Onderzoek  over  de  instructie  De  drie  docenten  geven  aan  in  de  interviews  dat  zij  vinden  dat  ze  te  weinig  tijd  en  mogelijkheden  hebben  om  studenten  goed  te  kunnen  begeleiden  bij  het  trekken  van  conclusies  en  het  schrijven  van  het  hoofdstuk  conclusie.  Ze  geven  aan  dat  er  per  module  over  het  algemeen  een  les  van  vijftig  minuten  aan  wordt  besteed  (respondenten  2  en  3).  Dit  gebeurt  in  een  coachingsbijeenkomst  waarvoor  het  niet  gebruikelijk  is  om  gebruik  te  maken  van  een  Powerpointpresentatie.  Ook  is  er  voor  deze  coachingsbijeenkomsten  over  het  algemeen  geen  instructie  voor  de  docenten  beschikbaar.  Daarom  pakt  iedere  docent  een  dergelijke  les  op  een  eigen  manier  aan.  Wat  opvalt,  is  dat  ze  allemaal  met  fictieve  voorbeelden  werken  en  niet  met  de  resultaten  uit  de  onderzoeken  van  de  studenten.  Vaak  hebben  de  studenten  hun  resultaten  nog  niet  beschreven,  omdat  ze  nog  niet  ver  genoeg  zijn  in  het  onderzoeksproces  (respondenten  1,2  en  3).  Studenten  stellen  tijdens  de  les  over  de  conclusie  nauwelijks  vragen  (respondenten  1,  2  en  3).  Ze  zijn  nog  niet  zover  in  het  onderzoeksproces  en  kunnen  daarom  nog  niet  overzien  of  zij  zelf  in  staat  zijn  conclusies  te  trekken  op  basis  van  hun  eigen  resultaten  (respondent  3).  Wanneer,  na  afloop  van  de  module  blijkt  dat  een  student  een  onvoldoende  heeft  behaald  en  zijn  werk  bespreekt  met  zijn  docent,  stellen  zij  wel  vaak  vragen  over  de  conclusie.  Ze  vragen  dan  wat  ze  fout  hebben  gedaan  en  hoe  het  dan  wel  moet.  In  die  gevallen  kan  de  docent  wel  voorbeelden  gebruiken  uit  het  rapport  van  de  student  (respondenten  1  en  2).    

                                                                                                               ii  Boodschappers  is  een  term  die  gebruikt  wordt  in  de  marketingcommunicatie  om  een  specifieke  doelgroep  aan  te  duiden,  namelijk  personen  tussen  de  20  en  49  jaar  die  verantwoordelijk  zijn  voor  dagelijkse  boodschappen  van  een  huishouden.  

24    

Docenten  Onderzoek  over  de  knelpunten  In  de  interviews  geven  de  drie  docenten  aan  dat  een  groot  knelpunt  is  dat  de  conclusie  geen  'echte  conclusies'  bevat.  Dit  wordt  door  de  docenten  op  verschillende  manieren  toegelicht:    

 Studenten  kunnen  alleen  een  goede  conclusie  trekken  als  ze  in  staat  zijn  abstract  te  denken.  Ze  zijn  vaak  niet  in  staat  om  boven  de  stof  uit  te  stijgen  en  dieper  naar  de  betekenis  kijken.  Ze  moeten  bij  een  resultaat  bedenken  wat  dat  betekent  in  het  licht  van  hun  eigen  onderzoeksvraag.  Wanneer  ze  bijvoorbeeld  een  customer  magazine  voor  de  NS  willen  maken  en  een  van  de  resultaten  van  het  doelgroeponderzoek  is  dat  het  gevoel  van  veiligheid  heel  belangrijk  is,  moeten  ze  zich  gaan  afvragen  wat  dat  betekent  voor  het  magazine.  Dan  zouden  ze  zich  bijvoorbeeld  op  het  aspect  vormgeving  van  het  blad  kunnen  richten.  Ze  moeten  dan  aanvullend  uitzoeken  welke  kleuren  een  gevoel  van  veiligheid  uitstralen.  En  dat  is  iets  wat  ze  in  de  conclusie  kunnen  zetten:  uit  fieldresearch  blijkt  dat  het  gevoel  van  veiligheid  heel  belangrijk  is  voor  de  doelgroep,  uit  deskresearch  blijkt  dat  de  kleur  blauw  een  gevoel  van  veiligheid  kan  oproepen.  Het  is  verstandig  om  de  kleur  blauw  te  gebruiken.  Vervolgens  wordt  in  het  advies  op  concreet  niveau  uitgewerkt  hoe  de  kleur  blauw  wordt  verwerkt  in  de  vormgeving  (respondent  2).    

Een  andere  docent  legt  het  als  volgt  uit:    Wanneer  ze  niet  de  koppeling  maken  naar  hun  eigen  probleemstelling,  gebeurt  het  vaak  dat  niet-­‐relevante  resultaten  worden  verwerkt  in  de  conclusie.  Als  een  onderzoek  als  doelstelling  heeft  om  een  website  te  verbeteren,  dan  verwacht  men  dat  in  de  conclusie  iets  gezegd  wordt  over  de  behoefte  van  de  doelgroep  ten  aanzien  van  het  design  of  een  bepaalde  call-­‐to-­‐action  button.  Maar  het  gebeurt  regelmatig  dat  een  conclusie  wordt  getrokken  die  niet  relevant  is,  dan  staat  er  bijvoorbeeld:  'de  doelgroep  houdt  van  vissen'.  Dat  is  een  conclusie  die  wel  degelijk  uit  de  resultaten  af  te  leiden  valt  maar  die  in  dit  geval  niet  relevant  is  –  tenzij  [de  student]  natuurlijk  een  website  verbetert  die  over  hengelsport  gaat  (respondent  1).    

Weer  anders  gezegd:    Studenten  moeten  de  'dus’-­‐vraag  beantwoorden.  Als  docent  wil  ik  niet  alleen  in  de  conclusie  lezen  dat  het  type  content  van  belang  is  maar  wil  ik  ook  lezen  dat  er  'dus'  iets  geschreven  moet  worden  over  sport  en  journalistiek,  omdat  uit  de  fieldresearch  blijkt  dat  de  doelgroep  daar  interesse  in  heeft.  Dat  laatste  blijkt  een  lastige  stap  om  te  maken:  vanuit  je  resultaten  een  gevolgtrekking  maken.  Wanneer  een  student  dat  niet  doet,  blijft  het  een  samenvatting  van  resultaten  van  wat  je  al  gevonden  hebt  en  dan  heb  je  geen  conclusie  getrokken  (respondent  3).      

Docenten  hebben  het  in  dit  verband  ook  wel  over  het  belang  van  de  koppeling  tussen  de  uitkomsten  van  desk-­‐  en  fieldresearch.  Dat  blijkt  een  belangrijke  aanwijzing  te  zijn  voor  het  schrijven  van  een  conclusie.  Dit  lijkt  over  twee  zaken  te  gaan.  Deskresearch  en  de  fieldresearch  moeten  met  elkaar  worden  vergeleken.  En  er  moet  sprake  zijn  van  een  navolgbare  en  logische  argumentatielijn.  In  het  volgende  voorbeeld  uit  een  van  de  conclusies  die  is  voorgelegd  aan  de  docenten,  is  wel  sprake  van  een  vergelijking  van  uitkomsten  uit  desk-­‐  en  fieldresearch,  maar  is  de  argumentatielijn  niet  logisch  en  navolgbaar  (rapport  14).    

Conclusie  In  dit  hoofdstuk  wordt  de  conclusie  beschreven  die  aan  de  hand  van  de  desk-­‐  en  fieldresearch  naar  voren  is  gekomen.  De  conclusie  geeft  antwoord  op  de  probleemstelling:  Hoe  kan  Paris2day  zijn  Facebook-­‐pagina  inzetten  om  meer  bezoekers  op  de  webshop  te  verkrijgen?    Uit  het  onderzoek  is  gebleken  dat  Paris2day  meer  aandacht  moet  besteden  aan  zijn  Facebook  [sic],  om  zo  meer  bezoekers  op  de  webshop  te  krijgen.  Maar  liefst  44  procent  van  de  respondenten  zou  vaker  online  gaan  winkelen  op  Paris2day.nl  als  er  meer  gebruik  gemaakt  zou  worden  van  online  kortingsacties.      Uit  de  deskresearch  is  gebleken  dat  de  doelgroep  van  Paris2day  was  gesteld  [sic]  op  vrouwen  van  15  tot  50  jaar.  Uit  dit  onderzoek  is  uiteindelijk  naar  voren  gekomen  dat  het  grootste  gedeelte  van  de  doelgroep  tussen  de  15  en  20  jaar  ligt.  Dit  is  een  groot  verschil  waar  Paris2day  goed  op  in  kan  spelen  [sic].      De  respondenten  geven  aan  dat  Twitter  het  meest  onbekend  voor  ze  is,  en  dat  ze  naast  Facebook  voornamelijk  op  de  hoogte  worden  gehouden  via  de  Nieuwsbrief,  56  procent,  of  

25    

Instagram,  ook  met  56  procent  [sic].  De  andere  social  media  kanalen  [sic]  moeten  meer  aan  het  licht  komen  [sic],  zodat  het  leidt  tot  meer  volgers.      Op  de  vraag  wat  de  respondenten  wat  vaker  zouden  willen  zien  op  de  Facebook  pagina  [sic]  wordt  er  door  38  procent  aangegeven  dat  dit  filmpjes  zijn.  Daarnaast  geeft  25  procent  aan  meer  foto’s  te  willen  zien  en  25  procent  wil  graag  meer  styling  tips  [sic]  voorbij  zien  komen.  Het  wordt  duidelijk  dat  Paris2day  vaker  content  online  moet  zetten  op  alle  social  media  kanalen  [sic],  in  de  vorm  van  filmpjes  of  foto’s  in  plaats  van  alleen  tekst.    Vergeleken  met  de  vier  concurrenten  doet  Paris2day  het  goed.  ModeMusthaves  is  een  site  waar  Paris2day  nog  wat  van  kan  leren,  voornamelijk  op  het  gebied  van  vormgeving  van  de  website.  De  website  van  ModeMusthaves  straalt  professionaliteit  en  rust  uit,  de  website  van  Paris2day  kan  soms  nog  wat  ongeordend  ogen.  Van  de  bezoekers  die  op  de  Paris2day.nl  [sic]  komen  via  de  Facebook  pagina  [sic],  doet  maar  liefst  56  procent  geen  aankoop.  Dit  percentage  moet  omlaag  en  dat  zou  kunnen  door,  zoals  aangegeven,  meer  te  werken  met  kortingsacties,  [sic]  maar  in  de  toekomst  zou  er  ook  meer  aandacht  besteed  kunnen  worden  aan  de  vormgeving  van  de  website.  

 Respondent  1  zegt  hierover  dat  de  conclusie  netjes  begint  met  een  herhaling  van  de  probleemstelling,  en  dat  de  student  vervolgens  een  poging  doet  om  desk-­‐  en  fieldresearch  met  elkaar  te  vergelijken,  maar  dat  dit  niet  goed  gaat  vanwege  onlogische  redeneringen.  Als  voorbeeld  geeft  hij  de  gevolgtrekking  in  de  vijfde  alinea,  waarin  de  student  uit  het  resultaat  dat  de  doelgroep  meer  films  en  foto's  wil  zien,  de  conclusie  trekt  dat  Paris2day.nl  meer  content  moet  plaatsen  op  alle  social-­‐media-­‐kanalen.  Respondent  1  noemt  dit  een  drogredenering.  Respondent  3  zegt  hierover  dat  sommige  conclusies  niet  getrokken  lijken  te  zijn  op  basis  van  de  onderzoeksgegevens.  Bijvoorbeeld  de  56%  bezoekers  die  geen  aankoop  doen  die  in  de  laatste  alinea  genoemd  worden:  dat  was  de  aanleiding  van  het  onderzoek,  en  daarom  geen  conclusie.       Respondent  2  is  niet  tevreden  over  deze  conclusie  omdat  deze  'typisch  generieke  adviesjes'  bevat,  die  ook  wel  gegeven  hadden  kunnen  worden  zonder  dit  onderzoek  uit  te  voeren.  Respondent  3  heeft  het  over  een  'open-­‐deuren-­‐actie',  omdat  veel  van  wat  in  de  conclusie  staat  al  aannames  waren  die  gedaan  zijn  voorafgaand  aan  het  onderzoek.  "Er  is  wel  een  poging  gedaan  om  tot  conclusies  te  komen,  maar  niet  met  de  juiste  argumentatie.[…]  [De  laatste  zin]  maar  in  de  toekomst  zou  er  ook  meer  aandacht  besteed  kunnen  worden  aan  de  vormgeving  van  de  website,  komt  bijvoorbeeld  totaal  uit  de  lucht  vallen."     Het  laatste  knelpunt  dat  docenten  benoemen  is  de  ongestructureerdheid  van  de  conclusies.  Docenten  geven  daarbij  aan  dat  de  structuur  van  een  conclusie  afhankelijk  is  van  het  onderwerp  van  het  onderzoek.  Bij  een  onderzoek  naar  de  verbetering  van  een  website  op  gebied  van  content,  navigatie  en  lay-­‐out,  moeten  deze  elementen  ook  terugkomen  in  de  conclusie.  Bij  voorkeur  in  dezelfde  volgorde  die  wordt  aangehouden  in  de  probleemstelling  en  de  resultaten.  Dat  maakt  het  rapport  en  de  conclusie  overzichtelijker.  Vaak  laten  de  studenten  deze  structuur  los  en  halen  ze  ook  allerlei  minder  relevante  resultaten  aan  in  hun  conclusie.  Conclusies  zijn  dan  "ondergesneeuwd  door  bullshit  en  de  aantallen  respondenten"  (respondent  2).  Samengevat  geven  de  docenten  de  volgende  belangrijke  knelpunten  in  de  conclusies  van     onderzoeksrapporten  aan:  

• Er  wordt  geen  koppeling  gemaakt  tussen  desk-­‐  en  fieldresearch  doordat  de  resultaten  van  de  verschillende  analyses  helemaal  niet  met  elkaar  verbonden  worden,  ofwel  de  argumentatielijn  ontbreekt.    

• De  formulering  en  de  structuur  van  de  conclusie  laten  te  wensen  over.    Deze  knelpunten  leiden  er  vaak  toe  dat  de  probleemstelling  niet  of  niet  helemaal  wordt  beantwoord.  De  door  de  docenten  geïdentificeerde  knelpunten  geven  een  bevestiging  van  een  aantal  knelpunten  dat  in  de  analyse  is  gesignaleerd.  Omdat  in  de  interviews  geen  knelpunten  ter  sprake  kwamen  die  niet  gesignaleerd  waren  in  de  analyse,  was  er  geen  aanleiding  om  de  lijst  met  knelpunten  aan  te  vullen.  

Verklaringen  voor  de  gevonden  knelpunten  Het  gebrek  aan  goede  instructie  is  niet  de  enige  verklaring  voor  de  knelpunten  in  de  conclusies  van  onderzoeksrapporten  van  studenten.  Het  is  lastig  te  achterhalen  wat  precies  de  oorzaak  is  van  de  knelpunten.  In  veel  gevallen  lijken  de  knelpunten  voort  te  komen  uit  een  gebrek  aan  kennis  over,  en  vaardigheid  in,  het  verrichten  van  onderzoek.  Maar  het  kan  ook  zijn  dat  de  studenten  te  weinig  

26    

vaardigheid  hebben  verworven  in  het  schrijven  van  onderzoeksrapportages.  Veel  studenten  lijken  hun  teksten  aantrekkelijker  te  willen  maken  door  populaire  termen  te  gebruiken  en  uitspraken  te  doen  die  niet  passen  binnen  een  onderzoeksrapportage.  Bij  de  opleiding  ligt  de  focus  van  het  schrijfvaardigheidsonderwijs  op  schrijven  voor  populaire  media:  artikelen  voor  tijdschriften  of  scripts  voor  radio  of  televisie.  Dat  zijn  andere  genres,  waarvoor  andere  conventies  en  regels  gelden  dan  voor  teksten  van  onderzoeksrapporten.  Een  andere  mogelijke  verklaring  is  dat  veel  van  de  andere  modules  in  die  periode  groepsgewijs  getoetst  en  beoordeeld.  Studenten  kiezen  er  vaak  voor  om  de  bijdrage  die  ze  daar  moeten  leveren,  voorrang  te  geven  boven  modules  die  individueel  worden  getoetst  en  beoordeeld.  Een  individuele  toetsing  is  immers  gemakkelijker  te  herkansen  dan  een  groepsproduct.  In  de  interviews  geven  docenten  onderzoek  aan  dat  veel  studenten  de  module  onderzoek  moeilijk  en  saai  vinden  en  dat  ze  het  daardoor  lastig  vinden  om  er  voldoende  tijd  aan  te  besteden.  Ze  leveren  vaak  hun  eerste  'draft'  in  als  eindproduct  en  die  is  in  veel  gevallen  niet  van  voldoende  kwaliteit.  Een  andere  verklaring  is  dat  studenten  die  het  saai  en  moeilijk  vinden  ook  vaak  de  lessen  niet  bezoeken.  Ze  leveren  dan  een  onderzoeksrapport  in  waarop  ze  geen  enkele  feedback  hebben  gevraagd  en  ontvangen.  Dit  heeft  vaak  tot  gevolg  dat  de  deskresearch  karig  en  slecht  uitgevoerd  is  en  de  probleemstelling  en  de  vragen  slecht  geformuleerd  zijn.  De  basis  van  het  onderzoeksrapport  is  dan  zo  slecht  dat  de  conclusie  ook  onder  de  maat  is.  

Vergelijking  van  de  knelpunten  met  veelgemaakte  fouten  in  onderzoek  De  categorisering  heeft  inzichtelijk  gemaakt  dat  de  knelpunten  conclusie  in  sterke  met  samenhangen  met  de  knelpunten  in  het  gehele  onderzoeksrapport.  Immers,  om  de  knelpunten  goed  te  kunnen  duiden  moesten  deze  in  verband  gebracht  worden  met  andere  onderdelen  van  het  onderzoeksrapport.  Dit  is  niet  verrassend,  want  in  de  conclusie  komen  alle  onderdelen  van  het  onderzoek  samen.  Dit  leidde  tot  de  beslissing  om  de  gevonden  knelpunten  te  vergelijken  met  zes  veelvoorkomende  fouten  in  een  onderzoeksproces  zoals  Oost  (2002)  deze  bespreekt  in  het  boek  Een  onderzoek  uitvoeren.  In  dit  boek  wordt  in  tegenstelling  tot  veel  andere  methodologieboeken  niet  ingegaan  op  specifieke  onderzoeksmethodes  die  vaak  vakgebonden  en  specifiek  zijn.  Oost  verbindt  de  zes  veelvoorkomende  fouten  aan  algemeen  geldende  kwaliteitscriteria  voor  onderzoek.  Dat  is  te  zien  in  figuur  2.        

27    

Figuur  2  Het  antwoord  en  de  fouten    

 Noot.  Overgenomen  uit  Oost  (2002,  p.  21)    Uit  figuur  1  blijkt  dat  in  een  onderzoek  gemaakte  fouten  direct  van  invloed  zijn  op  het  antwoord  van  een  onderzoek.  In  de  werkdefinitie  wordt  de  conclusie  gezien  als  het  antwoord  op  de  probleemstelling.  Daarom  kan  hieruit  afgeleid  worden  dat  de  kwaliteitscriteria  voor  het  gehele  onderzoeksproces  ook  van  toepassing  zijn  op  de  conclusie  van  een  onderzoek.  Morse  et  al  (in  Aken  en  Andriessen,  2011)  geven  ook  aan  dat  kwaliteitscriteria  zowel  voor  het  onderzoeksproces  zelf  als  voor  de  uitkomsten  van  dat  onderzoeksproces  gelden.  Om  dit  te  toetsen  zijn  de  knelpunten  uit  de  geanalyseerde  conclusies  van  onderzoeksrapport  gecategoriseerd  naar  de  fouten  en  bijbehorende  kwaliteitscriteria.  Alvorens  de  nieuwe  categorisering  te  presenteren,  worden  eerst  de  fouten  en  kwaliteitscriteria  die  Oost  bespreekt  toegelicht  aan  de  hand  van  een  schematisch  overzicht,  te  zien  in  tabel  3.    

28    

Tabel  3  Toelichting  fouten  en  kwaliteitscriteria  Soort  fout   Gevolgen   Kwaliteitscriteria   Richtlijnen   Functie  

Gedragsfout:  een  onderzoeker  onttrekt  zich  aan  kritiek  en  controle.  

Gedragsfouten  kunnen  leiden  tot  een  ondoorzichtig  onderzoeksproces  zonder  garantie  op  kwaliteit.  

Het  onderzoeksproces  moet  controleerbaar  zijn.    

 

Houd  zorgvuldig  alle  stappen  van  het  onderzoek  bij  in  een  onderzoeksjournaal.  Beschrijf  het  onderzoek  compleet  en  in  detail.  

Het  vinden  van  antwoorden  die  waar  en  nuttig  zijn.  

Strategiefout:  een  onderzoeker  maakt  een  foute  beslissing  in  methoden  van  verzameling,  bewerking,  analyse  of  interpretatie  van  onderzoeksmateriaal.  

Strategiefouten  leiden  tot  vertraging  in  het  onderzoeksproces  of  onderzoek  dat  niet  af  te  ronden  is.  

Het  onderzoeksproces  moet  vakkundig  zijn  De  onderzoeksstrategie  is  effectief,  efficiënt  en  toelaatbaar.  

Overleg  met  andere  (meer  ervaren)  onderzoekers  over  de  keuzes  ten  aanzien  van  onderzoeksmethoden.  

Het  onderzoeksproces  verloopt  efficiënt,  effectief  en  gebeurt  ethisch  verantwoord.    

Redeneerfout:  een  onderzoeker  maakt  fouten  in  de  argumentatie  binnen  het  onderzoek.  

Redeneerfouten  leiden  tot  foutieve  strategische  beslissingen  (strategiefouten).    Het  antwoord  op  de  probleemstelling  is  niet  gebaseerd  op  het  onderzoek.  Het  onderzoek  leidt  tot  onjuiste  uitspraken.  

Het  onderzoeksproces  moet  logisch  zijn,  ofwel  volgt  de  regels  van  de  logica.  

 

Zorg  ervoor  dat  je  al  je  keuzes  kunt  verantwoorden.    Plan  de  redenering,  werk  de  redenering  uit  en  controleer  de  redenering.  Formuleer  zorgvuldig.  Redeneer  kritisch  en  precies.  

Het  voorkomen  van  foute  strategische  beslissingen.  Het  antwoord  van  het  onderzoek  bevat  juiste  uitspraken  die  gebaseerd  zijn  op  het  onderzoek.  

Systematische  fout:  een  onderzoeker  denkt  ten  onrechte  dat  A  de  oorzaak  van  B  is.    Een  onderzoeker  onderzoekt  niet  wat  hij  denkt  te  onderzoeken.  Een  onderzoeker  overschat  de  reikwijdte  van  de  onderzoeksresultaten.  

Systematische  fouten  kunnen  leiden  tot  het  leggen  van  verbanden  die  er  niet  zijn  en  te  algemene  uitspraken.  

De  uitkomsten  van  het  onderzoek  moeten  valide  zijn.  

Bepaal  de  doelstelling.  Controleer  of  het  onderzochte  dat  is  wat  je  wilde  onderzoeken.  Controleer  of  de  verbanden  die  je  legt  juist  zijn  en  controleer  de  reikwijdte  van  je  uitkomsten  door:  -­‐  deze  te  vergelijken  met  resultaten  van  anderen;  -­‐  relevante  literatuur  te  gebruiken;  ·∙-­‐  een  veelzijdig  perspectief  te  kiezen.  

De  validiteit  van  de  uitkomsten  van  het  onderzoek  zijn  op  waarde  te  schatten.  

Toevalsfout:  een  onderzoeker  maakt  een  fout  in  een  meting  waardoor  een  herhaling  van  het  onderzoek  tot  andere  resultaten  leidt.  

Toevalsfouten  kunnen  leiden  tot  foutieve  uitspraken  en  uitkomsten.    

De  uitkomsten  van  het  onderzoek  moeten  betrouwbaar  zijn.  Het  onderzoek  levert  bij  replicatie  onder  gelijkblijvende  omstandigheden,  dezelfde  resultaten  op.  

Wees  je  bewust  van  je  eigen  rol  als  onderzoeker  en  de  fouten  die  je  in  die  rol  kunt  maken.  Herhaal  de  verrichte  metingen  of  analyses  zelf,  of  laat  iemand  anders  deze  herhalen/  controleren.  

De  betrouwbaarheid  van  de  uitkomsten  van  het  onderzoek  zijn  op  waarde  te  schatten.  De  'claim  op  kennis'  of  op  'de  oplossing  van  een  probleem'  is  groter.  

Aansluitingsfout:  een  onderzoeker  geeft  een  antwoord  dat  niet  aansluit  bij  de  vraag  die  gesteld  is.  

Aansluitingsfouten  kunnen  leiden  tot  onderzoek  dat  niet  bruikbaar  is  omdat  -­‐  het  antwoord  niet  gegeven  is;    -­‐  het  onderzoek  niet  de  optimale  opbrengsten  heeft.  

Het  onderzoek  moet  adequaat  ontworpen  zijn.  

Controleer  of  het  antwoord  daadwerkelijk  een  antwoord  op  de  probleemstelling  is  en  of  het  een  relevante  bijdrage  levert  aan  het  vakgebied  of  de  oplossing  van  het  probleem.  

De  uitkomsten  van  het  onderzoek  leveren  een  relevante  en  zo  groot  mogelijke  bijdrage  aan  een  vakgebied  of  een  oplossing  van  een  probleem.  

Noot.  Deze  tabel  is  samengesteld  met  informatie  uit  Een  Onderzoek  Uitvoeren  (Oost,  2002)  

29    

Knelpunten  gekoppeld  aan  kwaliteitscriteria  voor  onderzoek  In  tabel  4  zijn  alle  knelpunten  uit  de  conclusies  in  de  onderzoeksrapporten  gekoppeld  aan  kwaliteitscriteria  voor  een  onderzoek.  Dit  gebeurde  met  een  tussenstap.  Eerst  zijn  de  knelpunten  geordend  aan  de  hand  van  de  veelgemaakte  fouten,  zoals  Oost  (2002)  deze  categoriseert.  Deze  fouten  koppelde  Oost  zelf  aan  kwaliteitscriteria.  Tussen  de  verschillende  soorten  fouten  bestaat  overlap:  een  verkeerde  interpretatie  van  onderzoeksmateriaal  wordt  gelabeld  als  strategiefout,  maar  zou  net  zo  goed  het  label  redeneerfout  toegekend  kunnen  krijgen.  Veel  redeneerfouten  kunnen  ten  grondslag  liggen  aan  andere  soorten  fouten  in  het  onderzoek:  strategiefouten,  systematische  fouten  of  aansluitingsfouten.  En  ook  gedragsfouten  zijn  soms  moeilijk  te  onderscheiden  van  vakkundigheidfouten,  want  als  je  niet  vakkundig  genoeg  bent  om  een  bepaalde  procedure  goed  te  volgen,  is  het  gedrag  dat  daaruit  voortkomt  ook  'fout'.  Deze  overlap  is  de  reden  dat  in  de  koppeling  tussen  de  knelpunten  uit  de  onderzoeksrapporten  van  de  studenten  en  de  veelgemaakte  fouten  zoals  Oost  deze  heeft  gedefinieerd,  eveneens  sprake  is  van  overlap.  Sommige  knelpunten  kunnen  onder  meerdere  soorten  fouten  gecategoriseerd  worden.      

30    

Tabel  4  Knelpunten  in  de  conclusie  gekoppeld  aan  kwaliteitscriteriavoor  onderzoek    

Knelpunten     Kwaliteitscriteria  

Gedragsfouten:  Het  is  niet  duidelijk  op  welke  wijze  de  respondenten  zijn  geselecteerd.  Een  conclusie  is  gebaseerd  op  slechts  één  of  enkele  resultaten  van  het  onderzoek.  Resultaten  worden  foutief  gegeneraliseerd.  De  zinnen  zijn  onbegrijpelijk  door  slechte  formulering.  Er  is  sprake  van  een  overbodige  herhaling.  Er  is  sprake  van  een  foutieve  gevolgtrekking.  

 

Het  onderzoeksproces  is  controleerbaar.    

Strategiefouten:  Relevante  onderzoeksresultaten  zijn  niet  gebruikt  voor  de  conclusie.  In  de  conclusie  staan  citaten.    In  de  conclusie  staat  nieuwe  informatie.    In  de  conclusie  wordt  een  onderzoeksmethode  beschreven.  De  gebruikte  methoden  zijn  niet  geschikt  om  de  (volledige)  onderzoeksvraag  te  beantwoorden.  De  selectie  van  respondenten  is  niet  goed.  In  de  conclusie  wordt  de  probleemstelling  niet  herhaald.  De  formulering  van  enquête-­‐  of  interviewvragen  is  slecht:  

• De  vraag  is  multi-­‐interpretabel.  • De  vraag  is  onbegrijpelijk.  • In  de  vraag  wordt  gebruik  gemaakt  van  begrippen  die  niet  duidelijk  zijn  voor  de  respondent.    • De  vraag  is  niet  precies  genoeg  geformuleerd  om  bij  te  dragen  aan  de  beantwoording  van  

de  probleemstelling.  

 Het  onderzoeksproces  is  vakkundig:  de  onderzoeksstrategie  is  effectief,  efficiënt  en  toelaatbaar.  

Redeneerfouten:  Er  is  sprake  van  een  cirkelredenering.  De  student  spreekt  zichzelf  tegen.  Eenzelfde  (kern)begrip  wordt  niet  consequent  benoemd.    De  zinnen  zijn  onbegrijpelijk  door  slechte  formulering.  Er  is  sprake  van  een  overbodige  herhaling.  Er  is  sprake  van  een  foutieve  gevolgtrekking.  De  conclusie  bevat  geen  (sluitende)  argumentatie,  maar  is  alleen  een  samenvatting  van  resultaten.  

Het  onderzoeksproces  en  de  rapportage  is  logisch.  

 

Systematische  fouten:    De  probleemstelling  is  niet  of  niet  precies  genoeg  geformuleerd.    Er  is  geen  onderscheid  gemaakt  tussen  probleemstelling  en  doelstelling:  de  probleemstelling  is  geen  kennisvraag.    Er  is  geen  doelstelling  geformuleerd:  de  relevantie  van  de  probleemstelling  is  niet  aangetoond.  In  de  probleemstelling  wordt  uitgegaan  van  een  verkeerde  aanname.  

 De  uitkomsten  van  het  onderzoek  zijn  valide.  

Toevalsfouten:    Deze  zijn  moeilijk  of  niet  te  achterhalen  uit  de  conclusie  van  een  onderzoeksrapport.  

 

De  uitkomsten  van  het  onderzoek  zijn  betrouwbaar.  

Aansluitingsfouten:    Alle  resultaten  worden  genoemd,  er  is  geen  selectie  gemaakt  van  die  resultaten  die  relevant  zijn  voor  de  beantwoording  van  de  probleemstelling.  De  conclusie  geeft  geen  antwoord  op  de  probleemstelling.  De  conclusie  is  niet  gestructureerd  (aan  de  hand  van  de  probleemstelling).    In  de  conclusie  wordt  niet  gerefereerd  aan  de  doelstelling.  De  probleemstelling  sluit  niet  aan  bij  de  doelstelling.    In  de  conclusie  wordt  een  andere  doelstelling  genoemd  dan  in  de  inleiding:  

• De  geformuleerde  deelvragen  leiden  niet  tot  volledige  beantwoording  van  de  probleemstelling.  Er  ontbreken  relevante  deelvragen  om  de  probleemstelling  te  beantwoorden.  

• Geformuleerde  deelvragen  zijn  niet  relevant  voor  het  beantwoorden  van  de  probleemstelling.  

Een  enquêtevraag  of  interviewvraag  is  niet  relevant  voor  het  onderzoek.    

 Het  onderzoek  is  adequaat  ontworpen.  

Noot.  In  deze  tabel  is  gebruik  gemaakt  van    de  uitkomsten  van  de  knelpunten  analyse  en  informatie  uit  Een  Onderzoek  Uitvoeren  (Oost,  2002)  

   

31    

De  kwaliteitscriteria  voor  het  gehele  onderzoeksproces  zijn  nu  gekoppeld  aan  knelpunten  binnen  de  conclusie  in  het  onderzoek.  Dat  geeft  de  mogelijkheid  om  deze  kwaliteitscriteria  om  te  zetten  naar  criteria  die  specifiek  van  toepassing  zijn  op  de  conclusie.  De  kwaliteitscriteria  van  Oost  (2002)  zijn  echter  niet  specifiek  opgesteld  voor  het  type  onderzoek  dat  studenten  RMP  verrichten:  ontwerpgericht  praktijkgericht  onderzoek.  Verschuren  (2009)  stelt  dat  de  meeste  van  de  methodologische  handboeken  impliciet  of  expliciet  worden  geschreven  voor  theoriegericht  onderzoek  en  dat  er  wellicht  andere  kwaliteitscriteria  voor  praktijkgericht  onderzoek  zouden  gelden.  Daarom  moet  eerst  onderzocht  worden  of  de  kwaliteitscriteria  die  geldig  zijn  voor  theoriegericht  onderzoek  ook  van  toepassing  zijn  op  ontwerpgericht  praktijkgericht  onderzoek.  

Verschillen  in  kwaliteitscriteria  voor  theoriegericht  en  ontwerpgericht  praktijkgericht  onderzoek?  Studenten  RMP  verrichten  ontwerpgericht  praktijkgericht  onderzoek  dat  is  gericht  op  het  oplossen  van  een  specifiek  veldprobleem.  Dit  in  tegenstelling  tot  theoriegericht  onderzoek  dat  gericht  is  op  het  toevoegen  van  algemeen  geldige  kennis.  Een  aantal  auteurs  van  boeken  over  onderzoeksmethodologie  (Aken  en  Andriessen,  2011;  Tavecchio  en  Gerrebrands,  2012;  Van  Burg,  2011)  is  het  eens  met  Verschuren  (2009)  dat  de  opzet  en  het  ontwerp  van  theoriegericht  onderzoek  anders  zijn  dan  die  voor  praktijkgericht  onderzoek.  De  verschillen  in  vraag-­‐  en  doelstelling  leiden  volgens  hen  tot  verschillen  in  methodologie  en  kwaliteitscriteria  voor  het  onderzoek.  Of  dat  zo  is  en  op  welke  wijze  dit  invloed  heeft  op  de  conclusie,  wordt  in  deze  paragraaf  uiteengezet.       Volgens  Gibbons  (1994)  heeft  de  massificatie  van  het  hoger  onderwijs  ertoe  geleid  dat  meer  burgers  kennis  hebben  van  methoden  en  technieken  van  onderzoek.  Deze  vaardigheden  zetten  zij  –  tijdens  hun  studie  of  in  hun  professionele  loopbaan  –  in  om  problemen  op  te  lossen  die  ver  af  staan  van  de  fundamenteel  wetenschappelijke  vraagstukken  die  binnen  de  universiteit  geformuleerd  werden.  Daarom  introduceerde  hij  de  termen  modus  1-­‐  en  modus  2-­‐onderzoek.  Tavecchio  en  Gerrebrands  (2012)  leggen  uit  wat  de  verschillen  zijn  tussen  deze  twee  verschillende  modi  van  onderzoek.  Onder  modus  1-­‐onderzoek  verstaan  zij  die  vormen  van  wetenschappelijk  onderzoek  die  zich  richten  op  het  verwerven  van  fundamentele  kennis.  Binnen  modus  1-­‐onderzoek  wordt  middels  voortschrijdende  theorievorming  getracht  de  werkelijkheid  te  verklaren  en  universele  waarheidsaanspraken  te  formuleren  en  er  is  geen  directe  verplichting  om  de  gevonden  resultaten  te  vertalen  naar  de  beroepspraktijk.       Modus  2-­‐onderzoek  richt  zich  niet  zozeer  op  theorievorming  maar  op  de  toepassing  van  verworven  kennis  voor  het  oplossen  van  problemen  uit  de  praktijk.  Klapwijk  (2013,  para.  1  )  stelt  dat  onderzoek,  gebaseerd  op  traditionele  empirische  onderzoeksmethoden,  wel  gedegen  kennis  oplevert,  maar  dat  het  niet  bijdraagt  aan  innovatieve  oplossingen,  waar  de  beroepssector  wel  behoefte  aan  heeft.  Hij  spreekt  van  een  spanning  tussen  methodologisch  verantwoord  onderzoek  en  het  ontwikkelen  van  relevante,  creatieve  oplossingen.  Tavecchio  en  Gerrebrands  geven  aan  dat  het  moeilijk  is  om  een  definitief  adequate  methodologische  benadering  aan  te  reiken  voor  praktijkgericht  onderzoek,  maar  dat  onderzoekers  "gemotiveerd  door  een  specifiek  probleem  en  vraagstelling  creatief  gebruik  moeten  maken  (van  een  combinatie)  van  methoden,  teneinde  de  gewenste  synergie  te  bewerkstelligen  tussen  onderzoek  en  beroepspraktijk"  (2012,  p.  18).       Maxwell  stelt  ongeveer  hetzelfde:  "Decisions  about  research  methods  depend  on  the  specific  context  and  issues  you  are  studying"  (2012,  p.  79).  Het  handboek  over  onderzoeksontwerp  van  Maxwell  is  gericht  op  alle  soorten  kwalitatief  onderzoek.  Hieruit  valt  af  te  leiden  dat  voor  zowel  theoriegericht  als  praktijkgericht  onderzoek  geldt  dat  de  methodes  die  een  onderzoeker  kiest  goed  moeten  aansluiten  bij  de  vraag  die  hij  stelt  en  het  doel  dat  hij  wil  bereiken.  Hierin  wijkt  het  ontwerp  en  de  opzet  van  praktijkgericht  onderzoek  niet  af  van  theoriegericht  onderzoek,  maar  blijkt  dat  ieder  ontwerp  van  een  onderzoek  uniek  is  voor  dát  specifieke  onderzoek.     Aken  en  Andriessen  (2011)  zijn  van  mening  dat  de  verschillen  in  ontwerp,  opzet  en  kwaliteitscriteria  van  de  twee  typen  onderzoek,  voortkomen  uit  de  verschillen  in  de  vraag-­‐  en  de  doelstelling.  Deze  verschillen  zijn  volgens  hen  van  invloed  op  de  kwaliteitscriteria  die  gelden  voor  onderzoek.  De  meest  gehanteerde  kwaliteitscriteria  voor  onderzoek  zijn  betrouwbaarheid  en  validiteit.  Van  Burg  (2011)  onderzocht  of  deze  criteria  ook  van  toepassing  zijn  op  ontwerpgericht  praktijkgericht  onderzoek.  Hij  stelt  dat  dit  het  geval  is,  maar  dat  deze  wel  een  specifieke  invulling  krijgen.  Dit  statement  wordt  ondersteund  door  Aken  en  Andriessen:  Een  onderzoek  is  betrouwbaar  als  dit  bij  (meerdere)  herhaling(en)  dezelfde  uitkomsten  oplevert.  Omdat  in  ontwerpgericht  onderzoek  letterlijke  replicatie  veelal  niet  mogelijk  is,  gaat  het  hier  meer  om  stabiliteit  en  navolgbaarheid:  "Als  de  resultaten  laten  zien  dat  de  uitkomsten  bij  dezelfde  methode  en  in  vergelijkbare  gevallen  stabiel  zijn,  geeft  dat  aan  dat  de  resultaten  betrouwbaar  zijn"  (2011,  p.  4).  

32    

  De  validiteit  van  een  onderzoek,  ofwel  de  "mate  waarin  gehanteerde  procedures  het  mogelijk  maken  om  geldige  uitspraken  te  doen  over  het  onderzoeksobject"  (Aken  en  Andriessen,  2011,  p.  9)  wordt  vaak  verder  uitgewerkt  in  interne  en  externe  validiteit.  Voor  de  interne  validiteit  is  het  van  belang  dat  de  interne  samenhang  in  de  onderzoeksresultaten  zodanig  is,  dat  het  leidt  tot  een  geldige  beantwoording  van  de  centrale  vraag  van  het  onderzoek.  Van  Burg  (2011)  stelt  dat  het  voor  de  externe  validiteit  van  belang  is  dat  het  gevonden  antwoord  ook  daadwerkelijk  toepasbaar  is  binnen  meerdere  contexten.  De  uitwerking  van  interne  validiteit  is  bij  praktijkgericht  en  theoriegericht  onderzoek  hetzelfde:  de  samenhang  van  de  vragen  moet  leiden  tot  een  antwoord  op  het  gestelde  probleem.  Echter,  bij  de  externe  validiteit,  de  toepasbaarheid  van  het  onderzoek,  gaat  het  bij  theoriegericht  onderzoek  om  toepasbaarheid  van  de  nieuwe  kennis  of  theorie  en  bij  praktijkgericht  onderzoek  om  de  toepasbaarheid  van  de  oplossing,  een  product  of  interventie.  Aan  de  hand  van  bovenstaande  uitkomsten  is  een  overzicht  opgesteld  van  kwaliteitscriteria  en  hun  specifieke  uitwerking  voor  ontwerpgericht  praktijkgericht  onderzoek  en  theoriegericht  onderzoek.  Deze  zijn  te  zien  in  tabel  5.    

 

De  functie  van  de  conclusie  van  ontwerpgericht  praktijkgericht  onderzoek  Het  voornaamste  verschil  in  uitwerking  van  de  kwaliteitscriteria  voor  ontwerpgericht  praktijkgericht  onderzoek  wordt  veroorzaakt  door  het  verschil  in  vraag-­‐  en  doelstelling.  Dit  is  van  invloed  op  de  functie  van  de  conclusie  binnen  ontwerpgericht  praktijkgericht  onderzoek.  De  conclusie  is  gericht  op  het  overtuigen  van  de  opdrachtgever  dat  het  advies  dat  op  basis  van  het  onderzoek  wordt  gegeven,  bruikbaar  en  toepasbaar  is  om  het  specifieke  probleem  van  de  opdrachtgever  op  te  lossen.  Het  is  minder  belangrijk  of  het  onderzoek  generaliseerbare  kennis  voortbrengt.  Omdat  de  uitkomsten  worden  gebruikt  voor  een  specifiek  probleem,  is  het  repliceren  van  het  onderzoek,  in  een  andere  context,  vrijwel  onmogelijk.  Het  is  belangrijker  dat  de  uitkomsten  van  het  onderzoek  navolgbaar  zijn.     Dit  komt  ook  naar  voren  in  de  interviews  met  de  docenten.  Zo  stelt  respondent  2:  "  Voor  onze  studenten  die  vaak  een  product  ontwikkelen  of  een  advies  geven,  moet  de  conclusie  het  laatste  opstapje  naar  het  advies  zijn".  Respondent  3:  "De  belangrijkste  functie  van  de  conclusie  in  het  onderzoeksrapport  is  dat  een  student  een  koppeling  maakt  tussen  zijn  veldwerk  en  zijn  deskresearch  met  [als]  doel  om  tot  een  concreet  product  te  komen".    

Samengevat  Uit  de  verschillende  analyses  en  vergelijkingen  in  dit  hoofdstuk  is  gebleken  dat  geïdentificeerde  knelpunten  in  conclusies  sterk  samenhangen  met  andere  delen  van  het  onderzoek.  Dat  betekent  dat  de  kwaliteit  van  de  conclusie  sterk  samenhangt  met  de  kwaliteit  van  het  gehele  onderzoeksproces.  Vervolgens  is  gebleken  dat  alle  knelpunten  gekoppeld  konden  worden  aan  de  zes  fouten  in  een  onderzoeksproces  zoals  Oost  (2002)  deze  beschrijft  en  koppelt  aan  zes  kwaliteitscriteria  voor  onderzoek.  Daarom  is  ervoor  gekozen  om  de  kwaliteitscriteria  voor  de  conclusie  af  te  leiden  van  de  kwaliteitscriteria  voor  het  gehele  onderzoeksproces.  Vervolgens  is  gesteld  dat  kwaliteitscriteria  voor  

Tabel  5  Kwaliteitscriteria  voor  praktijkgericht  en  theoriegericht  onderzoek     Vraagstelling   Doelstelling   Betrouwbaarheid   Interne  validiteit   Externe  validiteit  Theoriegericht  onderzoek  

Gericht  op  het  verkrijgen  van  kennis.  

Gericht  op  het  verklaren  en  beschrijven  van  problemen  en  voortschrijdende  theorievorming.    

Gericht  op  replicatie  van  de  (resultaten  van)  het  onderzoek.  

Gericht  op  samenhang  van  de  resultaten,  leidend  tot  een  beantwoording  van  de  centrale  vraag.  

Gericht  op  geldigheid  van  universele  waarheidsaanspraken.  

Ontwerpgericht  praktijkgericht  onderzoek  

Gericht  op  het  oplossen  van  veldproblemen.  

Gericht  op  het  bedenken  van  oplossing  voor  een  specifiek  probleem.  

Gericht  op  navolgbaarheid  van  het  onderzoek  en  stabiliteit  van  de  resultaten.  

Gericht  op  samenhang  van  de  resultaten,  leidend  tot  een  beantwoording  van  de  centrale  vraag.  

Gericht  op  bruikbaarheid  en  toepasbaarheid  van  het  onderzoek  voor  de  praktijk.  

Noot.  Deze  tabel  is  samengesteld  met  informatie  uit  Aken  en  Andriessen  (2011)  en  Van  Burg  (2011)  

33    

praktijkgericht  onderzoek  niet  afwijken  van  die  voor  theoriegericht  onderzoek,  maar  dat  deze  wel  een  specifieke  uitwerking  hebben.  Dit  heeft  te  maken  met  het  verschil  in  doel-­‐  en  vraagstelling  tussen  theoriegericht  onderzoek  en  ontwerpgericht  praktijkgericht  onderzoek.  Dat  bleek  van  invloed  op  de  functie  van  de  conclusie.  De  functie  van  de  conclusie  is  van  invloed  op  zowel  de  inhoud  als  de  structuur  van  de  conclusie.  De  probleemstelling  is  in  grote  mate  sturend  voor  de  structuur  van  de  conclusie.  En  de  kwaliteitseisen  voor  de  conclusie  kunnen  worden  afgeleid  van  de  kwaliteitseisen  voor  een  geheel  onderzoeksproces.  Daarom  kan  aan  de  hand  van  bovenstaande  resultaten  vastgesteld  worden  aan  welke  eisen,  betreffende,  inhoud,  structuur  en  kwaliteit  een  conclusie  van  een  praktijkgericht  ontwerpgericht  onderzoek  moet  voldoen.  Met  die  uitkomsten  kan  vervolgens  een  advies  worden  opgesteld  voor  de  opleiding  MIC,  waarvan  een  opzet  voor  de  instructie  over  de  conclusie  deel  uitmaakt.        

34    

Conclusie  

De  aanleiding  voor  dit  onderzoek  waren  de  slechte  conclusies  in  de  ontwerpgerichte  praktijkgerichte  onderzoeksrapporten  van  studenten  RMP.  Wat  is  een  conclusie?  En  waarom  hebben  studenten  er  zoveel  moeite  mee?  Hoe  leg  je  studenten  uit  wat  je  moet  doen  als  je  een  conclusie  trekt?  Dat  waren  vragen  die  mij  bezighielden  en  die  het  startpunt  vormden  voor  dit  onderzoek.  Deze  vragen  hebben  geleid  tot  de  centrale  vraag  van  dit  onderzoek:  Aan  welke  eisen  ten  aanzien  van  inhoud,  structuur  en  kwaliteit  moet  een  conclusie  van  een  ontwerpgericht  praktijkgericht  onderzoek  voldoen?    

Uit  een  eerste  probleemanalyse  bleek  dat  de  instructie  vanuit  de  opleiding  en  in  de  literatuur  ten  aanzien  van  de  inhoud,  de  structuur  en  de  functie  van  de  conclusie  niet  compleet,  niet  consistent  en  niet  eenduidig  was.  Studenten  weten  daardoor  niet  goed  wat  ze  moeten  schrijven  in  een  conclusie  en  waarom  ze  dat  moeten  schrijven.  Ook  werd  duidelijk  dat  in  de  instructie  en  in  de  literatuur  nauwelijks  aandacht  is  voor  de  kwaliteitscriteria  ten  aanzien  van  een  conclusie.  Studenten  weten  daardoor  ook  niet  wanneer  een  conclusie  goed  is.        De  geringe  instructie  geeft  studenten  niet  genoeg  houvast  bij  het  schrijven  van  een  conclusie.  Maar  ook  voor  de  docenten  is  het  lastig  om  met  zo  weinig  aanwijzingen  studenten  goed  te  begeleiden  bij  het  schrijven  van  een  conclusie.  Het  doel  van  dit  onderzoek  was  om  een  complete,  consistente  en  eenduidige  instructie  voor  studenten  op  te  stellen  over  de  inhoud,  de  structuur  en  de  kwaliteit  van  een  conclusie  voor  ontwerpgerichte  praktijkgerichte  onderzoeksrapporten.  Daarvoor  is  een  werkdefinitie  van  de  conclusie  vastgesteld:    De  conclusie  is  het  antwoord  op  de  probleemstelling  dat  aan  de  hand  van  een  synthese  van  onderzoeksresultaten  wordt  gegeven  en  waarin  wordt  uitgelegd  op  welke  wijze  het  antwoord  bijdraagt  aan  de  doelstelling  van  het  onderzoek.    Dit  onderzoek  heeft  geen  uitkomsten  opgeleverd  die  aanleiding  hebben  gegeven  om  deze  definitie  bij  te  stellen,  daarom  kan  deze  definitie  worden  gehandhaafd.       Door  middel  van  een  gefundeerde  theorie-­‐analyse  is  een  overzicht  opgesteld  van  knelpunten  die  in  de  conclusies  van  de  onderzoeksrapporten  van  RMP-­‐studenten  voorkomen.  De  knelpunten  zijn  onderverdeeld  in  vijf  categorieën.  Uit  deze  analyse  en  de  categorisering  kwam,  zoals  ook  te  verwachten  viel,  duidelijk  naar  voren  dat  de  kwaliteit  van  een  conclusie  in  grote  mate  afhankelijk  is  van  de  kwaliteit  van  de  opzet  en  het  en  de  gebruikte  instrumenten  van  het  onderzoek.  Dit  werd  ook  bevestigd  in  de  interviews  met  de  docenten,  die  aangaven  dat  een  van  grootse  knelpunten  is  dat  studenten  geen  (juiste)  koppeling  maken  tussen  desk-­‐  en  fieldresearch  en  daardoor  geen  antwoord  geven  op  de  probleemstelling.  Met  andere  woorden:  studenten  kunnen  de  resultaten  niet  verbinden  en  niet  aan  de  probleemstelling  koppelen.  Een  ander  groot  knelpunt,  de  structurering  van  de  conclusie,  is  ook  afhankelijk  van  de  andere  onderdelen  van  het  onderzoeksrapport.  Een  logische  structuur  voor  de  conclusie  volgt  de  structuur  van  de  probleemstelling.  Wanneer  de  probleemstelling  niet  of  niet  goed  gestructureerd  is,  is  het  onmogelijk  om  de  conclusie  goed  te  structuren.       Fouten  die  zijn  gemaakt  in  andere  delen  van  het  onderzoek  beïnvloeden  de  kwaliteit  van  de  conclusie  direct.  Daarom  is  gezocht  naar  een  manier  om  de  knelpunten  die  in  de  conclusies  zijn  gevonden,  te  koppelen  aan  knelpunten  en  kwaliteitseisen  die  voor  het  gehele  onderzoeksproces  gelden.  Het  model  van  Oost  (2002)  bleek  daarvoor  erg  bruikbaar.  Hij  beschrijft  zes  veelvoorkomende  fouten  in  het  onderzoeksproces:  de  gedragsfout,  de  strategiefout,  de  systematische  fout,  de  redeneerfout,  de  toevalsfout  en  de  aansluitingsfout.  Alle  gevonden  knelpunten  konden  worden  gekoppeld  aan  een  van  deze  zes  veelvoorkomende  fouten  in  het  onderzoeksproces.  Omdat  alle  knelpunten  konden  worden  gekoppeld  aan  een  van  deze  fouten  en  omdat  Oost  deze  fouten  koppelt  aan  zes  kwaliteitscriteria,  is  besloten  om  de  kwaliteitscriteria  voor  de  conclusie  af  te  leiden  uit  deze  zes  kwaliteitscriteria  van  Oost.  Deze  kwaliteitscriteria  behoefden  om  twee  redenen  een  nadere  specificering.  Ten  eerste  moesten  de  criteria  worden  afgestemd  op  de  conclusie  als  specifiek  onderdeel  van  het  onderzoeksrapport.  Ten  tweede  moesten  deze  criteria  worden  afgestemd  op  de  typering  van  het  onderzoek:  ontwerpgericht  praktijkgericht  onderzoek.  Van  Burg  (2011)  stelt  dat  ten  aanzien  van  de  betrouwbaarheid  van  een  ontwerpgericht  praktijkgericht  onderzoek,  repliceerbaarheid  van  het  onderzoek  vaak  niet  mogelijk  is.  Belangrijker  is  dat  het  onderzoeksproces  navolgbaar  is.  De  interne  validiteit  is  zowel  bij  theoriegericht  onderzoek  als  bij  ontwerpgericht  praktijkgericht  onderzoek  gericht  op  de  samenhang  van  de  resultaten.  De  externe  validiteit  bij  ontwerpgericht  praktijkgericht  onderzoek  is  gericht  op  de  bruikbaarheid  en  de  toepasbaarheid  van  het  onderzoek  voor  de  praktijk.  En  niet  zoals  bij  theoriegericht  onderzoek  op  het  aantonen  van  de  

35    

geldigheid  van  universele  waarheidsaanspraken.  Daarmee  wijkt  de  functie  van  de  conclusie  van  ontwerpgericht  praktijkgericht  onderzoek  af  van  theoriegericht  onderzoek:  bij  ontwerpgericht  praktijkgericht  onderzoek  vormt  de  conclusie  de  basis  voor  het  advies.  De  conclusie  is  gericht  op  het  presenteren  van  de  gevonden  oplossing  voor  het  specifieke  probleem  met  als  doel  de  opdrachtgever  te  laten  begrijpen  op  basis  van  welke  resultaten  welke  keuzes  voor  de  oplossing  (het  prototype  of  het  format)  zijn  gemaakt.  Op  basis  van  de  uitkomsten  van  dit  onderzoek  kunnen  eisen  ten  aanzien  van  de  inhoud  en  structuur  van  de  conclusie  in  ontwerpgericht  praktijkgericht  onderzoek  worden  opgesteld.    

De  inhoud  en  de  structuur  van  de  conclusie  De  functie  van  de  conclusie  van  een  ontwerpgericht  praktijkgericht  onderzoek  is  het  overtuigen  van  de  opdrachtgever  van  de  adequaatheid  van  het  advies  dat  uit  deze  conclusie  voortkomt.  De  conclusie  is  het  laatste  opstapje  naar  dit  advies.  Dit  is  van  invloed  op  inhoud  en  de  structuur  van  de  conclusie.  De  benodigde  overtuigingskracht  kan  bereikt  worden  als  de  conclusie  logisch  opgebouwd  en  navolgbaar  is.       Hieronder  worden  de  componenten  (de  inhoud)  van  een  conclusie  van  ontwerpgericht  praktijkgericht  genoemd  in  de  volgorde  waarin  deze  aan  bod  moeten  komen  (structuur).  De  aanleiding  van  het  onderzoek  is  bij  ontwerpgericht  praktijkgericht  onderzoek  het  doel  van  de  opdrachtgever.  De  conclusie  van  een  ontwerpgericht  praktijkgericht  onderzoek  begint  daarom  met  de  doelstelling  van  het  onderzoek.  Vervolgens  wordt  beknopt  aangegeven  wat  de  belangrijkste  onderzoeksvragen  zijn  die  hebben  bijgedragen  aan  de  kennis  die  nodig  is  om  dit  doel  te  bereiken.  Er  wordt  heel  kort  ingegaan  op  de  methodes  die  zijn  gebruikt  om  deze  vragen  te  beantwoorden.  Vervolgens  worden  die  resultaten  beschreven  die  het  meest  relevant  bleken  voor  de  beantwoording  van  deze  vragen.  Bij  voorkeur  wordt  daarbij  de  structuur  van  de  probleemstelling  en  het  hoofdstuk  resultaten  gevolgd.  De  conclusie  wordt  afgesloten  met  ontwerpcriteria  voor  het  te  ontwikkelen  mediaproduct.  Deze  worden  in  de  conclusie  redelijk  globaal  beschreven  en  worden  pas  in  het  advies  heel  concreet  uitgewerkt  in  een  prototype  of  format  van  een  (media)product.  De  structuur  van  de  conclusie  volgt  bij  voorkeur  de  structuur  van  de  probleemstelling.  Bij  een  onderzoek  naar  de  verbetering  van  een  website  op  gebied  content,  navigatie  en  lay-­‐out,  moeten  deze  elementen  in  dezelfde  volgorde  terugkomen  in  de  conclusie.    

Kwaliteitscriteria  voor  de  conclusie  van  ontwerpgericht  praktijkgericht  onderzoek  De  kwaliteitscriteria  voor  de  conclusie  van  een  ontwerpgericht  praktijkgericht  onderzoek  kunnen  worden  afgeleid  van  de  kwaliteitscriteria  die  gelden  voor  het  gehele  onderzoeksproces.  Immers,  de  conclusie  hangt  in  sterke  mate  samen  met  andere  delen  van  het  onderzoek.  Om  deze  kwaliteitscriteria  te  bepalen  is  gebruik  gemaakt  van  de  zes  door  Oost  geformuleerde  kwaliteitscriteria,  zoals  weergegeven  in  tabel  4.    Een  conclusie  moet  controleerbaar  zijn.  Dit  is  het  geval  wanneer  uit  de  conclusie  duidelijk  blijkt  welke  stappen  zijn  genomen  in  het  onderzoek.  Wanneer  uit  een  conclusie  duidelijk  wordt  met  welke  methoden  de  resultaten  verkregen  en  op  welke  wijze  deze  resultaten  hebben  geleid  tot  welke  conclusies,  verhoogt  dit  de  controleerbaarheid.     Een  conclusie  moet  vakkundig  zijn  opgesteld.  Dit  is  het  geval  wanneer  in  een  conclusie  alle  componenten  in  de  juiste  volgorde  aan  bod  komen:  aanleiding,  probleemanalyse,  doelstelling,  onderzoeksvragen,  methoden,  resultaten,  beantwoording  van  de  probleemstelling  en  de  ontwerpcriteria.  Hieruit  moet  blijken  dat  de  onderzoeksstrategie  effectief,  efficiënt  en  toelaatbaar  is.    Effectief  wil  zegen  dat  alle  genoemde  resultaten  bijdragen  aan  de  beantwoording  van  de  probleemstelling.  Efficiënt  wil  zegen  dat  de  probleemstelling  volledig  beantwoord  is.  Toelaatbaar  wil  zeggen  dat  de  conclusies  getrokken  worden  uit  resultaten  die  op  ethische  wijze  zijn  verkregen.  En  dat  de  conclusies  niet  gebaseerd  zijn  op  onterechte  generalisaties  die  personen  of  groepen  schaden.  Dit  laatste  is  niet  goed  toetsbaar  in  de  conclusie  als  alleen  dit  hoofdstuk  wordt  gelezen.  Dit  moet  in  samenhang  met  de  methode  en  resultatensectie  van  het  onderzoek  worden  beoordeeld.       Een  conclusie  moet  betrouwbaar  zijn.  Dit  is  het  geval  wanneer  het  onderzoeksproces  navolgbaar  is  en  de  uitkomsten  stabiel.  Ook  dit  is  niet  volledig  toetsbaar  in  de  conclusie  en  moet  eveneens  in  samenhang  met  de  methode  en  resultatensectie  worden  beoordeeld.     Een  conclusie  moet  logisch  zijn.  Dit  is  het  geval  wanneer  sprake  is  van  een  goede  en  navolgbare  argumentatielijn,  waarin  alle  relevante  resultaten  zijn  meegenomen  en  elkaar  tegensprekende  resultaten  zijn  verklaard.    

36    

Een  conclusie  moet  valide  zijn.  Dit  is  het  geval  als  het  antwoord  op  de  probleemstelling  bruikbaar  is  voor  de  doelstelling  van  het  onderzoek.  In  sommige  gevallen,  als  blijkt  dat  het  doel  van  het  onderzoek  niet  haalbaar  is,  moet  dit  ook  worden  beargumenteerd.       Een  conclusie  moet  adequaat  zijn.  Dit  is  het  geval  als  alleen  die  resultaten  worden  genoemd  die  relevant  zijn  voor  de  argumentatielijn  en  de  oplossing  van  de  probleemstelling.  Deze  argumentatielijn  moet  een  heldere  structuur  hebben  die  bij  voorkeur  de  structuur  van  de  probleemstelling  en  het  hoofdstuk  resultaten  volgt.  Ook  moet  blijken  dat  de  probleemstelling  en  de  doelstelling  goed  op  elkaar  aansluiten.    

Beperkingen  van  dit  onderzoek  De  onderzoeksrapporten  die  geanalyseerd  zijn  voor  dit  onderzoek,  waren  geschreven  in  het  kader  van  één  module.  Het  kan  zijn  dat  in  rapporten  geschreven  voor  andere  modules  andere  knelpunten  te  vinden  zijn.  In  deze  module  was  het  een  verplichting  om  gebruik  te  maken  van  een  vragenlijst  als  methode  van  onderzoek.  Daarom  zijn  vooral  strategiefouten  gevonden  die  te  maken  hebben  met  het  opstellen  van  vragen  en  ontbreken  knelpunten  die  zouden  voorkomen  uit  andere  onderzoeksmethodes  zoals  prototyping  of  panelgesprekken.       Om  de  instructie  ten  aanzien  van  de  conclusie  in  kaart  te  gebruiken  is  alleen  gebruik  gemaakt  van  een  documentanalyse.  Daaruit  valt  niet  op  te  maken  wat  in  de  lessen  onderzoek  overgebracht  wordt.  Dit  is  gedeeltelijk  ondervangen  door  in  de  interviews  met  de  docenten  te  vragen  wat  zij  in  de  les  doen.  Maar  iedere  docent  geeft  de  instructie  op  zijn  eigen  manier;  de  inventarisatie  van  de  documenten  gaf  een  goede  indruk,  de  instructie  die  studenten  krijgen  is  niet  volledig  in  kaart  gebracht.      

37    

Discussie  

Niet  alleen  de  instructies  vanuit  de  opleiding  MIC  voor  het  schrijven  van  een  conclusie  bleken  summier;  ook  in  studie-­‐  en  handboeken  over  onderzoeksmethodologie  bleek  de  conclusie  een  onderbelicht  onderwerp.  Deze  boeken  beschrijven  veelal  uitgebreid  hoe  een  onderzoek  moet  worden  opgezet,  welke  verschillende  methoden  er  zijn  om  onderzoeksvragen  te  beantwoorden,  hoe  deze  uit  te  voeren  en  hoe  de  resultaten  te  analyseren.  Aan  het  schrijven  van  een  conclusie  wordt  nauwelijks  aandacht  besteed.  In  sommige  boeken  worden  daar  enkele  regels  aan  gewijd,  waarin  vooral  beschreven  wordt  dat  de  conclusie  "meer  is  dan  een  samenvatting  van  resultaten  is".  Dit  biedt  studenten  onvoldoende  aanknopingspunten  voor  het  schrijven  van  een  goede  conclusie.    Daarnaast  wordt  in  de  literatuur  over  onderzoeksmethodologie  veel  gesproken  over  'het  verschil'  tussen  praktijkgericht  onderzoek  en  theoriegericht  onderzoek.  Het  gaat  dan  over  andere  methodes  en  technieken  en  andere  kwaliteitscriteria,  maar  het  blijft  bij  deze  algemene  termen  en  er  wordt  niet  uitgelegd  wélke  consequenties  dit  verschil  heeft  voor  het  onderzoeksrapport  en  voor  de  kwaliteitscriteria  die  daaraan  worden  gesteld.     Dit  onderzoek  heeft  een  aantal  zaken  opgeleverd:  een  definitie  van  de  conclusie  van  een  onderzoeksrapport  van  een  ontwerpgericht  praktijkgericht  onderzoek  en  duidelijke  eisen  ten  aanzien  van  de  functie,  de  inhoud  de  structuur  en  de  kwaliteitscriteria  van  een  conclusie.  Het  is  duidelijk  geworden  dat  de  conclusie  een  betogende  vorm  moet  hebben  en  dat  de  structuur  van  de  conclusie  de  structuur  van  de  probleemstelling  moet  volgen.  Dit  werd  impliciet  duidelijk  uit  de  literatuur,  maar  is  niet  eerder  concreet  benoemd.  Ook  is  uiteengezet  welke  invloed  het  type  onderzoek  (praktijkgericht  versus  theoriegericht)  heeft  op  de  kwaliteitscriteria  van  een  conclusie  en  daarmee  ook  op  de  kwaliteitscriteria  van  het  hele  onderzoeksproces.  Immers,  de  kwaliteitscriteria  voor  de  conclusie  zijn  afgeleid  van  de  kwaliteitscriteria  voor  het  hele  onderzoek.  Ook  dit  werd  nog  niet  eerder  uitgewerkt:  voor  beide  typen  onderzoek  gelden  dezelfde  kwaliteitscriteria,  echter,  omdat  de  doelstelling  van  beide  typen  onderzoek  ander  is,  is  de  uitwerking  van  die  criteria  anders.  Dit  verschil  uit  zich  in  de  uitwerking  van  de  kwaliteitseisen  betrouwbaarheid  en  externe  validiteit.  Bij  praktijkgericht  onderzoek  handelt  betrouwbaarheid  meer  om  de  navolgbaarheid  van  het  onderzoeksproces  en  niet  zozeer  om  de  repliceerbaarheid;  externe  validiteit  bij  praktijkgericht  onderzoek  heeft  vooral  betrekking  op  de  toepasbaarheid  van  de  oplossing  in  de  praktijk  en  niet  op  de  bijdrage  die  het  onderzoek  heeft  geleverd  aan  theorievorming.  

Relevantie  voor  de  praktijk  De  uitkomsten  van  dit  onderzoek  zijn  in  eerste  instantie  gebruikt  om  instructies  op  te  stellen  voor  de  conclusies  van  onderzoeksrapporten  voor  de  opleiding  MIC,  afstudeerprofiel  RMP.  Een  opzet  voor  deze  instructie  is  te  vinden  in  bijlage  I.  Het  is  aannemelijk  dat  deze  instructie  binnen  de  gehele  opleiding  bruikbaar  is,  aangezien  binnen  de  hele  opleiding  soortgelijke  onderzoeksopdrachten  worden  verstrekt.  De  instructie  wordt  daarom  voorgelegd  aan  meerdere  docenten  Onderzoek  binnen  de  opleiding  met  als  doel  deze  op  te  nemen  in  alle  modules  van  de  opleiding  waarin  onderzoeksopdrachten  worden  verstrekt.  Daarnaast  is  het  niet  onaannemelijk  dat  de  instructie  bruikbaar  is  voor  andere  opleidingen  waar  ontwerpgericht  praktijkgericht  onderzoek  deel  uitmaakt  van  het  curriculum.     De  kwaliteit  van  conclusies  van  ontwerpgerichte  praktijkgerichte  onderzoeksrapporten  is  niet  alleen  belangrijk  voor  de  opleiding  MIC  en  andere  opleidingen  binnen  het  hbo;  het  is  ook  belangrijk  voor  het  werkveld.  Wanneer  de  conclusies  beter  van  kwaliteit  zijn,  zijn  de  adviezen  die  daarop  gebaseerd  zijn  ook  van  betere  kwaliteit.  Veel  studenten  zien  nu  het  nut  van  het  onderzoek  niet  in  omdat  ze  merken  dat  het  werkveld  weinig  doet  met  de  adviezen  die  zij  geven.  Een  groot  deel  van  de  RMP-­‐  studenten  ervaart  onderzoeksopdrachten  als  moeilijk  en  saai.  Ze  leren  vaak  liever  de  vaardigheden  om  een  mooi  beroepsproduct  te  produceren.  Studenten  zien  zelf  vaak  (nog)  niet  in  dat  wanneer  zij  beter  onderzoek  doen  en  betere  conclusies  trekken,  het  werkveld  ook  meer  heeft  aan  de  adviezen  die  daarop  gebaseerd  zijn.  En  andersom,  wanneer  de  studenten  zien  dat  hun  adviezen  ter  harte  worden  genomen  in  het  werkveld,  zien  studenten  het  nut  van  onderzoek  in.      

38    

Aanbevelingen  voor  de  opleiding  MIC  Uit  dit  onderzoek  is  naar  voren  gekomen  dat  er  verbeteringen  mogelijk  zijn  binnen  het  onderzoeksvaardighedenonderwijs  aan  de  opleiding  MIC.  De  instructie  voor  het  schrijven  van  een  conclusie  kan  verbeterd  worden,  daarvoor  doe  ik  zes  concrete  aanbevelingen:    

• Pas  de  instructie  voor  studenten  ten  aanzien  van  de  conclusie  aan  en  gebruik  dezelfde  instructie  consistent  gedurende  de  gehele  studieperiode.  

• Zorg  ervoor  dat  alle  docenten  die  onderzoeksvaardigheden  doceren  op  de  hoogte  zijn  van  deze  instructie  en  deze  volledig  begrijpen  en  toepassen.  

• Biedt  die  docenten  die  geen  of  weinig  onderzoekservaringen  hebben  meer  gelegenheid  om  zich  op  dit  vlak  bij  te  scholen.    

• Zorg  dat  er  goede  voorbeelden  van  conclusies  beschikbaar  zijn.    • Bespreek  veelgemaakte  fouten  in  een  conclusie  in  de  les.    • Een  onderzoek  opzetten  en  uitvoeren  kost  veel  tijd,  daarom  lopen  studenten  vaak  achter  

met  hun  opdracht  en  krijgen  ze  niet  op  tijd  de  juiste  instructie.  Deel  de  onderzoeksopdrachten  op  in  kleinere  eenheden,  zodat  er  voor  het  gehele  proces  meer  tijd  is.    

Voor  de  aangepaste  instructie  wordt  in  bijlage  I  een  opzet  gegeven.  Goede  voorbeelden  zijn  te  vinden  in  de  afstudeeropdrachten  van  de  studenten  MIC.  Hierbij  wordt  opgemerkt  dat  de  voorbeelden  die  op  dit  moment  op  de  digitale  leer-­‐  werkomgeving  staan,  volledige  onderzoeksrapporten  zijn.  Deze  zijn  niet  allemaal  op  alle  onderdelen  even  voorbeeldig.  Er  staan  rapporten  bij,  waarvan  het  hoofdstuk  methoden  en  technieken  uitstekend  is,  terwijl  het  hoofdstuk  conclusie  verre  van  voldoende  is.  Het  zou  beter  zijn  om  per  onderdelen  of  hoofdstuk  de  goede  voorbeelden  te  publiceren;  deze  zouden  dus  uit  verschillende  onderzoeksrapporten  kunnen  komen.  Wanneer  in  de  les  aandacht  besteed  wordt  aan  veelgemaakte  fouten,  kunnen  studenten  deze  beter  herkennen  in  hun  eigen  tekst.  

Aanbevelingen  voor  verder  onderzoek  Het  zou  interessant  zijn  om  te  toetsen  of  de  kwaliteitscriteria  voor  conclusies  van  ontwerpgericht  praktijkgericht  onderzoek,  die  op  basis  van  dit  onderzoek  zijn  ontwikkeld,  ook  bruikbaar  zijn  bij  andere  opleidingen  waar  dit  type  onderzoeksoprachten  word  gegeven.     Veel  van  de  rapporten  die  gebruikt  zijn  voor  dit  onderzoek  waren  in  hun  geheel  slecht  van  kwaliteit.  Uit  de  interviews  met  docenten  kwam  naar  voren  dat  studenten  vaak  aan  andere  studieactiviteiten  voorrang  geven.  De  groepsprojecten  vragen  om  hun  aandacht  omdat  deze  moeilijker  te  herkansen  zijn  en  bovendien  vinden  veel  studenten  andere  modules  waarin  ze  leren  om  mediaproducten  te  produceren  'leuker'  om  te  volgen.  Griffioen  en  de  Jong  (2013)  deden  al  onderzoek  naar  de  opvattingen  van  docenten  en  niet-­‐docenten  over  onderzoek  in  het  hbo.  Het  zou  ook  interessant  zijn  om  te  onderzoeken  welke  opvattingen  over  onderzoek  er  leven  onder  studenten  en  in  het  werkveld.     Een  ander  gevolg  van  te  weinig  tijd  besteden  aan  de  onderzoeksopdrachten  is  dat  de  studenten  hun  eigen  teksten  niet  reviseren.  De  slechte  structurering  en  formulering  van  de  rapporten  kan  ook  daarmee  te  maken  hebben.  Het  zou  interessant  zijn  om  te  weten  hoeveel  tijd  studenten  daadwerkelijk  besteden  aan  de  onderzoeksopdrachten  en  of  en  hoe  vaak  zij  hun  eigen  teksten  herschrijven.  De  slechte  kwaliteit  van  de  conclusies  en  de  rapporten  had  in  veel  gevallen  ook  te  maken  met  een  slecht  geformuleerde  probleemstelling.  Of  met  een  probleemstelling  die  niet  te  beantwoorden  was  aan  de  hand  van  een  onderzoek  met  een  vragenlijst.  In  sommige  gevallen  is  de  oorzaak  hiervan  dat  studenten  hun  onderzoeksrapport  inleveren  zonder  dat  ze  de  lessen  hebben  gevolgd.  Zij  hebben  als  gevolg  daarvan  nooit  feedback  gekregen  op  hun  onderzoeksopzet.  Deze  is  dan  vaak  van  zo’n  slechte  kwaliteit  dat  de  conclusie  van  het  rapport  ook  slecht  is.  Deze  fout  is  mijns  inziens  niet  geheel  te  wijten  aan  de  student.  De  docent  heeft  in  dat  geval  niet  genoeg  gestuurd  op  het  formuleren  van  een  goed  gestructureerde  probleemstelling  die  door  middel  van  een  vragenlijst  kan  worden  beantwoord.  Dit  kan  komen  omdat  het  bij  de  docenten  ontbreekt  aan  tijd,  of  ontbreekt  aan  kennis  van  onderzoek  om  de  student  goed  te  begeleiden.  Veel  docenten  die  zelf  weinig  tot  geen  onderzoekservaring  hebben,  doceren  wel  modules  waarin  onderzoekvaardigheden  belangrijk  zijn.  De  laatste  paar  jaar  is  er  gelukkig  wel  meer  aandacht  voor  het  trainen  van  docenten  in  het  begeleiden  van  onderzoeksopdrachten.  Het  zou  eveneens  interessant  zijn  om  te  onderzoeken  of  de  kwaliteitsverschillen  van  conclusies  en  onderzoeksrapporten  samenhangen  met  de  verschillen  in  onderzoekservaring  tussen  de  docenten.  

39    

 

41    

Literatuur  Afstudeercommissie  opleiding  Media  Informatie  en  Communicatie,  Hogeschool  van  Amsterdam.  (2013).  Plan  van  

Aanpak  Afstudeeropdracht.    

Aken,  J.  E.  en  Andriessen,  D.  (2011).  Handboek  ontwerpgericht  wetenschappelijk  onderzoek:  wetenschap  met  effect.  Amsterdam,  Nederland:  Boom  Lemma  Uitgevers.  

Andriessen,  D.  (2007).  OnderzoeksmethodoIogie  in  het  HBO:  een  persoonIijke  visie.  Onderzoek  van  Onderwijs,  36(4).    

Baarda.  B.  en  Bakker,  E.  (2012).  Basisboek  methoden  en  technieken  Kwantitatief  praktikjgericht  onderzoek  op  wetenschappelijke  basis.  Groningen,  Nederland:  Noordhoff  Uitgevers.  

Baarda,  B.  (2009).  Dit  is  onderzoek:  richtlijnen  voor  het  opzetten,  uitvoeren  en  van  kwantitatief  en  kwalitatief  onderzoek.  Groningen,  Nederland:  Noordhoff  Uitgevers.  

Baarda,  B.,  De  Goede,  M.  en  Teunissen,  J.  (2005).  Basisboek  kwalitatief  onderzoek.  Handleiding  voor  het  opzetten  en  uitvoeren  van  kwalitatief  onderzoek.  Groningen,  Nederland:  Wolters  Noordhoff.  

Babbie,  E.  (2012).  The  practice  of  social  research.  Independence,  KY:  Wadsworth  Cengage  Learning.  

Bartelds,  J.  F.,  Jansen,  E.  P.  W.  A.  en  Joostens,  T.  H.  (1989).  Enquêteren:  het  opstellen  en  gebruiken  van  vragenlijsten.  Groningen,  Nederland:  Wolters-­‐Noordhoff.  

Birks,  M.  en  Mills,  J.  (2011).  Grounded  Theory  A  Practical  Guide.  London,  Engeland:  Sage.  

Boeije,  H.  (2005).  Analyseren  in  kwalitatief  onderzoek.  Amsterdam,  Nederland:  Boom  onderwijs.  

Brancart,  E.  en  Goossens,  R.  (2013).  Modulehandleiding  R116  Onderzoek.  [cursustekst]  Hogeschool  van  Amsterdam.    

Burg  van,  E.  (2011).  Kwaliteitscriteria  voor  ontwerpgericht  wetenschappelijk  onderzoek  in  Aken,  J.  E.,  en  Andriessen,  D.  Handboek  ontwerpgericht  wetenschappelijk  onderzoek:  wetenschap  met  effect.  (pp.145-­‐163)  Amsterdam,  Nederland:  Boom  Lemma  Uitgevers.  

Eisenhardt,  K.M.  Building  Theories  from  Case  Study  Research  in  Huberman,  A.M.  en  Miles,  M.B.  (2002).  The  Qualitative  Researcher's  Companion.  Thousand  Oaks,  CA:  Sage  Publications  

Fischer,  T.  en  Julsing  M.  (2009).  Onderzoeksvaardigheden,  Groningen,  Nederland:  Noordhoff  Uitgevers.  

Gibbons,  M.,  Limoges,  C.,  Nowotny,  H.,  Schwartzman,  S.,  Scott,  P.  en  Trow,  M.  (1994).  The  new  production  of  knowledge:  The  dynamics  of  science  and  research  in  contemporary  societies:  London,  Engeland:  Sage  Publications.  

Griffioen,  D.,  Boerma,  K.,  Engelbert,  R.  en  van  der  Linden,  W.  (2013).  Doelen  en  vormen  van  het  onderzoek  in  het  onderwijs:  de  onderwijspraktijk  in  een  conceptueel  raamwerk.  Tijdschrift  voor  Hoger  Onderwijs  (31),  12.    

Griffioen,  D.  en  de  Jong,  U.  (2013).  Opvattingen  van  docenten  en  niet-­‐docenten  over  onderzoek  in  het  hbo.  Tijdschrift  voor  Hoger  Onderwijs,  2.    

Griffioen,  D.,  Visser-­‐Wijnveen,  G.,  en  Willems,  J.  (2013).  Integratie  van  onderzoek  in  onderwijs.  Groningen,  Nederland:  Noordhoff  Uitgevers.  

Hutjes,  J.  M.  en  Van  Buuren,  J.  A.  (1992).  De  gevalsstudie:  Strategie  van  kwalitatief  onderzoek.  Amsterdam,  Nederland:  Boom.  

Hogeschool  van  Amsterdam.  (2011).  Feiten  en  Getallen.  Geraadpleegd  op  28  juli  2014  via:  http://www.hva.nl/over-­‐de-­‐hva/profiel/feiten-­‐en-­‐getallen.  

42    

Hogeschool  van  Amsterdam.  Over  Media,  Informatie  en  Creatie.  Geraadpleegd  op  28  juli  2014,  via:  http://www.hva.nl/media-­‐creatie-­‐informatie/over-­‐media-­‐creatie-­‐informatie  

Klapwijk,  R.  (2013).  Ontwerpgericht  onderzoek  past  bij  hogescholen.  Geraadpleegd  op  28  juli  2014,  via:  http://www.hobeon.nl/actueel/weblogs/weblogs_item/t/ontwerpgericht_onderzoek_past_bij_hogescholen  

Managementteam  opleiding  Media  Informatie  en  Communicatie,  Hogeschool  van  Amsterdam.  (2012).  Onderwijsvisie  opleiding  MIC.  

Maxwell  J.A.  Understading  and  Validity  in  Qualitative  Researsch  in  Huberman,  A.M.  en  Miles,  M.B.  (2002).  The  Qualitative  Researcher's  Companion.  Thousand  Oaks,  CA:  Sage  Publications  

Maxwell,  J.  A.  (2012).  Qualitative  Research  Design:  An  Interactive  Approach:  An  Interactive  Approach.  Thousand  Oaks,  CA:  Sage.  

Oost,  H.  (2002).  Een  onderzoek  uitvoeren.  Baarn,  Nederland:  HB  Uitgevers.    

Rijksuniversiteit  Groningen  (2002,  02-­‐11-­‐2012).  Onderzoeksverslag.  Geraadpleegd  op  10  juni  2014,  via:  http://www.rug.nl/education/other-­‐study-­‐opportunities/hcv/schriftelijke-­‐vaardigheden/voor-­‐studenten/tekstsoorten-­‐conventies/onderzoek-­‐verslag  

Schreuder  Peters,  R.  (2012).  Methoden  en  Technieken  van  onderzoek.  Den  Haag,  Nederland:  Academic  Service.  

Sinnema,  D.  (2014).  P1-­‐rendement  RMP  H12-­‐H13.xls  [data-­‐file].    

Smaling,  A.  (2006).  De  probleemstelling  bij  kennisgericht  en  praktijkgericht  onderzoek.  KWALON  (1),  2.    

Tavecchio,  L.  en  Gerrebrands,  M.  (2012).  Bewijsvoering  binnen  praktijkgericht  onderzoek:  methodologische  en  wetenschapstheoretische  reflecties  op  de  onderbouwing  van  professionele  interventies.  Amsterdam:  Boom  Lemma  Uitgevers.  

Valcke,  M.  (2010).  Een  conclusie  schrijven  bij  een  kant-­‐en-­‐klaar  onderzoeksartikel.  Geraadpleegd  op  1  juni  2014  via:  http://users.ugent.be/~mvalcke/owk/conclusie_1011.htm  

Verburg,  A.  en  Elen,  J.  Vormgeving  van  onderzoeksintegratie  in  het  curriculum  in  Griffioen,  D.,  Visser-­‐Wijnveen,  G.,  en  Willems,  J.  (2013).  Integratie  van  onderzoek  in  onderwijs.  Groningen,  Nederland:  Noordhoff  Uitgevers.  

Verhoeven,  P.  S.  (2007).  Wat  is  onderzoek?  Praktijkboek  methoden  en  technieken  voor  het  hoger  onderwijs.  Amsterdam,  Nederland:  Boom  Onderwijs.  

Verhoeven,  P.  S.  (2010).  Onderzoeken  doe  je  zo!  Amsterdam,  Nederland:  Boom  Lemma.  

Verschuren,  P.  J.  M.  (2009).  Praktijkgericht  onderzoek:  ontwerp  van  organisatie-­‐en  beleidsonderzoek.  Amsterdam,  Nederland:  Boom.  

Verschuren,  P.  J.  M.  (2011).  De  waarde  van  kwalitatieve  strategieën  voor  het  praktijkgericht  onderzoek.  KWALON,  2  Themanummer,  43-­‐54.    

Verschuren,  P.  J.  M.  en  Doorewaard,  H.  (2007).  Het  ontwerpen  van  een  onderzoek.  Den  Haag,  Nederland:  Lemma.  

Wesseling  ,  N.  (2012).  Onderzoek  instructiecollege  5.  [PowerPoint-­‐presentatie]  Geraadpleegd  op  14  april  2014  via:  https://intra.mim.hva.nl/studiegids/prop/p13_12/IC5.pdf  Hogeschool  van  Amsterdam.  

Wesseling  ,  N.  (2013).  Kwalitatief  onderzoek  Project  Parool.  [PowerPoint-­‐presentatie].  Geraadpleegd  op  14  april  2014,  via:  https://intra.mim.hva.nl/studiegids/prop/p34_12/  Hogeschool  van  Amsterdam.    

Yin,  R.,  K.  (2009).  Case  Study  Research  Design  and  Methods  (Vol.  5).  Thousands  Oaks,  CA:  Sage.  

   

  43  

BIJLAGEN  

Bijlage  I  Advies  voor  opleiding  MIC  

Vier  aanbevelingen  Het  advies  voor  de  opleiding  MIC  bestaat  uit  vier  aanbevelingen:    

• Pas  de  richtlijnen  voor  studenten  ten  aanzien  van  de  conclusie  aan  en  gebruik  dezelfde  richtlijnen  consistent  gedurende  de  gehele  studieperiode.  

• Zorg  ervoor  dat  alle  docenten  die  onderzoeksvaardigheden  doceren  op  de  hoogte  zijn  van  deze  richtlijnen  en  deze  volledig  begrijpen  en  toepassen.  

• Zorg  dat  er  goede  voorbeelden  van  conclusies  beschikbaar  zijn.    • Bespreek  de  veelgemaakte  fouten  bij  een  conclusie  in  de  les.    

 Voor  de  aangepaste  richtlijnen  wordt  een  opzet  gegeven.  Goede  voorbeelden  zijn  te  vinden  in  de  afstudeeropdrachten  van  de  studenten  MIC.  Op  dit  moment  staat  een  aantal  voorbeelden  van  gehele  onderzoeksrapporten  op  de  digitale  leer-­‐  werkomgeving  maar  die  zijn  niet  op  alle  onderdelen  even  voorbeeldig.  Het  zou  beter  zijn  om  per  hoofdstuk  een  goed  voorbeeld  te  geven  (deze  zouden  dus  uit  verschillende  onderzoeksrapporten  kunnen  komen.  Nu  is  van  een  van  de  voorbeeldrapporten  de  conclusie  totaal  onbegrijpelijk.  Wanneer  in  de  les  aandacht  besteed  wordt  aan  veelgemaakte  fouten,  kunnen  studenten  deze  beter  herkennen  in  hun  eigen  tekst.  

Richtlijnen  voor  het  schrijven  van  de  conclusie  van  een  ontwerpgericht  praktijkgericht  onderzoeksrapport  

Waarom  moet  je  een  conclusie  schrijven?  De  conclusie  is  om  meerdere  redenen  een  belangrijk  hoofdstuk  van  je  onderzoeksrapport:  in  de  conclusie  komt  het  gehele  onderzoek  samen  en  beantwoord  je  de  probleemstelling  van  het  onderzoek.  De  functie  van  de  conclusie  is  de  opdrachtgever  ervan  te  overtuigen  dat  jouw  ontwerpideeën  meer  zijn  dan  zomaar  een  goede  ingeving.  Jouw  ideeën  zijn  gebaseerd  op  het  onderzoek  dat  je  hebt  gedaan.  De  conclusie  is  de  opmaat  voor  je  advies.  Vaak  zijn  de  conclusie  en  het  advies  de  enige  hoofdstukken  die  de  opdrachtgever  leest.  Daarom  moet  je  ervoor  zorgen  dat  deze  goed  leesbaar  en  overtuigend  zijn.  Ook  moet  je  ervoor  zorgen  dat  de  teksten  op  zichzelf  kunnen  staan.  Dat  wil  zeggen  dat  ze  begrijpelijk  moeten  zijn  voor  iemand  die  alleen  deze  hoofdstukken  leest  en  niet  het  onderliggende  onderzoeksrapport.  Misschien  vraag  je  je  dan  af  waarom  je  wel  het  hele  rapport  moet  schrijven.  Dit  doe  je  omdat  je  wel  moet  kunnen  bewijzen  dat  de  uitkomsten  van  jouw  onderzoek  hebben  bijgedragen  aan  de  oplossing.    

Wat  moet  je  in  een  conclusie  schrijven?  Geef  compact  weer  wat  de  aanleiding  van  je  onderzoek  was.  Dit  kan  middels  een  beknopte  versie  van  je  probleemanalyse  en  de  doelstelling  van  je  onderzoek.  Leg  daarin  uit  wat  je  ging  ontwikkelen  of  verbeteren.  Geef  vervolgens  aan  welke  kennis  je  nodig  had  om  dit  doel  te  bereiken.  Dit  doe  je  door  de  belangrijkste  onderzoeksvragen  en  methoden  kort  aan  te  stippen.  Beantwoord  dan  deze  vragen  aan  de  hand  van  de  gevonden  resultaten.  Je  herhaalt  niet  al  je  resultaten  maar  gaat  alleen  in  op  de  meest  relevante  resultaten  en  je  doet  dit  in  een  betogende  vorm.  Je  moet  de  opdrachtgever  er  immers  van  overtuigen  dat  jouw  oplossing  een  goede  oplossing  is.  Je  onderzoeksresultaten  zijn  je  bewijsvoering.      Je  sluit  het  hoofdstuk  conclusie  af  met  globale  criteria  voor  het  ontwerp  of  de  verbetering  van  het  mediaproduct.  Dit  mag  in  de  lopende  tekst,  maar  je  kunt  ook  opsommingtekens  gebruiken.  Pas  op  dat  je  conclusie  geen  hele  concrete  adviezen  bevat;  de  ontwerpcriteria  die  je  geeft,  zijn  globaal.  Je  kunt  bijvoorbeeld  wel  zeggen  dat  de  usabillity  van  een  app  verbeterd  moet  worden,  omdat  daarover  veel  klachten  zijn,  maar  je  geeft  nog  niet  aan  hoe  je  dat  precies  gaat  doen.  Dat  doe  je  in  het  advies;  daarin  kun  je  bijvoorbeeld  uiteenzetten  hoe  de  nieuwe  navigatiestructuur  er  uit  komt  te  zien  en  op  welke  wijze  je  de  zoekfunctionaliteit  gaat  verbeteren.  Het  is  niet  gebruikelijk  om  in  een  conclusie  percentages  te  noemen,  letterlijke  citaten  te  geven,  uitgebreide  verantwoording  af  te  leggen  over  de  steekproeftrekking  of  een  methode  die  je  hebt  gebruikt.    

  44  

Hoe  moet  je  dat  doen?  Het  lijkt  nu  of  de  conclusie  alleen  maar  uit  herhalingen  en  samenvattingen  bestaat,  maar  dat  is  niet  het  geval.  Je  kunt  wel  delen  van  teksten  uit  je  onderzoeksrapport  gebruiken.  Je  zult  deze  alleen  wel  moeten  herschrijven.  Ten  eerste  moet  het  allemaal  wat  beknopter.  Een  conclusie  is  vaak  niet  langer  dan  anderhalve  pagina.  Maar  belangrijker  nog,  het  moet  een  logisch  en  samenhangend  betoog  zijn,  waarin  je  verbindingen  legt  tussen  desk-­‐  en  fieldresearch.  Dat  betekent  niet  alleen  dat  je  de  uitkomsten  met  elkaar  vergelijkt,  maar  ook  dat  deze  vergelijkingen  de  functie  hebben  van  argumenten  in  je  betoog.  Je  neemt  de  opdrachtgever  stap  voor  stap  mee  in  jouw  zoektocht  met  als  doel  dat  hij  begrijpt  hoe  jij  tot  je  advies  bent  gekomen.  Jij  moet  hem  overtuigen  van  de  kwaliteit  van  jouw  advies.  Als  structuur  voor  dit  betoog  kun  je  het  beste  de  structuur  van  je  probleemstelling  (en  het  hoofdstuk  resultaten)  aanhouden.    Dit  betekent  waarschijnlijk  dat  je  de  tekst  een  aantal  keer  moet  herschrijven.  Tot  slot  is  het  ontzettend  belangrijk  en  handig  als  je  de  conclusie  laat  lezen  door  iemand  anders.  Niet  alleen  om  de  dt-­‐fouten  eruit  te  halen  maar  voornamelijk  omdat  je  wilt  toetsen  of  een  ander  begrijpt  wat  jij  hebt  opgeschreven.  Het  is  heel  moeilijk  om  je  eigen  teksten  te  beoordelen.  Werk  daarom  samen  met  een  medestudent  en  lees  elkaars  werk  kritisch,  geef  elkaar  feedback.  Een  goede  manier  om  te  toetsen  of  jouw  tekst  wordt  begrepen,  is  door  te  vragen  of  degene  die  jouw  tekst  heeft  gelezen  jou  kan  navertellen  wat  jij  hebt  onderzocht,  hoe  je  dat  gedaan  hebt  en  wat  het  doel  was.    

Wanneer  is  het  goed?  Net  zoals  een  onderzoek  moet  een  conclusie  voldoen  aan  een  aantal  kwaliteitscriteria.  De  conclusie  moet  controleerbaar  zijn.  Het  moet  duidelijk  worden  welke  methoden  je  hebt  gebruikt  om  je  vragen  te  beantwoorden  en  hoe  dit  leidt  tot  de  conclusies  die  je  trekt.  Als  het  nodig  is,  verwijs  je  naar  andere  onderdelen  van  je  rapport  (bijvoorbeeld  naar  het  hoofdstuk  methoden).De  controleerbaarheid  wordt  groter  naarmate  de  tekst  beter  geformuleerd  is.  Niet  alleen  jij,  maar  vooral  anderen  moeten  begrijpen  wat  je  schrijft.      Alle  componenten  van  een  conclusie  moeten  verwerkt  zijn:  aanleiding-­‐doelstelling-­‐probleemstelling-­‐vragen-­‐methoden-­‐resultaten-­‐beantwoording  van  de  probleemstelling-­‐  ontwerpcriteria.  Je  moet  daarmee  aantonen  dat  je  het  onderzoek  vakkundig  hebt  uitgevoerd.  Een  conclusie  moet  betrouwbaar  zijn.  Dit  is  het  geval  wanneer  iemand  anders  precies  kan  volgen  welke  stappen  jij  hebt  gezet  in  het  onderzoeksproces.  Dit  hoeft  niet  volledig  duidelijk  te  worden  uit  de  conclusie,  het  hangt  samen  met  hoofdstuk  methoden  en  resultaten.  Indien  nodig,  gebruik  je  verwijzingen  naar  deze  hoofdstukken.    De  conclusie  moet  logisch  opgebouwd  zijn  zodat  een  ander  jouw  argumentatie  kan  volgen  en  toetsen.  Het  antwoord  op  de  probleemstelling  moet  ook  logisch  volgen  uit  deze  argumentatie  en  dit  antwoord  moet  bruikbaar  zijn  voor  de  doelstelling  van  je  onderzoek  (het  mediaproduct).  Als  uit  je  onderzoek  is  gebleken  dat  het  doel  van  het  onderzoek  niet  haalbaar  is,  dan  moet  je  dat  beargumenteren.  In  de  conclusie  noem  je  alleen  die  resultaten  die  relevant  zijn  voor  de  oplossing.  Zorg  ervoor  dat  de  doelstelling  die  je  noemt  in  de  conclusie  dezelfde  is  als  in  de  inleiding  van  je  onderzoek  en  dat  de  probleemstelling  er  goed  op  aansluit.        

  45  

Bijlage  II  interviewschema's  

Eerste  interviewschema                1. Wat  vind  je  van  de  kwaliteit  van  de  onderzoeksrapporten  die  studenten  schrijven?  2. Wat  vind  je  van  de  kwaliteit  van  de  conclusies  die  studenten  schrijven  in  de  

onderzoeksrapporten?  3. Wat  zijn  de  voornaamste  knelpunten  die  je  tegenkomt  in  de  conclusie?  4. Welke  oorzaken  daarvoor  zou  je  kunnen  benoemen?  5. Kom  je  volgende  knelpunten  tegen  in  het  werk  van  de  studenten?  

 • studenten  formuleren  slecht.  • studenten  beschrijven  geen  samenhang  tussen  de  resultaten.  • geen  antwoord  op  de  probleemstelling.  • de  conclusie  geeft  geen  antwoord  de  probleemstelling.  

 6. Welke  knelpunten  kom  jij  nog  meer  tegen?  7. Wat  is  volgens  jou  een  goede  conclusie?  8. Wat  is  de  functie  van  een  conclusie  in  de  onderzoeksrapporten  die  voor  deze  opleiding  

gemaakt  worden?  9. Uit  welke  elementen  zou  een  conclusie  moeten  bestaan?  10. Aan  welke  criteria  zou  een  conclusie  moeten  voldoen?  11. Kun  jij  van  de  volgende  probleemstellingen  aangeven  of  jij  ze  goed  vindt  of  niet?  Kun  je  dat  

beargumenteren?  12. Zijn  er  volgens  jou  verschillen  in  onderzoeksopzet  tussen  praktijkgericht  onderzoek  en  

theoriegericht  onderzoek?    13. Zo  ja,  waar  bestaan  deze  verschillen  uit?  14. Wat  is  volgens  jou  het  verschil  tussen  de  probleemstelling  van  een  onderzoek  en  de  

doelstelling?  15. Wordt  de  doelstelling  van  praktijkgericht  onderzoek  afgeleid  van  de  probleemstelling  of  

andersom?  16. Op  welke  manier  besteed  jij  in  je  onderwijs  over  onderzoeksvaardigheden  aandacht  aan  de  

conclusie?  17. Welke  vragen  hebben  studenten  over  het  onderdeel  de  conclusie?  18. Zijn  er  nog  andere  zaken  de  jou  opvallen  in  het  onderwijs  naar  onderzoeksvaardigheden  hier  

op  school?  En  specifiek  ten  aanzien  van  de  conclusie?  

Definitief  interviewschema    1.  Wat  is  volgens  jou  de  functie  van  de  conclusie  in  de  onderzoeksrapporten  van  de  studenten  RMP?  2.  Uit  welke  elementen  zou  deze  volgens  jou  moeten  bestaan?  >  Doorvragen  op  de  elementen  die  de  geïnterviewde  noemt  3.  Je  hebt  intussen  al  heel  wat  conclusies  van  onderzoeksrapporten  moeten  beoordelen,  waar  let  jij  dan  op?  4.  Wat  vind  je  in  zijn  algemeenheid  van  de  kwaliteit  van  de  conclusies  die  studenten  RMP  trekken?  5.  Hoe  zou  jij  het  type  onderzoek  dat  studenten  bij  RMP  verrichten,  typeren?  6.  Is  het  type  onderzoek  van  invloed  op  de  functie  van  de  conclusie?  Zo  ja,  op  welke  wijze?  7.  Op  welke  manier  besteed  jij  binnen  het  onderwijs  in  onderzoeksvaardigheden  aandacht  aan  de  conclusie?  8.  Stellen  studenten  vragen  over  de  conclusie?  Zo  ja,  welke  vragen?  9.  Met  welk  doel  geeft  opleiding  MIC  volgens  jou  onderwijs  in  onderzoeksvaardigheden,  waarom  moeten  de  studenten  leren  onderzoeken?  10.  Ik  leg  je  een  aantal  conclusies  voor,  kun  je  de  goede  elementen  aanwijzen  en  de  knelpunten?  Kun  je  deze  toelichten?        

  46  

Bijlage  III  Huidige  richtlijnen  voor  de  conclusie  in  onderzoeksrapporten  vanuit  de  opleiding  MIC  We  volgen  het  studietraject  van  de  studenten  die  aan  de  opleiding  MIC  voor  het  afstudeerprofiel  Redactie  en  Media  Productie  (RMP)  kiezen  vanaf  de  propedeuse.  Op  welke  manier  krijgen  studenten  MIC  (afstudeerprofiel  RMP)  gedurende  hun  studie  instructie  over  het  schrijven  van  de  conclusie  van  een  onderzoek?  Het  studiejaar  is  verdeeld  in  vier  periodes  van  tien  weken.  In  die  tien  weken  volgen  de  studenten  de  eerste  weken  lessen,  de  laatste  drie  weken  staan  in  het  teken  van  intensieve  projecten,  het  afmaken  van  de  opdrachten  die  ze  moet  inleveren  en  voorbereiding  op  de  tentamens.  

Propedeuse  In  de  eerste  drie  periodes  van  de  propedeuse  wordt  onderzoek  in  een  aparte  leerlijn  aangeboden.  In  de  eerste  periode  ligt  de  focus  op  informatievaardigheden:  het  zoeken  en  vinden  van  kwalitatief  hoogwaardige  bronnen.  De  studenten  leren  in  deze  module  "een  probleemstelling  en  een  doelstelling  te  maken  en  deze  uit  te  splitsen  in  deelvragen  en  subvragen."  Daarnaast  leren  ze  "om  effectief  betrouwbare  informatie  te  vinden  met  behulp  van  literatuur,  maar  natuurlijk  ook  via  het  internet  (Wesseling  &  Diender,  2013,  p.  13)."  De  studenten  werken  aan  een  individuele  opdracht:  ze  maken  een  analyse  van  de  doelgroep  jongeren  tussen  de  18  en  24  jaar,  met  als  focus  het  mediagebruik  van  deze  jongeren.  In  de  modulehandleiding  en  in  de  instructie  voor  de  individuele  opdracht  (op  de  digitale  leer-­‐  werk  omgeving)  wordt  niet  gerefereerd  aan  de  conclusie.    In  het  instructiecollege  in  week  vijf  wordt  aandacht  aan  de  conclusie  besteed:    

In  de  conclusie:  • herhaal  je  de  hoofdvraag  van  je  onderzoek  • beantwoord  je  kort  de  deelvragen  en  daarna  de  hoofdvraag  • geef  je  aan  of  je  genoeg  informatie  hebt  kunnen  vinden  

 NB:  Conclusies  trekken  is  meer  dan  samenvatten:  Dus  géén  herhaling  van  de  resultaten!  (Wesseling  2012)  

 In  de  beoordeling  worden  geen  punten  toegekend  aan  de  conclusie.  De  module  is  gericht  op  het  zoeken  en  vinden  van  kwalitatief  hoogwaardige  bronnen  en  de  beoordeling  wordt  in  het  bijzonder  gebaseerd  op  de  kwaliteit  van  die  bronnen.       In  de  tweede  en  derde  periode  volgen  de  studenten  de  module  onderzoek  1  en  2,  een  lintmodule.  In  periode  2  worden  de  studenten  onderwezen  in  kwantitatief  onderzoek  en  leren  ze  gesloten  vragenlijsten  opstellen.  In  periode  3  is  het  onderwijs  gewijd  aan  kwalitatief  onderzoek  en  leren  de  studenten  op  welke  wijze  ze  een  groepsdiscussie  kunnen  voorbereiden  en  uitvoeren.  Deze  lintmodule  is  ondersteunend  aan  het  Project  Parool.  De  opdracht  die  de  studenten  krijgen  is:  verbeter  op  basis  van  gebruikersonderzoek  en  doelgroeponderzoek  de  website  van  het  Parool.    In  periode  2  voeren  ze  het  onderzoek  uit  en  in  periode  3  verwerken  ze  de  uitkomsten  van  het  onderzoek  in  de  verbeterende  website  die  zij  ontwikkelen  voor  het  Parool.  In  het  vijfde  werkcollege  van  periode  2  krijgen  de  studenten  de  volgende  uitleg  over  de  conclusie  in  een  Powerpointpresentatie  (Wesseling  2013a)  :         CONCLUSIES  FIELDRESEARCH  

 • Geen  herhaling  van  de  resultaten!!  Geen  cijfers!!  • Wel  een  interpretatie  van  de  resultaten  

 Online  product    Resultaat:  Het  fieldresearch  laat  zien  dat  68%  van  de  doelgroep  vrouwen  20-­‐35  jaar  aangeeft  te  betalen  voor  online  nieuwscontent    Conclusie:  Een  nieuwe  website  voor  Het  Parool  kan  betaalde  nieuwscontent  aanbieden    

 De  conclusie  van  het  rapport  dat  de  studenten  schrijven,  wordt  beoordeeld  aan  de  hand  van  deze  beoordelingscriteria:  "Korte  samenvatting  van  de  conclusies  uit  desk-­‐  en  fieldresearch  en  de  keuze  van  het  product  en  de  promotie"  (Wesseling  2013b,  p.  6).  

  47  

  In  periode  3  gaan  de  studenten  aan  de  slag  met  de  website,  daarnaast  krijgen  ze  lessen  kwalitatief  onderzoek.  Ze  leggen  de  door  hun  verbeterde  versie  van  de  website  voor  aan  de  doelgroep  in  een  groepsdiscussie  en  moeten  hierover  rapporteren  en  de  uitkomsten  gebruiken  om  hun  website  verder  te  verbeteren.  In  les  3  van  periode  3  wordt  uitgelegd  wat  een  conclusie  is  en  waar  deze  uit  bestaat:    

Wat  is  een  conclusie:    Verbinden  van  onderzoeksresultaten  aan  probleemstelling  /  onderzoeksvragen.    Antwoord  op  de  'hoofdvragen'  van  je  onderzoek  aangeven  of  de  doelstelling  is  bereikt.    Conclusies  trekken  is  meer  dan  samenvatten.    De  opzet  van  een  conclusie:    Korte  schets  aanleiding  onderzoek,  herhaal  de  centrale  vraagstelling  (is  gegeven).    Kort  aanstippen  van  de  opzet  van  je  onderzoek,  vervolgens  beantwoorden  van  de  deelvragen  en  daarna  de  centrale  vraagstelling.    Evt.  aanbevelingen  (Wesseling  2013a,  pp.  17,  18).  

 De  conclusies  worden  beoordeeld  aan  de  hand  van  het  volgende  criteria:  "Conclusies  en  aanbevelingen  volgen  logisch  uit  het  onderzoek"  (Wesseling  en  Pavlovic,  2013).  En:  "Deelvragen  en  hoofdvraag  worden  beantwoord.  Er  is  een  duidelijke  link  met  de  resultaten"  (P3-­‐project-­‐Het-­‐Parool_beoordelingscriteria,  2013).     In  periode  4  schrijven  de  studenten  in  kleine  groepen  aan  een  onderzoekspaper,  in  het  kader  van  het  project  mediaonderzoek.  Ze  moeten  hierbij  gebruik  maken  van  de  opgedane  onderzoeksvaardigheden  uit  de  eerste  drie  periodes.  In  dit  paper  is  de  te  gebruiken  onderzoeksmethode  afhankelijk  van  de  vraagstelling  en  doelstelling  van  het  onderzoek.  Er  worden  twee  opfriscolleges  onderzoek  gegeven:  in  het  tweede  college  wordt  aandacht  besteed  aan  de  conclusie.  "De  conclusies  van  je  deskresearch  bestaan  uit  een  herhaling  van  de  belangrijkste  bevindingen  en  een  inschatting  van  de  behoeftes  van  je  doelgroep  op  mediagebied.  Dit  neem  je  op  in  het  hoofdstuk  ‘conclusies’  van  je  onderzoekspaper"  (Wesseling  en  Pavlovic,  2013).  De  conclusie  van  het  onderzoekspaper  wordt  beoordeeld  op  de  volgende  criteria:      

• "Relevant;    • gerelateerd  aan  de  opgestelde  deelvragen;  • duidelijke  link  met  de  onderzoeksresultaten  "  (Luppers  &  Schaap,  2013).  

Redactie  en  Media  Productie  leerjaar  2  In  de  eerste  drie  periodes  krijgen  de  studenten  geen  aparte  module  of  leerlijn  onderzoek  aangeboden.  Ze  werken  in  projectgroepen  aan  authentieke  opdrachten  uit  het  werkveld  en  voor  ieder  van  deze  projecten  moeten  de  studenten  in  projectgroepen  onderzoek  verrichten  en  hierover  rapporteren  in  een  projectrapport.  Alle  projecten  zijn  gericht  op  het  ontwikkelen  of  verbeteren  of  uitbreiden  van  een  mediaconcept.       In  periode  1  bedenken  de  studenten  de  vorm  en  de  content  voor  een  applicatie  voor  het  digitale  schoolbord,  voor  een  educatief  televisieprogramma  voor  kinderen.  Ze  moeten  hiervoor  een  aantal  interviews  houden  met  de  doelgroep.  In  de  modulehandleiding  van  het  project  (Devilee,  2013b,  p.  17)  wordt  uitleg  gegeven  over  het  hoofdstuk  conclusie  "Schrijf  een  conclusie  die  logisch  voortkomt  uit  het  uitgevoerde  onderzoek  en  de  voorafgaande  hoofdstukken  koppel  je  de  uitkomsten  van  deskresearch  en  fieldresearch.  Maak  geen  gebruik  van  ‘nieuwe’  bronnen  of  informatie".  De  conclusie  wordt  beoordeeld  op  de  volgende  criteria:  "Je  bent  in  staat  de  verschillende  analyses  in  het  projectrapport  met  elkaar  te  verbinden  en  de  conclusie  en  aanbevelingen  hierop  te  baseren  (p.  8).  In  de  docentinstructie  van  coachingsbijeenkomst  6,  die  gaat  over  de  conclusie  en  het  advies  staat  het  volgende:    

Van  conclusie  naar  advies:    Benoem,  met  het  oog  op  de  hoofdstukken  conclusies  en  advies,  dat  het  van  belang  is  te  beschrijven  hoe  de  groep  tot  dit  advies  is  gekomen.  Vaak  beseffen  studenten  niet  dat  alles  wat  ze  aan  onderzoek  (desk  en  field)  gedaan  hebben  van  invloed  is  op  hun  gedachten  en  ideevorming.  Wanneer  je  ze  kunt  helpen  om  ze  bewust  te  maken  van  dat  proces  en  dat  duidelijk  uit  te  leggen  dan  kunnen  ze  dat  heel  goed  gebruiken  in  de  laatste  hoofdstukken  (Devilee,  2013a,  p.  1).    

 

  48  

In  periode  2  ontwikkelen  de  studenten  een  online  community  voor  lezers  van  een  zelf  te  kiezen  genre  boeken.  Voor  hun  onderzoek  naar  de  vorm,  de  inhoud  en  de  functionaliteiten  van  deze  community  gebruiken  de  studenten  een  methode  die  card  sorting  heet  en  die  wordt  afgenomen  in  individuele  gesprekken  of  groepsgesprekken  met  de  doelgroep.  Daarbij  ontwikkelen  ze  personas.  In  coachingsbijeenkomst  6  kunnen  de  studenten  een  conceptversie  van  hun  conclusie  meebrengen  om  daar  feedback  op  te  krijgen.  Het  wordt  aan  de  individuele  docent  overgelaten  hoe  dit  gebeurt.  De  beoordelingscriteria  worden  beschreven  in  de  modulehandleiding:  "De  conclusie  komt  logisch  voort  uit  het  uitgevoerde  onderzoek  en  voorafgaande  hoofdstukken  en  is  goed  onderbouwd.  In  de  conclusie  is  geen  gebruik  gemaakt  van  ‘nieuwe’  bronnen  of  informatie"  (Gianotten  en  Leighton,  2013,  p.  22).     In  periode  3  maken  de  studenten  een  app  of  een  e-­‐magazine  die  een  verzekeringsmaatschappij  aan  zijn  klanten  kan  aanbieden.  Om  de  vorm,  de  inhoud  en  de  functionaliteiten  van  het  e-­‐magazine  te  toetsen  aan  de  doelgroep  maken  de  studenten  een  of  meerdere  paper  prototypes  en  doen  ze  'usabillity'-­‐onderzoek.  In  de  modulehandleiding  en  in  de  lesopzetten  van  de  module  wordt  geen  uitleg  gegeven  over  de  conclusie.  In  het  beoordelingsformulier  staat  het  volgende:  "De  probleemstelling  is  helder  en  compleet  beantwoord.  De  conclusie  komt  logisch  voort  uit  het  uitgevoerde  onderzoek  en  de  voorafgaande  hoofdstukken  (kruisverwijzingen).  De  conclusie  is  goed  onderbouwd.  In  de  conclusie  is  geen  gebruik  gemaakt  van  ‘nieuwe’  bronnen  of  informatie"  (Arps  en  Goossens,  2013).  In  periode  4  gaan  de  RMP-­‐studenten  op  stage  en  volgen  ze  geen  onderwijs  op  school.  

Redactie  en  Media  Productie  leerjaar  3  In  het  derde  jaar  van  de  opleiding  gaan  de  studenten  RMP  aan  de  slag  met  een  crossmediaproject  dat  over  twee  periodes  loopt.  De  studenten  mogen  hier  zelf  een  crossmediaal  concept  bedenken  en  uitvoeren.  Ze  voeren  voor  het  project  wel  onderzoek  uit,  maar  zetten  dit  in  voor  beroepsproducten.  Aan  de  rapportage  over  het  onderzoek  wordt  minder  aandacht  besteed.  Er  wordt  in  de  documentatie  nergens  aandacht  besteed  aan  de  conclusie  en  er  zijn  ook  geen  beoordelingscriteria  voor  de  conclusie  opgesteld.     In  de  eerste  periode  volgen  de  studenten  de  module  Onderzoek:  studenten  schrijven  een  individueel  onderzoeksrapport  over  een  actueel  vraagstuk  binnen  de  mediasector.    In  de  modulehandleiding  staat  geen  uitleg  vermeld  over  de  conclusie.  Opzetten  voor  de  lessen  of  docentinstructies  voor  deze  module  zijn  niet  opgesteld.  Tijdens  de  coachingsbijeenkomsten  wordt  vraaggestuurd  aandacht  besteed  aan  de  conclusie,  uitleg  daarover  wordt  overgelaten  aan  de  individuele  docent  (Goossens,  2014).  In  het  beoordelingsformulier  dat  te  vinden  is  in  de  modulehandleiding  staat  het  volgende:    

• "een  conclusie  is  de  beantwoording  van  de  probleemstelling;  • een  conclusie  is  geen  samenvatting  van  de  resultaten;  • een  conclusie  is  analytisch;  • een  conclusie  is  compact;    • koppeling  met  literatuur  hoofdstuk/deskresearch  is  erg  belangrijk."    

 (Brancart  en  Goossens,  2013,  p.  13)      

Gedurende  de  gehele  studie  (vanaf  de  propedeuse  tot  en  met  jaar  vier)  is  het  boek    Wat  is  onderzoek?  van  Verhoeven  (2007)  voorgeschreven.  Hierin  wordt  beknopt  uitleg  gegeven  over  de  conclusie:  

Bij  het  trekken  van  de  conclusie  verbind  je  de  onderzoeksresultaten  met  de  probleemstelling  en  geef  je  antwoord  op  de  centrale  vraag  van  je  onderzoek.  Je  interpreteert  dus  de  resultaten  aan  de  hand  van  je  probleemstelling.  Ook  ga  je  in  op  de  vraag  of  je  met  deze  antwoorden  je  onderzoeksdoel  kunt  bereiken.  Conclusies  trekken  is  dus  niet  simpelweg  samenvatten  van  de  resultaten:  er  komt  meer  bij  kijken!  (p.  276).  

 

  49  

Referenties  bijlage  III  Arps,  E.,  en  Goossens,  R.  (2013).  Modulehandleiding  R08  Crossmediale  concepten  Customer  magazine  &  app  of  

e-­‐magazine.  [cursustekst]  Hogeschool  van  Amsterdam.    

Brancart,  E.,  en  Goossens,  R.  (2013).  Modulehandleiding  R116  Onderzoek.  [cursustekst].  Hogeschool  van  Amsterdam.    

Devilee,  B.  (2013a).  coachingsuur  6  docentinstructie.  [cursustekst].  Hogeschool  van  Amsterdam.    

Devilee,  B.  (2013b).  Modulehandleiding  R01  Crossmediale  Concepten  1.  [cursustekst]  Hogeschool  van  Amsterdam.    

Gianotten,  R.  en  Leighton,  R.  (2013).  Modulehandleiding  R04  Crossmediale  concepten  2.  [cursustekst]  Hogeschool  van  Amsterdam.  

Luppers,  S.  en  Schaap,  J.  (2013).  Project  Mediaonderzoek  (P4-­‐12  Handleiding.  Hogeschool  van  Amsterdam.  Geraadpleegd  op  14  april  2014  via:  https://intra.mim.hva.nl/studiegids/prop/p4__12/projecthandleiding.pdf  

P3-­‐project-­‐Het-­‐Parool_beoordelingscriteria.  (2013).  [cursustekst].  Hogeschool  van  Amsterdam.  Geraadpleegd  op  via:  https://intra.mim.hva.nl/studiegids/prop/p3__12/P3-­‐project-­‐Het-­‐Parool_beoordelingscriteria.pdf.  

Verhoeven,  P.  S.  (2007).  Wat  is  onderzoek?  Praktijkboek  methoden  en  technieken  voor  het  hoger  onderwijs.  Amsterdam:  Boom  Onderwijs.  

Wesseling,  N.  (2012).  Onderzoek  instructiecollege  5.  [PowerPoint-­‐presentatie]  Hogeschool  van  Amsterdam.  Geraadpleegd  op  14  april  2014  via:  https://intra.mim.hva.nl/studiegids/prop/p13_12/IC5.pdf.  

Wesseling,  N.  (2013a).  Kwalitatief  onderzoek  Project  Parool.  [PowerPoint-­‐presentatie].  Hogeschool  van  Amsterdam.  Geraadpleegd  op  14  april  2014  via:  https://intra.mim.hva.nl/studiegids/prop/p34_12.  

Wesseling,  N.  (2013b).  Modulehandleiding  Project  Beeld  en  Geluid,  Kwantitatief  Onderzoek.  [cursustekst]  Hogeschool  van  Amsterdam.    

Wesseling,  N.  en  Diender,  S.  (2013).  Modulehandleiding  Onderzoek  1.  [cursustekst]  Hogeschool  van  Amsterdam.    

Wesseling,  N.  en  Pavlovic,  S.  (2013).  Modulehandleiding  Kwalitatief  Onderzoek.  [cursustekst]  Hogeschool  van  Amsterdam.  

Wesseling  ,  N.  en  Pavlovic,  S.  (2013).  P4A  –  ONDERZOEKSPRACTICUM.  [PowerPoint-­‐presentatie]  Hogeschool  van  Amsterdam.  Geraadpleegd  op  14  april  2014  via:  https://intra.mim.hva.nl/studiegids/prop/p4__12/a/HC-­‐2.pdf.  

     

  50  

Bijlage  IV  Overzicht  geïnventariseerde  literatuur  onderzoeksmethodologie    Baarda,  D.  B.,  De  Goede,  M.  P.  M.  en  Teunissen,  J.  (2005).  Basisboek  kwalitatief  onderzoek.    

 Handleiding  voor  het  opzetten  en  uitvoeren  van  kwalitatief  onderzoek.  Groningen,  Nederland:  Wolters  Noordhoff.  

Baarda,  B.  (2009).  Dit  is  onderzoek:  richtlijnen  voor  het  opzetten,  uitvoeren  en  van  kwantitatief  en  kwalitatief  onderzoek.  Groningen,  Nederland:  Noordhoff  Uitgevers.  

Bartelds,  J.  F.,  Jansen,  E.  P.  W.  A.  en  Joostens,  T.  H.  (1989).  Enquêteren:  het  opstellen  en  gebruiken  van  vragenlijsten.  Groningen,  Nederland:  Wolters-­‐Noordhoff.  

Boeije,  H.  R.  (2005).  Analyseren  in  kwalitatief  onderzoek:  denken  en  doen.  Den  Haag,  Nederland:  Boom  Onderwijs.  

Brinkman,  J.  (2000).  De  Vragenlijst.  Groningen,  Nederland:  Wolters  Noordhoff.  

Brinkman,  J.  (2007).  Beroep  op  onderzoek.  Van  doelgerichte  onderzoeksopzet  tot  toepasbare  conclusie.  Groningen,  Nederland:  Noordhoff  Uitgevers.  

Brohm,  R.  en  Jansen,  W.  (2010).  Kwalitatief  onderzoeken  praktische  kennis  voor  de  onderzoekende  professional.  Delft,  Nederland:  Uitgeverij  Eburon.  

Delnooz,  P.V.A.  (2010).  Creatieve  Actie  Methodologie.  De  kunst  van  het  zoeken  naar  pragmatische  en  innovatieve  oplossingen  in  praktijkonderzoek.  Den  Haag,  Nederland:  Boom  Onderwijs.  

Delnooz.  P.V.A.  en  Platenkamp,  V.  (1998).  Zoeken  naar  oplossingen.  Praktische  en  pragmatische  methodologie.  Utrecht,  Nederland:  Lemma.  

Fischer,  T.  en  Julsing  M.  (2009).  Onderzoeksvaardigheden.  Groningen,  Nederland:  Noordhoff  Uitgevers.  

Hart,  H.  en  Hox,  J.  (2005).  Onderzoeksmethoden.  Den  Haag,  Nederland:  Boom  Onderwijs.

Hutjes,  J.  M.  en  Van  Buuren,  J.  A.  (1992).  De  gevalsstudie:  Strategie  van  kwalitatief  onderzoek.  Amsterdam,  Nederland:  Boom.  

Migchelbrink,  F.  G.  H.  M.  (2013).  Praktijkgericht  onderzoek.  Zorg,  welzijn  wonen  en  werken.  Amsterdam,  Nederland:  Uitgeverij  SWP.    

Nooij,  A.  T.  J.  (1990).  Sociale  methodiek.  Normatieve  en  beschrijvende  methodiek  in  grondvormen.  Leiden,  Nederland:  Stenfert  Kroese.  

Plooij,  F.  (2011).  Onderzoek  doen.  Amsterdam,  Nederland:  Pearson  Education.

Schreuder  Peters,  R.  P.  I.  J.  (2012).  Methoden  en  technieken  van  onderzoek.  Den  Haag,  Nederland:  SdU  Uitgevers  

Verhoeven,  P.  S.  (2010).  Onderzoeken  doe  je  zo!  Amsterdam,  Nederland:  Boom  Lemma  Uitgevers.

       

  51  

Bijlage  V  Instructie  voor  validering  

 Beste  …    Zoals  je  weet  ben  ik  de  afgelopen  tijd  in  de  conclusies  van  de  onderzoeksrapporten  van  onze  derdejaars  studenten.  Veel  docenten  klagen  erover  dat  studenten  zulke  slechte  kwaliteit  conclusies  afleveren.  Ik  wilde  achterhalen  wat  er  zo  slecht  was  aan  die  conclusies  en  wat  daar  de  mogelijke  oorzaken  van  zouden  kunnen  zijn.      Om  de  knelpunten  te  kunnen  aanwijzen  en  beschrijven,  heb  ik  eerst  op  een  rij  gezet  wat  de  richtlijnen  van  de  opleiding  zijn  ten  aanzien  van  de  conclusie,  daarnaast  heb  ik  literatuur  over  onderzoeksmethodologie  geraadpleegd.    Mijn  analyse  heeft  geleid  tot  zeven  knelpunten  in  de  conclusies.  Deze  heb  ik  beter  kunnen  verklaren  door  de  literatuur  te  raadplegen.      Die  zeven  knelpunten  vormen  een  diagnostisch  instrument  voor  de  conclusies.  Ik  zou  het  fijn  vinden  als  jij  dit  instrument  wilt  toetsen.  Ik  leg  je  tien  conclusies  voor  met  daarnaast  mijn  diagnose.  Zou  jij  willen  kijken  of  jij  het  met  deze  diagnose  eens  bent?  Of  er  zaken  zijn  die  jij  anders  zou  benoemen?  Of  er  dubbelingen  zitten  in  het  instrument?  En  of  ik  de  categorieën  en  subcategorieën  logisch  heb  ingedeeld?  Op  A3  krijg  je  mijn  oordeel  voor  je  conclusie.  Je  krijgt  de  conclusie  zelf  op  A4  vergezeld  van  één  formulier  per  rapport  voor  je  op-­‐  en  aanmerkingen.  Mocht  het  onduidelijk  zijn,  licht  ik  het  graag  toe.  Ook  als  de  knelpunten  zelf  niet  duidelijk  zijn,  geef  ik  daar  graag  verdere  uitleg  over.  Het  is  ook  goed  om  te  horen  als  ze  onduidelijk  zijn,  dat  betekent  waarschijnlijk  dat  ik  ze  beter  moet  formuleren.    Voor  sommige  knelpunten  heb  ik  andere  onderdelen  dan  de  conclusie  moeten  bekijken.  In  dat  geval  heb  ik  de  geraadpleegde  tekst  letterlijk  overgenomen  in  de  Excelsheet.  Mocht  je  toch  zelf  ook  de  tekst  in  de  context  van  het  rapport  willen  lezen.  Je  hebt  toegang  tot  de  map  met  alle  rapporten  daarin.    Je  kritische  blik  wordt  erg  gewaardeerd.    Bij  voorbaat  veel  dank,    Barbara