Empirisch onderzoek
Leerkring Publiek Management
Albert Meijer
Utrecht School of Governance
Bijeenkomst 3: 25 februari 2011
Methodologie is voor de dommen!
Opbouw
1. Onderzoeksopzet
2. Observaties
3. Gevalsstudies
4. Bestaand materiaal
5. Interviews
6. Ethische principes
Onderzoeksopzet
• Strategie
• Methode
• Techniek
• Triangulatie
VB: Europaproof?
VRAAG: In hoeverre draagt deelname in een intergemeentelijk samenwerkingsverband bij aan het ‘Europaproof’ worden van gemeenten?
• Op welke manieren nemen gemeenten deel aan het samenwerkingsverband van de Stadsregio Arnhem Nijmegen?
• In welke mate zijn de gemeenten in dit samenwerkingsverband Europaproof?
• Is er een verband tussen de mate van deelname aan het samenwerkingsverband en de mate van Europaproofheid?
Onderzoeksopzet
Document-analyse
Gemeenten
Document-analyse
Stadsregio
Enquêtes InterviewsGemeenten
InterviewStadsregio
Deelvraag 1 (Samen-werking)
X X X X
Deelvraag 2 (Europaproof)
X X X X
Deelvraag 3 (Relatie)
X X X
Voorbeeld: Co-creatie
VRAAG: Hoe kunnen overheden het Internet gebruiken om via co-creatie met digitale gemeenschappen de participatie in verschillende fasen van beleid te vergroten?
• Agendavorming. Hoe kunnen overheden het Internet gebruiken om via co-creatie met digitale gemeenschappen de participatie in de agendavorming te vergroten?
• Beleidsontwikkeling. Hoe kunnen overheden het Internet gebruiken om via co-creatie met digitale gemeenschappen de participatie in de beleidsontwikkeling te vergroten?
• Dienstverlening. Hoe kunnen overheden het Internet gebruiken om via co-creatie met digitale gemeenschappen de participatie in de dienstverlening te vergroten?
• Handhaving en toezicht. Hoe kunnen overheden het Internet gebruiken om via co-creatie met digitale gemeenschappen de participatie in handhaving en toezicht te vergroten?
Onderzoeksopzet
Casus Spiegelcasus
Agendavorming Uruzgan Abu Ghraib
Beleidsontwikkeling Maastricht Smallingerland
Dienstverlening Forum Werk.nlWAO Cafe
BlikopwerkWajongGaosStoryteller
Handhaving en toezicht PolitioeonderzoekenBurgernetYoutube
Opsporing verzochtOvervaller gezocht
Methoden
• Selecteren
• Meten
• Analyseren
Observaties
Observeren is het volledig beschrijven van een handeling van de persoon die men waarneemt in zijn omgeving.
• Rollen van de observator
• Mate van structuur
Verborgen observaties
Open observaties
Participerende observatie
Structuur van de observaties
• Gestructureerd– Proefschrift Mirko
• Ongestructureerd– Karin in Brussel
Toepassing
• Meetinstrument
• Metingen: waar, wanneer en hoe
• Analyse: kwantitatief en kwalitatief
EN: behoud een open blik!
Combinatie met andere instrumenten
• Bestuurskundig onderzoek– Onderzoek van Gijs Jan
• Ethnografisch onderzoek– Informele interviews– Observatie– Participatie– Groepsgesprekken– Mensen vragen om dagboeken bij te houden– Levensgeschiedenissen
Klassieke case-studies
• Pressman & Wildawsky: Implementation: how great expectations in Washington are dashed in Oakland (…)
• Kaufman: The Forest Ranger• Allison & Zelikow: The Essence of Decision
• Ook: Noordegraaf, Geuijen, Meijer
Definitie
Bij een case-study (…) gaat het om de bestudering van een sociaal verschijnsel:
• Bij een beperkt aantal dragers van het verschijnsel• In de natuurlijke omgeving• Over een bepaalde periode• Met gebruik van diverse databronnen• Gericht op tal van variabelen• Verklaringen worden getoetst door de onderzochten
Positivistische versusinterpretatieve case studies
Positivistisch Interpretatief
Yin Malinowski, Clifford Geertz
Blootleggen mechanisme Unieke situatie
Theoretische generalisatie Generalisatie vanuit de gebruiker
Expliciete lessen Impliciete lessen
Internationale betrekkingen, recht Antropologie
Allison & ZelikowThe Essence of Decision
ZuboffThe Age of the Smart Machine
Waarom een case study?
• Positieve overwegingen– Gedetailleerde kennis helpt bij het verfijnen van (causale)
modellen.– De verschillende interacties worden in kaart gebracht.– Er is aandacht voor de verschillende verklaringen van de
betrokkenen.– Case studies bieden een basis voor ontwerp.
• Negatieve overwegingen– We kunnen het verschijnsel nog niet goed isoleren.– Experimenteren is niet mogelijk.– Het verschijnsel is zeer zeldzaam.
Keuzen bij casusonderzoek
• Cases
• Meetmomenten
• Onderzoeksmethoden
Casusselectie
• Mogelijke designs:– Most similar cases– Most different cases– Most advanced cases– Extreme cases– Critical cases
• Risico’s:– Onterecht oorzaak toewijzen– Case contaminatie
Versterken van case study
• Meerdere subeenheden
• Meerdere meetmomenten
• Meerdere instrumenten
• Expertoordelen
Analyse van data
• Het doel van een analyse is om specifieke verklaringen voor een situatie te transformeren in algemene verklaringen.
• Aandachtspunten:– Casusvergelijking (comparative method)– Process tracing– Typological theorizing
Analyse van het materiaal: datamatrix
Casus 1 Casus 2 Casus 3 …
Variabele 1
Variabele 2
Variabele 3
…
Forum.werk.nl Forum.waocafe.nl
Mogelijkheden voor co-creatie.
Grote mogelijkheden voor co-creatie.Moderatie belangrijker dan technische mogelijkheden.
Grote mogelijkheden voor co-creatie.Moderatie belangrijker dan technische mogelijkheden.
Participanten. 1000 geregistreerde ledenGroot aantal – duizenden – bezoekers.Motieven: antwoorden op vragen, contact met lotgenoten, uitlaatklep voor frustraties.
190 bijdragen per week.14000 hits per week.Motieven: antwoorden op individuele vragen, algemene informatie, steun van lotgenoten.
Inhoud van de participatie.
Antwoorden op vragenDiscussieAanbieden van vacaturesDelen van ervaringenKritiek op dienstverleners
Antwoorden op vragenDiscussieDelen van ervaringenKritiek op dienstverleners
Patronen tussen variabelen
Waarde 1 Waarde 2 Waarde 3
Waarde 1
Waarde 2
Waarde 3
Voorbeeld
Lage mate van gebruik Hoge mate van gebruik
Weinig relevante informatie
Arbeidsinspectie (NL)Milieu-inspectie (VK)
Relevante informatie Milieu-inspectie (NL) Voedselinspectie (DK)
Rapporteren van resultaten
• Per casus
• Per thema
• Per onderzoeksmethode
Andere toepassingen van cases
• Advieswerk
• Beleidswerk
• Onderwijs
Centraal staat steeds het holistische karakter van de case!
Gebruik van bestaand materiaal
• Bronnen– Beleidsnota’s– Jurisprudentie– Jaarverslagen– Onderzoeksrapporten– Krantenberichten– Internetdiscussies– E-mail-berichten
Karakter
• Primair: Informatie die nog niet is gebruikt voor onderzoek.– Neerslag van gedrag– Communicatieve boodschap
• Secundair: Hergebruik van eerdere onderzoeksbevindingen – Statistische bestanden– Publicaties
Nut
• Historisch onderzoek
• Moeilijk te bevragen of observeren verschijnselen
• Directe toegang tot communicatie
• Makkelijk te verwerken
• Weinig medewerking vereist
Selectie van bronnen
• Selectief
• Aselectief
Inhoudsanalyse
• Vaststellen van feiten en opvattingen
• Reconstrueren van gebruikte argumentaties
Interviews: enkele punten
• Respondenten versus informanten.
• Gestructureerd versus ongestructureerd.
• Opnemen versus een verslag maken.
• Leidend principe: informatierijkheid!
Ethische principes
• Respect: geen personen tegen hun wil of onwetend onderzoeken.
• Goedwillendheid: de onderzochte personen geen schade toebrengen
• Rechtvaardigheid: alle onderzochte personen evenveel voordeel (of nadeel)
• Vertrouwen: vertrouwelijk omgaan met gegevens
• Wetenschappelijke integriteit: eerlijk rapporteren