rapport lokale rekenkamers

Lokale rekenkamers

Beleidstechniek, beleidscyclus en beleidseffectiviteit

Dick Hanemaayer beleidsevaluatie.info 2011

Willem de Zwijgerlaan 332341 EH OegstgeestT 06 53212721E [email protected]

drs. Dick Hanemaayer

beleidsevaluatie.info lokale rekenkamers

2

Colofon

Dit rapport is een uitgave van beleidsevaluatie.info. Auteur: Dick Hanemaayer www.beleidsevaluatie.info [email protected] 0653212721 © beleidsevaluatie.info 2011 Overname van teksten uit dit rapport is toegestaan mits met bronvermelding beleidsevaluatie.info is een activiteit van Hanemaayer LDM bv KvK 27136381 030811



!"#"$%&''($)%*+,"-..///0 01232+400///0+567560


3

Inhoudsopgave

Samenvatting 5 Voorwoord 7 1. Taken van de rekenkamer 9 1.1. Taakomschrijvingen 9 1.2. Commentaar 13

2. Onderzoekthema’s 15 2.1. Thema’s 15 2.2. Criteria 16 2.3. Commentaar 18

3. De onderzoeken: invalshoeken 21 3.1. Doeltreffendheid 21 3.1.1. Beleidscyclus 21 3.1.2. Doelbereik 23 3.1.3. Doeltreffendheid -‐ causaliteit 25 3.1.4. Commentaar 26

3.2. Doelmatigheid 26 3.2.1. Het financiële aspect 27 3.2.2. Uitvoering 28 3.2.3. Commentaar 29

3.3. Rechtmatigheid 29 3.4. Normenkaders 30 3.5. Aanbevelingen 32 3.6. Commentaar 35 3.6.1. Doeltreffendheidsonderzoek 35 3.6.2. Doelmatigheidsonderzoek 36 3.6.3. Rechtmatigheidsonderzoek 36

4. Technische kwaliteit 37 5. Doorwerking 39 6. Conclusies: de fascinatie voor beleidstechniek en beleidscyclus 43 6.1. Kritieken 43 6.2. Onderzoek naar doeltreffendheid, doelmatigheid en rechtmatigheid 45 6.2.1. Doeltreffendheid 45 6.2.2. Doelmatigheid 46 6.2.3. Rechtmatigheid 46

6.3. Beleidstechniek en beleidscyclus 46 6.4. Functies 47 6.5. Slotsom 48

7. Toekomst: maatschappelijke effecten van beleid 49 Bijlage 1. Selectie onderzoekgemeenten en rapporten 57 Bijlage 2. Onderzoekthema’s in detail 58 Bijlage 3. Normenkaders: twee voorbeelden 60



!"#"$%&''($)%*+,"-..///0 01232+400///0+567560


4


5

Samenvatting

De opname van de rekenkamerfunctie in de Gemeentewet (medio jaren nul) betekende een belangrijke uit-‐breiding van de onderzoekinfrastructuur, perspectief op versterking van de rol van de gemeenteraad en ook perspectief op meer evidence-‐based beleid. Immers, onderzoek naar de doeltreffendheid en doelmatigheid was de kern van de opdracht aan de rekenkamers. De afgelopen jaren bleken rekenkamers een dankbaar ob-‐ject te zijn van tal van kritische beschouwers; punten van kritiek zijn onder andere het proceduralisme, de voorspelbaarheid en de te grote nadruk op bedrijfsvoering. Beleidsevaluatie.info hecht veel waarde aan de rekenkamerfunctie maar betwijfelt of de rekenkamers de perspectieven van weleer waar zullen gaan maken; tot nog toe in ieder geval niet. Om die reden hebben wij in de voorliggende rapportage een analyse gemaakt van de producten van rekenkamers – onderzoekrapporten -‐ om zodoende scherp te krijgen waar de schoen wringt, en hebben wij een model ontwikkeld waarin rekenkamers maximaal kunnen bijdragen aan beleid ge-‐richt op maatschappelijke resultaten van beleid. De analyses van onderzoekvragen, normenkaders en aanbevelingen laten zien dat rekenkamers niet doen wat zij zeggen te doen en wat de wet daarover zegt, namelijk het uitvoeren van onderzoek naar doeltreffendheid, doelmatigheid en rechtmatigheid van gemeentelijk beleid. Dit zou onderzoek inhouden naar doelbereik, naar de bijdragen van gemeentelijk beleid daaraan en naar de verhouding tussen kosten en baten van beleid. Dat doen rekenkamers in overwegende mate niet. Wat zijn wel doen is onderzoek naar beleidstechniek: de wijze waarop binnen de gemeentelijke organisatie het beleid wordt ontwikkeld en uitgevoerd. Vrijwel altijd worden varianten van het model van de beleidscyclus gezien als het ideale model voor beleidsontwikkeling. Rekenka-‐mers vertrouwen erop dat beleidsdoelen gehaald worden wanneer dat beleid in technisch opzicht goed wordt voorbereid en uitgevoerd. Vrijwel geen aandacht gaat uit naar de inhoudskanten van beleidsontwikkeling en –uitvoering (inhoudelijke kwaliteit van de probleemanalyse, de strategische keuze van beleidsinstrumenten en organisatie van de uitvoering, et cetera). Hiermee zijn de rekenkamers terecht gekomen in een zelf gecreëerde werkelijkheid, waar verder zelden iemand vertoeft, waar velen geen affiniteit mee hebben en waar niet vaak iets uitkomt dat resultaten van beleid verbetert. Er is twijfel over de effectiviteit van het rekenkamerwerk: een stroom van honderden rekenkamerrapporten sinds 2005 (en in sommige gemeenten over een langere periode) heeft niet heeft kunnen bewerkstelligen dat de gemeentelijke beleidspraktijk een forse verbetering heeft on-‐dergaan. Om dit (reëel) probleem aan te pakken legt kennelijk de rekenkamerfunctie onvoldoende gewicht in de schaal. Wij stellen voor dat de rekenkamers de koers radicaal verleggen, de fascinatie voor beleidstechniek en beleids-‐cyclus achter zich laten, de belangstelling voor de bedrijfsvoering achter zich laten, de aandacht hoofdzakelijk richten op maatschappelijke effecten van beleid, het verklaren van slagen en falen van beleid met effectiever beleid als perspectief als missie zien, en de werkzaamheden laten aansluiten op de vierjaarlijkse cyclus van de collegeprogramma’s. In deze benadering zijn de vier belangrijkste samenstellende delen van het werk van re-‐kenkamers de volgende. • De rekenkamers adviseren over collegeprogramma’s op punten als de duidelijkheid van doelstellingen en

probleemanalyses. En daarin adviseren de rekenkamers over de inrichting van de monitoring van de voortgang van de programma’s, waar monitoring van doelbereik onderdeel van is.

• De rekenkamers voeren ex ante evaluaties (soms in een lichte vorm, soms in een zware vorm) uit op (een aantal) beleidsvoornemens: klopt de probleemanalyse, is de instrumentkeuze goed onderbouwd, is de or-‐ganisatie van de uitvoering solide opgezet, et cetera.

• De rekenkamers volgen tijdens de uitvoeringsfase op basis van monitoringinformatie nauwgezet uitvoering en doelbereik. Bij het stellige vermoeden van obstakels signaleert de rekenkamer dit aan de raad, al dan niet op basis van eigen signalerend onderzoek.

• De rekenkamers voeren ex post evaluaties uit ter verklaring van slagen en falen van beleid. Gezien de beperkte capaciteit van rekenkamers zal daarbij selectief gekozen moeten worden. Het kan gaan om beleidsdossiers waarin resultaten lijken achter te blijven, of juist om succesvol beleid met een kennelijk ef-‐



!"#"$%&''($)%*+,"-..///0 01232+400///0+567560


6

fectieve strategie te belichten. Ex post evaluaties moeten voldoende diepgang hebben, dus met centraal stelling van de beleidstheorie en met toetsing van alle onderdelen van deze theorie, met gebruikmaking van bij voorkeur uiteenlopende typen gegevensbronnen, waaronder verklarende inzichten die in andere (rekenkamer)onderzoek naar boven zijn gekomen. Rekenkamers doen er goed aan in dit soort onderzoek de samenwerking met andere rekenkamers te zoeken; problemen en beleid zijn vaak tussen gemeenten redelijk vergelijkbaar.


7

Voorwoord

Sinds meer dan zes jaar zijn gemeenten en provincies wettelijk verplicht een rekenkamerfunctie in te richten. Deze periode is lang genoeg om tot een stabiele uitvoeringspraktijk te komen. En dus om de balans op te ma-‐ken van wat de rekenkamers1 gebracht hebben. In de achterliggende jaren is in wisselende bewoordingen geschreven over wat rekenkamers gebracht hebben, soms positief, soms negatief. Evaluaties van rekenkamers laten in het algemeen een redelijk positief beeld zien. Daartegenover staan verscheidene kritische beschouwingen van meer of minder onafhankelijke commentato-‐ren. Wat daarbij wel opvalt is dat kritische beschouwingen in de meeste gevallen niet zijn gebaseerd op syste-‐matische analyses van datgene wat rekenkamers produceren: onderzoekrapporten. En wat opvalt is dat uitge-‐werkte alternatieven voor de huidige praktijk vrijwel niet gegeven worden. Met de voorliggende tekst willen we in deze hiaten voorzien. Deze tekst bevat in de eerste plaats een analyse van hetgeen rekenkamers rappor-‐teren, met als vraagstelling of dit overeenkomt met datgene wat (de meeste) rekenkamers zeggen te doen en met datgene wat in de wet staat. In de tweede plaats geven we in dit rapport een alternatief voor de huidige benadering met als uitgangspunt maatschappelijke effecten van beleid. We beoordelen het werk van rekenkamers aan de hand van in 2008 en 2009 verschenen rapporten van een representatieve selectie van gemeentelijke rekenkamers (zie voor de wijze van selectie: Bijlage 1). Het onder-‐zoek vond plaats eind 2009 – begin 2010. Door omstandigheden moest de rapportage van dit onderzoek enige tijd op zich laten wachten. Een scan van in 2010 en 2011 gepubliceerde rapporten wees uit dat de conclusies van het voorliggende onderzoek ook nu nog geldig zijn. Deze rapportage gaat over gemeentelijke rekenkamers. Wij denken dat beelden en conclusies ook gelden voor de provinciale rekenkamers en de rekenkamers van de waterschappen. Het onderzoek is op eigen initiatief en voor eigen rekening uitgevoerd door beleidsevaluatie.info. Met als aan-‐leiding de zorg of het in potentie grote belang van (gemeentelijke) rekenkamers in de praktijk waargemaakt wordt. En of gezien de huidige uitvoeringspraktijk het rekenkameronderzoek toekomst heeft en een belangrij-‐ke positie kan gaan innemen in het gemeentelijk beleid. Hoofdstuk 1 gaat over wat de wet zegt over de taken van rekenkamers en over wat rekenkamers zelf als hun taken zien. De hoofdstukken 2, 3 en 4 gaan over rekenkamerrapporten: de onderzoekthema’s (hoofdstuk 2), de invalshoeken van de onderzoeken (hoofdstuk 3) en de methodieken (hoofdstuk 4). Van datgene wat bekend is over de doorwerking van rekenkamerrapporten wordt in hoofdstuk 5 verslag gedaan. Hoofdstuk 6 bevat de conclusies en hoofdstuk 7 bevat een voorstel voor herinrichting van het rekenkameronderzoek. Dick Hanemaayer

1 Onder ‘rekenkamers’ worden in dit rapport ook rekenkamercommissies verstaan.



!"#"$%&''($)%*+,"-..///0 01232+400///0+567560


8


9

1. Taken van de rekenkamer

De door rekenkamers bereikte resultaten dienen onder andere te worden beoordeeld in het licht van wat de bedoeling was en is van het rekenkamerwerk. Dit hoofdstuk levert daarvoor de bouwstenen. Een aantal taak-‐omschrijvingen en visies passeert hieronder de revue (paragraaf 1.1.) waarna in paragraaf 1.2. door ons enkele commentaren gegeven worden. Het blijkt dat er aanzienlijke verschillen bestaan in taakopvatting en visie op de rol van rekenkamers. Wel is er brede overeenstemming over de rol van de rekenkamer ten behoeve van de controlerende rol van de gemeen-‐teraad. Maar op andere taakaspecten lopen de meningen uiteen. 1.1. Taakomschrijvingen Op grond van art. 182 van de Gemeentewet onderzoekt de rekenkamer de doelmatigheid, de doeltreffendheid en de rechtmatigheid van het door het gemeentebestuur gevoerde beleid. In de Memorie van Toelichting wor-‐den de taken als volgt verwoord2: Tot de taak van de rekenkamer behoort in de eerste plaats het onderzoeken van de doelmatigheid en de doel-‐treffendheid van het financiële beheer, van de gemeentelijke organisatie en van het gevoerde beleid. In de tweede plaats heeft de rekenkamer tot taak het doen van onderzoek naar de rechtmatigheid. Voorts worden in de Memorie van Toelichting enkele accenten gelegd om te onderbouwen dat de instelling van de rekenkamerfunctie wettelijke verplicht wordt gesteld3: In de Memorie van Toelichting had de regering vier redenen geformuleerd voor het verplicht stellen van een lokale rekenkamer: a. de lokale rekenkamer versterkt de positie van de raad ten aanzien van de uitoefening van zijn controlerende functie; b. de aandacht voor en het belang van doelmatigheid en doeltreffendheid groeit – burgers beoordelen de overheid steeds meer hierop; c. een verdere verbetering van de rechtmatigheids-‐ en doelmatigheidstoets is gewenst; d. de rapportages van de lokale rekenkamer vormen een goed aanknopingspunt voor het afleggen van reken-‐schap aan de burgers. De NVRR (Nederlandse Vereniging van Rekenkamers en Rekenkamercommissies) brengt in 2008 de taken van rekenkamers als volgt onder woorden4: Een lokale rekenkamer moet bijdragen aan een transparanter en doelmatiger lokaal bestuur. Via haar onderzoek met conclusies en aanbevelingen faciliteert ze de gemeenteraad bij het uitvoeren van zijn wet-‐telijke, kaderstellende, controlerende en volksvertegenwoordigende taken.’ De ‘voorlopige’ evaluatie van gemeentelijke rekenkamers, in 2007 uitgevoerd in opdracht van het ministerie van Binnenlandse Zaken, leidt tot een schets van twee perspectieven op de rol van de rekenkamer5. 2 Wijziging van de Gemeentewet en enige andere wetten tot dualisering van de inrichting, de bevoegdheden en de werkwijze van het gemeentebestuur (Wet dualisering gemeentebestuur). TK 2000-‐2001, 27751, nr. 3 3 Ontleend aan: T. Brandsen, e.a. (2007), Leren afrekenen. Een voorlopige evaluatie van lokale en provinciale rekenkamer(commissie)s. Den Haag: B&A 4 NVRR (2008), Handreiking onderzoek locale Rekenkamers en Rekenkamercommissies. 5 Zie T. Brandsen, e.a. (2007), Leren afrekenen. Een voorlopige evaluatie van lokale en provinciale rekenkamer(commissie)s. Den Haag: B&A



!"#"$%&''($)%*+,"-..///0 01232+400///0+567560


10

In het perspectief van rekenschap is de rekenkamer vooral van belang voor de verantwoording van het democ-‐ratisch bestuur aan de burger. De rekenkamer dient onafhankelijk en vrij van politieke invloedsuitoefening te functioneren. Informatie moet onomstreden en methodologisch gedegen en onafhankelijk vergaard zijn. Be-‐trokkenheid van de raad wordt als onwenselijk gezien. In het perspectief van leervermogen is de rekenkamer vooral een ondersteuning bij politiek-‐bestuurlijke ver-‐nieuwingen en bij reflectie op beleidsvoorbereiding door de raad. Betrokkenheid van de raad bij de reken-‐kamer, door deelname van raadsleden aan rekenkamercommissies of inbreng van de raad op de onderzoeksagenda, wordt als wenselijk gezien. De onafhankelijkheid van de rekenkamer dient in balans te zijn met de afstand tot de raad. In 2011 verschijnt de Handreiking lokale rekenkamer en rekenkamerfunctie, een uitgave van de Vereniging van Nederlandse Gemeenten (VNG) en de NVRR6. Daarin wordt de taak als volgt verwoord: De rekenkamer heeft een belangrijke taak in de ondersteuning van de gemeenteraad. Van de vier taken van de raad – de volksvertegenwoordigende, verordenende, kaderstellende en controlerende taak – dient de Reken-‐kamer als ondersteuning van de laatste twee. In ‘Een spiegel van het lokale rekenkamerlandschap’7 geven leden van rekenkamers de volgende antwoorden over doelstellingen van rekenkamers:

Voorop staan het verstrekken van informatie aan de raad ten behoeve van de uitoefening van de controleren-‐de functie en het verbeteren van maatschappelijke effecten van beleid. Uit hetzelfde onderzoek, waarin is gevraagd naar het onderwerp van het laatst verrichte onderzoek, blijkt dat een duidelijke nadruk ligt op ‘Be-‐vorderen dat gemeente zich aan regels houdt’, ‘Verbeteren bedrijfsvoering gemeente’ en ‘Verbeteren afleggen rekenschap aan burgers’. Rekenkamerleden willen vooral beoordeeld worden op de mate waarin raden aan rekenkamers een duidelijke toegevoegde waarde toekennen. Duidelijk lager scoren indicatoren over de effec-‐ten van de adviezen (die door de rekenkamer beperkt beinvloedbaar zijn): Mate waarin de (uitgevoerde) aanbevelingen leiden tot gewenste effecten Mate waarin overgenomen aanbevelingen worden uitgevoerd Mate waarin aanbevelingen (ongeacht of ze worden overgenomen) worden uitgevoerd. De Rekenkamer Rotterdam omschrijft de taken als volgt8:

6 V.L. Eiff en C. Huisman (2011), Handreiking lokale rekenkamer en rekenkamerfunctie. Den Haag/Nijkerk: VNG/NVRR 7 Th. v.d. Zee en E. d. Jong (2010), Een spiegel van het lokale rekenkamerlandschap. Groningen: Beyond 8 http://www.rekenkamer.rotterdam.nl/nl/wat-‐doen-‐we/6544/ (d.d. 140611)

Verder door onderzoek 14

voor het budget afhankelijk is van de raad dan wel de staten. Van de ondervraagden is 34% van mening dat

rekenkamer(commissie)s rechtstreeks budget van het rijk zouden moeten krijgen.

Spanningsveld

In dit onderzoek komt naar voren dat rekenkamer(commissie)s enerzijds betrekkelijk onafhankelijk

opereren en hier ook veel belang aan hechten. Anderzijds willen ze graag weten wat er leeft bij de

raad/staten en zijn zij niet zelden bereid hier rekening mee te houden om zodoende een groter (leer)effect

te bereiken. Met name tijdens de uitvoering van het onderzoek en in de rapportagefase lijkt de

onafhankelijkheid de overhand te nemen. Zo wordt over normenkader, conclusies en aanbevelingen

vrijwel geen overleg gevoerd. Over het algemeen zorgen rekenkamer(commissie)s er derhalve voor dat ze

hun eigen plan kunnen trekken en dat (de schijn van) afhankelijkheid door bijvoorbeeld het vragen van een

‘fiat’ voor te onderzoeken onderwerpen of formele overlegmomenten over normenkader, conclusies en

aanbevelingen wordt vermeden. Dit lijkt een focus op rekenschap te impliceren.

Uit interviews en rondetafelgesprekken komt echter, naar voren dat een sterk onafhankelijke houding ook

samen kan gaan met leren. Aangegeven wordt dat het ‘gevoel’ voor wat gevoelig is, niet tijdens ‘formele’

overlegmomenten tot stand komt, maar dat dit wordt ‘afgetast’ tijdens het onderzoeksproces. Te denken

valt bijvoorbeeld aan het opgooien van een balletje tijdens een interview. Het zorgen voor een leereffect

wordt dan subtiel in het onderzoeksproces verweven. Met name door doorlopend het oor te luister te

leggen bij de actoren die er toe doen en van geval tot geval te bekijken wat de beste manier is om te

handelen. Tevens wordt in interviews en rondetafelgesprekken aangegeven dat ‘formeel’ overleg over

bijvoorbeeld normenkader, conclusies en aanbevelingen tevens wordt vermeden om niet de indruk te

wekken dat deze zaken ‘onderhandelbaar’ zijn.

Dat leren en rekenschap soms dicht bij elkaar liggen, wordt in interviews tevens en meerdere malen

aangeduid met voorbeelden over woordgebruik en formulering in de eindrapportage. Genoemd wordt

bijvoorbeeld het onderscheid tussen oordelen (iets is bijvoorbeeld ‘onvoldoende’), constateren (iets voldoet

niet aan een norm) en vooruit kijken (iets is voor verbetering vatbaar).

3.3 Doelen van de rekenkamer(commissie)

Wij hebben onze respondenten een aantal stellingen voorgelegd waaruit wij hebben willen afleiden welke

doelen de rekenkamer(commissie)s het meest van belang vinden. Twee doelen springen er uit (zie tabel 3.1).

Onze respondenten zien een belangrijke rol weggelegd in het voorzien van de raad/staten van informatie

om te kunnen controleren en in de verbetering van de maatschappelijke effecten van het beleid. Tabel 3.1: Belang doelen van de rekenkamercommissie (N = 101).

Doelen Als (zeer) belangrijk doel van de rekenkamer(commissie)

aangemerkt (percentage)

Raad/staten voorzien van informatie om te controleren 98

Verbeteren maatschappelijke effecten beleid 96

Verbeteren bedrijfsvoering gemeente 88

Verbeteren afleggen rekenschap aan burgers 86

Bevorderen dat gemeente zich aan regels houdt 79

Zaken aan de orde stellen die misgaan 75

Verbeteren/ondersteunen politiek debat 60

Waarborgen integriteit ambtenaren en bestuurders 59


11

De rekenkamer doet ten behoeve van de gemeenteraad en de burgers onafhankelijk onderzoek naar de doel-‐matigheid, doeltreffendheid, rechtmatigheid en transparantie van het door het gemeentebestuur gevoerde bestuur. Hiermee levert zij een bijdrage aan de verbetering van het openbaar bestuur. De gemeenteraad is een belangrijke doelgroep van de rekenkamer. Daarnaast heeft ook de rotterdamse burger het recht te weten hoe zijn of haar gemeentelijke overheid functioneert. De rekenkamer bedient beide doel-‐groepen. De Rekenkamer Rotterdam doet dit tegen de achtergrond van een visie van resultaatgericht besturen waarin centraal staat ‘… het nakomen van bestuurlijke beloften en (..) het resultaat van besturen.’9. En op een andere plaats: ‘.. de dubbele doelstelling die de rekenkamer zich heeft gesteld: het enerzijds versterken van de publieke verantwoording en het anderzijds verbeteren van het openbaar bestuur.ʼ Het begrip resultaat-‐gericht besturen wordt uitgewerkt naar drie rationaliteiten: analytische rationaliteit levert beleidsresultaten; politieke rationaliteit levert politieke resultaten en juridische rationaliteit levert regelgerichte resultaten. En dat alles in de vier beleidsfasen: beleidsontwerp, beleidsuitvoering, beleidsgevolgen en beleidsverantwoording. De Rekenkamer onderzoekt op basis van vooral de analytische en politieke rationaliteit: Enerzijds laat zij zien grote waarde te hechten aan heldere beleidsdoelen, een logisch opgezet beleid, een con-‐forme uitvoering van beleid en het bereiken van beleidsresultaten dankzij datzelfde beleid. Het beleidsinhou-‐delijke resultaat staat voorop. Tegelijkertijd is onmiskenbaar dat de rekenkamer grote waarde hecht aan het politiek-‐bestuurlijke debat over resultaten. De primaire achterliggende gedachte is hierbij niet dat er een debat over de beleidsinhoud moet plaatsvinden, maar dat er sowieso een debat tussen politiek en bestuur over de resultaten plaats-‐ vindt. De Rekenkamer Stadsdelen Amsterdam10 omschrijft de taken aldus: … ondersteunt de RSA de stadsdeelraden in het uitvoeren van hun kaderstellende en controlerende rol. In de notitie Positie en visie van de Rekenkamer Den Haag11 wordt de visie aldus verwoord: De Rekenkamer ziet zichzelf in de eerste plaats ter versterking van de duale positie van de Gemeenteraad en zijn controlerende en toezichthoudende rol. De onderzoeken van de Rekenkamer dienen voor de Raad daadwerkelijke meerwaarde te bieden bij de controlerende en toezichthoudende taak. Het streven van de Rekenkamer is deze meerwaarde zo constructief mogelijk vorm te geven, ook in de relatie tot het College van B&W. De Rekenkamer kiest daarbij in beginsel voor een lerende opstelling, niet voor een confronterende rol. Dit past in de zich ontwikkelende duale structuur binnen de Haagse bestuurlijke en politieke verhoudingen. In de centrale vraag van de evaluatie van de Rekenkamer Zaanstad12 is een duidelijke visie op de rol van de rekenkamer vervat: De centrale vraag voor dit onderzoek is in hoeverre de rekenkamer de controlerende rol van de raad heeft versterkt.

9 R. Willemse (2009), Tussen beleid en politiek. Tien jaar bestuursvisie van de Rekenkamer Rotterdam. In: Rekenkamer Rotterdam, Gedreven en genuanceerd. Tien jaar Rekenkamer Rotterdam 1998 -‐ 2008. 10 Rekenkamer Stadsdelen Amsterdam (2009), Omzien en verstandig verder. Zelfevaluatie Rekenkamer Stadsdelen Amsterdam; paragraaf 1.2. 11 Rekenkamer Den Haag (z.j.), Positie en visie van de Rekenkamer Den Haag 12 P. Castenmiller en M. van Dam (2009), Rekenkamer in drievoud. Uiteenlopende beelden en verwachtingen van de Zaanse rekenkamer; pag. 10.


12

Deze evaluatie van de Zaanse Rekenkamer laat zien dat betrokkenen (raadsleden, collegeleden, ambtenaren, medewerkers rekenkamer) uiteenlopende perspectieven hebben op de rol van de rekenkamer met als drie varianten: • De rekenkamer als instrument van de raad • De rekenkamer als hoog college van staat • De rekenkamer als adviseur van de gemeente In de Rekenkamermonitor 201013 komt nog weer een andere functie naar voren: Opvallend is dat 38% het vergroten van het inzicht van de raad in een onderwerp of beleidsveld als doelstelling aanwijst, terwijl dit bij de oprichting van de lokale rekenkamer geen doelstelling was. Een bijzonder (impliciet) element in de omschrijving van de taken van de rekenkamer is te vinden in het jury-‐verslag van de Goudvink en Groenling 201014: Toegevoegde waarde Het gezag van een rekenkamerrapport is mede afhankelijk van de toegevoegde waarde. Waarom is iets een probleem? Wat is de toegevoegde waarde van het onderzoek? Waarom gaat de rekenkamer in op een verzoek tot onderzoek vanuit de gemeenteraad? Waarom moet juist de rekenkamer met zijn specifieke bevoegdheden een onderwerp aanpakken en niet, bijvoorbeeld, een accountantsbureau? Dit zijn vragen die in een rapport overwogen, beantwoord en verantwoord moeten worden. Vanuit die optiek heeft de jury dit jaar gekeken of de rekenkamer(commissie) in het onderzoek ook echt heeft gerekend, of dat alleen is gekeken naar beleid. (cursivering dh) Moet een rekenkamer rekenen? De voorliggende rapportage is gebaseerd op informatie van 35 rekenkamers (waaronder een aantal regionale rekenkamers). Vrijwel zonder uitzondering verwijzen de rekenkamers in hun eigen taakomschrijvingen naar de controlerende taak van de gemeenteraad. In mindere mate wordt in de omschrijvingen van de eigen taken verwezen naar de kaderstellende taak van de gemeenteraad. Op het continuüm van (of: de scheidslijn tussen) rekenschap en leervermogen15 spreekt de meerderheid van de rekenkamers zich niet expliciet uit. Een minderheid benadrukt in verschillende bewoordingen dat de rekenka-‐mer leereffecten teweeg moet brengen. Formuleringen als ‘leereffecten’, ‘constructieve insteek’, ‘verbetering van beleid’, ‘verbetering van de kwaliteit van het gemeentebestuur’ en ‘versterking van de controlerende en kaderstellende functies van de raad’ worden regelmatig gebruikt, tot en met ‘gerichte adviezen’. De Rekenka-‐mer Haarlemmermeer kiest als motto “Stimuleren tot leren en verbeteren”16. In een enkel geval wordt door rekenkamers gemeld dat ‘afrekening’ juist niet het doel is van rekenkameronderzoek. Een zeer kleine minderheid van de 35 rekenkamers maakt melding van publieke verantwoording over het door de gemeente gevoerde beleid als specifieke taak. Vrijwel alle rekenkamers maken hun rapporten wel passief openbaar. Maar rekenkamers geven geen uitwerking van deze taak en rapporteren niet over bijvoorbeeld de mate waarin of de wijze waarop burgers gebruik maken van rekenkamerrapporten. Tot slot: de jury van de Goudvink en Groenling 2008 heeft bedenkingen bij de adviesrol van de rekenkamer17: Hoewel de grenzen niet precies aan te geven zijn, vindt de jury wel dat de rekenkamer de rol van adviseur niet op zich moet nemen. Zij moet in de eerste plaats de kritische beoordelaar zijn van het beleid en juist daar haar gezag aan ontlenen.

13 Neckar Van Naem (z.j.), Rekenkamermonitor 2010. Gedwongen pas op de plaats? 14 NVRR (2011), Juryverslag NVRR Goudvink en Groenling 2010 15 T. Brandsen, e.a. (2007), Leren afrekenen. Een voorlopige evaluatie van lokale en provinciale rekenkamer(commissie)s. Den Haag: B&A 16 R. Mul en B. Steiner (2009), ‘Alleen de uitgesproken tekst geldt’. Evaluatie Rekenkamercommissie Haarlemmermeer, p. 44. 17 NVRR (2008), Juryverslag NVRR Goudvink en Groenling 2008


13

1.2. Commentaar Het beeld over taken en visie van de lokale rekenkamer is bepaald niet stabiel; het is een wat rommelig beeld. De continue factor in dit beeld is dat rekenkamers bijdragen aan de controlerende rol van de gemeenteraad. Maar daarmee eindigt het gedeelde beeld. Voor het overige lopen de meningen uiteen op onder andere de volgende punten: • De rol van de rekenkamer ten opzichte van de kaderstellende rol van de gemeenteraad: koepelorganisaties

(NVRR, VNG) zien hierin wel een functie van de rekenkamer, maar veel rekenkamers noemen deze niet. • De betekenis van het rekenkamerwerk voor wettelijke en volksvertegenwoordigende taken van de ge-‐

meenteraad18: deze functie wordt door de meeste rekenkamers niet genoemd. • De betekenis van het rekenkamerwerk voor de (gemeentelijke) verantwoording aan de inwoners van de

gemeente: sommige rekenkamers noemen deze functie wel maar geven er geen uitwerking aan en bieden geen inzicht in hoe deze functie werkt.

• Veel rekenkamers spreken zich niet uit over de positie van de rekenkamer op het continuüm afrekenen – leren.

• Over een adviserende rol voor de rekenkamer lopen de meningen uiteen. • De rol van de rekenkamers in het bereiken van transparant bestuur; door NVRR en VNG prominent beno-‐

emd, maar door veel rekenkamers niet als zodanig verwoord. Op deze zes punten lopen de voorkeuren van rekenkamers uiteen; waarbij wel de vraag is of bepaalde keuzes impliciet of expliciet gemaakt zijn. De vraag is of dat een probleem is. Rekenkamers moeten immers in principe de ruimte hebben om binnen grenzen een eigen taakinvulling op te stellen. Dus de situatie dat alle rekenka-‐mers over een identieke taakstelling zouden beschikken, is op zichzelf geen wensbeeld. Maar nu lijkt het erop dat lang niet alle rekenkamers een bewuste keuze maken uit de verschillende taken die tot het domein van de rekenkamer kunnen behoren. Terwijl men van rekenkamers mag verwachten dat zij werken op basis van een doordachte omschrijving van hun taken. Anderzijds kan het als een gemis beschouwd worden wanneer rekenkamers zich beperken tot een functie ten behoeve van de controlerende rol van de gemeenteraad, zoals nu vaak het geval is. Weliswaar komt in de wetsgeschiedenis de controlerende rol van de rekenkamer prominent naar voren. Maar in latere functieom-‐schrijvingen wordt vaak een bredere rol beschreven, met onder andere aandacht voor de kaderstellende rol van de gemeenteraad, voor een lerende functie van rekenkameronderzoek en voor een meer geprofileerde adviesrol. Een ander aspect is dat duidelijkheid over waar rekenkamers voor staan, zal bijdragen aan de kracht van de sector. Het voorbeeld van de Rekenkamer Zaanstad19 maakt duidelijk dat er bij verschillende betrokkenen uit-‐eenlopende belevingen kunnen bestaan van de rol van de rekenkamer. Een dergelijke verwarring kan afbreuk doen aan het gezag van de rekenkamer: verwarring gaat ten koste van invloed. Dit voorbeeld speelt zich af op lokaal niveau, maar het heeft ook geldingskracht op het niveau van de sector. De kracht van een sector wordt mede bepaald door de mate waarin de sector een voldoende homogeen (en herkend) beeld naar buiten brengt. Een en ander overwegend is het beeld toch wel dat de sector er goed aan doet om een discussie te arrangeren over de eigen taakopvatting. Met als doel meer tot elkaar te komen dan nu het geval is, uiteraard met respect voor de keuzevrijheid van iedere rekenkamer, maar in de wetenschap dat een meer homogeen beeld dan nu de gehele sector ten goede kan komen.

18 Zie onder andere: NVRR (2008), Handreiking onderzoek locale Rekenkamers en Rekenkamercommissies 19 P. Castenmiller en M. van Dam (2009), Rekenkamer in drievoud. Uiteenlopende beelden en verwachtingen van de Zaanse rekenkamer


14


15

2. Onderzoekthema’s

In dit hoofdstuk geven we een overzicht van thema’s van rekenkameronderzoek in 2008 en 2009 (paragraaf 2.1.) en van de criteria die bij de themakeuze worden gebruikt (paragraaf 2.2.). Paragraaf 2.3. bevat ons com-‐mentaar. Onderzoek in 2006 liet zien dat rekenkamers de aandacht vooral richtten op bedrijfsvoeringsthema’s; nadien (2008/2009) hebben de rekenkamers hun blikveld enigszins verruimd ten gunste van beleidsinhoudelijke the-‐ma’s. 2.1. Thema’s De gegevens opgenomen in deze paragraaf zijn ontleend aan de 126 onderzoekrapporten die door 35 willekeu-‐rig gekozen rekenkamers in 2008 en 2009 zijn gepubliceerd (zie ook Bijlage 1). Een klein deel daarvan betreft ‘brieven’; deze zijn hier als rapporten behandeld. Tabel 2.1. biedt het samenvattende overzicht van de thema’s van deze onderzoeken. In Bijlage 2 staat een gedetailleerder overzicht van de onderzoekonderwerpen, gerang-‐schikt naar thema’s, zodat de variëteit aan onderzoekonderwerpen duidelijker wordt. Uit onderzoek van Significant in 200620 bleek dat bijna driekwart van de rekenkameronderzoeken ging over thema’s in de sfeer van de bedrijfs-‐ en beleidsvoering, en dus een duidelijke minderheid over inhoudelijk be-‐leid. Financiële onderwerpen (begroting en verslaglegging) stonden bovenaan de lijst en daarnaast thema’s als het subsidiebeleid, inhuur van externen en projecten/aanbestedingen. Bij de beleidsinhoudelijke onderwerpen ging de aandacht vooral uit naar onderwerpen binnen de fysieke kolom zoals het grondbeleid. Tabel 2.1. bevat het samenvattende overzicht van de thema’s waarover de selectie van rekenkamers in 2008 en 2009 publiceerden. We merken op dat de vergelijkbaarheid van deze tabel met het Significant-‐onderzoek beperkt is omdat in het Significant-‐onderzoek bij de categorisering niet alleen het thema betrokken was maar ook de invalshoek. Wij maken daarin een onderscheid; dit hoofdstuk gaat alleen over de thema’s, het volgende hoofdstuk gaat over de invalshoek. Tabel 2.1. Onderzoekthema’s in rekenkamerrapporten 2008 en 2009

Onderzoekthema’s Aantal Sociaal beleid 32 Bedrijfsvoering 30 Financiën 24 Fysiek 16 Opvolging aanbevelingen RK 8 Gemeente -‐ burgers 6 Mobiliteit 5 Veiligheid 4 Economie 1 Totaal 126

In de lijst van onderzoekonderwerpen valt in de eerste plaats de diversiteit aan onderwerpen op; meer nog dan in tabel 2.1. wordt dat duidelijk in de gedetailleerde lijst in Bijlage 2. Een kwart van de onderzoeken in 2008 en 2009 gaat over typische bedrijfs-‐ en beleidvoeringsthema’s, met als meest behandelde onderwerpen grote projecten, verbonden partijen en externe inhuur. Een vijfde deel van de

20 M. Blom en P.A.C. Tazelaar (2006), De frisse blik van de lokale rekenkamer. Barneveld: Significant.



!"#"$%&''($)%*+,"-..///0 01232+400///0+567560


16

onderzoeken gaat over de programmabegroting en financiële verslaglegging, en meer of minder verwante onderwerpen betreffende raad en college (in het bijzonder de informatievoorziening aan de raad). Tezamen is dit ruim minder dan de helft van alle onderzoeken. Hoewel als gezegd de vergelijkbaarheid beperkt is, lijkt het erop dat ten opzichte van de situatie in 2006 het accent op bedrijfsvoeringsonderwerpen iets is terug geno-‐men. Het grootste deel van de beleidsinhoudelijke onderzoeken heeft betrekking op thema’s binnen het sociaal beleid, waar dat in 2006 nog de fysieke kolom was (ruimtelijke ordening en volkshuisvesting). Binnen de sociale kolom gaat de meeste aandacht uit naar re-‐integratiebeleid, subsidiebeleid, WMO en wijkontwikkeling. Binnen de fysieke kolom is de openbare ruimte het onderwerp dat het meest in de belangstelling staat. Daarnaast is de aandacht over tal van onderwerpen verdeeld. Rekenkamers zien binnen het domein van de relatie gemeente – burger en binnen de economische kolom relatief weinig aanleiding voor onderzoek. Een andere indicatie voor de voorkeuren van rekenkamers inzake de onderwerpkeuze kan gevonden worden in de DoeMee-‐onderzoeken van De Lokale Rekenkamer Jacques Neckar (naar de stand van medio 2011). Hieron-‐der volgt de lijst van onderzoekonderwerpen: • Jongerenwerk • Communicatiebeleid en burgerparticipatie • Uitvoering 213a onderzoek • Nakoming toezeggingen • Digitale dienstverlening • Verbonden Partijen • Kwaliteit Collegeprogramma's • Kwaliteit raadsvoorstellen • Afhandeling meldingen • Kwaliteit raadsvoorstellen • Armoedebeleid Het merendeel van deze onderwerpen betreft bedrijfs-‐ en beleidsvoering; beleidsinhoudelijke onderwerpen zijn duidelijk in de minderheid. En tot slot de top vijf van recent onderzochte thema’s uit ‘Een spiegel van het lokale rekenkamerlandschap’21.

Ook hier overheersen bedrijfs-‐ en beleidsvoeringsthema’s. 2.2. Criteria Vrijwel alle rekenkamers maken de criteria openbaar op grond waarvan onderzoekonderwerpen gekozen wor-‐den. En maken melding van werkwijzen waarin van verschillende kanten (raad, burgers) suggesties voor onder-‐zoekonderwerpen worden ingewacht, steeds met benadrukking van de onafhankelijkheid van de rekenkamer,

21 Th. v.d. Zee en E. d. Jong (2010), Een spiegel van het lokale rekenkamerlandschap. Groningen: Beyond

Verder door onderzoek 19

Uit de enquête blijkt dat – volgens de respondenten – met name de gemeenteraadsleden positief tegenover

het laatstgekozen onderwerp stonden (in 95% van de gevallen). Het college en de ambtenaren waren

minder vaak positief over de onderwerpkeuze (respectievelijk in 61 en 62% van de gevallen positief, terwijl

zij in ongeveer een kwart van de gevallen negatief waren). De respondenten zelf waren bijna zonder

uitzondering achteraf tevreden met hun onderwerpkeuze.

De uitkomst van het zoekproces is de vaststelling van een onderzoeksonderwerp. Tabel 4.4 geeft de top vijf

weer van onderzoeken in onze steekproef. Het populairste onderwerp onder de respondenten is het

grondbeleid, dat in ongeveer 10% van de gevallen wordt onderzocht, op de voet gevolgd door

subsidiebeleid, grote projecten en onderwerpen die te maken hebben met kaderstellen, begroten en

verantwoorden. Onderzoek naar verbonden partijen sluit de top vijf. De top vijf onderwerpen

vertegenwoordigen ruim een derde van de rekenkameronderzoeken in onze steekproef. Tabel 4.4: Onderwerpen top-vijf (N = 101)

Onderwerp Percentage

Grondbeleid 10

Subsidies 7

Grote projecten 6

Kaderstellen, begroten en verantwoorden 6

Verbonden partijen 5

Percentage top vijf van totaal 34

4.3 Ambitie rekenkamer(commissie)s en de praktijk

In paragraaf 3.1 (zie paragraaf 3.3) is weergegeven wat belangrijke doelstellingen zijn van de

rekenkamer(commissie). We hebben de respondenten tevens gevraagd in hoeverre deze doelstellingen ook

voor het laatste onderzoek gelden. De resultaten hiervan zijn, samen met de reeds in paragraaf 3.3

gepresenteerde gegevens, weergegeven in tabel 4.5.

Tabel 4.5: Verschil tussen doelen rekenkamer en doelen laatste onderzoek (N = 101)

Hoe groot was het belang van de onderstaande

doelen?

Algemeen

(zeer) belangrijke doel

Laatste onderzoek

(zeer) belangrijke doel

rangorde % resp. rangorde % resp.

Raad/staten voorzien van informatie om te controleren 1 98% 5 58%

Verbeteren maatschappelijke effecten beleid 2 96% 7 45%

Verbeteren bedrijfsvoering gemeente 3 88% 2 80%

Verbeteren afleggen rekenschap aan burgers 4 86% 3 79%

Bevorderen dat gemeente zich aan de regels houdt 5 79% 1 96%

Zaken aan de orde stellen die misgaan 6 75% 4 68%

Verbeteren/ondersteunen politiek debat 7 60% 6 57%

Waarborgen integriteit ambtenaren en bestuurders 8 59% 8 24%

Kijkend naar de door de rekenkamer(commissie)s van onze 101 respondenten algemeen van belang

gevonden doelen, dan blijkt dat de raad/staten voorzien van informatie om te controleren en het verbeteren

van maatschappelijke effecten de belangrijkste doelen zijn. Als we vervolgens kijken naar de doelen van het

laatste onderzoek van onze respondenten, dan blijkt dat in deze onderzoeken het bevorderen van

rechtmatigheid en het verbeteren van de bedrijfsvoering gemiddeld genomen de belangrijkste doelen

waren. Voor wat betreft de inhoudelijke focus van het onderzoek lijkt uit de algemene doelen van onze


17

ook op het punt van de keuze van onderzoekonderwerpen. Rekenkamers hechten vooral aan inbreng van on-‐derwerpen voor onderzoek vanuit de raad. Onderwerpen van uitgevoerd onderzoek worden in gelijke mate door de commissie zelf als vanuit raad of raadsfracties geagendeerd, ofschoon de helft van de rekenkamers vindt dat de raad te weinig ‘ideeën’ levert22. Suggesties van de kant van burgers worden weinig gehonoreerd. In de meeste gevallen wordt uit rapporten niet duidelijk of een onderwerp extern is aangebracht of door de rekenkamer zelf is geagendeerd. In de 126 rapporten zijn er circa vijf waarvan expliciet gemeld wordt dat deze op verzoek van de raad zijn uitgevoerd. De uitkomsten van de Rekenkamermonitors 200923 en 201024 doen vermoeden dat dit aantal feitelijk hoger ligt, ofschoon de onderstaande gegevens beperkt houvast bieden: Rekenkamermonitor 2009: De meest gangbare manier om een onderwerp te kiezen is door individuele fracties om suggesties te vragen en een keuze te maken uit de aangedragen onderwerpen (69%). 29% van de rekenkamers legt het onderzoekpro-‐gramma ter reactie voor aan de raad en stelt het daarna zelf vast. Verder kan de raad de rekenkamer op eigen initiatief verzoeken om onderzoek naar een bepaald onderwerp te verrichten. Dit is de afgelopen raadsperiode bij 27% van de rekenkamers het geval geweest. Rekenkamermonitor 2010: In 32% van de gevallen heeft de raad een officieel verzoek bij de rekenkamer ingediend om een onderzoek te doen. In 2009 deden de raden dit bij 27% van de rekenkamers. En: … de eerste gecombineerde 213a-‐ en rekenkameronderzoeken worden al uitgevoerd. In enkele algemene bronnen worden handreikingen gegeven voor de selectie van onderzoekonderwerpen. Hieronder volgen er twee. S. Dijk e.a.25 noemen drie criteria: Er bestaan drie basiscriteria bij de selectie van onderzoeksonderwerpen voor rekenkameronderzoek: 1. Het onderwerp moet in politiek of financieel opzicht van belang zijn. Het belangrijkste doel van een re-‐kenkamer is de controlerende functie van de gemeenteraad te ondersteunen. 2. Er is gerede twijfel over de doelmatigheid, de doeltreffendheid en/of de rechtmatigheid van het gemeente-‐beleid terzake: a) doeltreffendheid: is er bereikt wat er bereikt moest worden? b) rechtmatigheid: is er gedaan wat er gedaan moest worden? c) doelmatigheid: heeft het gekost wat het mocht kosten? 3. Het onderzoek van de rekenkamer moet een toegevoegde waarde kunnen hebben voor de nabije toekomst. Voor de selectie van onderwerpen heeft de NVRR26 een handreiking gegeven in de vorm van acht criteria: -‐ Passendheid binnen de taakopdracht die de rekenkamer en rekenkamerfunctie (rekenkamercommissie) in de wet mee hebben gekregen. Daarnaast moeten zij passen binnen de specifieke taakopdracht en bevoegdheden zoals die in de verordening zijn vastgelegd; -‐ Een zo groot mogelijke bijdrage aan de missie / doelstellingen van de rekenkamer(functie), gerelateerd aan de inzet van schaarse onderzoekscapaciteit; -‐ Substantieel belang in financieel, organisatorisch, bestuurlijk of maatschappelijk opzicht; -‐ Twijfel over de effectiviteit van het beleid, de doelmatigheid van de uitvoering of de rechtmatigheid van het beleid;

22 Th. v.d. Zee en E. d. Jong (2010), Een spiegel van het lokale rekenkamerlandschap. Groningen: Beyond 23 Jacques Neckar (z.j.), Rekenkamermonitor 2009. Werk aan de winkel. 24 Neckar Van Naem (z.j.), Rekenkamermonitor 2010. Gedwongen pas op de plaats? 25 S. Dijk e.a. (2005), Criteria voor rekenkameronderzoek. Belang, gerede twijfel en toegevoegde waarde. Basis 2005, 2 26 NVVR (2008), Handreiking onderzoek lokale Rekenkamers & Rekenkamercommissies.


18

-‐ Mate van risico voor de gemeente, waaronder financieel; -‐ Toegevoegde waarde: . Het onderzoek levert informatie op die niet reeds uit andere bronnen bekend is; . benutten van specifieke bevoegdheden; . mogelijkheid van bruikbare aanbevelingen. -‐ Spreiding (variatie in onderwerpen, in onderzochte diensten en eventueel politiek, in portefeuilles van wethouders); -‐ Bruikbaarheid (inspelen op verzoeken) en verwachte leereffecten. Vrijwel alle rekenkamers hanteren criteria die hierboven zijn verwoord. Er zijn nogal wat rekenkamers die – in wisselende bewoordingen – de communiceerbaarheid van een onderzoek ten opzichte van de bewoners (pu-‐blieke verantwoording over het gevoerde beleid) in de afweging betrekken. Andere criteria die soms gebruikt worden zijn: • De haalbaarheid op basis van de (on)mogelijkheden van de rekenkamer (personele en financiële capaciteit) • Er moet in de politiek en/of bij de lokale gemeenschap een urgentiegevoel zijn • Het onderwerp van onderzoek moet beïnvloedbaar zijn door de gemeente • De onderwerpen moet gespreid zijn over de beleidsterreinen • Aan de kernbegrippen doeltreffendheid, doelmatigheid en rechtmatigheid wordt in een enkel geval trans-‐

parantie toegevoegd. • Het onderzoek moet getoetst kunnen worden aan een normenkader. 2.3. Commentaar Op het punt van de onderwerpkeuze zijn in de Gracieuze rekenkamer kritische opmerkingen gemaakt: Veldheer27 is de volgende mening toegedaan: In het onderzoeksprogramma zouden onderwerpen die zuiver intern van aard zijn of die over de bedrijfs-‐voering gaan, buiten beschouwing kunnen blijven. Bij de selectie van onderwerpen zou men rekening kunnen houden met thema’s die de burger aanspreken, met diensten die het bestuur levert en waarmee de burger in aanraking komt. Dat komt de transparantie van het lokale bestuur ten goede. Habets28 spreekt over het bloedeloze karakter van de onderwerpkeuze: Landelijk gezien heeft de onderwerpkeuze de afgelopen jaren een vrij bloedeloos karakter gehad. Zeker in het begin zijn rekenkamers geneigd voorzichtig te selecteren en komen ze snel uit bij onderwerpen die goed te onderzoeken zijn. Onderwerpen in de sfeer van bedrijfsvoering: aanbestedingsbeleid en inhuur derden horen tot de meest populaire onderwerpen van rekenkamers. In de afgelopen jaren is, naar het zich laat aanzien, de aandacht voor beleidsinhoudelijke onderwerpen licht gestegen en voor bedrijfs-‐ en beleidvoeringsonderwerpen licht gedaald. In het licht van de opdracht voor re-‐kenkamers -‐ die ligt op het terrein van doeltreffendheid, doelmatigheid en rechtmatigheid van beleid -‐ is dit een passende ontwikkeling. Immers, doeltreffendheid (en gedeeltelijk ook wel doelmatigheid – zie paragraaf 3.2.) verwijst meer naar beleidsinhoudelijke onderwerpen dan naar bedrijfs-‐ en beleidvoeringsonderwerpen. Maar vanuit de opdracht aan de rekenkamers kan de nog steeds forse aandacht voor bedrijfs-‐ en beleidsvoe-‐ring niet goed verklaard worden. Dit leidt tot de vraag naar de wijze waarop rekenkamers hun onderwerpen kiezen.

27 V. Veldheer (2010), Afstandelijke betrokkenheid. In: E. Boers e.a. (red.), De gracieuze rekenkamer. Uitgeverij Réunion. 28 P. Habets (2010), De aaibaarheidsfactor. In: E. Boers e.a. (red.), De gracieuze rekenkamer. Uitgeverij Réunion.


19

Wat opvalt bij de criteria voor selectie van onderzoekonderwerpen is in de eerste plaats dat een groot deel van de criteria geformuleerd is in termen van randvoorwaarden: ‘passend binnen de taakopdracht’, ‘substantieel belang’, ‘ twijfel over doeltreffendheid, doelmatigheid, rechtmatigheid’, ‘spreiding over beleidsthema’s’, en dergelijke. Het zijn criteria die weinig sturend zijn op de onderwerpkeuze; binnen iedere gemeente zal een zeer groot aantal onderzoekonderwerpen te vinden zijn dat binnen de criteria valt, waardoor de criteria weinig selectief en richtinggevend zijn. En dus moeten er – andere -‐ criteria zijn (die kennelijk impliciet zijn) om tot prioriteitstelling te komen. Welke dat zijn wordt niet duidelijk, noch uit de onderzoekprogramma’s, noch uit onderzoekverslagen. In de tweede plaats valt op dat uit de documentatie zelden blijkt dat rekenkamers hun onderwerpkeuze baseren op een bredere analyse van kwesties die in de gemeente spelen. Een en ander bete-‐kent dat de onderwerpkeuze door de rekenkamers een proces is waarvan de rationele onderlegger onduidelijk is; opheldering hiervan is dan ook gewenst.


20


21

3. De onderzoeken: invalshoeken

In dit hoofdstuk richten wij de aandacht op de invalshoek waarvoor rekenkamers in hun onderzoek kiezen: waarover gaat het in de onderzoekvragen, het normenkader, de conclusies en de aanbevelingen? We gaan in op de invalshoeken bij onderzoek naar achtereenvolgens doeltreffendheid (paragraaf 3.1.), doelmatigheid (paragraaf 3.2.) en rechtmatigheid (paragraaf 3.3.). Vervolgens besteden we apart aandacht aan normenkaders (paragraaf 3.4.) en aan aanbevelingen in rekenkameronderzoeken (paragraaf 3.5.), waarna we dit hoofdstuk besluiten met ons commentaar (paragraaf 3.6.) Het algemene beeld dat in dit hoofdstuk naar voren komt, is dat rekenkamers kiezen voor de invalshoek van de beleidstechniek, met als algemene norm de beleidscyclus. Rekenkamers zijn van mening dat beleid dat volgens een beleidscyclisch model wordt ontwikkeld en uitgevoerd, goed beleid is; als of waar beleid niet volgens dit model wordt ontwikkeld en uitgevoerd, wordt negatief geoordeeld. Rekenkamers doen zelden onderzoek naar doeltreffendheid en doelmatigheid. De invalshoek van de beleidstechniek en de beleidscyclus is ons inziens de zwakke schakel in het rekenkameronderzoek. Vooraf valt nog op te merken dat vrijwel al het rekenkameronderzoek ex post evaluatieonderzoek is: onder-‐zoek naar het gevoerde beleid. In de selectie van 126 rapporten zit een enkel monitoronderzoek. Ex ante eva-‐luaties – onderzoek in het kader van beleidsontwikkeling -‐ zijn in onze selectie niet aangetroffen29. 3.1. Doeltreffendheid Deze paragraaf gaat over doeltreffendheidsonderzoek, of beter: over onderzoek dat rekenkamers aanduiden als doeltreffendheidsonderzoek (of synoniemen). We bespreken achtereenvolgens de beleidscyclus (paragraaf 3.1.1.), het doelbereik (paragraaf 3.1.2.) en de causaliteit (paragraaf 3.1.3.). 3.1.1. Beleidscyclus Dé rode draad in het doeltreffendheidsonderzoek zoals uitgevoerd door rekenkamers is die van de beleidscy-‐clus. In een onderzoek van de Rekenkamercommissie Apeldoorn30 wordt de gedachtegang die hieraan ten grondslag ligt als volgt verwoord: Centraal in deze evaluatie staat het idee dat beleid een cyclisch proces is dat een aantal stappen doorloopt: een beleidsmaker identificeert een probleem, stelt een aanpak op voor oplossing van dat probleem (input), de aanpak wordt uitgevoerd (throughput), die uitvoering leidt tot resultaten (output)) en als het goed is leiden de resultaten op hun beurt tot het beoogde effect, namelijk oplossing van het probleem (outcome). De kennis over bereikte effecten is van belang omdat deze inzichtelijk maken of de input nog steeds de juiste aanpak voor het probleem behelst. Beleidstheoretisch mag verwacht worden dat wanneer beleid volgens deze cyclus is opgezet het gewenste effect bereikt wordt. Uiteraard spelen in de praktijk contextfactoren een rol die het verloop van de cyclus kunnen beïnvloeden. Voor deze evaluatie is echter allereerst in kaart gebracht of het gemeentelijke schuldhulpver-‐leningsbeleid volgens deze cyclus is opgezet en de nieuwe aanpak schuldhulpverlening daarin is ingepast. (cur-‐sivering dh)

29 Ex ante onderzoeken worden door rekenkamers sporadisch uitgevoerd. Twee voorbeelden van door rekenkamers uitgevoerde ex ante evaluaties: Rekenkamercommissie Groningen (2009), Ex ante onderzoek G-‐kracht. En in opdracht van de Rekenkamercommissie Apel-‐doorn: L.S. de Ruig en K.B.M. de Vaan (2008), Ex ante evaluatie vernieuwde aanpak schuldhulpverlening. Rapport van bevindingen. Zoe-‐termeer: Research voor Beleid 30 L.S. de Ruig en K.B.M. de Vaan (2008), Ex ante evaluatie vernieuwde aanpak schuldhulpverlening. Rapport van bevindingen. Zoetermeer: Research voor Beleid.



!"#"$%&''($)%*+,"-..///0 01232+400///0+567560


22

De gearceerde passages in deze tekst bevatten de essentie van hoe rekenkamers kennelijk doorgaans over beleidsontwikkeling en beleidsuitvoering denken. De veronderstelling is dat beleid dat ontworpen is vanuit een beleidscyclische benadering leidt tot de gewenste effecten. Dit leidt tot onderzoek naar de vraag of de verschil-‐lende stappen in de beleidscyclus op een ordentelijke manier gezet zijn. De beleidscyclus wordt door rekenkamers in wisselende varianten beschreven en verbeeld. Ter illustratie voe-‐gen we de figuur toe die de Rekenkamer Haarlemmermeer gebruikte in ‘Veilig en vlot op weg’31:

Het dominante denken in termen van de beleidscyclus leidt tot onderzoekvragen zoals hieronder in twee voor-‐beelden wordt weergegeven. Uit het onderzoekprogramma 2009-‐2010 van de Rekenkamer Tilburg32 inzake het beleid impulswijken: Onderzoeksvragen -‐ Is het besluit van juli 2008 gefundeerd op een analyse van de beleidsresultaten uit de voorafgaande periode? -‐ Welke ambities en doelstellingen zijn voorgenomen en hoe concreet en toetsbaar zijn deze doelstellingen? -‐ In hoeverre zijn de ambities en doelstellingen vertaald naar concrete afspraken, activiteiten en resultaten? -‐ Welke partners hebben samengewerkt om de ambities en doelstellingen te realiseren en hoe verliep deze samenwerking? -‐ Hoeveel geld gaat er in het wijkbeleid om en waar is dit geld aan besteed? En uit het rapport over subsidieverlening in de sector kunst en cultuur van de Rekenkamercommissie Amers-‐foort33: Centrale probleemstelling: Hoe is de kwaliteit van de verantwoording van subsidies op het gebied van Kunst en Cultuur te duiden, vooral wat betreft de geleverde prestaties en de effecten daarvan in relatie tot de gestelde doelen? De deelvragen voor het beleidskader luiden als volgt: -‐ Welke doelen stelt de gemeente inzake Kunst & Cultuur? -‐ Welke eisen stelt de gemeente alvorens subsidie toe te kennen? -‐ Welke eisen stelt de gemeente aan verantwoordingen achteraf? -‐ In hoeverre zijn de doelen onderdeel in het beleidstraject van toekenning tot verantwoording? -‐ Hoe is de communicatie over het al dan niet bereiken van de gestelde doelen richting de raad vormgegeven?

31 Rekenkamer Commissie gemeente Haarlemmermeer (2009), Veilig en vlot op weg. Een evaluatie van het beleid van de gemeente Haar-‐lemmermeer gericht op verkeersveiligheid en bereikbaarheid 32 Rekenkamer Tilburg (2009), Onderzoekplan gemeentelijk beleid impulswijken. In: Onderzoeksprogramma 2009 – 2010 33 Rekenkamercie Amersfoort (2009), Rekenkameronderzoek Subsidieverlening Kunst & Cultuur Amersfoort


23

De deelvragen voor de beleidspraktijk richten zich voor een deel op de gemeente als subsidieverstrekker en voor deel op de subsidieontvangers. Voor de gemeente gaat het om de volgende vragen: -‐ In welke mate leeft binnen de gemeente het besef om verantwoordingen te gebruiken als meetinstrument voor het al dan niet behalen van gestelde doelen en indien dit besef aanwezig is, hoe past men dit instrument in de praktijk toe? -‐ In hoeverre worden (mogelijke) subsidieontvangers 'gelinkt' aan de gestelde doelen? -‐ In hoeverre worden (mogelijke) subsidieontvangers in het algemeen op de hoogte gebracht van de gestelde doelen? Voor de subsidieontvangers gaat het om de volgende deelvragen: -‐ Is de toekenning volgens beleidsregels verlopen en passen de geplande activiteiten binnen de gestelde doelen inzake Kunst & Cultuur? -‐ Is de verantwoording volgens beleidsregels verlopen en passen de uitgevoerde activiteiten binnen de gestelde doelen inzake Kunst & Cultuur? -‐ Is de relatie van de verantwoording met de oorspronkelijke toekenning duidelijk aanwezig? -‐ Blijkt uit de verantwoording afdoende of de gestelde doelen al dan niet behaald zijn? En in het laatste geval: wat zijn de acties hierop geweest vanuit de gemeente? Deze vragen gaan in hoofdzaak over de techniek van de beleidsvoering, in het bijzonder de techniek die is ver-‐vat in het model van de beleidscyclus. In de uitwerkingen die rekenkamers hier aan geven ligt de nadruk op de vraag óf stappen in de cyclus gezet zijn en niet of (veel) minder op de inhoudelijke kwaliteit van die stappen: • In de onderzoekvragen komt met regelmaat aan de orde of in de beleidsvoorbereiding een maatschap-‐

pelijke probleemanalyse is uitgevoerd. Over de inhoudelijke robuustheid van die analyse en over de uitkomsten van die analyse worden nauwelijks vragen gesteld.

• In de onderzoekvragen komt vaak aan de orde of de beleidsdoelen duidelijk zijn verwoord (smart). Vragen over de inhoudelijke onderbouwing en de maatschappelijke betekenis van de doelen komen weinig voor.

• In de onderzoekvragen komt vaak aan de orde of beleidsdoelen zijn uitgewerkt in een strategie (instru-‐mentatie en organisatie van de uitvoering). Vragen over de inhoudelijke kwaliteit van de strategie worden weinig gesteld.

• In de onderzoekvragen komt vaak aan de orde of afspraken worden nagekomen en regels worden nage-‐leefd. Vragen over waarom dit wel respectievelijk niet gebeurt worden weinig gesteld.

• In de onderzoekvragen komt vaak aan de orde of gerapporteerd wordt over output en outcome van het beleid. Vragen naar waarom output en outcome zijn zoals ze zijn worden weinig gesteld; ook vragen naar beïnvloedende externe dynamiek worden weinig aangetroffen.

Kortom, in onderzoek dat door rekenkamers wordt aangeduid als doeltreffendheidsonderzoek hebben vragen over de mate waarin het ‘stadhuis’ z’n zaken op orde heeft de overhand boven vragen hoe het beleid in de maatschappij uitwerkt en of het de beoogde maatschappelijke effecten teweeg brengt. De aandacht gaat voor-‐al uit naar de ordelijkheid van het beleidsproces (wat wij de ‘beleidstechniek’ noemen), en veel minder naar de inhoud zoals de gevolgen van beleid voor doelgroepen en maatschappij. 3.1.2. Doelbereik Evaluatie van de doeltreffendheid bestaat in het algemeen uit twee onderdelen. Ten eerste de meting van het doelbereik, dus de mate waarin beoogde doelen wel, niet of gedeeltelijk behaald zijn (zie deze paragraaf). Ten tweede het zoeken naar verklaringen waarom het doelbereik is zoals het is, met daarin aandacht voor de mate waarin het beleid hierop van invloed is geweest: de causaliteit (zie paragraaf 3.1.3.). Meestal zijn rekenkamers niet in staat om tot conclusies over het doelbereik te komen. Dat heeft – zoals re-‐kenkamers vaak rapporteren -‐ twee oorzaken: ten eerste het ontbreken van duidelijke, meetbare doelom-‐


24

schrijvingen, ten tweede het ontbreken van voldoende informatie over het doelbereik. Zie bijvoorbeeld een passage in het onderzoek van de Rekenkamercommissie Hulst in onderzoek naar het grondbeleid34: Het goeddeels ontbreken van concrete doelstellingen bemoeilijkt het beoordelen van de doeltreffendheid van het beleid. Peters35 geeft op dit punt het volgende commentaar: … de doelstellingen zijn niet goed te vinden; ze verschillen per beleidsdocument, zijn vaag, niet meetbaar (of juist quasiprecies) geformuleerd. Dit geldt niet alleen voor de rekenkamer: zelfs het Rotterdamse college, dat sinds 1998 bestuurt op basis van collegeprogramma’s met meetbare doelstellingen, heeft nog steeds moeite met het formuleren van doelstellingen die effectiviteitsonderzoek mogelijk maken. Het betekent dat het startpunt voor de uitvoering en daarmee ook voor een onderzoek vaak problematisch is. Daarbij knaagt het gevoel dat als rekenkameronderzoekers zoveel moeite moeten doen voor het identificeren van de beleidsdoelstellingen, dat blijkbaar betekent dat het voor de betrokkenen binnen de gemeente niet duidelijk is waar het naartoe moet; maar dit terzijde. Waar toetsbare gemeentelijke doelstellingen ontbreken, bieden soms externe standaarden een uitweg. Voor-‐beelden waarvan in rekenkameronderzoek gebruik gemaakt worden zijn ondermeer de CROW-‐Richtlijn Essen-‐tiële Herkenbaarheidkenmerken van weginfrastructuur (Rekenkamercie Amersfoort36), het Handboek Sportac-‐commodaties van NOC-‐NSF (Rekenkamercommissie Coevorden37) en wettelijke normen inzake de behandeling van aanvragen voor bouwvergunningen (eveneens Rekenkamercommissie Coevorden38). Maar het kan anders. Het komt een enkele keer voor dat een rekenkamer eigen onderzoek doet naar het doel-‐bereik. In de selectie van 126 rapporten zijn daarvan de volgende voorbeelden aangetroffen: • In het kader van een onderzoek naar de straatreiniging in acht stadsdelen heeft de Rekenkamer Stadsdelen

Amsterdam39 een aantal schouwen laten uitvoeren naar de staat van onderhoud van de openbare ruimte en van het groen.

• De Rekenkamer Amsterdam40 paste de mystery guest methodiek toe in onderzoek naar de uitvoering van de WMO.

• In het kader van de afgifte van bouwvergunningen deed de Rekenkamer Coevorden41 survey-‐onderzoek naar de waardering van aanvragers van vergunningen voor de aanvraagprocedure.

• De Rekenkamer Den Haag42 voerde in het kader van onderzoek naar de effectiviteit van inburgering inter-‐views uit met personen die inburgeringstrajecten volgden, met ondermeer vragen naar de betekenis hi-‐ervan voor maatschappelijke participatie.

• Met het oog op de effectiviteit van re-‐integratie heeft de Rekenkamer Den Haag43 ondermeer casestudies uitgevoerd naar de gang van drie personen door het re-‐integratietraject; ook zijn eigen analyses opgesteld op grond van uiteenlopende secundaire (statistische) bronnen.

• In het kader van onderzoek naar voortijdig schoolverlaten interviewde de Rekenkamer Rotterdam44 54 vsv’ers.

34 Rekenkamercommissie Hulst (2010), Een onderzoek naar het grondbeleid in de gemeente Hulst. 35 K. Peters (2010), De moeilijkheid met effectiviteitsonderzoek. In: E. Boers e.a. (red.), De gracieuze rekenkamer. Uitgeverij Réunion. 36 Rekenkamercie Amersfoort (2008), Rekenkameronderzoek verkeersveiligheidsbeleid 1996 – 2006 37 Rekenkamercommissie Coevorden (2009).Verloren Ambitie. Geprivatiseerde sportaccommodaties in de praktijk: Eindrapport 38 Rekenkamercommissie Coevorden (2008), Bouwen met vertrouwen. Klantgerichtheid en doeltreffendheid van de bouwplanprocedure in Coevorden 39 Rekenkamer Stadsdelen Amsterdam (2009), Schoonhouden van de openbare ruimte. Straatreiniging in 8 Amsterdamse stadsdelen vergeleken. 40 Rekenkamer Amsterdam (2009), De Wmo in Amsterdam Het persoonsgebonden budget voor huishoudelijke hulp. 41 Rekenkamercommissie Coevorden (2008), Bouwen met vertrouwen. Klantgerichtheid en doeltreffendheid van de bouwplanprocedure in Coevorden 42 Rekenkamer Den Haag (2009), Werk maken van inburgering. Onderzoek naar resultaten inburgeringsbeleid. 43 Rekenkamer Den Haag (2009), Meedoen met ambitie. Onderzoek naar de resultaten van het Haagse re-‐integratiebeleid.


25

• De Rekenkamer Stadsdelen Amsterdam45 enquêteerde ondernemers over hun waardering voor instrumen-‐ten in het lokaal-‐economisch beleid (ondernemershuis en winkelstraatmanagement).

Dit zijn voorbeelden van onderzoek waarin de rekenkamer niet is gestopt bij de constatering dat gegevens over doelbereik niet voorhanden zijn, maar waarin de rekenkamer zelf op zoek gaat naar inzicht in het doelbereik. Met wel als kanttekening dat ook in de bovengenoemde onderzoeken ruimschoots plaats is ingeruimd voor onderwerpen betreffende de beleidscyclus. 3.1.3. Doeltreffendheid -‐ causaliteit In het algemeen is de bepaling van de causaliteit het meest weerbarstige onderdeel van doeltreffendheidson-‐derzoek: de verklaring van waarom doelen wel of niet gehaald zijn en de mate waarin gemeentelijk beleid van invloed geweest is op de resultaten. Het stellen van de vraag naar de causaliteit heeft in principe vooral zin wanneer er inzicht is in de mate van doelbereik; wanneer dat inzicht ontbreekt, kan de causaliteitsvraag in de lucht blijven hangen. Maar meer dan eens kan ook in die situatie de zoektocht naar verklaringen tot nuttige inzichten leiden. Het (goeddeels) ontbreken van inzicht in doelbereik is dus op zichzelf geen absolute contra-‐indicatie voor het uitvoeren van doeltreffendheidsonderzoek. Maar kennelijk zien rekenkamers dat wel als contra-‐indicatie: de causaliteitsvraag wordt in rekenkameronderzoek zelden gesteld. Er zijn wel enkele uitzonderingen waarin een rekenkamer – al dan niet met succes -‐ de zoektocht naar causali-‐teit heeft ondernomen. We geven er twee: • De Rekenkamercommissie Amersfoort46 deed onderzoek naar de ontwikkeling van de verkeersveiligheid.

Eerst is vastgesteld dat de beleidsdoelen in hoge mate gehaald zijn: de verkeersveiligheid was aanzienlijk verbeterd. Vervolgens zijn in het onderzoek tal van gegevens bij elkaar gebracht – ontwikkeling van aantallen slachtoffers gedifferentieerd naar typen, een benchmark met andere gemeenten, een detail-‐overzicht van maatregelen (infrastructureel en beheersmatig) -‐ waarmee met aanvaardbare mate van ze-‐kerheid een conclusie kon worden getrokken over de doeltreffendheid van het beleid dat de gemeente Amersfoort gedurende tien jaar gevoerd heeft.

• De Rekenkamer Rotterdam47 voerde in samenwerking met de rekenkamers van de andere grote steden onderzoek uit naar het beleid ter vermindering van de luchtvervuiling. Het beleid omvat een groot aantal projecten die tezamen het beoogde resultaat tot stand zouden moeten brengen. In het onderzoek zijn conclusies getrokken over de mate van doelbereik. En in het onderzoek is voor zover beschikbare gegevens dat toelieten, nagegaan hoe het doelbereik tot stand is gekomen, dus: hoe verklaard kan worden waarom wel/niet bereikt is wat wel/niet bereikt is. Dit laatste is uitgevoerd door voor een aantal deelprojecten na te gaan hoe de uitvoering verlopen is, tot welke beleidsprestaties dit leidde (of heeft kunnen leiden) en in welke mate dit heeft kunnen bijdragen aan het doelbereik.

In het onderzoek ‘Een spiegel van het lokale rekenkamerlandschap’ komt een andere factor naar voren die een barrière vormt voor het uitvoeren van doeltreffendheidsonderzoek48: In interviews en rondetafelgesprekken komt naar voren dat effectiviteitsonderzoek over het algemeen moeilijker onderzoek wordt gevonden dan bijvoorbeeld rechtmatigheidsonderzoek en bedrijfsvoerings-‐onderzoek. Het vergt meer inspanningen (en daarmee financiële middelen) en methodisch gezien is onderzoek naar maatschappelijke effecten complex.

44 Rekenkamer Rotterdam (2008), Zonder diploma geen relaxed werk. 54 schoolverlaters en het gemeentelijk beleid. 45 Rekenkamer Stadsdelen Amsterdam (2008), Lokale economie. Ondersteuning van ondernemers in Amstedam-‐West. 46 Rekenkamercie Amersfoort (2008), Rekenkameronderzoek verkeersveiligheidsbeleid 1996 – 2006 47 Rekenkamer Rotterdam (2011), Een slag in de lucht. Effecten van beleid luchtkwaliteit; plus losse bijlage. 48 Th. v.d. Zee en E. d. Jong (2010), Een spiegel van het lokale rekenkamerlandschap. Groningen: Beyond


26

3.1.4. Commentaar Er bestaan verscheidene definities van en beelden over doeltreffendheidsonderzoek. We geven hier de om-‐schrijving van de Algemene Rekenkamer. Eerst wordt het doelbereik onderzocht, vervolgens de doeltreffend-‐heid: Doeltreffendheidsonderzoek binnen de Algemene Rekenkamer is onderzoek naar de vraag in hoeverre dankzij het regeringsbeleid de gewenste beleidsresultaten worden bereikt. Onder beleidsresultaten worden zowel prestaties (output) als de daarmee gerealiseerde effecten (outcome) verstaan. Ons inziens mag de omschrijving van doeltreffendheidsonderzoek iets breder gesteld worden, namelijk onder-‐zoek naar de verklaringen waarom wel/niet bereikt is wat wel/niet bereikt is. Tot die verklaringen behoort niet alleen het gevoerde beleid, maar ook het optreden van andere dan gemeentelijke uitvoerders van beleid en ook de invloed van externe dynamiek. Het bovenstaande leidt tot de conclusie dat rekenkamers in feite vrijwel geen doeltreffendheidsonderzoek doen49. Kortenbach50 schrijft, onder verwijzing naar de website van de NVRR: Niet alles wat doeltreffendheidsonderzoek heet is dat ook. In onderzoek door gemeentelijke rekenkamers wordt vaak niet het doelbereik vastgesteld; aan onderzoek naar doeltreffendheid komt men (dan) niet meer toe. Wel is er volop aandacht voor thema’s als de wijze van formu-‐leren van doelstellingen, de informatievoorziening aan de raad en de nakoming van afspraken en naleving van regels; dus voor de beleidstechniek. 3.2. Doelmatigheid Doelmatigheidsonderzoek is in het algemeen weerbarstig, niet alleen bij rekenkameronderzoek. Het gaat in doelmatigheidsonderzoek in beginsel om de relatie tussen kosten en baten van beleid, door de Algemene Re-‐kenkamer51 als volgt omschreven: Wanneer we ons afvragen of de effecten respectievelijk prestaties van beleid doelmatig zijn gerealiseerd door de betrokken organisatie(s), gaat het erom: -‐ of deze effecten respectievelijk prestaties door die organisatie(s) niet met de inzet van minder middelen gerealiseerd hadden kunnen worden; dan wel -‐ of niet méér effecten respectievelijk prestaties door de organisatie(s) verwezenlijkt hadden kunnen worden met dezelfde inzet van middelen. Maar in de praktijk wordt doelmatigheidsonderzoek doorgaans niet vanuit deze vraagstelling uitgevoerd omdat dit complex en omvangrijk onderzoek vergt. Onderzoek naar doelmatigheid wordt in het algemeen in beleids-‐evaluaties uitgewerkt in de vorm van evaluatie van de procesgang en/of evaluatie van de organisatie. Over het doelmatigheidsonderzoek door rekenkamers valt het volgende op te merken.

49 Ook Jongejan c.s. (2007) constateerden dat – niet meer dan -‐ 10% van de onderzoeken over re-‐integratie ging over doeltreffendheid en doelmatigheid, en dan nog vooral over ‘.. de vraag of de beleidsdoelen zijn gerealiseerd’. Zie: S. Jongejan c.s. (2007), Bouwstenen voor onderzoek naar de effectiviteit van rijksbeleid. Over de bruikbaarheid van doeltreffendheidonderzoek door lokale rekenkamers. TPC: tijdschrift voor public governance, audit & control 5,1, pp. 30 -‐ 34. 50 G. Kortenbach (2008), Public audit en de decentrale rekenkamer. Wat kan de decentrale rekenkamer toevoegen aan de publieke verant-‐woording? TPC: tijdschrift voor public governance, audit & control 6, 2, pp. 25 – 29. 51 Algemene Rekenkamer (2005), Handleiding onderzoek naar doelmatigheid en doeltreffendheid.


27

Twee in de lijst van 126 rekenkamerrapporten voeren het begrip doelmatigheid in de titel; in beide gevallen is het onderzoek naar het accommodatiebeleid. Doelmatigheid komt wel in veel rapporten ter sprake in combina-‐tie met doeltreffendheid. Een duidelijke begripsomschrijving ontbreekt doorgaans. Soms betreft het een zeer brede omschrijving zoals in een rapport van de Rekenkamercommissie Beverwijk52: Hierbij staat de relatie tussen doelen, middelen, uitvoeringsproces en geleverde prestaties centraal. Hieronder laten we de twee vormen van doelmatigheidsonderzoek de revue passeren: uitwerking van het fi-‐nanciële aspect (3.2.1.) en beleidsuitvoering (3.2.2.). 3.2.1. Het financiële aspect Aan de hand van onderzoek van de Rekenkamer Maastricht53 in de sector onderwijs kan geïllustreerd worden hoe in rekenkamerrapporten doelmatigheid in financiële zin operationeel gemaakt wordt. Het normenkader bevat vijf normen: 1. De uitgaven per jaar ten opzichte van het fictieve budget dat de gemeente ontvangt uit het gemeentefonds, wijken per jaar gemiddeld minder dan 5% af. (…) 2. De relatieve uitgaven: hierbij wordt gekeken naar de accommodatie-‐uitgaven in 2006 per hoofd van de bevolking en per leerling. Deze worden vergeleken met dezelfde uitgaven per hoofd en per leerling met vergelijkbare steden. De norm is dan dat de uitgaven per leerling niet extreem (d.w.z. < 20%) afwijken van de gemiddelde uitgaven per leerling in vergelijkbare steden. Lage uitgaven per leerling wijzen op doelmatige uitgaven. 3. De realisaties laten ten opzichte van de begrote bedragen geen extreme over-‐ of onderschrijdingen zien. Concreet: de realisaties wijken minder dan + of – 10% af van de begroting. (…) 4. Er is geen sprake van substantiële overcapaciteit in termen van vierkante meters of lokalen. Overcapaciteit duidt op ondoelmatigheid. Als norm houdt de rekenkamer aan dat minder dan 15 lokalen door het onderwijs niet benut worden. Meer dan 15 duidt op ondoelmatigheid. 5. De mate waarin de gemeente in de beoordeling van aanvragen voor middelen voor accommodaties rekening houdt met doelmatigheid. Indicatoren hierbij zijn onder meer de expliciete afweging investeren of desin-‐vesteren, koop versus huur, permanente of tijdelijke huisvesting, waarbij rekening gehouden wordt met de onderwijskundige randvoorwaarden. (…) De eerste vier normen geven een indicatie voor de feitelijke doelmatigheid, terwijl de vijfde norm ingaat op de vraag of in de toekenningsystematiek doelmatigheid wordt meegewogen. (…) Daarbij merkt de rekenkamer op dat doelmatigheid desondanks betrekkelijk is, omdat altijd naar de func-‐tionele relatie van de uitgaven gekeken moet worden. Daarmee is bedoeld dat ook de onderwijskundige con-‐text bij de interpretatie betrokken moet worden. In het onderzoek Met de knip op de beurs54 (Rekenkamercommissie Beek Eijsden Gulpen-‐Wittem Meerssen Nuth Valkenburg aan de Geul, 2008) wordt inzake sportaccommodaties een vergelijkbaar normenkader toege-‐past, met op twee punten een verbreding: • De financieringsvorm van de sportaccommodaties: direct vanuit de gemeentelijke begroting (met verhuur

van de accommodatie aan de sportverenigingen) versus indirect namelijk via gemeentelijke subsidie aan de investerende vereniging(en).

52 Rekenkamercommissie Beverwijk (2008), WWB-‐beleid in beschouwing. 53 Rekenkamer Maastricht (2008), Doelmatigheid van het accommodatiebeleid (i.h.b. onderwijshuisvesting) 54 Rekenkamercommissie Beek Eijsden Gulpen-‐Wittem Meerssen Nuth Valkenburg aan de Geul (2008), Met de knip op de beurs. Doel-‐matigheid van het accommodatiebeleid in Eijsden.


28

• De besluitvorming: de manier waarop de gemeente doelmatigheid tot onderwerp van gesprek met de verenigingen maakt.

Het bovenstaande bevat de twee meest gebruikte ingrediënten van de meting van doelmatigheid in financiële zin: benchmarking met andere gemeenten en de vergelijking tussen begrote en feitelijke kosten. 3.2.2. Uitvoering Als gezegd, in veel evaluatieonderzoek -‐ niet alleen in rekenkameronderzoek – wordt de doelmatigheidsvraag uitgewerkt in onderzoek naar de procesgang in beleid en/of uitvoering. Op zichzelf is dat van betekenis omdat slagen of falen van beleid meer dan eens terug te voeren is op de kwaliteit van de uitvoering. En daarmee is de uitvoering van beleid een voornaam onderdeel van de doeltreffendheidsevaluatie, ofschoon rekenkamers die relatie doorgaans niet leggen. In een aantal gevallen is de procesgang expliciet onderwerp van onderzoek, namelijk in onderzoek naar crises of rampen, bijvoorbeeld het onderzoek naar budgetoverschrijdingen bij een bouwproject van de Rekenkamer Eindhoven55. We zien bij rekenkameronderzoek naar de uitvoering van beleid vaak dat de reikwijdte van het onderzoek naar de uitvoering versmald wordt tot de vraag of afspraken of regels toegepast worden. Een voorbeeld hiervan zijn onderstaande normen in het onderzoek Groen op rantsoen van de Rekenkamer Haarlemmermeer56: • Groenspecialisten en toezichthouders worden geïnformeerd over nieuwe inrichtingsprojecten en om ad-‐

vies gevraagd. • Het College informeert de Raad jaarlijks over de aard en afhandeling van klachten en meldingen van burg-‐

ers. • Er wordt per inrichtingsproject een programma van eisen opgesteld waarin rekening wordt gehouden met

inrichting-‐ én onderhoudsaspecten. • De groenspecialisten, toezichthouders en gebiedsmanagers overleggen minimaal iedere maand of de

uitvoering conform het bestek verloopt, de inbreng van dorps-‐ en wijkraden en burgers en andere mo-‐gelijke knelpunten in het onderhoud.

• Alle bij inrichting en onderhoud betrokken medewerkers zijn tevreden over de onderlinge samenwerking en afstemming en eventuele knelpunten worden aangepakt.

• (…) • (…) • De toezichthouders kunnen niet-‐naleving van de bestekken sanctioneren. Dit normenkader bevat procesnormen, bijvoorbeeld over informatieoverdracht, over de aanwezigheid van beleidsdocumenten, over overleg, en dergelijke. Maar er zijn ook enkele voorbeelden waarin de organisatie van de uitvoering meer dynamisch wordt onder-‐zocht. Twee voorbeelden zijn: • De Rekenkamer Rotterdam57 deed onderzoek naar het beleid inzake voortijdig schoolverlaten. Daarin is

nagegaan hoe – in de ogen van vsv’ers – de ondersteuningsstructuur en de daarin toegepaste instrumen-‐ten werkten. Het onderzoek leidde tot adviezen voor de invulling van de gemeentelijke regierol.

• De Rekenkamer Amsterdam58 deed in de sector jeugdzorg onderzoek naar het functioneren van – de aan-‐sturing van -‐ het netwerk waarin hulpverlening aan jongeren van 12 – 18 jaar tot stand komt en uitgevoerd

55 Rekenkamer Eindhoven (2008), Een mooie voorstelling. Een onderzoek naar de procesgang rond het rapport inzake het Parktheater. 56 Rekenkamer Haarlemmermeer (2008), Groen op rantsoen. Een evaluatie van de inrichting, het onderhoud en de organisatie van het groen in en rond wijken en kernen. 57 Rekenkamer Rotterdam (2008), Zonder diploma geen relaxed werk. 54 voortijdig schoolverlaters en het gemeentelijk beleid.


29

wordt. Met organisaties binnen dit netwerk -‐ ondermeer een aantal overheidsorganisaties en een aantal uitvoerende instellingen – is in het onderzoek gesproken.

In deze twee voorbeelden wordt het uitvoeringsproces niet alleen beoordeeld op hetgeen eerder afgesproken is of op min of meer algemeen geldende normen over uitvoeringskwaliteit, maar hier worden ook ervaringen en opvattingen van uitvoerders en/of doelgroep in de evaluatie betrokken. Een ander voorbeeld is het eerder genoemde onderzoek van de Rekenkamer Rotterdam59 inzake luchtverontreiniging (zie paragraaf 3.1.3.); hierin is het uitvoeringsproces op deelprojectniveau onderzocht met het oog op verklaringen van de mate van doel-‐bereik. 3.2.3. Commentaar Het rekenkameronderzoek naar doelmatigheid heeft een beperkte toegevoegde waarde. De kernvragen rond doelmatigheid – de verhouding tussen kosten en baten -‐ worden vrijwel niet onderzocht. Waar doelmatigheid geïnterpreteerd wordt als onderzoek naar de uitvoeringsprocessen domineert de beleidstechnische invalshoek (navolging van afspraken, regels, en dergelijke). En waar verdiepend onderzoek wordt uitgevoerd naar uitvoe-‐ringsprocessen wordt doorgaans niet de relatie gelegd met de doeltreffendheid: de uitvoering als mede verkla-‐rende factor voor het al dan niet realiseren van doelen. 3.3. Rechtmatigheid In de selectie van 126 rekenkameronderzoeken bevonden zich geen onderzoeken die expliciet als rechtmatig-‐heidsonderzoek zijn aangeduid. Wel is er een enkel onderzoek dat niet als zodanig is aangeduid maar wel ken-‐merken daarvan heeft zoals het hierboven aangehaalde onderzoek van de Rekenkamer Eindhoven60 naar de procesgang inzake het Parktheater waar er de schijn was van dubbele belangen rond de verstrekking van een onderzoekopdracht. Anderzijds is rechtmatigheid – ook al is het begrip door rekenkamers niet gedefinieerd – een aspect dat in tal van andere onderzoeken wel aan de orde komt. Eerder is al het rapport gememoreerd van de Rekenkamer-‐commissie Coevorden61 naar de afgifte van bouwvergunningen: het wettelijk kader wordt hierin gebruikt als toetsingscriterium. En dit geldt ook voor de vele onderzoeken rond de interne gemeentelijke regelgeving en vastgesteld beleid zoals de subsidieverordening, de comptabiliteitsvoorschriften of vastgesteld beleid over burgerparticipatie als toetsingskader in onderzoek naar doeltreffendheid of doelmatigheid. Deze toepassing van regels of beleid kan gezien worden als een vorm van rechtmatigheidsonderzoek. De Rekenkamer Rotterdam constateerde uit een analyse van eigen rapporten dat de aandacht voor de ‘juridi-‐sche rationaliteit’ gaandeweg afgenomen is. En schrijft vervolgens62: Wat betreft de verminderde aandacht van de rekenkamer voor regels spelen mogelijk de antwoorden van de onderzochten op de rapporten een rol. We hebben gezien dat de regelgerichte benadering door B en W en deelgemeenten vaak als te strikt werd afgedaan en dat daarvoor in de plaats meer aandacht voor het proces en de relatie nodig is. Het is de rekenkamer in de desbetreffende rapporten niet gelukt de onderzochte te over-‐tuigen van de noodzaak van een juridische rationaliteit in bestuur en beleid. Dit laatste roept natuurlijk de vraag op of de rekenkamer de juridische rationaliteit moet laten zijn voor wat die is, of dat zij met grotere kracht deze visie bij het bestuur voor het voetlicht moet brengen.

58 Rekenkamer Amsterdam (2008), Jeugdzorg. Hulpverlening voor jongeren tussen 12 en 18 jaar 59 Rekenkamer Rotterdam (2011), Een slag in de lucht. Effecten van beleid luchtkwaliteit; plus digitale bijlage. 60 Rekenkamer Eindhoven (2008), Een mooie voorstelling. Een onderzoek naar de procesgang rond het rapport inzake het Parktheater. 61 Rekenkamercommissie Coevorden (2008), Bouwen met vertrouwen. Klantgerichtheid en doeltreffendheid van de bouwplanprocedure in Coevorden 62 R. Willemse (2009), Tussen beleid en politiek. Tien jaar bestuursvisie van de Rekenkamer Rotterdam. In: Rekenkamer Rotterdam, Gedreven en genuanceerd. Tien jaar Rekenkamer Rotterdam 1998 -‐ 2008.


30

Commentaar In het algemeen lijkt er geen reden te zijn om rechtmatigheid als een aparte onderzoekcategorie in de opdracht van rekenkamers te beschouwen. De toegevoegde waarde – mede ten opzichte van de accountantscontrole – is beperkt en wordt door rekenkamers zelden opgezocht. 3.4. Normenkaders Een kenmerkende en hardnekkige praktijk in het rekenkameronderzoek is die van de toepassing van normen-‐kaders: bij de aanvang van een onderzoek wordt vastgesteld aan welke normen de bevindingen getoetst wor-‐den. Het normenkader is ooit door Hakvoort en Klaassen63 aangeduid als de ‘.. essentie bij rekenkameronder-‐zoek’; dit is verbonden aan de opvatting van de auteurs dat in rekenkameronderzoek oordeelsvorming van meer gewicht is dan het leerproces op grond van onderzoeksbevindingen De normatiek is ook onderdeel van de beoordelingscriteria voor de Goudvink en de Groenling64. Rekenkamers expliciteren in het normenkader de wijze waarop zij oordelen. De Handleiding onderzoek van de NVRR65 (2008) zegt daarover het volgende: Dit normenkader is sturend voor de uitvoering van het onderzoek. Het onderzoek zal immers zodanig moeten worden opgezet dat een oordeel gegeven moet kunnen worden over de aangetroffen praktijk. In Bijlage 3 zijn twee typerende voorbeelden opgenomen van normenkaders (in doeltreffendheidsonderzoek) waarin de beleidscyclus is uitgewerkt in normen en criteria. In beide voorbeelden wordt de beleidscyclus uit-‐eengelegd in een aantal stappen, en per stap wordt weergegeven hoe in de ogen van de rekenkamer die stap gezet zou moeten worden. Normen zijn deels eenduidig ..: Rekenkamercommissie Den Bosch -‐ Subsidies: kiezen en (ver)delen66: De beschikkingen voldoen aan de eisen die daaraan gesteld worden in de ASV. Rekenkamer Rotterdam -‐ Een steentje bijgedragen67: De geplande maatregelen/instrumenten zijn daadwerkelijk genomen/ingezet. .. en deels voor verschillende uitleg vatbaar: Rekenkamercommissie Den Bosch -‐ Subsidies: kiezen en (ver)delen: Daar waar de gemaakte afspraken niet zijn nageleefd wordt altijd afgewogen of dit consequenties dient te hebben voor de vaststelling van de subsidie. Indien nodig vindt overleg plaats. Rekenkamer Rotterdam -‐ Een steentje bijgedragen: Het ‘aantal’ (d.i. het aantal maatregelen -‐ dh) is redelijkerwijs voldoende om het doel te halen. Rekenkamers geven doorgaans geen motivering van de keuze van de normen. Wel wordt in voorkomende gevallen naar specifieke bronnen verwezen voor de inhoudelijke vulling van het normenkader; het gaat dan om:

63 J. Hakvoort en H. Klaassen (2006), Methodische en politiek-‐bestuurlijke aspecten van provincial en lokaal rekenkameronderzoek. TPC 4, 1 64 Zie bijvoorbeeld NVRR Goudvink en Groenling 2009. Juryverslag. 65 NVRR (2008), Handreiking onderzoek locale Rekenkamers en Rekenkamercommissies. 66 Rekenkamercommissie ’s-‐Hertogenbosch (2008), Subsidies: kiezen en (ver)delen. Onderzoek naar de beleidsrelevantie van subsidies voor sport en cultuur. 67 Rekenkamer Rotterdam (2007), Een steentje bijgedragen, Inkomenseffecten van woningbouw in Rotterdam.


31

• wet-‐ en regelgeving • pseudo-‐regegeving • lokaal vastgesteld beleid • wetenschappelijke en vakliteratuur • professionele inzichten In het overgrote deel van de rekenkameronderzoeken zijn normenkaders toegepast die vergelijkbaar zijn met de in Bijlage 3 opgenomen voorbeelden. In enkele gevallen is geen sprake van een (expliciet) normenkader. Een voorbeeld hiervan is het al eerder genoemde rapport van de Rekenkamercommissie Eindhoven68 ‘Een mooie voorstelling?’. In het rapport wordt niet uitgelegd waarom niet een normenkader is toegepast. In het rapport ‘Een slag in de lucht’ van de Rekenkamer Rotterdam69 naar effecten van beleid inzake luchtkwali-‐teit (zie boven) wordt deels wel en deels niet een normenkader toegepast. Wel worden normen gesteld voor de beleidsvoering (onder andere over de beleidsvoorbereiding en over het karakter van de doelstellingen). En ook worden normen gesteld over uitvoering en doelbereik. Maar bij de derde onderzoekvraag worden geen normen gesteld; deze onderzoekvraag luidt: ‘Wat zijn succes-‐ en faalfactoren bij de uitvoering en het bereiken van de beoogde resultaten van de maatregelen ter verbetering van de luchtkwaliteit?’. Hierover wordt het volgende geschreven: Onderzoeksvraag 3 is een exploratieve vraag. Dit wil zeggen dat aan de hand van de onderzoeksbevindingen en de G4-‐vergelijking succes-‐ en faalfactoren worden onderscheiden. Hierbij wordt geen vaststaande lijst van mogelijke criteria gehanteerd. Om deze reden zijn bij onderzoeksvraag 3 geen normen geformuleerd. Bij explorerende onderzoekvragen past geen normenkader. Commentaar In het algemeen is het voordeel van normenkaders dat toepassing hiervan leidt tot transparante onderzoek-‐rapportages. Meestal wordt in onderzoekrapportages van rekenkamers goed duidelijk langs welke weg de conclusies tot stand komen. Eveneens in het algemeen is het nadeel of risico dat men bij gebruik van normenkaders middels het onderzoek niet door de onderzochte werkelijkheid verrast kan worden, of nieuwe inzichten kan opdoen. Immers, onder-‐zoekers zoeken naar gegevens die iets zeggen over de normen en hebben minder of geen oog voor al het ande-‐re. Vervolgens speelt de wijze waarop invulling gegeven wordt aan de normenkaders een rol. In overeenstemming met wat eerder in dit hoofdstuk is geschreven, blijkt dat normenkaders voor het overgrote deel zijn gevuld met normen ontleend aan het denken in de beleidscyclus en de daaraan verbonden beleidstechniek. We hebben eerder in dit hoofdstuk al beschreven wat de beperkingen hiervan zijn: deze denkwijze kan niet leiden tot ver-‐klarende inzichten en biedt daarmee geen perspectief op onderzoekresultaten die naar doeltreffender beleid kunnen leiden; het enige perspectief is dat in het stadhuis op een meer ordentelijke wijze beleid gemaakt wordt. Het zojuist aangehaalde voorbeeld van de Rekenkamer Rotterdam in het onderzoek ‘Een slag in de lucht’ is hiervan een illustratie: bij het verwerven van inzicht in succes-‐ en faalfactoren heeft een normenkader geen functie70. Tot slot zijn in deze aanpak – normstelling op basis van beleidscyclus en beleidstechniek -‐ de onderzoekuit-‐komsten goed voorspelbaar.

68 Rekenkamer Eindhoven (2008), Een mooie voorstelling. Een onderzoek naar de procesgang rond het rapport inzake het Parktheater. 69 Rekenkamer Rotterdam (2011), Een slag in de lucht. Effecten van beleid luchtkwaliteit; plus losse bijlage. 70 Zie ook G. Monod de Froideville e.a. (2010), Opwaaiend stof in Rekenkamerland. (Over) de grenzen van de conventie. Den Haag: Bureau KLB-‐ voorbeeld 10 op pag. 23


32

3.5. Aanbevelingen Vrijwel alle rekenkamerrapporten bevatten aanbevelingen. Deze paragraaf laat zien welke typen aanbevelingen gedaan worden. Het onderstaande is gebaseerd op een detailanalyse van 22 willekeurig geselecteerde rappor-‐ten uit de lijst van 126 rapporten waarop deze tekst is gebaseerd. Tabel 3.1. geeft het overzicht van typen aanbevelingen; de typologie is opgebouwd vanuit hetgeen in de rap-‐porten is aangetroffen. Per type is aangegeven in welke mate het voorkomt (in procenten van alle aanbeve-‐lingen in de 22 rapporten) en vervolgens worden enkele kenmerkende voorbeelden gegeven. Uit de tabel blijkt dat aanbevelingen over de informatievoorziening de grootste categorie vormen (29%), ge-‐volgd door beleidsdoelen en –kaders (26%). Voorts hebben aanbevelingen betrekking op de uitvoering, de ambtelijke organisatie, de beleidsinhoud en de financiën. Tabel 3.1. Typen aanbevelingen in een selectie van rekenkamerrapporten Typen aanbevelingen % Beleidsinformatie 29 Beleidsdoelen en -‐kaders 26 Uitvoering 18 Ambtelijke organisatie 12 Beleidsinhoud 10 Financiën 5 Totaal 100 Hieronder volgen enkele kenmerkende voorbeelden van aanbevelingen, geordend naar de zes typen. A. Beleidsinformatie De omvangrijkste categorie aanbevelingen is die over beleidsinformatie. De categorie beleidsinformatie om-‐vat71: • Beleidsinformatie over de maatschappelijke ontwikkeling op het thema van het rapport • Beleidsinformatie waarvan uitdrukkelijk is aangegeven dat deze voor de raad nodig is • Beleidsinformatie over resultaten en effecten van beleid • Beleidsinformatie over de wijze waarop het college het beleid uitvoert • Beleidsinformatie over de wijze waarop derden het beleid uitvoeren. De onderstaande voorbeelden laten deze soorten aanbevelingen zien. Rekenkamer Rotterdam -‐ Een steentje bijgedragen72 Zorg voor inzicht in de inkomenssamenstelling en de woningvoorraad van Rotterdam: investeer in het verkrijgen van de gegevens die dit inzicht kunnen bieden, zoals inkomensgegevens en gegevens over leegstand. Gebruik deze gegevens ook om periodiek te bepalen of de ingezette maatregelen daadwerkelijk leiden tot de beoogde effecten. Rekenkamer Haarlemmermeer -‐ Groen op rantsoen73

71 De categorieën sluiten elkaar niet uit. 72 Rekenkamer Rotterdam (2007), Een steentje bijgedragen, Inkomenseffecten van woningbouw in Rotterdam. 73 Rekenkamer Haarlemmermeer (2008), Groen op rantsoen. Een evaluatie van de inrichting, het onderhoud en de organisatie van het groen in en rond wijken en kernen.


33

Vraag als Raad het College niet alleen om financiële terugkoppeling over de inrichting en het onder-‐houd van het openbaar groen in en rond wijken en kernen, maar ook om inhoudelijke informatie, zoals bijvoorbeeld inzicht in de actuele waardering van burgers voor het openbaar groen en de wijze waarop de gemeente burgers betrekt bij de inrichting en het onderhoud van het groen in en rond hun wijk of kern. Rekenkamer Maastricht -‐ Jeugdveiligheidsbeleid74 Een eerste aanbeveling is serieus werk te maken van de monitoring van de effecten van het gevoerde beleid. Van belang is deze monitoring meer dan tot nu toe het geval is rechtstreeks te koppelen aan de doelstellingen en bijbehorende indicatoren die vooraf zijn geformuleerd. Ommelander Rekenkamer – Armoedebeleid Stadskanaal75 .. het college op te dragen om aan te geven wat de oorzaak is van de hoge uitvoeringskosten in het kader van de bijzondere bijstand. Rekenkamer Stadsdelen Amsterdam -‐ Jeugdbeleid76 Neem in de subsidiebeschikking als voorwaarde voor subsidievaststelling de verplichting van een eindverantwoording over de geleverde prestaties op. Borg daarbij de betrouwbaarheid van de gegevens. B. Beleidsdoelen en –kaders De aanbevelingen inzake beleidsdoelen en –kaders houden in dat de raad en/of het college aanbevolen wordt om doelen vast te stellen. Rekenkamercommissie Beverwijk -‐ WWB-‐ beleid77 Formuleer de doelen van het Wwb-‐beleid op zodanige wijze, dat het SMART-‐gehalte wordt vergroot. Alleen op deze wijze kan de gemeente zich verantwoorden over de doelmatigheid en doel-‐treffendheid van het beleid; Rekenkamercommissie Tilburg -‐ Wegenbeheer78 De gemeenteraad moet heldere beleidsdoelstellingen vaststellen die kunnen worden gemonitord. C. Uitvoering Onderstaande voorbeelden illustreren op welke wijzen rekenkamers zich uitspreken op het terrein van de uit-‐voering van beleid. Ommelander Rekenkamer – Armoedebeleid Stadskanaal79 .. bij de herijking van het armoedebeleid te overwegen om beleid meer te richten op een ketenbe-‐nadering. Hierbij leveren partners als woningcorporaties, kerken, voedselbanken e.d. een goede mogelijkheid om de doelgroep nog beter te bereiken. Rekenkamer Haarlemmermeer -‐ Groen op rantsoen80 Voor een breed draagvlak onder de burgers en een hogere waardering, is het belangrijk om de burg-‐

74 Rekenkamer Maastricht (2008), Jeugdveiligheidsbeleid gemeente Maastricht 75 Ommelander Rekenkamer (2007), Onderzoek armoedebeleid gemeente Stadskanaal 76 Rekenkamer Stadsdelen Amsterdam (2008), Jeugdbeleid in Amsterdam. Vrijetijdsbesteding voor jongeren: de stadsdelen vergeleken. 77 Rekenkamercommissie Beverwijk (2008), WWB –beleid in beschouwing 78 Rekenkamercommissie gemeente Tilburg (2008), Het wegenbeheer in de gemeente Tilburg. Onderzoek naar de effectiviteit en de effi-‐ciency van het wegenbeheer 79 Ommelander Rekenkamer (2007), Onderzoek armoedebeleid gemeente Stadskanaal 80 Rekenkamer Haarlemmermeer (2008), Groen op rantsoen. Een evaluatie van de inrichting, het onderhoud en de organisatie van het groen in en rond wijken en kernen.


34

ers te betrekken bij deze meerjarenplanning van herinrichting en onderhoud. Wij bevelen aan dit te realiseren door burgers inspraak/medezeggenschap te geven over de prioritering en inhoud van de werkzaamheden. Daar hoort ook een heldere communicatie over wat wel en niet mogelijk is bij. Ook bevelen wij aan de burgers op de hoogte te brengen van de meerjarenplanning. Rekenkamercommissie ’s-‐Hertogenbosch -‐ Subsidies kiezen en verdelen81 Aanbeveling 3: maak de Algemene Subsidieverordening flexibeler De Rekenkamercommissie beveelt aan om de ASV en deelverordeningen ‘flexibeler’ maken, waar-‐door andere of nieuwe beleidsaccenten (bijvoorbeeld op het terrein van sport of cultuur) beter en sneller in het subsidiebeleid tot uitdrukking kunnen komen. Het college zou de mogelijkheden hiertoe in een voorstel aan de raad kunnen presenteren. D. Ambtelijke organisatie Rekenkamers doen meer dan eens aanbevelingen over inrichting en functioneren van de ambtelijke organisa-‐ties; onderstaande voorbeelden illustreren dit. Rekenkamer Rotterdam -‐ Aanwijzingen voor inhuur82 Vergroot het lerend vermogen van de diensten met behulp van de evaluaties en de reeds eerder aanbevolen database van inhuurprocessen. Rekenkamer Stadsdelen Amsterdam -‐ Jeugdbeleid83 Houdt enige structurele formatie bij het stadsdeel in stand ten dienste van jeugdbeleid en jongeren-‐werk. Rekenkamercommissie Oegstgeest -‐ Publieke dienstverlening84 Maak een lid van het managementteam expliciet verantwoordelijk voor de agendering en rapporter-‐ing over de voortgang van de verbeteringen. E. Beleidsinhoud Tien procent van de aanbevelingen heeft een beleidsinhoudelijke strekking: zie de onderstaande voorbeelden. Rekenkamer Amsterdam-‐Centrum -‐ Vastgoedbeleid centrum85 Pas de beleidshuren voor de doelgroepen ook in de toekomst toe. Breng in voorkomende gevallen de huren alsnog op het niveau van het huurprijzenbeleid . Den Haag Werk maken van inburgering86 De gemeente zou inburgeraars meer dan nu moeten aanzetten tot het nemen van de eigen verant-‐woordelijkheid voor het succesvol doorlopen van het traject en het beter integreren door betere begeleiding en ondersteuning, aansluitend op de individuele wensen en mogelijkheden. F. Financiën De minst omvangrijke categorie aanbevelingen is die over de financiële aspecten. Rekenkamer Amsterdam-‐Centrum -‐ Vastgoedbeleid centrum87 Vorm de huidige reserve om tot een onderhoudsvoorziening. Leg vooraf de onderhoudsplanning en

81 Rekenkamercommissie ’s-‐Hertogenbosch (2008), Subsidies: kiezen en (ver)delen. Onderzoek naar de beleidsrelevantie van subsidies voor sport en cultuur. 82 Rekenkamer Rotterdam (2007), Aanwijzingen voor inhuur. De inhuur van externe deskundigheid. 83 Rekenkamer Stadsdelen Amsterdam (2008), Jeugdbeleid in Amsterdam. Vrijetijdsbesteding voor jongeren: de stadsdelen vergeleken. 84 Rekenkamercommissie Oegstgeest Wassenaar Voorschoten (2008), Onderzoek publieke dienstverlening in de gemeente Oegstgeest. 85 Rekenkamer Amsterdam-‐Centrum (2008), Vastgoedbeleid Amsterdam-‐Centrum 86 Rekenkamer Den Haag (2009), Werk maken van inbrugering. Onderzoek naar resultaten inburgeringsbeleid. 87 Rekenkamer Amsterdam-‐Centrum (2008), Vastgoedbeleid Amsterdam-‐Centrum


35

de kredietbesluiten voor de te activeren kosten ter goedkeuring voor aan de stadsdeelraad. In-‐formeer de stadsdeelraad over de realisatie in termen van voortgang, geld en inhoud. Tilburg -‐ Wegenbeheer88 Als gevolg van de toename van de kosten per m2 dient bij de begroting rekening te worden gehouden met de actuele gemiddelde kosten van de afgelopen jaren. Daarom is het van belang bij de ramingen gebruik te maken van nacalculatiegegevens van uitgevoerde onderhoudsprojecten, zodat een zo reëel mogelijke raming kan worden gemaakt, zowel van het budget als van de totale omvang van de uit te voeren werkzaamheden (aantal m2). Commentaar Wat het meest in het oog springt is dat het overgrote deel van de aanbevelingen gaat over hetgeen zich binnen de muren van ‘het stadhuis’ afspeelt; een enkele aanbeveling gaat over de relatie tussen het gemeentebestuur en de buitenwereld waarop beleid gericht is. 3.6. Commentaar Dit hoofdstuk gaat over de invalshoeken van het rekenkameronderzoek. We geven daarop commentaar voor elk van de drie in de opdracht aan de rekenkamers besloten typen onderzoek: doeltreffendheidsonderzoek, doelmatigheidsonderzoek en rechtmatigheidsonderzoek. 3.6.1. Doeltreffendheidsonderzoek Het grootste deel van de rekenkameronderzoeken zou, volgens de rapporten en volgens de eigen taakom-‐schrijvingen, gaan over doeltreffendheid van het beleid. De leidende gedachte in het overgrote deel van het door rekenkamers uitgevoerde doeltreffendheidsonderzoek is dat beleid moet voldoen aan de uitgangspunten van de beleidscyclus. Simpel gezegd is de aanname dat als in de beleidsvoorbereiding de beleidscyclus wordt gevolgd, het beleid effectief zal zijn. Daarbinnen hebben rekenkamers relatief veel belangstelling voor de as-‐pecten informatievoorziening (aan de raad) en navolging van regels en afspraken. In deze invalshoek wordt de werkelijkheid van beleidsvorming en beleidsuitvoering ernstig versimpeld tot een aantal beleidstechnische aspecten die vrijwel alleen maar betekenis hebben voor de gang van zaken binnen de gemeentelijke organisatie maar geen betekenis hebben voor de relatie tussen de gemeente en de buitenwe-‐reld waar het beleid op is gericht. Essentiele inhoudelijke vragen komen niet aan de orde: is de probleemanaly-‐se juist, is het uitvoeringsinstrumentarium gekozen op grond van bewezen werkzaamheid, leidt toepassing van het instrumentarium tot de beoogde (gedrags)effecten, verloopt de uitvoering met voldoende kwaliteit, en wordt voldoende acht geslagen op externe dynamieken en op neveneffecten? Dit zijn kernpunten in onderzoek naar doeltreffendheid; rekenkamers laten deze doorgaans rusten. Het betekent dat rekenkamers in het alge-‐meen geen onderzoek doen naar de doeltreffendheid van beleid maar naar de beleidstechniek. Doeltreffendheidsonderzoek dient ertoe om inzicht te krijgen in de oorzaken waarom beleidsdoelen wel of niet gehaald zijn, ter verantwoording en om daarvan te leren voor vervolgbeleid. Er zijn verschillende typen oorza-‐ken waarom beleid niet tot de beoogde effecten kan leiden: A. Beleidsinstrumenten zijn per definitie gericht op gedragsverandering bij een doelgroep; het kan blijken dat het instrumentarium onvoldoende is om gedragsverandering teweeg te brengen, zodat de beoogde maat-‐schappelijke effecten niet of onvoldoende bereikt worden. Een onjuiste probleemanalyse kan de oorzaak zijn van een verkeerde instrumentkeuze.

88 Rekenkamercommissie Tilburg (2008), Het wegenbeheer in de gemeente Tilburg. Onderzoek naar de effectiviteit en de efficiency van het wegenbeheer


36

B. De uitvoering vindt niet op een voldoende kwaliteitsniveau plaats, bijvoorbeeld omdat prioriteiten van be-‐oogde uitvoerders elders liggen of omdat men niet over voldoende capaciteit en/of kwaliteit beschikt. C. In de samenleving doen zich (onvoorziene) ontwikkelingen voor die de beoogde effecten te niet doen of in een ander daglicht stellen. De beleidstechnische benadering van rekenkamers houdt onvermijdelijk in dat niet gezocht wordt naar facto-‐ren en omstandigheden op de punten A en C. En als daar niet naar gezocht wordt, zal ook weinig gevonden worden, tenzij bij toeval. De beleidstechnische benadering leidt op z’n best tot enig inzicht op punt B, maar niet veel dieper dan de mate waarin uitvoerders volgens plan werken. Naar het antwoord op de vraag waarom dat dan zo is – belangrijk voor vervolgbeleid – wordt niet gezocht en zal dus niet gevonden worden, tenzij bij toe-‐val. Daar komt bij dat rekenkamers zich vaak onmachtig verklaren om de doeltreffendheid te onderzoeken omdat men geen inzicht heeft in de doelbereik. Op zichzelf is het waar dat doeltreffendheidsonderzoek vooral zin heeft wanneer (globaal) bekend is hoe het doelbereik zich ontwikkeld heeft, maar het ontbreken van goede informatie over doelbereik is geen absolute contra-‐indicatie voor doeltreffendheidsonderzoek. Er zijn in vrijwel iedere beleidssituatie tenminste zinvolle vermoedens over doelbereik die als startpunt kunnen dienen voor onderzoek naar de doeltreffendheid. Het is mede deze beleidstechnische invalshoek die commentatoren brengt tot kritische opmerkingen over het rekenkameronderzoek. De uitkomsten van dit type onderzoek zijn in het algemeen goed voorspelbaar. Immers, de ideale beleidscyclus wordt zelden volledig gevolgd; beleid komt in hoge mate tot stand langs de weg van onderhandeling, binnen en buiten het stadhuis. En dat in processen van beleidsontwikkeling en –uitvoering steken vallen – bewust of onbewust – kan geen verrassing zijn. Op zichzelf is het wel zinvol om een enkele keer de aandacht te richten op de wijze waarop beleidsprocessen ingericht zijn en verlopen, en het is zinvol om een enkele maal de informatievoorziening aan de raad te belichten. Maar het heeft weinig nut om steeds weer met vergelijkbare toonzettingen deze kwesties tot onderwerp van onderzoek te maken. 3.6.2. Doelmatigheidsonderzoek In onze steekproef van rekenkamerrapporten is vrijwel geen goed doelmatigheidsonderzoek aangetroffen. Waarbij we met ‘goed’ bedoelen: onderzoek dat duidelijk maakt dat het beleid met inzet van minder middelen had kunnen plaatsvinden dan wel dat met de ingezette middelen meer bereikt had kunnen worden. Overigens is dit een beeld dat niet alleen geldt voor het rekenkameronderzoek maar ook voor veel ander evaluatieonder-‐zoek. Goed doelmatigheidsonderzoek is weerbarstig en tijdsintensief. Zodat het de vraag is of dat een passend do-‐mein is voor rekenkameronderzoek, Tenzij het de vorm krijgt van intergemeentelijke benchmarking dat als gegevens voorhanden zijn, doorgaans wel goed uitvoerbaar is. 3.6.3. Rechtmatigheidsonderzoek Rechtmatigheidsonderzoek wordt weinig uitgevoerd als zelfstandig onderzoek, wel als onderdeel van wat re-‐kenkamers aanduiden als doeltreffendheids-‐ of doelmatigheidsonderzoek. Alhoewel het een enkele maal pas-‐send kan zijn dat een rekenkamer een rechtmatigheidsonderzoek uitvoert, is het in het algemeen beter wan-‐neer deze vorm van onderzoek uit de trits doeltreffendheid / doelmatigheid / rechtmatigheid geschrapt wordt.


37

4. Technische kwaliteit

Dit hoofdstuk gaat over de technische kwaliteit van rapporten en van he tdaaraan ten grondslag liggende on-‐derzoek. Het is een kort hoofdstuk en het kan ook kort zijn. In het algemeen is de technische kwaliteit van re-‐kenkameronderzoek op orde en leveren rekenkamers goed toegankelijke rapporten. Bij de beoordeling van rapporten kunnen we aansluiten bij de vier criteria die de jury van de Goudvink en de Groenling in 20098990 toepaste bij de beoordeling van rapporten: -‐ Product: hoe ziet het er uit, wat is de structuur, hoe leesbaar is het? -‐ Opzet: wordt het onderwerp verantwoord, is er een duidelijke vraagstelling en normatiek, wordt er inzicht geboden in de aanpak en de gehanteerde methoden en technieken van onderzoek, en is die verantwoording plausibel? -‐ Onderbouwing: worden de feiten compleet en evenwichtig weergeven, onderbouwen deze de conclusies, hoe is de feitelijk uitgevoerde analyse en wordt de onderzoeksvraag beantwoord? -‐ Aanbevelingen: zijn de aanbevelingen onder andere toetsbaar, ondubbelzinnig, realistisch en hebben ze toegevoegde waarde? Product Rapporten zijn doorgaans duidelijk gestructureerd en goed leesbaar, ofschoon soms wat lang, maar vaak wel met een duidelijke samenvatting. Opzet en onderbouwing De verantwoording van de onderwerpkeuze is niet altijd duidelijk (zie hierover ook paragraaf 2.3.). Vraag-‐stelling en normatiek zijn duidelijk en de methodische aspecten zijn op orde. Vanuit het oogpunt van techni-‐sche kwaliteit zijn in evaluatieonderzoek meestal de methoden voor data-‐verzameling en –analyse de kritische factor. We hebben gezien dat rekenkamers in het algemeen overzichtelijke onderzoekvragen stellen die via overzichtelijke wijzen van gegevensverzameling beantwoord kunnen worden, en waarvan de uitkomsten veelal één-‐op-‐één getoetst kunnen worden aan de normen. Complexe methodologische kwesties – zowel wat betreft gegevensverzameling als wat betreft analyse – doen zich hoofdzakelijk voor bij complexe causaliteitsvragen, die door rekenkamers in het algemeen niet gesteld worden. Documentenonderzoek is de voornaamste bron voor gegevensverzameling, aangevuld met interviews, surveys en een enkele maal schouwachtige werkwijzen. Vrij-‐wel alle onderzoeken en rapporten voldoen aan de technische eisen die daaraan gesteld moeten worden. Aanbevelingen Deze vloeien doorgaans op navolgbare wijze voort uit feiten en conclusies. In het algemeen is het beeld dus dat van een goede technische kwaliteit, zoals dat ook naar voren komt uit andere evaluaties van rekenkamerrapporten. Bijvoorbeeld de evaluatie van de Rekenkamer Haarlemmer-‐meer91; de evaluatoren concluderen als volgt: De rapporten zijn naar onze mening inhoudelijk van voldoende tot goede kwaliteit. In elk rapport legt men uit waarom een onderwerp is gekozen en welke onderzoeksvragen erbij horen. Ook de werkwijze wordt toe-‐gelicht, waarna de feiten worden gepresenteerd. Daaruit worden op heldere wijze conclusies getrokken en aldus voorziet men de onderzoeksvragen van antwoorden. Het zijn kortom onderzoeksrapporten ‘volgens het

89 NVRR Goudvink en Groenling 2009. Juryverslag. 90 De jury van de Goudvink en Groenling 2010 paste naast de ‘technische en ambachtelijke kwaliteit’ ook andere criteria toe: thematiek, toegevoegde waarde en impact. 91 R. Mul en B. Steiner (2009), ‘Alleen de gesproken tekst geldt’. Evaluatie Rekenkamercommissie gemeente Haarlemmermeer.



!"#"$%&''($)%*+,"-..///0 01232+400///0+567560


38

boekje’. De aanbevelingen die de Commissie aan de conclusies verbindt, komen op ons logisch en ‘to the point’ over. Commentaar Over het algemeen is de technische kwaliteit van rekenkameronderzoeken goed op orde. Een belangrijke factor die aan de technische kwaliteit bijdraagt is dat rekenkameronderzoek in het algemeen registrerend onderzoek is naar aspecten van de beleidstechniek, zonder complexe analyses van causaliteit en van invloeden van exter-‐ne dynamiek. In het kader van registrerend onderzoek is het betrekkelijk eenvoudig om de onderzoekvragen transparant op te stellen, daar een overzichtelijk normenkader aan te verbinden, op grond van beide de gege-‐vens te ordenen, verslag te doen van de bevindingen, en vervolgens in het verlengde van het bovenstaande conclusies en aanbevelingen op te stellen. Kortom: er is een in principe overzichtelijk kader dat binnen alle onderdelen van een onderzoek een overeenkomstige structuur aangeeft. De aandacht voor beleidstechniek en de beleidscyclus vereenvoudigt de werkelijkheid aanzienlijk en daarmee de opgave om een transparant en kwalitatief goed rapport op te stellen.


39

5. Doorwerking

Dit hoofdstuk gaat over de doorwerking van rekenkameronderzoek. Hakvoort en Klaassen92 maakten eerder een onderscheid in drie typen doorwerking. Ten eerste procedurele doorwerking: activiteiten (binnen de ge-‐meentelijke organisatie) ten behoeve van de behandeling van het rekenkamerrapport; ten tweede beleidsma-‐tige doorwerking: wijzigingen in beleid, begroting, organisatie, verantwoording; ten derde maatschappelijke doorwerking: de consequenties van wijzigingen in beleid of organisatie van beleid. We richten ons in dit hoofd-‐stuk op het tweede en derde type doorwerking. Hierover zijn in de achterliggende jaren enkele onderzoeken verricht; we geven hiervan de samenvattende conclusies. Ook gaan we in op bevindingen op het punt van de doorwerking die naar voren komen uit onze steekproef van 126 rapporten. Onderzoek uit 2006 levert vraagtekens op over de mate van doorwerking van rekenkameronderzoek. Van Stip-‐donk93 schrijft hierover het volgende (op basis van het VNG Ledenpanel 2006): Volgens vier op de vijf collegeleden en ambtenaren wordt beleid niet fundamenteel aangepast naar aanleiding van een lokaal rekenkameronderzoek. Verontrustender nog is dat ook onder raadsleden – doelgroep van de rekenkamers – twee op de drie die mening is toegedaan. En later, uit de Rekenkamermonitor 200994, kwam het volgende naar voren: Rekenkamers hebben wel zicht op wat de gemeenteraad met hun rapporten doet, maar minder op wat het college met hun aanbevelingen doet. Dit terwijl de toegevoegde waarde van rekenkameronderzoek veelal zal zitten in de vertaling door het college van de aanbevelingen die de raad overneemt. Morlog95 spreekt inzake doorwerking over een dempende golfbeweging: De absorptie van rekenkameronderzoek door de gemeentelijke organisatie is redelijk, de verspreiding van re-‐kenkameronderzoek gebeurt wel goed, de toepassing kan beter en over de effecten is nog moeilijk iets te zeggen. Doorgaans nemen rekenkamers de reactie van het college van B&W op in hun rapportages. Dit geeft een eer-‐ste beeld van de beoordeling van de conclusies en de doorwerking van de aanbevelingen. Daarin valt in de eerste plaats op dat meer dan eens colleges ingaan op de gepresenteerde feiten; dit valt op omdat vrijwel altijd de feitenrapportages aan de ambtelijke organisatie worden voorgelegd. Op dit punt worden met enige regel-‐maat drie typen reacties gelezen: (1) de feiten kloppen niet (soms: ondanks eerdere ambtelijke reacties), (2) de feiten zijn niet in de juiste context geplaatst en (3) de feiten zijn inmiddels achterhaald. Maar los daarvan: in ruime meerderheid kunnen colleges zich vinden in de conclusies van de rekenkamerrap-‐porten. En van driekwart of meer van de aanbevelingen kondigt het college aan deze over te zullen nemen. Voor een deel daarvan geeft het college aan dat de aanbevolen actie reeds in gang is gezet, al dan niet voordat de rekenkamer met zijn aanbevelingen kwam. Een vergelijkbaar beeld komt naar voren in ‘Een spiegel van het lokale rekenkamerlandschap’96: aanbevelingen worden zowel door colleges als door raden overgenomen. 92 J. Hakvoort en H. Klaassen (2008), Doorwerking van lokaal rekenkameronderzoek. TPC: tijdschrift voor public governance, audit & control 6, 5, pp. 23 -‐ 27 93 V.P. van Stipdonk, De lokale rekenkamer kan zo veel beter. http://www.sgbo.nl/eCache/DEF/2/254.pdf 94 Jacques Neckar (z.j.), Rekenkamermonitor 2009. Werk aan de winkel. 95 M. Morlog (2009), De dempende golfbeweging van rekenkameraanbevelingen. Onderzoek naar de doorwerking van lokaal rekenkamer-‐onderzoek. TPC: tijdschrift voor public governance, audit & control 6, 6, pp.35 – 38.



!"#"$%&''($)%*+,"-..///0 01232+400///0+567560


40

De rekenkamers maken zelf geen informatie actief openbaar over de behandeling van rapporten in commissies en/of raden. Wel ontstaat uit andere bronnen (jaarverslagen, rekenkamerevaluaties en opvolgingsonderzoek) de indruk dat raden doorgaans de conclusies van de rekenkamer overnemen, wellicht met uitzondering van rapporten over politiek controversiële onderwerpen. Ook ontstaat de indruk dat vaak de behandeling van rekenkamerrapporten in raadscommissies plaatsvindt (en niet in de voltallige raad), en dat niet altijd de raden of commissies duidelijk zijn in de besluiten die zij nemen naar aanleiding van rekenkamerrapporten. Maar ook het tegendeel doet zich voor: situaties waarin de raad voluit en met overtuiging de conclusies en de aanbeve-‐lingen overneemt. Het beeld is wisselend. Op beperkte schaal (acht op de 126 in dit onderzoek beschouwde rapporten) onderzoeken rekenkamers sys-‐tematisch wat er van de aanbevelingen terecht is gekomen. Deze opvolgingsonderzoeken laten het beeld zien dat college-‐toezeggingen grotendeels worden gerealiseerd: voor ongeveer driekwart van de toezeggingen is dat het geval; voor een kwart niet, althans niet binnen de termijnen waarop de betreffende opvolgingsonder-‐zoeken plaats vonden. Daarnaast kan er sprake zijn van ambtelijke doorwerking van rekenkamerrapporten, dat wil zeggen dat in de ambtelijke organisatie de aanbevelingen van de rekenkamer ter harte genomen worden, los van of vooruitlo-‐pend op de stellingname van college en/of raad. In een enkel opvolgingsonderzoek wordt hier melding van gemaakt maar er is geen goed beeld van de mate waarin dat gebeurt. Ook kan er sprake zijn van preventieve doorwerking: een beleidsdossier krijgt extra aandacht zodra het op de onderzoekagenda van de rekenkamer staat97. De algemene lijn uit lokale evaluaties van de rekenkamerfunctie is dat deze door raadsleden – de primaire doelgroep -‐ overwegend positief en nuttig beoordeeld wordt. Van uitgesproken enthousiasme wordt nergens melding gemaakt. Onderzoek van Beyond wijst uit dat meer dan 80 procent van de raadsleden tevreden of zeer tevreden is over het functioneren van rekenkamers98. Ook collegeleden, griffiers en ambtenaren oordelen ruimschoots postief. Uit de Rekenkamermonitor 200999 komt naar voren dat de rekenkamers weinig energie steken in de doorwer-‐king van onderzoekresultaten richting burgers: Ook al krijgt 39% van de rekenkamers onderzoeksonderwerpen aangedragen door burgers, toch communic-‐eren rekenkamers de uitkomsten van hun onderzoek niet vaak (20%) naar burgers toe. Een onderzoek van Van Halen en Jansen100 uit 2007 wees uit dat het bestaan van de rekenkamer gevolgen heeft voor de gemeentelijke controller: de controller besteedt meer aandacht aan die aspecten waar de reken-‐kamer oog voor heeft. Commentaar Het algemene beeld over de doorwerking van de aanbevelingen van rekenkameronderzoek is tamelijk onduide-‐lijk maar zeker niet zondermeer negatief. Weliswaar blijkt dat veel rekenkamers daar geen inzicht in hebben maar onderzoeken wijzen uit dat aanbevelingen in rekenkamerrapporten in ruime meerderheid nagevolgd worden. Wel valt op dat het voor zover bekend zelden of nooit gemeenteraden zijn die vragen stellen over de opvolging van de aanbevelingen in rekenkamerrapporten. 96 Th. v.d. Zee en E. d. Jong (2010), Een spiegel van het lokale rekenkamerlandschap. Groningen: Beyond 97 Th. v.d. Zee en E. d. Jong (2010), Een spiegel van het lokale rekenkamerlandschap. Groningen: Beyond 98 Th. v.d. Zee en E. d. Jong (2010), Een spiegel van het lokale rekenkamerlandschap. Groningen: Beyond 99 Jacques Neckar (z.j.), Rekenkamermonitor 2009. Werk aan de winkel. 100 M. v. Halen en E. Jansen (2007), Gemeentelijke rekenkamer en controller. De invloed van een nieuwe toezichthouder op functie, rol en taakinvulling van de controller in gemeenten. TPC: tijdschrift voor public governance, audit & control 5, 5, pp. 40 – 43.


41

Een algemene waarnemking is wel dat nu, zes jaar na de inwerking treding van de Wet Dualisering, en honder-‐den rekenkamerrapporten verder, rekenkamers nog steeds dezelfde soorten problemen signaleren en aanbe-‐velingen doen als eerder. Het doet de vraag rijzen of de boodschap van rekenkamers over de inrichting van gemeentelijk beleid overkomt.


42


43

6. Conclusies: de fascinatie voor beleidstechniek en beleidscyclus

In dit hoofdstuk maken we de balans op van hetgeen de lokale rekenkamers aan het gemeentebestuur en aan de samenleving bieden, in het licht van hetgeen in hoofdstuk 1 als beoogde opdracht en functies naar voren gekomen zijn. In de eerste paragraaf maken we kort melding van recente kritische commentaren op het werk van rekenkamers die de achterliggende jaren geschreven zijn (paragraaf 6.1.). Vervolgens beantwoorden we de vraag of rekenkamers onderzoek doen naar doeltreffendheid, doelmatigheid en rechtmatigheid (paragraaf 6.2.). In paragraaf 6.3. gaan we na of de rekenkamers de beoogde functies vervullen. 6.1. Kritieken Al jarenlang verschijnen kritische beschouwingen over het werk van rekenkamers. We noemen enkele daarvan. Castenmiller101 maakt een vergelijking met de voetbalanalist: Lokale rekenkamers lijken nu wel de voetbalanalist, die in een ver boven het speelveld verheven commen-‐taarpositie lang na de wedstrijd uitlegt wat er bij het tegendoelpunt nu precies fout ging. Interessant, nuttig, maar zo’n spelsituatie zal zich nooit meer in precies dezelfde vorm voordoen. Van Stipdonk102 gaat in op de klassieke benadering van beleid: ... de continue nadruk op SMART neigt er naar om het meetbare belangrijk te maken, in plaats van het belang-‐rijke meetbaar. In dat geval worden doel en middel verward. Rekenkamers gaan er, blijkens hun conclusies en aanbevelingen, nog vaak vanuit dat beleid op een klassieke rationele manier kan en dient te worden opgezet. Deze klassieke benadering leidt dan tot zure rekenkamer-‐rapporten met als kernaanbeveling: invoeren van eenduidige processen en structuren, eenduidige beschrijving van doelen, taken en verantwoordelijkheden. De kritiek van Anderson103 zit in dezelfde sfeer: Rekenkameronderzoekers hanteren soms een volstrekt gedateerd en onrealistisch sturingsconcept. Dit unicen-‐trische klassieke concept is weliswaar normatief verdedigbaar, maar gaat voorbij aan de daadwerkelijke ge-‐meentelijke praktijk. De consequentie van deze unicentrische benadering is, dat de onderzoeker een groot accent legt op de formulering en realisatie van organisatiebrede doelstellingen. Boogers104 heeft het over ‘weinig enthousiasme’ in het kader van het rekenkamerwerk in een kleine platte-‐landsgemeente: In de meeste gevallen zijn de conclusies zonder veel discussie door de raad overgenomen en door het college omarmd. De enkele keer dat een rekenkamerrapport vuurwerk in de raad opleverde, had dat meer te maken met de politieke constellatie van dat moment dan met de bevindingen van het rekenkameronderzoek. Re-‐

101 P. Castenmiller, Lokale rekenkamers niet lokaal genoeg. Gemeente.nu, 12.06.2009 102 V.P. van Stipdonk, De lokale rekenkamer kan zo veel beter. http://www.sgbo.nl/eCache/DEF/2/254.pdf 103 R. Anderson (2007), De wens en de gedachte. Over ineffectieve rekenkameronderzoeken. TPC: tijdschrift voor public governance, audit & control 5, 4, pp. 40 -‐ 44 104 M. Boogers (2010), De rekenkamer in het politieke krachtenveld. In: E. Boers e.a. (red.), De gracieuze rekenkamer. Uitgeverij Réunion.



!"#"$%&''($)%*+,"-..///0 01232+400///0+567560


44

kenkameronderzoek was een verplicht nummer geworden, dat nog steeds op weinig enthousiasme kon re-‐kenen. Deze ervaring staat niet op zichzelf. In een in 2010 door Bureau KLB uitgevoerd onderzoek105 rapporteert 75 procent van de rekenkamers dat zij geen onderzoeken hebben uitgebracht die ‘stof hebben doen opwaaien’. Van den Dool en Van Montfoort106 zien een aantal valkuilen: Nu lokale rekenkamers en rekenkamercommissies al enkele jaren functioneren duiken valkuilen op zoals zelfgenoegzaamheid, voorspelbaarheid, oude gewoonten en eenvormigheid. Bijl107 spreekt van standaard-‐kritiekpunten in rekenkameronderzoeken: Wie kent niet het bekende rijtje van standaard-‐kritiekpunten in de onderzoeksrapporten: De gestelde beleidsdoelen zijn niet eenduidig geformuleerd en daarmee niet of slechts gedeeltelijk meetbaar (niet SMART geformuleerd heet het dan). En indien de beleidsdoelen wel meetbaar en onderzoekbaar zijn, schort er van alles aan de interne processen bij de gemeente (‘samenwerking tussen afdelingen is onvoldoende; de verant-‐woordelijkheden van de betrokkenen zijn niet duidelijk; de dossiers en archieven zijn incompleet of niet up-‐to-‐date; de informatievoorziening aan de raad is niet op orde’). Ik durf te beweren dat ongeacht het onderwerp, bij heel veel rekenkameronderzoeken al vooraf deze conclusies kunnen worden geformuleerd. … want rekenkamers wordt regelmatig verweten te veel oog te hebben voor de papieren werkelijkheid en niet voor de politieke en bedrijfsprocessen die zich in de realiteit afspelen. En enkele citaten uit een bijdrage van Bouwmans in Binnenlands Bestuur108: De rapporten van de rekenkamers worden te vaak voor kennisgeving aangenomen als het zoveelste con-‐trolerapport. ‘Er is een auditsociety ontstaan’, aldus Peter de Goede van de Rekenkamer Nijmegen. De re-‐kenkamers worden in toenemende mate gevuld door specialisten uit een old boys network. ‘Een ongewenste vorm van professionalisering’, waarschuwt Vic Veldheer, ex-‐lid Rekenkamer Amsterdam Zuidoost.’ Rolf Willemse van de Rekenkamer Rotterdam hekelt het ‘té bestuurskundig modelmatig denken’ van de re-‐kenkamers waardoor ze onvoldoende oog hebben voor de lokale politieke praktijk. Petra Habets, voorzitter van de Rekenkamercommissie Zwijndrecht, constateert hierdoor dat ‘de Rekenkamer een marginaal verschijnsel is.’ Els Boers, secretaris van de rekenkamers in Hattem en Zwartewaterland, bepleit daarom het inschakelen van ‘gezond-‐verstand mensen die in elke gemeente wonen.’ De voortdurende discussie over de onafhankelijkheid van de Rekenkamer -‐ moeten leden van de Rekenkamer of Rekenkamercommissie lid zijn van de gemeenteraad of mogen ze ook van buiten komen -‐ is niet zinvol vinden betrokkenen. ‘Er is veel discussie over de ideale vorm van de Rekenkamer, maar ik beschouw dat als een queeste naar de heilige graal. Die ideale vorm bestaat niet’, aldus Steur van de Rekenkamer Pijnacker-‐Nootdorp. ‘Onafhankelijkheid is van ondergeschikt belang aan het hebben van gezag’, zegt Habets. De voorzitter van de Zwijndrechtse Re-‐

105 G. Monod de Froideville e.a. (2010), Opwaaiend stof in Rekenkamerland. (Over) de grenzen van de conventie. Den Haag: Bureau KLB. 106 L. v.d. Dool en C. v. Montfoort (2010), Lokale rekenkamers bij de les. TPC: tijdschrift voor public governance, audit & control 8, 3, pp. 4 -‐ 8 107 R. Bijl (2010), De noodzaak van vervolgonderzoek. In: E. Boers e.a. (red.), De gracieuze rekenkamer. Uitgeverij Réunion. 108 H. Bouwmans (2011), Rekenkamers: aaibare kater van de lokale politiek. www.binnenlandsbestuur.nl/rekenkamers-‐aaibare-‐kater-‐van-‐de-‐lokale-‐politiek.399419.lynkx (220711)


45

kenkamercommissier vindt dat de Rekenkamer minder de nadruk moet leggen op onafhankelijkheid, en meer op de goede onderwerpkeuze. Peter Castenmiller, provinciale rekenkamer Zeeland, verwijt de Rekenkamer zich te gedragen als de oude, mopperende baasjes Waldorf en Statler uit de Muppetshow. ‘Als er brand is, worden ze als laatste uit het thea-‐ter gered.’ Commentaar Kritieken hebben betrekking op uiteenlopende onderwerpen zoals de visie op beleid, herhalingseffecten, af-‐standelijkheid, weinig enthousiasme aan ontvangerszijde, et cetera. Waarbij opvallend is dat een deel van de kritiek ‘uit eigen kring’ komt. En wat opvalt is dat deze en vergelijkbare kritieken nauwelijks merkbaar door-‐werken109: de praktijk van het rekenkameronderzoek verandert weinig, uitgezonderd een bescheiden verbre-‐ding van de onderwerpkeuze. 6.2. Onderzoek naar doeltreffendheid, doelmatigheid en rechtmatigheid De vraag is of in rekenkameronderzoek gedaan wordt wat in de wet staat en wat rekenkamers zelf zeggen te doen: onderzoek naar doeltreffendheid, doelmatigheid en rechtmatigheid. In de voorafgaande hoofdstukken is gebleken dat rekenkamers dit niet doen. 6.2.1. Doeltreffendheid Doeltreffendheidsonderzoek is onderzoek naar verklaringen voor de mate van doelbereik, waaronder de mate waarin doelbereik is toe te schrijven aan (gemeentelijk) beleid. Doeltreffendheidsonderzoek wordt vooraf ge-‐gaan door onderzoek naar doelbereik. In de vorige hoofdstukken is duidelijk geworden dat gemeentelijke rekenkamers geen doeltreffendheidsonder-‐zoek uitvoeren. Wat zij in overgrote meerderheid uitvoeren is beleidstechnisch onderzoek naar de voorberei-‐ding, uitvoering en rapportage van beleid. Waarbij ook nog eens een zwaar accent ligt op beleidsvorming en -‐uitvoering binnen de muren van het stadhuis op punten als navolging van regels, procedures en informatiever-‐strekking. Dat leidt, zoals in één van bovenstaande commentaren staat, tot voorspelbare uitkomsten. Kennelijk zijn rekenkamers de stellige mening toegedaan dat als de stappen in de beleidscyclus goed doorlopen worden, goed beleid als vanzelf het gevolg zal zijn. Waarbij rekenkamers een goed doorlopen beleidscyclus opvatten als een aantal volgtijdelijk uit te voeren stappen, met nadruk op de procesgang en met nauwelijks aandacht voor de inhoud van de verschillende stappen. Deze visie is zeer dubieus. Beleidsontwikkeling en –uitvoering verlopen vrijwel altijd in de vorm van een onderhandelingsproces, onderhandelingen binnen de ambtelijke organisatie, tussen gemeente en externe organisaties en tussen politieke partijen. Onderhande-‐lingen laten zich doorgaans niet inkaderen in een aantal vaste processtappen zoals aangegeven in het model van de beleidscyclus. Daar is weinig aan te doen en hoeft op zichzelf zeker niet bezwaarlijk te zijn. Afwijzing van deze wijze van beleidsontwikkeling houdt de ontkenning in van een diep gewortelde situatie en is daarmee bezijden de werkelijkheid. De mate van effectiviteit van beleid wordt niet bepaald door de proceskwaliteit maar door inhoudelijke keuzes – op basis van een goede probleemanalyse -‐ zoals de keuze van het uitvoeringsinstrumentarium (inclusief bij-‐voorbeeld de omvang van de beschikbaar gestelde financiële middelen), de inrichting van de organisatie van de uitvoering en het handelen van de uitvoerders. Inhoudelijke keuzes komen bij rekenkamers weinig in de aan-‐

109 Ofschoon tweederde van alle rekenkamers het eigen functioneren wel eens kritisch bezien heeft en overtuigd is van het nut van een kritische blik, bijvoorbeeld van de raad, college-‐rekenkamers en de NVRR. Zie: L. v.d. Dool en C. v. Montfoort (2010), Lokale rekenkamers bij de les. TPC: tijdschrift voor public governance, audit & control 8, 3, pp. 4 – 8.


46

dacht. Door de benadrukking van de procesgang en proceskwaliteiten wordt in veel rekenkameronderzoek de essentie gemist van hetgeen beleid tot goed (effectief) beleid kan maken. Onder evaluatoren bestaat wel de opvatting dat een via onderhandelingen verlopen beleidsproces niet geëva-‐lueerd kan worden langs de lijnen van analytische logica; het evaluatieproces zou -‐ in die opvatting -‐ in z’n vormgeving het spiegelbeeld moeten zijn van het beleidsproces. Wij ondersteunen die opvatting niet: een in onderhandeling tot stand gekomen beleidsproces kan heel goed langs de lijnen van een analytisch-‐logische aanpak geëvalueerd worden. Om twee redenen. In de eerste plaats mag van een gemeentelijke organisatie verwacht worden dat de inzet van onderhandelingen gebaseerd is op een rationele probleemanalyse met daarop gebaseerde doelstellingen en een rationele strategische inzet, dat wil zeggen instrumentkeuze en orga-‐nisatie van de uitvoering. In de tweede plaats, hoe ook het beleidsproces verlopen is en wat ook de resultaten van onderhandelingen zijn, raad en college stellen beleidsdoelstellingen en een beleidsstrategie vast die op logische gronden op hun merites beoordeeld kunnen (en moeten) worden. In die zin spreekt de analytisch-‐logische aanpak in het meeste rekenkameronderzoek aan. Behalve dat daarin – nogmaals -‐ de procesgang en niet de inhoud wordt onderzocht. 6.2.2. Doelmatigheid Onderzoek naar doelmatigheid houdt in dat onderzocht wordt of de beleidsuitvoering plaatsvindt met ge-‐bruikmaking van zo min mogelijk (financiële) middelen. In de formulering van de Algemene Rekenkamer gaat het om de vragen of hetzelfde resultaat met inzet van minder middelen tot stand had kunnen komen, dan wel of met de ingezette middelen een beter resultaat bereikt had kunnen worden. Toegegeven, onderzoek ter beantwoording van deze vragen komt in het algemeen zelden voor – het is zeer lastig, deels speculatief onder-‐zoek -‐, maar dus ook niet bij rekenkamers. Gebleken is dat – in de eerste plaats – specifiek onderzoek naar financiele doelmatigheid (ook met simpeler vraagstellingen) weinig door rekenkamers uitgevoerd wordt. In de tweede plaats is gebleken dat waar de fi-‐nanciele doelmatigheid onderwerp van onderzoek is dit op een tamelijk globaal niveau plaatsvindt, namelijk op basis van simpele criteria als begrotingsoverschrijdingen en benchmark-‐gegevens. En voorts dat waar de doel-‐matigheidsvraag geopperd wordt, die meestal betrekking heeft op onderwerpen als procesinrichting, navolging van regels, en dergelijke, en dus geen of een ondergeschikte financiële component heeft. De conclusie is dan ook dat doelmatigheidsonderzoek door rekenkamers zeer beperkt wordt uitgevoerd. 6.2.3. Rechtmatigheid Rechtmatigheidsonderzoek gaat over de vraag of het bestuur zich houdt aan wet-‐ en regelgeving. Uit het voor-‐afgaande blijkt dat rekenkamers weinig specifiek onderzoek uitvoeren naar rechtmatigheid. Wel maakt het aspect rechtmatigheid in veel gevallen deel uit van doeltreffendheidsonderzoek, op het niveau van toetsing aan (navolging van) regelgeving en afspraken. Er is twijfel over de noodzaak van intensivering van het rechtma-‐tigheidsonderzoek. 6.3. Beleidstechniek en beleidscyclus Als rekenkamers geen onderzoek doen naar doeltreffendheid, doelmatigheid en rechtmatigheid, waar doen ze dan wel onderzoek naar? Rekenkamers doen onderzoek naar de gemeentelijke beleidstechniek, dus naar de wijze waarop beleid gevoerd wordt. Daarin is de beleidscyclus het centrale begrip ter uitwerking van de be-‐leidstechniek. Rekenkamers onderzoeken processen, niet de inhoud. Maar slagen of falen van beleid wordt bepaald door de inhoud, niet door de procesgang. Met deze aanpak hebben de rekenkamers de afgelopen jaren wel onthuld hoe deplorabel het is gesteld met de beleidstechniek binnen veel gemeenten, bijvoorbeeld op punten als informatievoorziening en de wijze van doelformulering. Gemeentelijke organisaties hebben kennelijk moeite om te voldoen aan basisvereisten voor transparant beleid. Rekenkamers vervullen een corrigerende rol op wat gemeentelijke organisatie laten liggen.


47

Deze functie is in principe nuttig; het lijkt erop dat op dit punt het werk van de rekenkamers enige vruchten afwerpt. ‘Enige’: want lang niet altijd worden aanbevelingen opgevolgd, en het lijkt erop dat de aanbevelingen wel gevolgen hebben voor de werkwijze binnen het dossier waarop de aanbevelingen betrekking hebben, maar geen bredere doorwerking hebben naar andere dossiers. En het feit dat rekenkamers steeds weer, al jaren lang, dezelfde gebreken signaleren, doet vermoeden dat de inzichten die rekenkamers trachten over te bren-‐gen niet in vruchtbare aarde terecht komen. Er is niet echt sprake van een verbetering op grote schaal van de gemeentelijke beleidspraktijk. Dus hoe relevant het onderwerp beleidstechniek ook is, en hoe waar de bood-‐schap van rekenkamers ook is – niet iedere waarheid hoeft keer op keer herhaald te worden -‐, de effecten ervan zijn gering. En hoe het ook zij, onderzoek naar de beleidstechniek is niet hetzelfde als onderzoek naar doeltreffendheid, doelmatigheid en rechtmatigheid. 6.4. Functies In de Memorie van Toelichting op de Wet Dualisering zijn vier functies genoemd voor de rekenkamers. Hieron-‐der wordt de stand van zaken op deze vier punten belicht, met verwijzing naar de tussenevaluatie uit 2007110. • De lokale rekenkamer versterkt de positie van de raad ten aanzien van de uitoefening van zijn con-‐

trolerende functie. De evaluatie uit 2007 leidde tot de conclusie dat dit ‘.. door het merendeel van de respondenten in zijn alge-‐meenheid (wordt) bevestigd’. Nu – drie jaar later -‐ moet dit in twijfel worden getrokken. Het algemene beeld over doorwerking van aanbevelingen, de wijze waarop gemeenteraden met rekenkamerrapporten omgaan, en het feit dat rekenkamers steeds dezelfde beleidstechnische gebreken signaleren, maakt het niet aannemelijk dat in de breedte de controlerende functie van de raden wezenlijk is versterkt. Zeker gezien het smalle karakter van het onderzoek dat rekenkamers uitvoeren. • De aandacht voor en het belang van doelmatigheid en doeltreffendheid groeit – burgers beoordelen de

overheid steeds meer hierop. De evaluatie uit 2007 leidde tot de conclusie dat doelmatigheid en doeltreffendheid in rekenkameronderzoek aan de orde zijn, ‘.. ofschoon een meerderheid aangeeft dat rekenkamers meer onderzoek zouden moeten doen naar de effecten van beleid’. In het voorafgaande is naar voren gekomen dat rekenkameronderzoek doorgaans niet gaat over doeltreffendheid en doelmatigheid, maar in overgrote mate over beleidstechniek, uitgewerkt in de beleidscyclus. Het pleidooi voor meer onderzoek naar effecten van beleid is nauwelijks opge-‐volgd. Wel vragen rekenkamers meer dan eens het college om de informatievoorziening op dit punt te verbete-‐ren, maar eigen onderzoek naar effecten van beleid (doelbereik en doeltreffendheid) komt weinig voor. Het valt te betwijfelen of de stelling ‘burgers beoordelen de overheid steeds meer hierop’ juist is; bewijs is er niet voor geleverd. Los daarvan valt in dit kader wel op dat rekenkamers in het algemeen geen beschreven strategie hebben rond het verantwoordingsaspect van hun rapporten, anders dan dat rapporten openbaar en via websites toegankelijk gemaakt worden. • Een verdere verbetering van de rechtmatigheids-‐ en doelmatigheidstoets is gewenst. De tussenevaluatie kon geen duidelijke conclusies trekken of er sprake was van een verbetering van de recht-‐matigheids-‐ en doelmatigheidstoets. In ons onderzoek is niets gebleken van een verbetering van de rechtma-‐tigheidstoets. Het is ook de vraag of daar zo’n behoefte aan is, gezien het feit dat er geen (overtuigende) plei-‐dooien zijn voor een krachtige rol van de rekenkamers op het gebied van rechtmatigheidsonderzoek.

110 T. Brandsen c.s. (2007), Leren afrekenen. Een voorlopige evaluatie van lokale en provinciale rekenkamer(commissie)s. Den Haag: B&A.


48

Over het doelmatigheidsonderzoek is opgemerkt dat dit niet echt tot ontwikkeling is gekomen. Voor zover doelmatigheidsonderzoek wordt uitgevoerd, gaat het doorgaans met eenvoudige vraagstellingen en methoden die uitkomsten opleveren met betrekkelijk weinig zeggingskracht en diepgang. Dat houdt in dat voor wat be-‐treft de doelmatigheid het punt nog actueel is, ofschoon in algemene zin rekenkamers geen duidelijke prioriteit geven aan (financieel) doelmatigheidsonderzoek. • De rapportages van de lokale rekenkamer vormen een goed aanknopingspunt voor het afleggen van re-‐

kenschap aan de burgers. Noch in de evaluatie uit 2007, noch in dit onderzoek is duidelijk geworden hoe rekenkamers omgaan met het afleggen van rekenschap aan burgers en organisaties. Niet is gebleken dat rekenkamers een duidelijke visie hebben op dit onderwerp, anders dan dat rapporten (actief) openbaar gemaakt worden op websites en dat meer dan eens media-‐aandacht gezocht en gekregen wordt. De aandacht die gemeenteraden aan rekenkamer-‐rapporten besteden is meestal beperkt en leidt zelden tot politieke commotie. Er zijn geen algemene gegevens bekend over de mate waarin burgers rekenkamerrapporten raadplegen. 6.5. Slotsom Rekenkamers voeren geen doeltreffendheids-‐ en doelmatigheidsonderzoek uit. Maar zijn gefascineerd door de beleidstechniek en de beleidscyclus. Dat leidt tot rapportages die – uitzonderingen daargelaten -‐ alle ongeveer dezelfde boodschap brengen. En waar politici en anderen het in het algemeen niet mee oneens zijn, maar die ook niet bijzonder aanspreken. Het kan zijn dat het rekenkameronderzoek de controlerende functie van de raad heeft versterkt maar een onderbouwing daarvoor is niet voorhanden. En vooralsnog ziet het er niet naar uit dat de rekenkameronderzoek een impuls heeft gegeven aan het afleggen van verantwoording aan de bur-‐gers.


49

7. Toekomst: maatschappelijke effecten van beleid

De balans van het rekenkameronderzoek is bepaald niet positief. Een koersverlegging is noodzakelijk. Het feit dat de rekenkamerfunctie bestaat is een zeer welkome uitbreiding van de onderzoekinfrastructuur, en schept mogelijkheden om langs de weg van analyse en kennis de effectiviteit van beleid en uitvoering te verbeteren. Met effectiviteit wordt simpelweg bedoeld dat beleid zoveel als mogelijk de beoogde effecten in de samenle-‐ving teweeg brengt, onder randvoorwaarden van doelmatigheid en rechtmatigheid. Nu worden die mogelijk-‐heden nauwelijks benut omdat rekenkamers de aandacht richten op beleidstechnische kwesties. Verbetering van beleidstechniek leidt niet als vanzelf tot beter – doeltreffender en doelmatiger – beleid. Eerdere opbou-‐wend-‐kritische beschouwingen over het werk van de rekenkamers hebben niet doorgewerkt. Doorgaan op de weg die nu afgelopen wordt, zou kunnen leiden tot geleidelijke marginalisering van de rekenkamerfunctie: het herhalingseffect van beleidstechnisch onderzoek zal gaandeweg de aandacht voor rekenkameronderzoeken doen afnemen. In de literatuur is tot nog toe vooral fragmentarisch geschreven over betere aanpakken in het rekenkameron-‐derzoek. Hieronder volgen enkele recente bijdragen. Leeuw en Van Dam111 schetsten in 2006 drie scenario’s: het POV-‐scenario (POV = procedureel-‐organisatorische voorwaarden), de rekenkamer als beleids-‐ en organisatieadviseur en de activistische rekenkamer. Het ‘welge-‐meende advies’ was nadruk te leggen op de activistische benadering, ‘met een vleugje POV en een snufje ad-‐vieswerk’. Het is vooral POV geworden, en weinig activisme zodat in 2009 opnieuw gepleit kon worden voor een activistische rekenkamer (zie verderop). In 2007 verzond de Rekenkamercommissies Parkstad Limburg112 een opmerkelijke rekenkamerbrief op, gericht aan andere rekenkamer(commissie)s. In de brief wordt als probleem gesteld het ontbreken van bewijs voor de effectiviteit van rekenkameronderzoek met ‘.. eenzijdige aandacht voor procedures en randvoorwaarden’. De commissies, mede geinspireerd door het werk van de Britse evaluator Pawson, voeren een pleidooi om in het rekenkameronderzoek meer systematisch wetenschappelijk onderzoek te benutten. Daarvoor wordt de BB-‐methode voorgesteld: ‘van oorspronkelijke Beleidstheorie naar verfijnde Beleidstheorie’ ofwel: ‘Bewezen Be-‐leid’. Met als perspectief: ‘rekenkameronderzoek over de inhoud en effectiviteit van beleid’. Voorzover bekend heeft dit pleidooi weinig navolging gekregen. De Ridder, directeur van Rekenkamer Metropool Amsterdam, voorziet voor de komende periode accenten op drie onderzoekthema’s113: • kwaliteit van gemeentelijk handelen • kwaliteit van de informatievoorziening voor de besluitvorming in de raad • vaagheid van doelstellingen omtrent maatschappelijke effecten Een toekomstbeeld wordt gegeven door Freeke (directeur Neckar Van Naem)114:

111 F. Leeuw en M. Van Dam (2006), Drie scenario’s voor lokale rekenkamers. Beleidswetenschap 2006, 4, pp. 3-‐8. 112 J.M. Berkenbosch (2007), Wat komt er na SMART? Evidence based beleid – een voorstel voor een onderzoekmethode. Heerlen: Re-‐kenkamercommissies Parkstad Limburg 113 P. Joosten (2010), Groot interview met Jan de Ridder (directeur Rekenkamer Metropool Amsterdam). http://www.delokalerekenkamer.nl/blog/agenda-‐en-‐nieuws-‐rekenkamers/10/2010/nieuws-‐artikel/interview-‐jan-‐de-‐ridder-‐interview-‐amsterdam/430 114 H. Bouwmans (2011), Rekenkamers: aaibare kater van de lokale politiek. www.binnenlandsbestuur.nl/rekenkamers-‐aaibare-‐kater-‐van-‐de-‐lokale-‐politiek.399419.lynkx (220711)



!"#"$%&''($)%*+,"-..///0 01232+400///0+567560


50

Het zou goed zijn als rekenkamers niet nog meer onderzoek produceren, maar zich meer als supervisor gaan opstellen van onderzoeken die in de ambtelijke organisatie plaatsvinden. Van Zanen, burgemeester van Zaanstad, zegt over de toekomst het volgende115: De Rekenkamer moet creatiever worden, de raad meer aan zijn zijde krijgen en dichter op het ambtelijke appa-‐raat gaan zitten om te voorkomen dat het te veel wordt gezien als een onderzoeker. Kortenbach116 bepleitte in 2008 een eigen effectuitspraak van rekenkamers: Maar beter zou het zijn wanneer de rekenkamer doorstoot naar een eigen effectuitspraak op onderdelen en praktisch laat zien waarvoor dat inzicht is en waarom het zinvol is. Het zoeken van verklaringen (van het weinig doelgerichte karakter van beleid – dh) kan de discussie in het gekozen orgaan verder helpen. Het zorgt ervoor dat het orgaan niet met constatering over de gebrekkige doel-‐gerichtheid van beleid blijft zitten, maar weet wat het verder moet. Bongers c.s.117 geven zes adviezen om te komen tot een beter gebruik van rekenkameronderzoeken: A. Sluit met de onderwerpkeuze aan op de behoefte van de gemeenteraad. B. Varieer in onderwerpen, vragen, aanpak en presentatie. C. Formuleer begrijpelijke aanbevelingen waarmee de raad en college ook echt iets kunnen. D. Houd rekening met het absorptievermogen van het lokaal bestuur. E. Informeer de gemeenteraad in een vroeg stadium over de uitkomsten van een onderzoek. F. Onderzoek periodiek de uitvoering van raadsbesluiten Mede in reactie op de tussenevaluatie in 2007 voeren Castenmiler en Albeda118 een pleidooi voor een activisti-‐sche rekenkamer. Zij waarschuwen lokale rekenkamers zich te zeer te spiegelen aan de aanpak van de Algeme-‐ne Rekenkamer. Zij beschouwen de twee in de tussenevaluatie119 gepresenteerde ideaaltypen -‐ rekenschap en leren -‐ als varianten binnen een op controle gerichte benadering en werken een aanpak uit van een rekenka-‐mer ‘.. die het systeem vergaand prikkelt’: 1. De rekenkamers kunnen dat onderzoeksterrein kiezen dat niet is weggelegd voor andere toezichthouders en controleurs. 2. De rekenkamers kunnen anders onderzoeken dan de Algemene Rekenkamer, met snellere onderzoeken en andere presentatievormen. 3. De rekenkamers kunnen hun positie uitbuiten door niet alleen partner, maar ook en daadwerkelijk sparring partner te zijn in het lokale bestuur, onder meer door zich te mengen in het locale en provinciale publieke de-‐bat. Al weer enkele jaren geleden stelde Van Dijken120 een robuuste oplossing voor voor het probleem van ondui-‐delijke beleidsdoelstellingen:

115 H. Bouwmans (2011), Rekenkamers: aaibare kater van de lokale politiek. www.binnenlandsbestuur.nl/rekenkamers-‐aaibare-‐kater-‐van-‐de-‐lokale-‐politiek.399419.lynkx (220711) 116 G. Kortenbach (2008), Public audit en de decentrale rekenkamer. Wat kan de decentrale rekenkamer toevoegen aan de publieke verantwoording? TPC: tijdschrift voor public governance, audit & control 6, 2, pp. 25 – 29. 117 F. Bongers c.s. (2009), Van onderzoek naar uitvoering: effectiviteit van de locale rekenkamer(commissies). Bestuurswetenschappen 63, 5, pp. 73 – 83. 118 P. Castenmiller en H. Albeda (2009), Naar een activistische rekenkamer. Bestuurswetenschappen 63, 1, pp. 67 -‐ 77 119 T. Brandsen, e.a. (2007), Leren afrekenen. Een voorlopige evaluatie van lokale en provinciale rekenkamer(commissie)s. Den Haag: B&A 120 J.A. van Dijken (2005), Effecten van lokaal beleid. De beleidstheorie in lokaal beleidsonderzoek. Basis 2005,4


51

Over effecten, doelmatigheid en doeltreffendheid van beleid kunnen duidelijker conclusies getrokken worden als de rekenkameronderzoeken méér aandacht besteden aan de impliciete of expliciete beleidstheorie achter het gekozen beleid. Door in de evaluatieonderzoeken systematisch aandacht te besteden aan de acht bespro-‐ken plausibiliteitscriteria121 kan beter aannemelijk worden gemaakt dat het beleid wel of niet bijdraagt aan de beoogde effecten. Van Dijk en Dijkstra122 zijn dat rekenkamers zich in de eerste plaats hebben onderscheiden door hun onafhan-‐kelijke positie. Zij bepleiten een benadering waarin relevantie centraal staat123. Daarvoor doen zij drie voorstel-‐len. Ten eerste: ‘creatief omgaan met methoden, rapportagevormen en doorlooptijden’. Ten tweede: ‘de raad explicieter bedienen, met oog voor het college’. Ten derde: ‘zoeken naar andere rekenkamervormen: het ver-‐dichtingsmodel’. Dit laatste houdt in dat binnen de gemeente al het toetsende onderzoek centraal gecoördi-‐neerd wordt; de rol van de rekenkamer daarin is het toetsen en verifieren van de in andere geledingen van de organistie uitgevoerde onderzoeken. De bijdrage van Peters124 in De gracieuze rekenkamer bevat een aantal behartenswaardige mogelijkheden tot verbetering: • Een eerste mogelijkheid is om als rekenkameronderzoekers niet te blijven steken in de zoektocht naar de

officiële beleidsdoelstellingen en de door de gemeente verzamelde monitoringgegevens, maar zelf het gewenste maatschappelijke effect te definiëren en dat te onderzoeken.

• Een verdergaand alternatief is om als rekenkamer zelf doelstellingen toe te voegen aan het lijstje, doelstellingen die beter passen bij de rol die de gemeente op het betreffende beleidsterrein speelt.

• Een andere mogelijkheid (of eigenlijk: vluchtroute) is het onderzoek te verbreden, om zo de kans op zin-‐volle en bruikbare conclusies en aanbevelingen te vergroten.

• Een heel ander idee is om het onderzoek op de beleidstheorie te richten. • Een laatste mogelijkheid is om, na verloop van tijd, een beknopte ‘metanota’ aan de gemeenteraad te

leveren, waarin je als rekenkamer gesignaleerde patronen aan de orde stelt: het consequent ontbreken van een uitgewerkte beleidstheorie, onduidelijk geformuleerde doelen, monitoring die niet aansluit op doelen, etc. De nota kan dan vergezeld gaan van het aanbod van de rekenkamer om te adviseren hoe dit alles zou kunnen worden voorkomen, of in ieder geval mee te denken daarover.

Deze suggesties zijn relevant en uitvoerbaar maar ons inziens is een radicalere koerswijziging nodig. De ‘reken-‐kameronderzoek-‐traditie’ is in korte gezet en stevig verankerd, en kennelijk betrekkelijk immuun voor kritiek. In deze situatie past niet het bijschuiven op onderdelen van de aanpak maar een rigoureuze herziening van de aanpak waarin rekenkamers ons inziens de beleidstechnische aanpak achter zich laten en zich grotendeels richten op het maatschappelijk resultaat van beleid. Alle onderzoeksactiviteiten en adviezen van rekenkamers zouden gecentreerd moeten zijn op verbetering van de beleidseffectiviteit. Deze invalshoek is de kern van waar het in beleid en politiek om gaat of zou moeten gaan. Dit vraagt een andere, meerjarige en programmatische aanpak voor de onderzoekprogramma’s in plaats van een betrekkelijke willekeurige ad hoc onderwerpkeuze voor de onderzoeken. Hieronder volgt een suggestie voor zo’n aanpak. We beschrijven een mogelijke onderzoekprogrammering die ingepast is in de vierjarige cyclus van raad en college. In dit programma wordt tegemoet gekomen aan zowel de kaderstellende rol als de controlerende rol van de gemeenteraad; rekenkamers zullen op basis van goed onder-‐zoek en met het oog op de toekomst gericht adviseren over beter, effectiever beleid. 121 De visie op het beleidsprobleem; de definitie van het probleem; de beleidshypothesen; de beleidsdoelen, de gebruikte beleidsinformat-‐ie; de taakverdeling tussen de bij de beleidsuitvoering betrokken actoren; interveniërende variabelen die van invloed zijn op de effecten van het beleid; de samenhang tussen ingezette middelen, beleidsuitvoering, resultaten en verwachte effecten. 122 C. v. Dijk en R. Dijkstra (2011), Onafhankelijkheid en relevantie van de rekenkamer. Drie oplossingen voor toegevoegde waarde in de toekomst. Tijdschrift voor public gevernance, audit en control, 9, 1, pp. 4-‐7. 123 Waarbij wij opmerken dat de opgeworpen tegenstelling tussen onafhankelijk en relevant een bijzondere is. 124 K. Peters (2010), De moeilijkheid met effectiviteitsonderzoek. In: E. Boers e.a. (red.), De gracieuze rekenkamer. Uitgeverij Réunion.


52

Het voorstel voor een beleids-‐ en evaluatiecyclus voor rekenkamers ziet er in schema als volgt uit:

We bespreken in het vervolg van dit hoofdstuk de vier stappen in de cyclus. Het startpunt van de vierjarige cyclus van raad en college in de vaststelling van het bestuursprogramma. Het programma bevat ambities en doelstellingen van het bestuur en maakt duidelijk wat het bestuur wil realiseren. In een benadering waarin de rekenkamer het maatschappelijk resultaat van het beleid als uitgangspunt neemt, is dit document voor de rekenkamer leidend voor het onderzoek en voor de advisering. Het is niet aan de re-‐kenkamer om een oordeel te hebben over politieke ambities en doelen; het richtpunt voor de rekenkamer is de realisatie van ambities en doelen in het bestuursprogramma. Voor de duidelijkheid: het onderstaande is niet gedoeld als een in beton gegoten stramien, maar wel de centra-‐le gedachtegang in de programmering. Er zal altijd ruimte moeten blijven voor ad hoc onderzoek en advisering, bijvoorbeeld actueel onderzoek naar incidenten of ad hoc vragen vanuit de raad. En – zeker – kan op gezette tijden de organisatie van beleidsprocessen aan een analyse worden onderworpen. Advisering bestuursprogramma De eerste opgave voor de rekenkamer in de cyclus is om het bestuursprogramma te beoordelen op duidelijk-‐heid en onderzoekbaarheid (liever dan ‘smart-‐heid’) van ambities en doelen. Hiermee worden bouwstenen geleverd voor de verdere beleidsontwikkeling door raad en college en programmering van het werkprogramma van de rekenkamer. De rekenkamer toetst het bestuursprogramma op onderzoekbaarheid van ambities en doelen en brengt hierover advies uit aan de raad. Zonder twijfel zal dit advies inhouden dat op een (groot) aantal beleidsdossiers verheldering van het doelbereik gewenst is. Meer dan eens zal het mogelijk zijn om op onderdelen dit advies te specificeren door aan het bestuur indicatoren te suggereren waarop de beleidsdoelen geformuleerd, gemonitord en geëvalueerd kunnen worden. De rekenkamer kan de ruimte nemen om indicato-‐ren te suggereren en kan daarbij putten uit ervaringen in andere gemeenten, en ook rekening houden met de bestaande informatiehuishouding binnen de gemeente. Maar het is uiteraard aan de raad en het college om beleidsindicatoren te kiezen en om op indicatoren de streefwaarden te benoemen.

!"#"$%&'(")("*+#,+-$"./.#,&(0"1")1+2"0&(

!"#$%%&#'&()&*++*, -("$#,(',(./"&0("12**&3"4/,/("5".,".,(',4./46*$(&".,

!"5"4/#.($*7#,89,*.$",":*5%*;",/("52"&"41<,

%4$:("&2**&3"4/,-("$#,+(.4$(&4.)4.=(&+*;",

>(.4$(&4.),%4$:("&4.),".,/("52"&"41,

0++%(3(.4##"5"(

89,'(#$,":*5%*;",

0"1")1+2"0(

-("$#4.),%4$:("&4.),".,/("52"&"41,

?/:4"#,

?/:4"#,

?/:4"#,

@(##4"&#"5"6;",

@(##4"&#"5"6;",

89,'(#$,":*5%*;",!"((&/"54.),!"5"4/#*/:4"#,


53

Het ligt niet voor hand dat een rekenkameradvies over de formulering van beleidsdoelen en van indicatoren onmiddellijk opvolging krijgt in de zin van een aanpassing van het bestuursprogramma. Normaal gesproken zal dit rekenkameradvies betrokken worden bij de verdere beleidsontwikkeling binnen de verschillende dossiers. Zodat het rekenkameradvies pas na verloop van tijd bij de verschillende beleidsdossiers ter tafel komt. Beleidsnota’s Het bestuursprogramma wordt na vaststelling doorgaans uitgewerkt in beleidsvoornemens per dossier. Dit kan kortere of langere tijd vergen, afhankelijk van prioriteit en urgentie. Beleidsnota’s horen hoog te staan op de agenda van rekenkamers, deels om de raad met rationele analyses van het voorgenomen beleid te ondersteu-‐nen, deels om te bereiken dat het beleid gemonitord en geëvalueerd kan worden. Over nieuw verschenen beleidsnota’s kunnen rekenkamers twee vragen stellen die aanleiding voor onderzoek en advisering kunnen zijn: de vraag naar de te verwachten effectiviteit van het beleidsvoornemen en de vraag naar de informatie-‐huishouding. Terzijde: de rekenkamer zal hierin doorgaans selectief moeten zijn op grond van capaciteitsbe-‐perkingen. A. Ex ante evaluatie De eerste vraag die een rekenkamer kan stellen, is of het voorgenomen beleid zal leiden tot het behalen van de beoogde doelen, gegeven de voorgenomen uitvoeringsstrategie (in essentie: instrumentatie en organisatie van de uitvoering). Deze vraagstelling kan via rationele analyses leiden tot een advies van de rekenkamer over pro-‐bleemstelling, doelen en uitvoeringsstrategie, waarmee de rekenkamer bijdraagt aan de kaderstellende rol van de gemeenteraad. Daartoe voert de rekenkamer op een beleidsnota een ex ante evaluatie uit. In een ex ante evaluatie wordt onderzocht of met de voorgenomen strategie de doelen behaald zullen worden, met daarbin-‐nen tenminste vijf deelvragen: • Zijn probleem-‐ en doelstelling van het beleid afgeleid van een goede analyse van het maatschappelijk

probleem? • Is het aannemelijk dat het beleidsinstrumentarium geschikt is om de beoogde gedragsverandering bij de

doelgroep(en) van beleid te bewerkstellingen en daarmee de beoogde maatschappelijke effecten te bereiken?

• Is het aannemelijk dat de uitvoeringsstrategie daadwerkelijk uitgevoerd zal worden en dat alle actoren die daarin een rol spelen (uitvoerders, toezichthouders) datgene zullen doen wat van hen verwacht wordt?

• Is voldoende rekening gehouden met mogelijke externe dynamieken die negatief dan wel positief op het doelbereik kunnen doorwerken, waartoe gerekend wordt het draagvlak bij de doelgroep van beleid?

• Is voldoende rekening gehouden met mogelijke neveneffecten? Ex ante evaluaties kunnen in zware en lichte varianten uitgevoerd worden. In de zware variant voert de reken-‐kamer een eigen onderzoek uit – deels documentenanalyse, deels raadpleging van experts en (andere) erva-‐ringsdeskundigen -‐ met een behoorlijke diepgang, trekt eigen conclusies op genoemde vraagpunten en advi-‐seert daarover aan de raad. In de lichte variant voert de rekenkamer een globale toets uit op het beleidsvoor-‐nemen, signaleert onzekerheden en risico’s en rapporteert deze aan de raad. Een bruikbaar instrument voor de lichte variant is bijvoorbeeld de Werkbaarheidsanalyse Beleidsvoornemens125. Bezwaren Bij een deel van de leden van rekenkamers bestaat weerstand tegen uitvoering van ex ante evaluatie. In het onderstaande uitvoerige citaat126 worden deze bezwaren samengevat: In het verleden hebben enkele rekenkamer(commissie)s ex ante onderzoek uitgevoerd, bijvoorbeeld door te onderzoeken of de beleidstheorie van het voorgestelde beleid op plausibele veronderstellingen was gebaseerd. Ook zouden reken-‐kamer(commissie)s voorstellen kunnen doen voor goede indicatoren om beleid te kunnen monitoren. Een belangrijk argu-‐

125 Zie: www.werkbaarheidsanalyse.nl 126 Th. v.d. Zee en E. d. Jong (2010), Een spiegel van het lokale rekenkamerlandschap. Groningen: Beyond


54

ment voor ex ante onderzoek is dat de rekenkamer zo in een vroeg stadium de kwaliteit van de besluitvorming kan ver-‐beteren voordat er onomkeerbare beslissingen zijn genomen. Andere rekenkamer(commissie)s zijn van mening dat een rekenkamer(commissie) zich niet mag mengen in lopende besluitvorming. Indien de rekenkamer(commissie) dat zou doen, zou het gevaar te zeer op de loer liggen dat zij te veel op de stoel van het bestuur gaat zitten en onderdeel wordt van het politieke spel. Een ander argument tegen ex anteonderzoek is dat de rekenkamer(commissie) achteraf moeilijk beleid kan controleren waarover zij zelf in een eerder stadium heeft geadviseerd. Voor dat specifieke onderwerp komt dan de onafhankelijke positie van de rekenkamer(commissie) in gevaar. Dit is een algemeen dilemma in een toezichtsrelatie . Daarnaast worden methoden voor toekomstonderzoek (zoals scenarioanalyse, Delphiprojectie, trendextrapolatie en simu-‐latie) niet breed toegepast, zijn zij relatief onbekend en zijn zij soms omstreden. De mening van de respondenten over de vraag of een rekenkamer(commissie) wel of geen ex ante onderzoek zou moeten doen is verdeeld. Een meerderheid (63%) is van mening dat een rekenkamer(commissie) zich niet moet inlaten met ex ante onderzoek, terwijl 36% vindt dat van ex ante onderzoek wél nuttig kan zijn (en 1% weet het niet). Bij het bovenstaande passen vier overwegingen. In de eerste plaats het aspect van de onafhankelijkheid. In een ex ante evaluatie, uitgevoerd als toets op een beleidsvoornemen, becommentarieert de rekenkamer op rationele, logische gronden het beleidsvoornemen, aan de hand van de vijf bovenstaande vragen. Dat betekent dat de rekenkamer geen beleidskeuzes maakt maar commentaren geeft en vragen stelt die de raad mee kan nemen in de beoordelingvan het beleidsvoornemen. In de tweede plaats is de vraag of het onafhankelijkheidsargument – zo het hier al in enige mate geldig zou zijn -‐ zo absoluut is dat het zwaarder mag wegen dan het belang van betekenisvolle ondersteuning van de raad en het belang van effectief beleid – in de ogen van rekenkamers de twee belangrijkste doelen voor de rekenka-‐mers127. We moeten opaassen dat het onafhankelijkheidsargument geen mantra wordt die een zinvoller func-‐tioneren van de rekenkamer in de weg gaat staan. In de derde plaats: we zien hoe moeizaam gemeentes komen tot een rationele en doordachte wijze van be-‐leidsontwikkeling; het zou rekenkamers sieren als zij hierin een voorbeeldfunctie zouden vervullen, zeker nu langzamerhand blijkt dat de tot nog toe gevolgde strategie weinig effect heeft. In de vierde plaats: het is maar zeer beperkt juist dat methoden van ex ante evaluatie omstreden zijn, en zeker niet in die mate dat gebruik ervan in de weg staat. In feite zijn alle onderzoekinstrumenten in enige mate om-‐streden, zoals blijkt uit (meer dan eens zeer felle) discussies tussen (om het even zeer kort te verwoorden) kwantitieve en kwalitatieve onderzoekers en zoals ook blijkt uit de commentaren op rekenkameronderzoek. B. Informatiehuishouding De tweede vraag die een rekenkamer over beleidsvoornemens kan stellen is die naar de kwaliteit van de infor-‐matiehuishouding bezien vanuit de positie van de gemeenteraad en bezien vanuit het belang van monitoring en evaluatie. De raad dient te kunnen beschikken over informatie over het doelbereik in het licht van de con-‐trolerende functie. Dit betreft zowel de eindevaluatie als de monitoring van de voortgang. Al in het stadium van een beleidsvoornemen moet vastgelegd zijn welke informatie voor de raad (en voor de ambtelijke organi-‐satie) beschikbaar moet komen en hoe deze informatie verzameld wordt of zal worden. De rekenkamer kan nagaan of in het beleidsvoornemen vastgelegd is of en hoe deze informatie verzameld wordt. En kan, indien dat niet naar tevredenheid beschreven is, een advies uitbrengen over een betere informatievoorziening. Zo’n advies kan procesmatig of inhoudelijk zijn. In een procesmatig advies constateert de rekenkamer dat in het beleidsvoornemen de informatiehuishouding niet afdoende is beschreven en adviseert de raad in dit hiaat te (doen) voorzien. In een inhoudelijk advies analyseert de rekenkamer op grond van het beleidsvoornemen de informatiebehoefte en hoe deze verzameld kan worden, en adviseert hierover. Dit kan bijvoorbeeld de kant uitgaan van een aanpak volgens het Rotterdamse model128, waarover de Rekenkamer Rotterdam in algemene zin terecht positief is129. Uitvoering -‐ monitoring

127 Zie Th. v.d. Zee en E. d. Jong (2010), Een spiegel van het lokale rekenkamerlandschap. Groningen: Beyond 128 Zie: Gemeente Rotterdam (z.j.), Rotterdam staat er beter voor met meer perspectief voor alle Rotterdammers. Eindverantwoording Collegeprogramma 2006 – 2010 ‘De stad van aanpakken’. 129 Zie bijvoorbeeld: Rekenkamer Rotterdam, Gedreven en genuanceerd. Tien jaar Rekenkamer Rotterdam 1998 -‐ 2008


55

We gaan ervan uit dat in enigerlei vorm monitoring plaats vindt van de beleidsuitvoering (output) en van de resultaten van beleid (outcome), op basis van cijfers en/of op basis van signalen van burgers of (andere) be-‐langhebbenden. De rol van de rekenkamer hierbij is tweeledig. Aan de ene kant is er voor de rekenkamer de vraag of de raad van de goede informatie voorzien wordt. Aan de andere kant kan ook de rekenkamer alert zijn op eventuele barrières bij de uitvoering van beleid. Waar problemen in de uitvoering kan de rekenkamer kiezen dit onder de aandacht van de raad te brengen, al dan niet in de vorm van een eigen (doorgaans kortlopend) onderzoek waarin de rekenkamer de voortgang of het gebrek daaraan in beeld brengt en nagaat wat de oorza-‐ken daarvan zijn. Evaluatie Op enig moment is de (ex post) evaluatie van doelbereik, doeltreffendheid en doelmatigheid van een beleids-‐programma aan de orde. Dat kan zijn tegen het einde van een raadsperiode maar zal in veel gevallen – bij taken met een continue karakter -‐ ook in de loop van de raadsperiode. Evaluatie van doelbereik gaat over het meten van de mate van doelbereik; in principe levert het monitoringprogramma informatie over doelbereik. Als dat niet afdoende is, kan de rekenkamer dat aanvullen met eigen onderzoek (bijvoorbeeld indicatief onderzoek in de vorm van doelgroep-‐ en/of stakeholder-‐interviews). Doeltreffendheidsevaluatie gaat over de vraag wat de oorzaken zijn van het wel of niet behalen van doelen, en over de vraag wat hierin de invloed is geweest van het gemeentelijke beleid. Het is raadzaam om evaluatie van doelbereik en van doeltreffendheid te scheiden. Bij beperkte onderzoekcapaciteit – waar iedere rekenkamer mee te maken heeft -‐ is doeltreffendheidsevaluatie urgenter wanneer het doelbereik duidelijk is achtergebleven, dan in situaties waarin de doelen in behoorlijke mate zijn bereikt. Aan evaluatie van doelbereik hoeven we hier geen aandacht te besteden. Het gaat om een in principe eenvou-‐dige vaststelling van overeenkomsten en verschillen tussen beleidsvoornemen en resultaat. Over de daarvoor benodigde gegevens is hierboven al het een en ander opgemerkt. Het kan zijn dat hiervoor een taak bij de rekenkamer ligt, maar als het goed is rapporteert het college van B&W hierover. Wel zal het doeltreffendheids-‐/doelmatigheidsonderzoek een taak voor de rekenkamer zijn, enerzijds omdat colleges dergelijk onderzoek lang niet altijd laten uitvoeren dan wel met onvoldoende diepgang laat uitvoeren, anderzijds vanwege het aspect van onafhankelijkheid dat de rekenkamer toevoegt. Indien colleges wel ex post evaluaties laten uitvoeren kan de rekenkamer ervoor kiezen om daarop ten behoeve van de raad een toets uit te voeren. Rekenkamers zullen ter uitvoering van doeltreffendheids-‐/doelmatigheidsonderzoek met duidelijk andere me-‐thodieken moeten gaan werken dan de gangbare methodieken rond beleidstechniek en beleidscyclus. Doel-‐treffendheids-‐ en doelmatigheidsonderzoek vraagt om aanpakken met meer diepgang en vooral: meer inhou-‐delijkheid130. Dit onderzoekverslag is niet de plaats voor uitvoerige methodiekbeschrijvingen; we verwijzen hier naar bijvoorbeeld www.beleidsevaluatie.info en de daarin genoemde bronnen voor evaluatiemethodieken. Doeltreffendheidsonderzoek Terzijde een enkele opmerking over de mogelijkheden en onmogelijkheden van ex post doeltreffendheids-‐onderzoek. Onder andere Praat en Daamen131 wezen er op dat goed doeltreffendheidsonderzoek zeer moeilijk uitvoerbaar is. Enerzijds is dat juist. Het is theoretisch en practisch onmogelijk om in onderzoek met 100 pro-‐cent zekerheid uitspraken te doen over de factoren die doelbereik verklaren, en specifiek daarbinnen de bij-‐drage van het beleid te benoemen. Immers, maatschappelijke dynamiek is veelomvattend en onmogelijk tot in alle finesses te ontrafelen. Maar anderzijds: de ambitie om met 100 procent zekerheid tot conclusies te komen kan zonder problemen lager gesteld worden en er kunnen enkele ondersteunende aanpakken toegepast

130 Zie ook J.A. van Dijken (2006), Effecten van lokaal beleid. De beleidstheorie in lokaal rekenkameronderzoek. Research voor Beleid, Basis – Beleidsevaluatiespecial 131 P.Praat en M. Daamen (2010), Rekenkamers hinken op twee gedachten. B&G 37, 7/8, pp. 26 -‐ 29


56

worden. Een hoge ambitie -‐ 100 procent zekerheid – is prijzenswaardig, maar mag nooit betekenen dat doel-‐treffendheidsonderzoek achterwege blijft omdat het 100-‐procent ideaal toch niet te halen is. Dit zou in feite betekenen dat beleidsevaluatie in het algemeen afgeschaft kan worden; immers, er worden in de praktijk geen beleidsevaluaties uitgevoerd die een 100 procent ambitieniveau halen, en desondanks is beleidsevaluatie een veel toegepast instrument bij de overheid en in het bedrijfsleven om beleid te beoordelen en daarvan te leren. Vrijwel altijd kan met een overzichtelijk design een behoorlijk inzicht verworven worden van de doel-‐treffendheid van beleid, op basis van kwantitatieve en kwalitatieve gegevens en consultaties van uitvoerders, belanghebbenden en doelgroepen van beleid. Ook meta-‐evaluaties – denk aan vergelijkend onderzoek tussen gemeenten – kunnen zinvolle en bruikbare inzichten opleveren; dit verwijst naar samenwerking op projectbasis tussen rekenkamers (zie onder). Het verwerven van verdiepend inzicht is zeer gebaat bij toepassing van een beleidstheorie132, omdat daarin het beleid in overzichtelijk en onderzoekbare onderdelen uiteen wordt gelegd.133 Wij volgen zeker niet de suggestie van Praat en Daamen waarin rekenkamers zouden afzien van doel-‐treffendheidsonderzoek (omdat de 100 procent-‐ambitie niet realistich is) en in plaats daarvan de aandacht verschuiven ‘.. van de feitelijke effectiviteit naar de organisatie waarin die effectiviteit tot stand moet komen’134. Gesteld wordt: ‘.. als geconstateerd wordt dat wel de juiste organisatorische maatregelen aanwezig zijn, kan met een redelijke mate van zekerheid aangegeven worden dat het beoogde beleid wel bereikt gaat worden ..’. Daarmee blijven we geheel binnen de kaders van de beleidstechniek, hooguit in een wat modernere aanpak dan langs de weg van de beleidscyclus, waarvan gebleken is dat deze geen waarde toevoegt. Gezamenlijk optrekken Een goed doeltreffendheidsonderzoek kan tamelijk complex en omvangrijk zijn en daarom kan het voor reken-‐kamers met beperkte capaciteit en budgetten belastend zijn. In het licht hiervan verdient het zeer serieuze overweging om meer te gaan werken met intergemeentelijke onderzoeken135. Het vergroot de mogelijkheden van rekenkamers om onderzoek met diepgang uit te voeren. Het is opmerkelijk dat – afgezien van een aantal regionale rekenkamers – de samenwerking tussen rekenkamers tot nog zo weinig van de grond gekomen is136137. Dit geldt ook voor bijvoorbeeld de opstelling van indicatoren voor doelbereik; streefwaarden kunnen per gemeente verschillen op basis van contextuele en politieke factoren, maar bij vergelijkbare taken zullen indicatorensets tot op zekere hoogte eenvormig kunnen zijn; tot nog toe laten rekenkamers de mogelijkheden hiervoor liggen.

132 J.A. van Dijken (2005), Effecten van lokaal beleid. De beleidstheorie in lokaal beleidsonderzoek. Basis 2005,4. Zie ook: K. Peters (2010), De moeilijkheid met effectiviteitsonderzoek. In: E. Boers e.a. (red.), De gracieuze rekenkamer. Uitgeverij Réunion. 133 Zie bijvoorbeeld The Magenta Book (2011) – een uitgave van HM Treasury, het Britse ministerie van Financien, voor een overzicht van modern aanpakken van doeltreffendheidsonderzoek, in het bijzonder hoofdstuk 6. Te vinden op: www.hm-‐treasury.gov.uk/magentabook 134 P. Praat en M. Daamen (2010), Rekenkamers hinken op twee gedachten. B&G 37, 7/8, p. 28 135 In de Rekenkamermonitor 2010 wordt over samenwerking tussen rekenkamers het volgende gemeld: ‘Een derde van de rekenkamers werkte in 2010 samen met de rekenkamer van een andere gemeente. In 2009 gaf een kwart van de respondenten aan dat hun rekenkamer samenwerkte met andere rekenkamers.’ Niet bekend is waar deze samenwerking uit bestaat. 136 Zie in dit verband overigens wel de samenwerking tussen de Rekenkamer Den Haag en de Algemene Rekenkamer over de vorming van de Centra voor Jeugd en Gezin. In een gezamelijke pilot wordt een methodiek ontwikkeld die later door andere rekenkamers toegepast kan worden. En ook kan verwezen worden naar de door Jacques Neckar georganiseerde DoeMee-‐onderzoeken. 137 Zie in dit verband ook: Juryrapport Goudvink 2010: ‘Tot slot zien we dat veel van de onderzochte onderwerpen ook in voorgaande edities van de Goudvink naar voren zijn gekomen. Het valt tegelijk op dat de onderzoeken zich relatief los van elkaar bewegen. Ofschoon het maatschappelijk relevante onderwerpen zijn die in meerdere gemeenten spelen, zijn de mogelijkheden voor rekenkamer(commissie)s en gemeenten om te leren van andere inzendingen hierdoor onverminderd groot.’


57

Bijlage 1. Selectie onderzoekgemeenten en rapporten

Uit de BZK-‐tabel van 441 gemeenten (2009) zijn 44 gemeenten geselecteerd, gestratificeerd naar gemeente-‐grootte en binnen de grootteklassen willekeurig. Via onder andere gemeentelijke websites zijn de in iedere gemeente werkzame rekenkamers (al dan niet in regionaal verband werkzaam) in beeld gebracht. Rapporten die door deze rekenkamers op hun (of de gemeentelijke) websites zijn gepubliceerd in de jaren 2008 en 2009 zijn in het onderzoek betrokken. Het betreft 126 onderzoek (waarbij overeenkomstige onderzoek in deelge-‐meenten (Amsterdam) voor één tellen). In een enkele geval bleek een rapport op 2007 te zijn gedateerd. 35 gemeenten zijn in het onderzoek betrokken. In enkele gemeenten is geen rekenkamer getraceerd, dan wel had de rekenkamer op Internet geen rapporten gepubliceerd.


58

Bijlage 2. Onderzoekthema’s in detail

Onderzoekonderwerpen 2008 – 2009 op basis van de door 35 lokale rekenkamers gepubliceerde rapporten

Onderzoekonderwerpen Aantal

• Raad en B&W 24 Programmabegroting en jaarstukken 13 Nakoming toezeggingen aan de raad 3 Doelrealisatie Collegeprogramma 2 Delegatie en mandaat raad -‐ college 1 Kaderstelling 1 Beleidsproces 1 Onderzoek ex art 213a Gw 1 Evalueerbaarheid beleidsvoorstellen 1 Integriteit raadsleden 1 • Bedrijfsvoering 30 P&C cyclus 1 (Grote) projecten 9 Verbonden partijen 5 Externe inhuur 5 Privatisering 2 Inkoop 1 ICT-‐beleid 2 Betalingsbeleid 1 Apparaatskosten 1 Beheer gemeentegebouwen 1 Treasury 1 Controle bestedingen 1 • Gemeente -‐ burgers 6 Kwaliteit dienstverlening 3 Publieke verantwoording 1 Afhandeling bezwaarschriften 1 Communicatie en participatie 1 • Fysiek 16 Openbare ruimte 4 Afvalvoorziening 2 Grondbeleid 2 Bouwbeleid 2 Woonbeleid 1 Prestatieafspraken woningcorporaties 1 Vastgoedbeleid 1 Riolering 1 Milieuwethandhaving 1 Groen 1 • Mobiliteit 5


59

Verkeersveiligheid 3 Bereikbaarheid en verkeersveiligheid 1 Wegonderhoud 1 • Sociaal 32 Re-‐integratie 5 Subsidiebeleid 4 WMO 4 Wijken 4 Kunst en Cultuurbeleid 3 WWB 2 Accommodatiebeleid 2 Inburgering 1 Selectieve migratie 1 Sportparticipatie 1 Sportraad 1 Voortijdig schoolverlaten 1 Armoedebeleid 1 Jeugdbeleid / jeugdzorg 2 Zwembaden 1 • Veiligheid 3 Veiligheid speelplaatsen 1 Jeugdveiligheid 1 Veiligheid OV 1 • Economie 1 Positie ondernemers 1 • Opvolgingsonderzoek aanbevelingen RK 8 Totaal 126


60

Bijlage 3. Normenkaders: twee voorbeelden

Rekenkamercommissie ’s-‐Hertogenbosch (2008), Subsidies: Kiezen en (ver)delen. Onderzoek naar de beleids-‐relevantie van subsidies voor sport en cultuur I. Normen ten aanzien van de kaderstellende en controlerende rol van de raad: • Er is door de raad beleid vastgesteld waarin uitgangspunten ten aanzien van het instrument subsidies zijn vastgelegd. • Er is inhoudelijk beleid op het gebied van de subsidie (sportbeleid, cultuurbeleid). Dit beleid geeft de door de gemeente beoogde maatschappelijke effecten weer, die zijn uitgewerkt in doelen en activiteiten. • Dit beleid dient dusdanig te zijn geformuleerd, dat subsidieaanvragen daaraan kunnen worden getoetst. • De raad controleert de inzet van het subsidie-‐instrument. II. Normen ten aanzien van de verlening • Er dient een koppeling te bestaan tussen de subsidieverstrekking en het gemeentelijke beleid. • Doelstellingen worden vooraf formeel aan de instellingen kenbaar gemaakt zodat instellingen hun aanvraag hierop kunnen baseren. • De beschikkingen voldoen aan de eisen die daaraan gesteld worden in de ASV. • De afspraken die in de beschikkingen worden opgenomen zijn meetbaar en sluiten aan op de door de raad vastgestelde inhoudelijke kaders. III. Normen ten aanzien van de kwaliteit van de uitvoering: • Het college van B en W ziet toe op een doelmatige en doeltreffende besteding van de subsidiegelden. • Hier ligt een rapportage aan ten grondslag waarin de instelling aangeeft in hoeverre de afgesproken resulta-‐ten bereikt zullen worden. • Het college van B en W dient via monitoring vast te stellen of alles volgens afspraak verloopt. • Wanneer op basis van tussentijdse signalen blijkt dat zaken niet volgens plan verlopen, dient overwogen te worden of er wordt ingegrepen. • De uitvoering dient te resulteren in het leveren van de afgesproken prestaties en het bereiken van de beoog-‐de maatschappelijke effecten. IV. Normen ten aanzien van de vaststelling • Nadat de prestatie is geleverd dient de instelling zich volgens de daartoe gestelde regels te verantwoorden over de besteding van de middelen. • Het college van B en W dient deze verantwoording te controleren en stelt de subsidie conform verleningsbe-‐schikking vast of neemt op basis hiervan het besluit om de subsidie lager vast te stellen of geheel in te trekken. • Daar waar de gemaakte afspraken niet zijn nageleefd wordt altijd afgewogen of dit consequenties dient te hebben voor de vaststelling van de subsidie. Indien nodig vindt overleg plaats. V. Normen ten aanzien van de evaluatie en de bijsturing door de raad • Het college van B en W dient in deze fase te beoordelen of de subsidieverstrekking heeft bijgedragen aan het hiermee beoogde doel, en zich hierover te verantwoorden naar de raad. • Het gemeentebestuur gebruikt de uitkomsten van evaluaties voor het bijstellen van beleid en/of bij het ma-‐ken van nieuwe afspraken over subsidieverlening. • Er zijn voldoende (bij)sturingsmogelijkheden voor de raad.


61

Rekenkamer Rotterdam (2007): Een steentje bijgedragen. Inkomenseffecten van woningbouw in Rotterdam


62

rapport lokale rekenkamers

Documents