Evaluatie en verantwoording: beperkte aandacht voor neveneffecten
Evaluatie en verantwoording
Over het thema Evaluatie en verantwoording
Door te evalueren en verantwoording af te leggen over gevoerd beleid kijkt een gemeente terug. Het systematisch evalueren van beleidskeuzen en beleidsuitvoering is essentieel om te weten in hoeverre de beoogde doeleinden zijn bereikt en of de gestelde kaders daarbij zijn gerespecteerd. Zo kan het bestuur leren van het verleden en verbeteren waar nodig. Terugkijken heeft ook een belangrijke democratische betekenis: het biedt de mogelijkheid om je als bestuur te kunnen verantwoorden aan politiek en samenleving. Hoewel evalueren belangrijk is en verantwoording door het bestuur een cruciale publieke waarde, gaat het in de praktijk daarmee niet altijd goed.
Over het thema Evaluatie en verantwoording
Door te evalueren en verantwoording af te leggen over gevoerd beleid kijkt een gemeente terug. Het systematisch evalueren van beleidskeuzen en beleidsuitvoering is essentieel om te weten in hoeverre de beoogde doeleinden zijn bereikt en of de gestelde kaders daarbij zijn gerespecteerd. Zo kan het bestuur leren van het verleden en verbeteren waar nodig. Terugkijken heeft ook een belangrijke democratische betekenis: het biedt de mogelijkheid om je als bestuur te kunnen verantwoorden aan politiek en samenleving. Hoewel evalueren belangrijk is en verantwoording door het bestuur een cruciale publieke waarde, gaat het in de praktijk daarmee niet altijd goed.
Beperkte aandacht voor neveneffecten
Wat is het probleem?
Beleid heeft vrijwel altijd neveneffecten, maar daar is niet altijd aandacht voor. Neveneffecten kunnen bedoeld en onbedoeld, voorzien en niet-voorzien en positief of negatief zijn. Om te kunnen oordelen over resultaten van het beleid en waar nodig de beleidsuitvoering gericht bij te kunnen sturen, dienen ook neveneffecten in kaart gebracht, gemonitord en geëvalueerd te worden. Maar omdat lang niet altijd gebeurt, worden knelpunten en kansen in het beleid gemist.
Hoe kan het beter?
- Maak het in kaart brengen van neveneffecten een vast onderdeel van de werkwijze rondom het vormgeven van beleid(sveranderingen).
- Monitor of en in welke mate gesignaleerde neveneffecten zich voordoen; maak een vergelijking mogelijk tussen de oude en nieuwe situatie.
- Blijf in gesprek met betrokken (uitvoerende) partijen om mogelijke onvoorziene neveneffecten te detecteren.
Projecten
Dienstverlening aan kwetsbare groepen (2021). De gemeente had risico’s in beeld maar monitorde deze niet altijd. Zo wist de gemeente dat lang niet alle madi’s over voldoende kennis beschikten om ondernemers te ondersteunen, maar hield de risico’s die hiermee samenhingen niet gericht in de gaten.
Jeugdhulp in Zaanstad (2020). In de Begroting 2018 werden de financiële risico’s van het nieuwe inkoopstelsel voor jeugdhulp onderkend. Desondanks zijn bij de start van het nieuwe inkoopstelsel weinig maatregelen genomen om het optreden van risico’s en het ontstaan van tekorten te monitoren.
Jeugdhulp in Amsterdam (2020). De gemeente (h)erkent de risico’s van het nieuwe inkoopstelsel jeugdhulp in onvoldoende mate, de monitoring van wel (h)erkende risico’s is nog in voorbereiding en de beheersmaatregelen van deze risico’s zijn onvoldoende adequaat. Dit staat het vergaren van informatie over het optreden van de risico’s en effecten van beheersmaatregelen in de weg.
Leges bij vergunningaanvragen (2019). Het college onderkent onvoldoende dat tariefstijgingen invloed kunnen hebben op het aantal vergunningaanvragen en daardoor het eigen gemeentelijk beleid kunnen doorkruisen. Gemeentelijke doelen, zoals het toegankelijk houden van kunst en cultuur, kunnen door tariefverhogingen worden belemmerd.
Grip op samenwerking (Zaanstad, 2017). Bij verbonden partijen met een laag of middelhoog risicoprofiel vinden de verplichte jaarlijkse tussenevaluaties over effectiviteit van het toezichtarrangement soms niet plaats. Hierdoor is de informatie in de jaarstukken van de gemeente niet altijd actueel en is onduidelijk wat de actuele risico’s zijn.
Transformatie jeugdzorg Zaanstad (2016). De informatie over de risico’s in het maatschappelijk domein is onevenwichtig doordat belangrijke stakeholders niet betrokken zijn. Ook zijn niet alle risico’s voorzien van beheersmaatregelen en meldt het college niet expliciet welke risico’s het wil beheersen of accepteren.
Afval Energie Bedrijf (2015). Het college wist dat het onzeker was of de verzelfstandiging en transitie van AEB zou slagen. Maar de risico’s verdwenen in raadvoordrachten en rapporten achter de boodschap dat transitie nodig was. De verzelfstandiging en transitie van AEB werd zelfs gepresenteerd als een beheersmaatregel in plaats van een risico.
Transformatie zorg voor de jeugd Amsterdam (2014). Risicorapportages besteden geen aandacht aan risico’s uit de proeftuinen, zijn niet actueel en maken het effect van beheersmaatregelen niet inzichtelijk. Met sommige risico’s die uit bijeenkomsten met externe en interne experts naar voren kwamen is weinig gedaan.
Zaanstad en HVC (2014). De risico’s verbonden aan HVC zijn niet opgenomen in de weerstandsparagraaf en de omvang van de garantstelling is onvoldoende inzichtelijk gemaakt.
Parkeren in Amsterdam (2013). Er is in beleidsplannen weinig aandacht voor de relatie van het parkeerbeleid met andere beleidsterreinen. Ook is er weinig aandacht voor de mogelijke invloed van maatregelen op de (ontwikkeling van) parkeerproblematiek in omliggende stadsdelen.
Transformatie van leegstaande kantoren (2013). Er is onvoldoende aandacht voor aan negatieve neveneffecten van het beleid, zoals vermindering van kwaliteit van de stedelijke leefomgeving en een overschot aan kleinschalige werkruimtes. Hierdoor is er ook geen poging ondernomen om op deze neveneffecten te anticiperen.
Dienstverlening aan kwetsbare groepen
- Sociaal domein
- Uitkeringen en arbeid
- Welzijn
- Wmo en zorg
Dienstverlening aan kwetsbare groepen
Over het onderzoek
In Dienstverlening aan kwetsbare groepen onderzochten we de wijze waarop de gemeente Amsterdam met de coronacrisis is omgegaan. Hierbij legden we de focus op de ondersteuning aan twee kwetsbare groepen tijdens de lockdownsituatie: de algemene voorzieningen voor dak- en thuislozen en preventieve diensten voor mensen met geldproblemen. Wat heeft de gemeente aangepast in de ondersteuning en hoe kwam ze tot die aanpassingen?
De resultaten in 2021
We concluderen dat de gemeente grotendeels adequaat heeft gereageerd op de lockdownsituatie. De gemeente heeft de dienstverlening aangepast en ze heeft nieuwe diensten ingericht. Hierdoor kon de gemeente de dienstverlening grotendeels continueren tijdens de eerste lockdown. De kanttekening die we maken is dat de gemeente niet altijd zorgvuldig was. Bijvoorbeeld doordat kaders voor besluitvorming niet altijd helder waren en soms een ingeslagen weg te lang gecontinueerd werd.
Jeugdhulp in Amsterdam
- Bestuur en ondersteuning
- Financieel beheer
- Niet-financiële bedrijfsvoering
- Sociaal domein
- Wmo en zorg
Jeugdhulp in Amsterdam
Over het onderzoek
In twee deelonderzoeken nemen we het Amsterdamse jeugdbeleid onder de loep. De kosten voor regionaal ingekochte specialistische jeugdhulp namen de afgelopen jaren sterk toe. De gemeente besloot daarom om het inkoopstelsel voor de jeugdhulp per 1 januari 2021 te wijzigen. Het eerste deelonderzoek gaat over dit nieuwe inkoopstelsel voor hoogspecialistische jeugdhulp: wat zijn de probleemanalyse en beleidsredenering achter dit besluit, zijn deze van voldoende kwaliteit, en vormt het stelsel een passende oplossing voor de gesignaleerde problemen?
De resultaten in 2020
De gemeente acteert met “volle kracht vooruit” en koos voor een geheel nieuw inkoopstelsel. Dat straalt daadkracht uit. Hierbij is echter geen tijd genomen om te reflecteren op wat er fout ging. Door deze onbalans tussen acteren en reflecteren is het de vraag of het nieuwe inkoopstelsel een oplossing is voor de problemen in het huidige stelsel.
Leges bij vergunningaanvragen
- Bestuur en ondersteuning
- Economie
- Economie
- Financieel beheer
Leges bij vergunningaanvragen
Over het onderzoek
Wanneer inwoners en ondernemingen van de gemeente Amsterdam een vergunning aanvragen, moeten ze daarvoor een vergoeding betalen aan de gemeente. Dit zijn leges. Het is een bestuurlijke keuze om de kosten geheel door de aanvrager van de vergunning te laten betalen of deels uit de algemene middelen te betalen. Met Leges bij vergunningaanvragen gaven we inzicht in de rechtmatigheid, doelmatigheid en transparantie van de gemaakte en de te maken keuzes bij het bepalen van de hoogte van de legestarieven bij vergunningaanvragen.
Resultaten in 2019
We concluderen onder andere dat het legesproces kwetsbaar is en meer aandacht vraagt. Het college past niet alle gemaakte keuzes toe, er zijn onvoldoende interne controles, interne kennis wordt onvoldoende benut, de archivering is niet op orde en de verantwoordelijkheden zijn onoverzichtelijk.
Jeugdhulp in Zaanstad
- Bestuur en ondersteuning
- Financieel beheer
- Niet-financiële bedrijfsvoering
- Sociaal domein
- Wmo en zorg
Jeugdhulp in Zaanstad
Over het onderzoek
Sinds 2015 zijn de gemeenten verantwoordelijk voor jeugdhulp. Eerder waren dit de stadsregio en het Rijk. Door deze verandering zou het aanbod van jeugdhulp eenvoudiger, efficiënter en effectiever worden. Ook zou het financieel voordelig zijn. In het najaar van 2018 bleek dat de kosten voor de jeugdhulp in Zaanstad erg opliepen. Inmiddels heeft de jeugdhulp in Zaanstad een tekort van € 3,9 miljoen. In dit onderzoek willen we laten zien hoe dit tekort is ontstaan en wat de gemeente ertegen wil doen. Ook onderzoeken we hoe de gemeente Zaanstad is omgegaan met de aanbevelingen van ons onderzoek uit 2015.
De resultaten
De gemeente Zaanstad heeft het tekort op de jeugdhulpverlening in 2018 niet goed in beeld. Het college heeft eerder aan de raad een tekort van € 3,9 miljoen gemeld. Wij komen op een tekort van € 5,9 miljoen. We concluderen verder dat de gemeente onvoldoende zicht heeft op de oorzaken voor de tekorten op de jeugdhulp. Dit komt doordat de ontwikkeling van het gebruik van en de kosten voor specialistische jeugdhulp niet goed in beeld zijn.
Brandweerzorg in de Amsterdamse haven
- Bestuur en ondersteuning
- Deelnemingen en samenwerking
- Veiligheid
- Veiligheid
Brandweerzorg in de Amsterdamse haven
Over het onderzoek
De haven van Amsterdam heeft een bijzonder risicoprofiel. Dat komt, omdat er veel bedrijven zitten met grote hoeveelheden gevaarlijke stoffen. Daarom kunnen de gevolgen van een brand in de Amsterdamse haven een grote impact hebben. Daarnaast blijkt de brandweer niet altijd binnen de wettelijke norm van 8 minuten aanwezig te kunnen zijn. In Brandweerzorg in de Amsterdamse haven onderzochten we de risico’s in de haven: in hoeverre is de brandweerzorg in de Amsterdamse haven (gezien de risico’s) adequaat? En wordt de gemeenteraad hierbij betrokken?
De resultaten in 2018
De brandweer heeft de afgelopen jaren veel maatregelen genomen om de risico’s in de haven te beheersen. Bij de uitvoering zijn echter nog de nodige tekortkomingen. De gemeenteraad krijgt alle informatie over brandweerzorg die het college verplicht is om te geven en is voldoende geïnformeerd over de brandweerzorg in de haven. Het kan echter tijdiger, duidelijker en vollediger. De Amsterdamse gemeenteraad stelt redelijk vaak vragen, ook over de brandweerzorg in de haven. De jaarstukken van de veiligheidsregio Amsterdam-Amstelland krijgen daarbij echter weinig aandacht, terwijl die wel relevante informatie bevatten.
Lees het hele onderzoek op de projectpagina.
Grip op samenwerkingsverbanden Zaanstad
- Bestuur en ondersteuning
- Deelnemingen en samenwerking
- Externe dienstverlening
Grip op samenwerkingsverbanden Zaanstad
Over het onderzoek
Gemeenten voeren steeds meer taken uit in samenwerking met anderen. Dit maakt het voor raadsleden lastig om overzicht en grip te houden op de samenwerkingsverbanden. We onderzochten hoe dit in Zaanstad is.
De resultaten
Wij concluderen dat het Zaanse college de raad op voldoende wijze ondersteunt en de raad overwegend grip heeft op samenwerkingen. Het kan echter beter. Er wordt nog niet gebruikgemaakt van alle mogelijkheden. We hebben vier aanbevelingen voor het college en drie voor de raad.
Afval Energie Bedrijf
- Bestuur en ondersteuning
- Deelnemingen en samenwerking
- Economie
- Economie
Afval Energie Bedrijf
Over het onderzoek
De gemeente Amsterdam heeft per 1 januari 2014 het Afval Energie Bedrijf (AEB) Amsterdam verzelfstandigd. In de loop van 2014 meldde de directie dat de financiële resultaten tegenvielen. Hierdoor moest de gemeente de dividendverwachtingen naar beneden bijstellen. Ook heeft zij de waarde van het Afval Energie Bedrijf afgewaardeerd. Deze tegenvallende resultaten waren voor de gemeenteraad aanleiding om ons te verzoeken onderzoek te doen. We onderzochten of het besluitvormingsproces van de verzelfstandiging adequaat is geweest.
De resultaten in 2015
We concluderen dat de gemeente het verzelfstandigingsproces heeft onderschat. De besluitvorming door de raad heeft onder tijdsdruk plaatsgevonden. Er is onvoldoende rekening gehouden met branche- en bedrijfsspecifieke omstandigheden. De historische resultaten van het AEB zijn onvoldoende geanalyseerd, Bij de gemeente ontbreekt de expertise om de prognoses goed te beoordelen. De risico’s van de transitieprojecten zijn bekend, maar zijn onvoldoende gecommuniceerd. Ten tijde van het verzelfstandigingsproces was al duidelijk dat afwaardering van het bedrijf noodzakelijk was, maar de waarde van AEB op de openingsbalans is niet naar beneden bijgesteld. We denken dat het tekortschietend besluitvormingsproces echter geen invloed heeft gehad op de beslissing om AEB te verzelfstandigen. Een beter besluitvormingsproces had wel een beter inzicht opgeleverd in de haalbaarheid van de verschillende transitieprojecten en waarde van het AEB ten tijde van de verzelfstandiging.
Transformatie zorg voor de jeugd Zaanstad
- Sociaal domein
- Wmo en zorg
Transformatie zorg voor de jeugd Zaanstad
Over het onderzoek
Sinds 1 januari 2015 is de gemeente verantwoordelijk voor taken op het gebied van jeugdzorg. Hiervóór was dit de verantwoordelijkheid van het Rijk, de stadsregio en de zorgverzekeraars. Nu is de gemeente verantwoordelijk voor het hele scala van preventie, ondersteuning, hulp en (open en gesloten) zorg bij opgroeien en opvoeden, psychische problemen en stoornissen van jeugdigen. Het Rijk wil dat de jeugdzorg door deze nieuwe manier van werken eenvoudiger, efficiënter en effectiever wordt. Wij onderzoeken hoe de gemeente Zaanstad zich heeft voorbereid op het nieuwe jeugdstelsel. Daarbij besteden we ook aandacht aan de Jeugdteams.
De resultaten
We concluderen dat de gemeente nog beter rekening kan houden met de kansen en risico’s om te komen tot een doeltreffende en doelmatige zorg voor de jeugd.
Transformatie zorg voor de jeugd
- Sociaal domein
- Wmo en zorg
Transformatie zorg voor de jeugd
Over het onderzoek
Per 1 januari 2015 is de gemeente verantwoordelijk voor de jeugdzorgtaken. Tot die tijd was dit de verantwoordelijkheid van het Rijk en de stadsregio. Maar vanaf 1 januari 2015 is de gemeente verantwoordelijk voor preventie, hulp en zorg bij opvoeden en opgroeien, psychische problemen en stoornissen bij jeugdigen. Met de overdracht van taken wil het Rijk dat de zorg voor de jeugd eenvoudiger, efficiënter en effectiever wordt. Dit moet worden bereikt door een andere manier van werken. Hierbij wordt meer ingezet op preventie en de eigen kracht van burgers. We onderzochten samen met de rekenkamers van Den Haag, Rotterdam en Utrecht de voorbereiding van de G4-gemeenten op de decentralisatie van de jeugdzorg
De resultaten in 2014
De gemeente Amsterdam heeft geen volledig overzicht van de belangrijkste risico’s van het nieuwe zorgstelsel. Zo signaleerden wij een aantal risico’s uit de proeftuinen die niet in beeld zijn gebracht in de risicorapportages. Daarnaast blijken risicobeheersmaatregelen niet altijd effectief. En is er nog ruimte voor beter leren, want de gemeente deelt en benut opgedane kennis traag.
Huisvuilcentrale Alkmaar (2014)
- Bestuur en ondersteuning
- Deelnemingen en samenwerking
- Externe dienstverlening
Huisvuilcentrale Alkmaar (2014)
Over het onderzoek
In juni 2013 besloten 17 rekenkamer(commissie)s om gezamenlijk onderzoek te doen naar de Huisvuilcentrale Alkmaar (HVC). De HVC is een structuurvennootschap in eigendom van 48 gemeenten en 6 waterschappen, waaronder de gemeente Zaanstad. Het doel van het onderzoek is om inzichtelijk te maken op welke wijze de gemeente Zaanstad invulling geeft aan de sturing en controle van de verbonden partij HVC.
De resultaten
De samenwerking van Zaanstad met andere gemeenten om het afval te laten verbranden door het gezamenlijk bedrijf HVC kent een lange historie. Er is echter ook veel veranderd in de samenwerking, het bedrijf HVC en de regionale en nationale (huis)afvalmarkt. Daardoor is de huidige werkwijze complex en moeilijk te doorgronden. Daarnaast lopen de betrokken gemeenten momenteel veel meer risico’s dan vroeger. De informatievoorziening daarover voldoet aan de voorschriften, maar schiet toch tekort om de raadsleden die uiteindelijk verantwoordelijk zijn goed te informeren.
Parkeren in Amsterdam
- Ruimtelijke ordening
- Verkeer en vervoer
- Verkeer, vervoer en waterstaat
- Volkshuisvesting, ruimtelijke ordening en stedelijke vernieuwing
Parkeren in Amsterdam
Over het onderzoek
Jaarlijks innen de Amsterdamse stadsdelen grote bedragen aan fiscale parkeeropbrengsten. Daarvan is in 2012 ongeveer € 62 miljoen beschikbaar voor de stadsdelen om hun eigen parkeer-, verkeer- en vervoerbeleid nader vorm te geven. Maar wat willen de verschillende stadsdelen precies bereiken met hun parkeerbeleid? En hangt het beleid van de verschillende stadsdelen met elkaar samen? Dat onderzochten we in Parkeren in Amsterdam.
De resultaten in 2013
Het parkeerbeleid van de stadsdelen in de gemeente Amsterdam is weinig concreet geformuleerd. Hierdoor is achteraf moeilijk vast te stellen of het beleid effectief is geweest. Daarnaast is er over het algemeen weinig aandacht voor samenhang tussen het parkeerbeleid van de verschillende stadsdelen.
Transformatie leegstaande kantoren
- Economie
- Economie
- Grondexploitatie
- Volkshuisvesting, ruimtelijke ordening en stedelijke vernieuwing
Transformatie leegstaande kantoren
Over het onderzoek
Van alle kantoorruimte in Amsterdam stond in 2013 ongeveer 1,3 miljoen m2 leeg – zo’n 17% van de totale voorraad. Het college wilde de leegstand van kantoren aanpakken door nieuwbouwplannen te beperken. Daarnaast wilde de gemeente kantoorruimte transformeren naar nieuwe bestemmingen, zoals hotels en studentenhuisvesting. Wij onderzochten het beleid rondom deze transformatie.
De resultaten in 2013
Uit het onderzoek blijkt dat het huidige leegstandsbeleid te weinig doordacht is. Het leegstandsbeleid voor kantoren in Amsterdam is al een aantal jaar in ontwikkeling en raakt verschillende ambities. Maar er is geen samenhangend ontwerp en er missen heldere prioriteiten. Daarom leidt het beleid op uitvoerend niveau soms tot tegenstrijdige opdrachten voor ambtenaren.