Evaluatie en verantwoording: weinig interesse in het verleden

Evaluatie en verantwoording


Over het thema Evaluatie en verantwoording
Door te evalueren en verantwoording af te leggen over gevoerd beleid kijkt een gemeente terug. Het systematisch evalueren van beleidskeuzen en beleidsuitvoering is essentieel om te weten in hoeverre de beoogde doeleinden zijn bereikt en of de gestelde kaders daarbij zijn gerespecteerd. Zo kan het bestuur leren van het verleden en verbeteren waar nodig. Terugkijken heeft ook een belangrijke democratische betekenis: het biedt de mogelijkheid om je als bestuur te kunnen verantwoorden aan politiek en samenleving. Hoewel evalueren belangrijk is en verantwoording door het bestuur een cruciale publieke waarde, gaat het in de praktijk daarmee niet altijd goed.

Beperkte aandacht voor neveneffecten

Wat is het probleem?

Het lijkt vanzelfsprekend om de resultaten van beleid of een aanpak te monitoren en te evalueren. Maar in de praktijk zien we dat aandacht en inzet voor monitoring en evaluatie tekort schiet. Zowel de ambtelijke organisatie als het bestuur kijken met regelmaat niet terug. Als gevolg is er onvoldoende zicht op de mate van effectiviteit van het beleid én verdwijnt kennis uit het verleden omdat deze niet wordt benut. En als er wel wordt gemonitord en geëvalueerd, is dit soms eenzijdig of is er amper genoeg tijd om gegevens te verzamelen, te analyseren en er weloverwogen op te acteren.

Hoe kan het beter?

  • Plan bij regulier beleid en structurele regelingen periodieke evaluatiemomenten in.
  • Maak bij nieuw beleid of nieuwe programma’s ‘het leren’ vast onderdeel van de werkwijze/het beleidsproces; beperk het leren niet tot eenmalige evaluaties.
  • Beleg de verantwoordelijkheid voor monitoring en evaluatie helder.
  • Zorg voor een reflexieve houding.
  • Maak afspraken over rapportage.
  • Zorg dat lessen breed, systematisch en snel worden gedeeld.

Projecten

Gemeentelijke Rioolwatertaken (2021). Door het uitblijven van de afgesproken periodieke, stelselmatige evaluaties is er nooit meer nagedacht over de inrichting van de gemeentelijke rioolwatertaken en de passendheid van de (juridische) constructie. Ook had men geen zicht op ervaringen met de wijze van samenwerking en de bestaande afspraken.

Fietsdiefstalbestrijding (2020). Er zijn sinds 2010 geen evaluaties uitgevoerd en men heeft niet opgemerkt dat de doelstelling niet werd gehaald. De effecten en kosten worden door de ambtelijke organisatie niet gemonitord waardoor het lastig is om inzicht te krijgen in de doeltreffendheid en doelmatigheid van de aanpak.

Jeugdhulp in Amsterdam (2020). De gemeente brak de gegevensverzameling – benodigd voor de evaluatie van lopende maatregelen – voortijdig af. Historisch vergelijkbare gegevens zijn nauwelijks verzameld en voor reflectie heeft men geen tijd genomen. Als gevolg was er weinig zicht op wat er fout ging in het oude jeugdstelsel en met eerdere beheersmaatregelen.

Subsidies maatschappelijke en bewonersinitiatieven (2018). Door gebrek aan evaluaties is de impact van maatschappelijke en bewonersinitiatieven onbekend en heeft de gemeente geen goed inzicht in de bestede publieke middelen.

Inhuur met beleid (2017). Er is geringe aandacht voor het maken van afspraken over de interne en externe evaluatie van de externe inhuur en over het borgen van kennis.

Reserves economie (2016). De aandacht voor de heroverweging van reserves richtte zich vooral op de (kortlopende) overige bestemmingsreserves en niet op de (langdurige) systeemreserves. Met name bij systeemreserves bestaat het risico dat deze structureel meer middelen bevatten dan voor de doelstelling nodig is.

Subsidies Diversiteit (2016). De gemeente stelt nauwelijks vast of een verstrekte subsidie zinvol is geweest en bijdraagt aan de beoogde ambities. Hierdoor wordt er te weinig stil gestaan bij wat geleerd kan worden van de verstrekte subsidies en wat er verbeterd kan worden.

Transformatie jeugdzorg Zaanstad (2015). De jeugdteams worden onvoldoende benut om van te leren. De gemeente geeft zichzelf een terughoudende, faciliterende rol en legt de verantwoordelijkheid om te leren bij de jeugdteams zelf.

Glasvezel (2015). Er wordt voor de deelneming glasvezel onvoldoende nagegaan of deze nog succesvol is en of de gekozen tactiek nog steeds de beste manier is om het maatschappelijk beoogde resultaat te behalen.

Transformatie zorg voor de jeugd (2014). De lessen die de gemeente formuleert op basis van evaluatie kennen enkele blinde vlekken; er zijn geen lessen over versterken van eigen kracht, efficiënter werken en de omvang en samenstelling van ouder kind teams. In de evaluaties is slechts beperkt aandacht voor jeugdigen en ouders.

Reorganiseren in Amsterdam (2013). Evaluaties van reorganisaties vinden nauwelijks plaats. Als er wordt geëvalueerd, gebeurt dit vaak informeel. Zo wordt onvoldoende geborgd dat geleerde lessen en opgedane ervaring voor de gemeentelijke organisatie behouden blijven.

Verzelfstandiging van openbaar primair onderwijs in Amsterdam West (2013). Er heeft geen evaluatie plaats gevonden van de verzelfstandiging van het openbaar primair onderwijs in stadsdeel West. Hierover waren wel afspraken gemaakt en de stadsdeelraden hebben er eerder ook op aangedrongen.

 

Totaal: 12
2021

Gemeentelijke rioolwatertaken: inrichting

  • Bestuur en ondersteuning
  • Deelnemingen en samenwerking
  • Riolering
  • Volksgezondheid en milieu

Gemeentelijke rioolwatertaken: inrichting

Over het onderzoek
Het riool heeft een belangrijke rol in onze samenleving. De gemeente Amsterdam is verantwoordelijk voor een goede werking van het riool en laat de uitvoering en het beheer ervan over aan Waternet. In dit eerste deelonderzoek naar de gemeentelijke rioolwatertaken onderzochten we de inrichting en aansturing van de gemeentelijke rioolwatertaken. De centrale vraag is: in hoeverre voeren de verschillende partijen de gemeentelijke rioolwatertaken in Amsterdam adequaat uit?

De resultaten in 2021
Op hoofdlijnen werkt de huidige inrichting naar behoren. Over het ontwerp is goed nagedacht. En de gemeente, AGV en Waternet zijn tevreden. We vinden wel dat de inrichting heroverwogen moet worden. Deze is sinds de oprichting in 1997 vrijwel niet veranderd. Door het succes van de samenwerking zijn belangrijke punten uit het oog verloren. Er zijn geen evaluaties, heroverwegingen en herijkingen geweest. Hierdoor is de toekomstbestendigheid van de inrichting in gevaar gekomen. Dit resulteert in incidenten en problemen. Ook is er sprake van een gebrek aan professioneel-kritische houding van het stichtingsbestuur naar de directie toe.

Lees het hele onderzoek op de projectpagina.
projectpagina
2020

Jeugdhulp in Amsterdam

  • Bestuur en ondersteuning
  • Financieel beheer
  • Niet-financiële bedrijfsvoering
  • Sociaal domein
  • Wmo en zorg

Jeugdhulp in Amsterdam

Over het onderzoek
In twee deelonderzoeken nemen we het Amsterdamse jeugdbeleid onder de loep. De kosten voor regionaal ingekochte specialistische jeugdhulp namen de afgelopen jaren sterk toe. De gemeente besloot daarom om het inkoopstelsel voor de jeugdhulp per 1 januari 2021 te wijzigen. Het eerste deelonderzoek gaat over dit nieuwe inkoopstelsel voor hoogspecialistische jeugdhulp: wat zijn de probleemanalyse en beleidsredenering achter dit besluit, zijn deze van voldoende kwaliteit, en vormt het stelsel een passende oplossing voor de gesignaleerde problemen?

De resultaten in 2020
De gemeente acteert met “volle kracht vooruit” en koos voor een geheel nieuw inkoopstelsel. Dat straalt daadkracht uit. Hierbij is echter geen tijd genomen om te reflecteren op wat er fout ging. Door deze onbalans tussen acteren en reflecteren is het de vraag of het nieuwe inkoopstelsel een oplossing is voor de problemen in het huidige stelsel.

Lees het hele onderzoek op de projectpagina.
projectpagina
2020

Fietsdiefstalbestrijding

  • Handhaving
  • Veiligheid
  • Veiligheid
  • Verkeer en vervoer
  • Verkeer, vervoer en waterstaat

Fietsdiefstalbestrijding

Over het onderzoek
Naar schatting worden in Amsterdam jaarlijks 28.000 fietsen gestolen. De gemeente bestrijdt fietsdiefstal met verschillende maatregelen. In Fietsdiefstalbestrijding onderzochten we de doeltreffendheid en doelmatigheid van de drie belangrijkste maatregelen die de gemeente Amsterdam heeft genomen om fietsdiefstal te bestrijden: 1) het gratis graveren van fietsen, 2) het controleren van verwijderde fietsen op diefstal door het Fietsdepot en 3) registercontroles bij fietshandelaren.

De resultaten in 2020
Het doel om het aantal fietsdiefstallen te verminderen, is niet gerealiseerd. Het aantal aangiften is in Amsterdam sinds 2012 zelfs licht gestegen (9%), terwijl landelijk het aantal aangiften met 33% is gedaald. De gemeente heeft zelf maar weinig inzicht of de maatregelen bijdragen aan het verminderen van het aantal fietsdiefstallen en wat het kost. Fietsdiefstalbestrijding wordt al lange tijd op de automatische piloot uitgevoerd. Sinds 2010 is het beleid (inclusief de doelstellingen) niet meer geactualiseerd en zijn de maatregelen niet meer heroverwogen. College en raad worden verder nauwelijks nog geïnformeerd door de ambtelijke organisatie, ook niet bij belangrijke besluiten.

Lees het hele onderzoek op de projectpagina.
projectpagina
2018

Subsidies maatschappelijke en bewonersinitiatieven

  • Burgerparticipatie
  • Sociaal domein
  • Uitkeringen en arbeid
  • Wmo en zorg

Subsidies maatschappelijke en bewonersinitiatieven

Over het onderzoek
Sinds half 2016 kunnen de stadsdelen in Amsterdam subsidies verstrekken voor maatschappelijke en bewonersinitiatieven. In Subsidies maatschappelijke en bewonersinitiatieven onderzochten we in hoeverre deze subsidies doelmatig, doeltreffend en rechtmatig worden besteed, en in welke mate de subsidieaanvragers tevreden zijn over de facilitering door de gemeente.

De resultaten in 2018
We hebben per stadsdeel in beeld gebracht hoe ze omgaan met maatschappelijke en bewonersinitiatieven. Zowel de werkwijzen als de subsidiebudgetten verschillen per stadsdeel. In 2017 hebben de stadsdelen tezamen bijna 1.600 initiatieven ondersteund. We concluderen dat het beleid om initiatieven te ondersteunen redelijk doeltreffend is geweest. Het is echter wel de vraag of de initiatieven ook hebben geleid tot het realiseren van de beoogde doelen. Een overkoepelende analyse van de behaalde resultaten ontbreekt. Ook heeft de gemeente geen goed beeld van de organisatorische doelmatigheid, omdat er geen enkel inzicht is in de uitvoeringskosten. Verder zagen we dat veel initiatiefnemers niet tevreden zijn over de ondersteuning. Dit heeft te maken met de vele ingewikkelde regels en de tekortschietende informatievoorziening.

Lees het hele onderzoek op de projectpagina.
projectpagina
2017

Inhuur met beleid

  • Bestuur en ondersteuning
  • Financieel beheer

Inhuur met beleid

Over het onderzoek
De discussie over externe inhuur en de wens tot regulering speelt bij verschillende gemeenten. Dit geldt ook voor Amsterdam. Regulering is lastig omdat gemeenten te maken hebben met meer taken, terwijl er ook een streven is naar compacte en flexibele organisaties. Bij veel gemeenten is er ook met een mismatch tussen personeelsvraag en –aanbod door uitstroom van ervaren medewerkers, vacaturestops en een lage interne doorstroom. Door deze ontwikkelingen en de publieke en politieke aandacht voor externe inhuur wordt de bestuurlijke afweging om al dan niet in te huren complex. Met Inhuur met beleid wilden we inzichtelijk maken hoe het gemeentebestuur handelt op het gebied van externe inhuur.

Resultaten in 2017
De hoofdconclusie is dat in de gemeente Amsterdam nog geen sprake is van integraal en samenhangend inhuurbeleid. Het huidige beleid is te typeren als onvolkomen, complex en warrig. We doen vijf aanbevelingen om het beleid te verbeteren. En om een adequate informatievoorziening te realiseren, zodat in de toekomst doelmatige en doeltreffende inhuur wel mogelijk is, en kan worden gecontroleerd.

Lees het hele onderzoek op de projectpagina.
projectpagina
2016

Reserves economie

  • Bestuur en ondersteuning
  • Economie
  • Economie
  • Financieel beheer

Reserves economie

Over het onderzoek
In 2012 voerden we een verkenning uit naar de gemeentelijke reserves. Toentertijd concludeerden we dat de informatie over afzonderlijke reserves in de jaarrekening kon worden verbeterd. De bevindingen uit deze verkenning waren voor ons de aanleiding om in 2013 een onderzoek te starten naar het beheer en gebruik van reserves. We kozen voor reserves van het gemeentelijk organisatieonderdeel Economie. Daar hebben wij acht reserves onderzocht, waaronder het Fonds Ontwikkelingsmaatschappij, Amsterdam Economic Board en Amsterdam Metropolitan Solutions.

Resultaten in 2016
Onze hoofdconclusie is dat de reserves vaak niet zichtbaar en weloverwogen worden ingesteld. De informatie in de jaarstukken over de vrije ruimte van de reserves is veelal beperkt. Ook de informatie over de bijdrage die een reserve levert aan de geformuleerde beleidsdoelen laat te wensen over. Het beheer van de reserves is globaal gesproken wel op orde.

Lees het hele onderzoek op de projectpagina.
projectpagina
2016

Subsidies diversiteit

  • Burgerparticipatie
  • Sociaal domein

Subsidies diversiteit

Over het onderzoek
In de coalitieakkoorden 2010-2014 en 2014-2018 is veel aandacht voor diversiteit. De ambities zijn vertaald in veel verschillende beleidskaders. De beleidsnotities zijn gelieerd aan de vijf resultaatgebieden: anti-discriminatie, homo-emancipatie, vrouwenemancipatie, antiradicalisering en burgerschap. We onderzochten diverse subsidies in het kader diversiteit. Het doel van het onderzoek was inzicht te krijgen in de mate waarin een doeltreffende besteding van subsidies voor diversiteit is geborgd.

De resultaten in 2016
We zien dat er door de komst van het Subsidiebureau Amsterdam en het gebruik van een centraal subsidiebeheersysteem meer aandacht is gekomen voor een doeltreffende besteding van subsidies. Echter door de vele verschillende beleidskaders met ruime doelstellingen is de doeltreffende besteding van subsidies voor diversiteit nog niet voldoende geborgd. Ons onderzoek laat verder zien dat er nog veel inspanningen nodig zijn om het subsidieproces te verbeteren.

Lees het hele onderzoek op de projectpagina.
projectpagina
2015

Glasvezel in Amsterdam

  • Bestuur en ondersteuning
  • Deelnemingen en samenwerking
  • Ruimtelijke ordening
  • Volkshuisvesting, ruimtelijke ordening en stedelijke vernieuwing

Glasvezel in Amsterdam

Over het onderzoek
De gemeente Amsterdam wil de hele stad zo snel mogelijk voorzien van een fijnmazig glasvezelnet met zo min mogelijk gemeentelijke middelen. Daarom richtte de gemeente met private partijen het bedrijf Glasvezelnet Amsterdam BV (GNA) op. De gemeente Amsterdam ziet de aanleg van glasvezel als een publieke taak waarvoor zij verantwoordelijk is. Ze kan die verantwoordelijkheid op verschillende manieren invullen. Wij onderzochten of er bijstelling nodig is in de manier waarop de gemeente haar publieke taak via GNA uitvoert. En of er meer algemene lessen zijn te trekken over het deelnemingenbeleid.

Resultaten
We concluderen dat voorafgaand aan de start goed is nagedacht over de uitgangspunten van dit samenwerkingsverband met private partners waarmee de aanleg wordt gerealiseerd, maar dat de uitwerking van het beleid hiaten vertoont en de controle op de uitvoering onvoldoende is geweest.

Lees het hele onderzoek op de projectpagina.
projectpagina
2015

Transformatie zorg voor de jeugd Zaanstad

  • Sociaal domein
  • Wmo en zorg

Transformatie zorg voor de jeugd Zaanstad

Over het onderzoek
Sinds 1 januari 2015 is de gemeente verantwoordelijk voor taken op het gebied van jeugdzorg. Hiervóór was dit de verantwoordelijkheid van het Rijk, de stadsregio en de zorgverzekeraars. Nu is de gemeente verantwoordelijk voor het hele scala van preventie, ondersteuning, hulp en (open en gesloten) zorg bij opgroeien en opvoeden, psychische problemen en stoornissen van jeugdigen. Het Rijk wil dat de jeugdzorg door deze nieuwe manier van werken eenvoudiger, efficiënter en effectiever wordt. Wij onderzoeken hoe de gemeente Zaanstad zich heeft voorbereid op het nieuwe jeugdstelsel. Daarbij besteden we ook aandacht aan de Jeugdteams.

De resultaten
We concluderen dat de gemeente nog beter rekening kan houden met de kansen en risico’s om te komen tot een doeltreffende en doelmatige zorg voor de jeugd.

Lees het hele onderzoek op de projectpagina.
projectpagina
2014

Transformatie zorg voor de jeugd

  • Sociaal domein
  • Wmo en zorg

Transformatie zorg voor de jeugd

Over het onderzoek
Per 1 januari 2015 is de gemeente verantwoordelijk voor de jeugdzorgtaken. Tot die tijd was dit de verantwoordelijkheid van het Rijk en de stadsregio. Maar vanaf 1 januari 2015 is de gemeente verantwoordelijk voor preventie, hulp en zorg bij opvoeden en opgroeien, psychische problemen en stoornissen bij jeugdigen. Met de overdracht van taken wil het Rijk dat de zorg voor de jeugd eenvoudiger, efficiënter en effectiever wordt. Dit moet worden bereikt door een andere manier van werken. Hierbij wordt meer ingezet op preventie en de eigen kracht van burgers. We onderzochten samen met de rekenkamers van Den Haag, Rotterdam en Utrecht de voorbereiding van de G4-gemeenten op de decentralisatie van de jeugdzorg

De resultaten in 2014
De gemeente Amsterdam heeft geen volledig overzicht van de belangrijkste risico’s van het nieuwe zorgstelsel. Zo signaleerden wij een aantal risico’s uit de proeftuinen die niet in beeld zijn gebracht in de risicorapportages. Daarnaast blijken risicobeheersmaatregelen niet altijd effectief. En is er nog ruimte voor beter leren, want de gemeente deelt en benut opgedane kennis traag.

Lees het hele onderzoek op de projectpagina.
projectpagina
2013

Verzelfstandiging basisonderwijs (2013)

  • Onderwijs
  • Onderwijs

Verzelfstandiging basisonderwijs (2013)

Over het onderzoek
We onderzochten in 2010 de verzelfstandiging van het openbaar primair onderwijs in de voormalig stadsdelen West Binnen de Ring (Bos en Lommer, De Baarsjes, Oud-West en Westerpark). In 2013 voerden we dit opvolgingsonderzoek uit, waarin we nagingen in hoeverre uitvoering was gegeven aan onze aanbevelingen uit 2010.

De resultaten in 2013
In dit opvolgingsonderzoek concluderen we dat een groot deel van de aanbevelingen uit het onderzoek van 2010 is uitgevoerd, maar dat dit niet het geval is voor de aanbevelingen over evaluatie en over de bestemming van financiële middelen. We hebben geen aanwijzingen dat de uitgaven voor onderwijs in stadsdeel West extra aandacht behoeven.

Lees het hele onderzoek op de projectpagina.
projectpagina Verzelfstandiging basisonderwijs (2010)
2012

Reorganiseren in Amsterdam

  • Bestuur en ondersteuning
  • Niet-financiële bedrijfsvoering

Reorganiseren in Amsterdam

Over het onderzoek
De gemeente Amsterdam heeft in het recente verleden 115 keer gereorganiseerd. Dat varieert van kleine reorganisaties tot grote gemeentebrede reorganisaties. Dit roept vragen op: Gebeurt dit wel doelmatig? Wordt er regie gevoerd op de reorganisaties binnen Amsterdam, wordt er geleerd van reorganisaties en worden de frictiekosten van reorganisaties zoveel mogelijk beperkt? In Reorganiseren in Amsterdam onderzochten we deze vragen.

Resultaten in 2013
Uit ons onderzoek blijkt dat er onvoldoende waarborgen zijn dat het proces van de gemeentelijke organisatieontwikkeling doelmatig verloopt. Binnen de gemeente is onvoldoende transparantie en regie bij reorganisaties. De gemeente weet zelf niet hoeveel reorganisaties er gaande zijn en bewaakt niet of reorganisaties passen binnen andere (gemeentebrede) ontwikkelingen. Afgeronde reorganisaties worden zelden geëvalueerd. Opgedane kennis en ervaring worden zo onvoldoende veiliggesteld voor de ambtelijke organisatie. Kosten van ambtenaren die hun baan verliezen worden beperkt, maar hadden lager kunnen zijn.

Lees het hele onderzoek op de projectpagina.
projectpagina