Kwaliteit van informatie: weinig betekenisvolle informatie
Kwaliteit van informatie
Over het thema Kwaliteit van informatie
De gehele beleidsvorming en -evaluatie staat of valt met de kwaliteit van informatie. Maar voordat informatie zinvol gebruikt kan worden in het beleidsproces, dienen gegevens eerst zorgvuldig verzameld, vastgelegd en verwerkt te worden. We zien echter met regelmaat dat de betrouwbaarheid, volledigheid en toegankelijkheid van deze gegevens, en de daaruit voortkomende informatie, problematisch is. Ook signaleren we tekortkomingen in hoe de gemeente beschikbare informatie gebruikt in het beleidsproces. Dit heeft uiteindelijk zijn weerslag op het zicht en de grip van het stadsbestuur op een beleidsveld.
Over het thema Kwaliteit van informatie
De gehele beleidsvorming en -evaluatie staat of valt met de kwaliteit van informatie. Maar voordat informatie zinvol gebruikt kan worden in het beleidsproces, dienen gegevens eerst zorgvuldig verzameld, vastgelegd en verwerkt te worden. We zien echter met regelmaat dat de betrouwbaarheid, volledigheid en toegankelijkheid van deze gegevens, en de daaruit voortkomende informatie, problematisch is. Ook signaleren we tekortkomingen in hoe de gemeente beschikbare informatie gebruikt in het beleidsproces. Dit heeft uiteindelijk zijn weerslag op het zicht en de grip van het stadsbestuur op een beleidsveld.
Weinig betekenisvolle informatie
Wat is het probleem?
Cijfermatige informatie over de stad wordt gebruikt bij het maken van beleid en bij het afleggen van verantwoording over het gevoerde beleid. Toch blijkt met enige regelmaat dat het beeld dat gepresenteerde informatie oproept bij nader inzien niet altijd juist of volledig is. De cijfers kloppen wel, maar de interpretatie blijkt anders. Met name wanneer toelichting en duiding ontbreken, bijvoorbeeld aan de hand van context, ontwikkelingen of aanverwante kengetallen, is het moeilijk om betekenis te geven aan cijfermatige informatie en deze te wegen in het licht van het beleidsproces.
Hoe kan het beter?
- Maak en gebruik heldere definities en begrippen
- Maak de kwaliteit van brongegevens duidelijk en inzichtelijk
- Wees bewust van de invloed van gehanteerde definities en gebruikte bronnen op de interpretatie van informatie.
- Neem bij informatie die essentieel is voor een te nemen beslissing geen genoegen met onvolledige informatie.
- Voorzie gepresenteerde informatie van context om rapportages betekenisvoller te maken (denk bijvoorbeeld aan: normen, streefwaarden en meerjarige realisatiecijfers).
Projecten
Jeugdhulp in Amsterdam (2020). Informatie van de gemeente over overschrijding van wachttijden is gebaseerd op jeugdigen die op een bepaald moment in de tijd (peildatum) te lang wachten. De jaarcijfers liggen echter zo’n vier keer hoger dan het aantal wachtenden dat de gemeente rapporteert.
Meldingen openbare ruimte Zaanstad (2021). Context en streefwaarden ontbreken in de informatievoorziening aan de raad. Hierdoor neemt de betekenis van de informatie af en kan de raad niet goed volgen of ambities worden gerealiseerd.
Bruikbaarheid van indicatoren, plusnet voetganger (2019). De begroting licht de indicator om te streven naar een minimale doorloopruimte van 1,80 meter op het plusnet voetganger niet toe. Daardoor blijft de betekenis van de indicator onduidelijk en kan de ontwikkeling ervan niet geduid worden.
Brandweerzorg in de Amsterdamse haven (2018). Tussen verschillende jaren wordt het brandrisico van eenzelfde situatie anders beoordeeld. De verschillen in beoordeling zijn het gevolg van een andere manier van rekenen en interpreteren en van een verandering in de werkelijkheid.
Project 1012 (2018). Gebrek aan eenduidige informatie over de aard en omvang van criminele activiteiten in het 1012-gebied, en daarmee het uitblijven van feiten die het aanvankelijk geschetste beeld onderbouwden, maakten het project kwetsbaar.
Zicht op de financiële positie Amsterdam (2017). Informatie wordt niet juist gepresenteerd, er wordt niet altijd een meerjarig perspectief geboden en soms ontbreekt een toelichting op of duiding van de gepresenteerde informatie. Hierdoor ontstaat een vertekend en moeilijk te interpreteren beeld van de financiële positie.
Zicht op de financiële positie Zaanstad (2016). Het is onduidelijk hoe de informatie tot stand is gekomen, essentiële informatie is niet altijd goed toegankelijk en een toelichting of duiding ontbreekt met regelmaat. Daardoor is het lastig om snel een compact en samenhangend beeld van de financiële positie te verkrijgen.
Renovatie Oostlijn (2016). Het beeld dat uit de analyses van de bestuursdienst naar voren komt, is bij herhaling niet in overeenstemming met de werkelijke staat van het project.
Coalitieproject 1012 (2011). Het is moeilijk om inzicht te krijgen in het (financiële) verloop van het project omdat bereikte resultaten weinig in perspectief van de oorspronkelijke plannen worden geplaatst.
Re-integratiebeleid in Zaanstad (2011). De gemeentelijke cijfers tonen dat een groot deel van de deelnemers aan re-integratietrajecten succesvol is uitgestroomd. Echter blijkt de gehanteerde peildatum slechts zes maanden na uitstroom te liggen, peildata verder in de toekomst stellen de doeltreffendheid van het beleid in een heel ander daglicht.
Armoedebeleid in Amsterdam (2010). De gemeente presenteerde heel exacte cijfers over de omvang en ontwikkeling van armoede in de stad. Echter bleken de cijfers gebaseerd te zijn op schattingen én hingen ze direct samen met een aanscherping van het kwijtscheldingsbeleid.
Meldingen openbare ruimte in Zaanstad
- Bestuur en ondersteuning
- Externe dienstverlening
- Niet-financiële bedrijfsvoering
- Ruimtelijke ordening
- Volkshuisvesting, ruimtelijke ordening en stedelijke vernieuwing
Meldingen openbare ruimte in Zaanstad
Over het onderzoek
Inwoners kunnen het melden als zij op straat of in een park iets zien wat gemaakt of opgeruimd moet worden. Een losse stoeptegel, bijvoorbeeld. Of een volle prullenbak. Alle meldingen over de openbare ruimte komen binnen bij de gemeente. De gemeente moet de binnengekomen meldingen afhandelen en over deze afhandeling communiceren met de melder. Hoe doet de gemeente Zaanstad dit? In Meldingen openbare ruimte onderzoeken we hoe het college van B en W de meldingen van de openbare ruimte afhandelt.
De resultaten
Meldingen openbare ruimte die de gemeente Zaanstad ontvangt, gaan meestal over kapotte lantaarnpalen en rondslingerend afval. Het college in Zaanstad wil dat 95% van reguliere meldingen openbare ruimte binnen 30 dagen wordt afgehandeld (spoedmeldingen binnen 2 dagen) en dat 65% van de melders tevreden is over de afhandeling. Daarnaast streeft het college naar een gebruiksvriendelijk meldproces en het actief informeren van melders over de afhandeling van hun melding. Het college heeft deze ambities nog niet bereikt. De kwaliteit van de informatievoorziening, zowel intern als richting de raad, schiet tekort.
Jeugdhulp in Amsterdam
- Bestuur en ondersteuning
- Financieel beheer
- Niet-financiële bedrijfsvoering
- Sociaal domein
- Wmo en zorg
Jeugdhulp in Amsterdam
Over het onderzoek
In twee deelonderzoeken nemen we het Amsterdamse jeugdbeleid onder de loep. De kosten voor regionaal ingekochte specialistische jeugdhulp namen de afgelopen jaren sterk toe. De gemeente besloot daarom om het inkoopstelsel voor de jeugdhulp per 1 januari 2021 te wijzigen. Het eerste deelonderzoek gaat over dit nieuwe inkoopstelsel voor hoogspecialistische jeugdhulp: wat zijn de probleemanalyse en beleidsredenering achter dit besluit, zijn deze van voldoende kwaliteit, en vormt het stelsel een passende oplossing voor de gesignaleerde problemen?
De resultaten in 2020
De gemeente acteert met “volle kracht vooruit” en koos voor een geheel nieuw inkoopstelsel. Dat straalt daadkracht uit. Hierbij is echter geen tijd genomen om te reflecteren op wat er fout ging. Door deze onbalans tussen acteren en reflecteren is het de vraag of het nieuwe inkoopstelsel een oplossing is voor de problemen in het huidige stelsel.
Bruikbaarheid van indicatoren: Plusnet voetganger
- Begroting en rekening
- Bestuur en ondersteuning
- Verkeer en vervoer
- Verkeer, vervoer en waterstaat
Bruikbaarheid van indicatoren: Plusnet voetganger
Over het onderzoek
In Nederland moeten gemeenten met indicatoren laten zien hoe zij hun beleid uitvoeren. De indicatoren van de gemeente Amsterdam staan in een doelenboom. We onderzoeken in Bruikbaarheid van indicatoren of de indicatoren van de gemeente Amsterdam zorgen voor een helder, relevant en bruikbaar inzicht van door haar behaalde activiteiten en doelen. Kunnen raadsleden en geïnteresseerde burgers de inzichten uit de doelenboom goed gebruiken? We onderzoeken vijf indicatoren uitgebreider. Dit derde deelonderzoek gaat over plusnet voetganger.
Deze indicator is geformuleerd voor de activiteit van de gemeente om het percentage plusnet voetganger te laten voldoen aan de minimale doorloopruimte van 1,80 m.
De resultaten in 2019
Uit ons onderzoek blijkt dat de indicator is gebaseerd op een gedegen en uitgebreid onderzoek, maar het blijft een momentopname. Door veranderingen op straat naderhand kan de beleving van de ruimte door de voetganger ter plaatse toch (aanzienlijk) anders zijn. Ook is het de vraag in hoeverre de afbakening van het plusnet voetganger in alle gevallen goed aansluit op de stoepen in Amsterdam die écht belangrijk zijn voor voetgangers.
Brandweerzorg in de Amsterdamse haven
- Bestuur en ondersteuning
- Deelnemingen en samenwerking
- Veiligheid
- Veiligheid
Brandweerzorg in de Amsterdamse haven
Over het onderzoek
De haven van Amsterdam heeft een bijzonder risicoprofiel. Dat komt, omdat er veel bedrijven zitten met grote hoeveelheden gevaarlijke stoffen. Daarom kunnen de gevolgen van een brand in de Amsterdamse haven een grote impact hebben. Daarnaast blijkt de brandweer niet altijd binnen de wettelijke norm van 8 minuten aanwezig te kunnen zijn. In Brandweerzorg in de Amsterdamse haven onderzochten we de risico’s in de haven: in hoeverre is de brandweerzorg in de Amsterdamse haven (gezien de risico’s) adequaat? En wordt de gemeenteraad hierbij betrokken?
De resultaten in 2018
De brandweer heeft de afgelopen jaren veel maatregelen genomen om de risico’s in de haven te beheersen. Bij de uitvoering zijn echter nog de nodige tekortkomingen. De gemeenteraad krijgt alle informatie over brandweerzorg die het college verplicht is om te geven en is voldoende geïnformeerd over de brandweerzorg in de haven. Het kan echter tijdiger, duidelijker en vollediger. De Amsterdamse gemeenteraad stelt redelijk vaak vragen, ook over de brandweerzorg in de haven. De jaarstukken van de veiligheidsregio Amsterdam-Amstelland krijgen daarbij echter weinig aandacht, terwijl die wel relevante informatie bevatten.
Lees het hele onderzoek op de projectpagina.
Project 1012
- Begroting en rekening
- Bestuur en ondersteuning
- Economie
- Economie
- Handhaving
- Veiligheid
Project 1012
Over het onderzoek
De gemeente Amsterdam startte in 2009 met Project 1012: een ambitieuze aanpak van de criminaliteit in het postcodegebied 1012. Dit is het oude centrum van Amsterdam dat onder meer bestaat uit de Wallen. In 2011 onderzochten we in Coalitieproject 1012 de kaderstelling en informatievoorziening van dit project. In 2018 eindigde het langlopende coalitieproject en onderzochten we in ons onderzoek Project 1012 in hoeverre de gemeente de gestelde doelen heeft bereikt. We hebben daarvoor inzichtelijk gemaakt of de activiteiten van Project 1012 volgens plan zijn uitgevoerd. En welk effect het project heeft gehad op het oude centrum van Amsterdam.
Resultaten in 2018
Onze conclusie is dat er successen zijn behaald in het 1012-gebied, maar dat het niet heeft geleid tot de gewenste economische opwaardering van de oude binnenstad en een doorbraak van de criminele infrastructuur. Om grip te krijgen op de buurt is een aanpak noodzakelijk waarbij ambities en inspanningen meer in evenwicht zijn en deze lang kunnen worden volgehouden.
Zicht op de financiële positie (Amsterdam) (2017)
- Begroting en rekening
- Bestuur en ondersteuning
- Financieel beheer
Zicht op de financiële positie (Amsterdam) (2017)
Over het onderzoek
De leesbaarheid van de jaarstukken van de gemeente Amsterdam staat al een tijdje in de aandacht. Al vóór ons onderzoek uit 2017. En na ons onderzoek waren de jaarstukken iets leesbaarder. Maar bij de Jaarrekening 2015 wees de rekeningencommissie (en ACAM) de gemeente weer op de gebrekkige leesbaarheid: redengevende verklaringen misten en het financiële verhaal was te gefragmenteerd. Dus hoewel de gemeente de afgelopen jaren moeite had gedaan om de informatie van haar jaarstukken toegankelijker te maken, waren er nog stappen te maken.
Resultaten in 2017
We constateren in dit onderzoek dat het nog erg moeilijk is om snel en compact een samenhangend beeld van de financiële positie van de gemeente Amsterdam te krijgen. Benodigde informatie is niet altijd beschikbaar of is soms onjuist. Ook wordt de informatie lang niet altijd goed toegankelijk gepresenteerd. Zo ontbreekt vaak een meerjarig perspectief en komt het ook nog voor dat duidingen van de gepresenteerde informatie ontbreken.
Zicht op de financiële positie Zaanstad (2016)
- Begroting en rekening
- Bestuur en ondersteuning
- Financieel beheer
Zicht op de financiële positie Zaanstad (2016)
Over het onderzoek
Het belang van gezonde gemeentefinanciën is groot. Als de financiën niet op orde zijn, komt immers de goede uitvoering van gemeentelijke taken in het geding. De financiële positie van een gemeente is echter voor niet-deskundigen vaak moeilijk te doorgronden. De oplossing om eenvoudig en compact informatie over de financiële positie van een gemeente te delen, wordt steeds meer gezocht in het gebruik van kengetallen.
De resultaten
We concluderen dat de kengetallen geen gedetailleerd beeld opleveren van de financiële positie van een gemeente, maar een samenhangend en compleet verhaal op hoofdlijnen. De gemeente spant zich in om financiële informatie toegankelijk te maken voor een breder publiek. Maar soms is het nog moeilijk om snel een bondig en samenhangend beeld van haar financiële positie te krijgen.
Renovatie Oostlijn (2016)
- Infrastructuur
- Verkeer, vervoer en waterstaat
Renovatie Oostlijn (2016)
Over het onderzoek
Eind jaren negentig werd geconstateerd dat de Oostlijn van de Amsterdamse Metro aan groot onderhoud toe was. Het project Metromorfose werd uiteindelijk vanwege de hoge kosten stilgezet. Daarna werd het project voor de renovatie van de Oostlijn opgezet. Dit project bestond uit twee onderdelen: de renovaties van de stations en het verbeteren van de tunnelveiligheid. De problemen die bij dit project ontstonden, leidden tot vertragingen en hoog oplopende kosten. In dit onderzoek wilden we achterhalen wat de achterliggende oorzaken waren voor de gesignaleerde problemen.
De resultaten in 2016
De oorzaken voor de problemen zijn divers en moeten in samenhang worden bekeken. Het was bovendien een complex project om uit te voeren, onder andere omdat de dienstregeling van de metro zo min mogelijk mocht worden verstoord. Daarnaast was er voortdurend druk op het gebied van tijd en geld. Dit zorgde ervoor dat de gemeente machteloos was in de aansturing richting de aannemer.
Re-integratiebeleid in Zaanstad
- Sociaal domein
- Uitkeringen en arbeid
Re-integratiebeleid in Zaanstad
Over het onderzoek
Voor de re-integratie van bijstandsgerechtigden is in de periode 2007-2010 gemiddeld € 10,5 miljoen per jaar beschikbaar. Dit budget wordt verstrekt vanuit de doeluitkering van het Rijk voor de Wet werk en bijstand (het zogenaamde werkdeel). We onderzochten de wijze waarop het re-integratiebeleid in Zaanstad is vormgegeven, welke resultaten er met het re-integratiebeleid zijn behaald en op welke wijze de gemeente Zaanstad toezicht houdt op re-integratie bedrijven.
De resultaten
We vinden dat de beleidsformulering van de gemeente Zaanstad op het terrein ven re-integratie kan worden verbeterd, en dat de gemeente meer transparant kan zijn over de behaalde resultaten. Daarnaast kan de gemeente scherper zijn op de uitvoering van het re-integratiebeleid.
Coalitieproject 1012
- Begroting en rekening
- Bestuur en ondersteuning
- Handhaving
- Veiligheid
Coalitieproject 1012
Over het onderzoek
Het Coalitieproject 1012 is een groot, complex en ambitieus project: in het wallengebied moet de criminele infrastructuur worden doorbroken en het entreegebied van Amsterdam moet worden opgewaardeerd. In dit beperkte onderzoek zijn we nagegaan in hoeverre de kaderstelling en de informatievoorziening aan de raden over het project voldoende is. Hebben de raden de door hen gewenste grip op het coalitieproject?
Resultaten in 2011
Wij concludeerden dat dit nog niet het geval is. Hoewel de ambitie van het project duidelijk is, vinden we dat de plannen nog niet duidelijk maken hoe deze ambitie moet worden gerealiseerd. Het is onduidelijk in hoeverre commerciële activiteiten die gevoelig zijn voor criminele invloeden moeten verdwijnen. Ook zijn de verwachte kosten nog niet helemaal in beeld gebracht. Dit maakt het voor de gemeenteraad en de stadsdeelraad Centrum moeilijk om echt grip te krijgen op het project en afgewogen besluiten te nemen. Hiervoor moeten de plannen verder worden uitgewerkt. En is meer toegesneden informatie noodzakelijk over de voortgang over het project.
Armoedebeleid in Amsterdam (2010)
- Sociaal domein
- Uitkeringen en arbeid
Armoedebeleid in Amsterdam (2010)
Over het onderzoek
Volgens de Amsterdamse Armoedemonitor 2008 hadden in Amsterdam ongeveer 69.000 huishoudens een laag inkomen. De gemeente Amsterdam voert armoedemaatregelen uit om te voorkomen dat deze huishoudens vanwege financiële belemmeringen onvoldoende kunnen meedoen aan de samenleving. Onderdeel van het armoedebeleid is het verstrekken van inkomensondersteuning. Vanwege de omvang van het aantal huishoudens met een laag inkomen, de financiële omvang van de gemeentelijke inkomensondersteuning en de complexiteit van de uitvoering, onderzochten we in Armoedebeleid in Amsterdam de doeltreffendheid, doelmatigheid en rechtmatigheid van de inzet van inkomensondersteunende maatregelen.
De resultaten in 2010
Met de Armoedemonitor krijgt de gemeente Amsterdam steeds beter grip op de Amsterdamse minimahuishoudens die zij financieel wil ondersteunen. Toch is een deel van deze minima buiten beeld van de gemeente. Wij schatten het werkelijke aantal minimahuishoudens in Amsterdam op ongeveer 80.000 in plaats van 69.000 volgens de Amsterdamse Armoedemonitor. Daardoor schatten we het bereik van de gemeentelijke armoedemaatregelen ook lager (60%) in dan de gemeente (69%). Door verbeterde procedures en controle is het aantal fouten bij financiële steun aan minimahuishoudens sterk afgenomen, maar is de toegankelijkheid om een beroep te doen op gemeentelijke financiële steun verminderd.