Kwaliteit van informatie: achterliggende gegevens deugen niet

Kwaliteit van informatie


Over het thema Kwaliteit van informatie
De gehele beleidsvorming en -evaluatie staat of valt met de kwaliteit van informatie. Maar voordat informatie zinvol gebruikt kan worden in het beleidsproces, dienen gegevens eerst zorgvuldig verzameld, vastgelegd en verwerkt te worden. We zien echter met regelmaat dat de betrouwbaarheid, volledigheid en toegankelijkheid van deze gegevens, en de daaruit voortkomende informatie, problematisch is. Ook signaleren we tekortkomingen in hoe de gemeente beschikbare informatie gebruikt in het beleidsproces. Dit heeft uiteindelijk zijn weerslag op het zicht en de grip van het stadsbestuur op een beleidsveld.

Achterliggende gegevens deugen niet

Wat is het probleem?

Beschikbaarheid over betrouwbare gegevens is van belang. Alleen met juiste, tijdige, volledige en consistente data kan zinvolle informatie verkregen worden voor het beleidsproces. Bijvoorbeeld om beleid en interventies te kunnen vormen en monitoren. We zien echter regelmatig mankementen in gegevensregistraties, administraties en databases. Voorbeelden zijn ontbrekende gegevens, achterlopende registraties of discontinuïteit in gegevens die worden vastgelegd.

Hoe kan het beter?

  • Denk na over welke informatie benodigd is in het beleidsproces en richt informatiebronnen hierop in.
  • Maak uniforme proces- en registratieafspraken en beleg taken en verantwoordelijkheden hieromtrent.
  • Maak afspraken over te hanteren definities.
  • Maak afspraken over het controleren van kwaliteit van registraties.
  • Bewaak de continuïteit van registraties door vergelijkingen met eerdere jaren te borgen.

Projecten

Jeugdhulp in Zaanstad (2020). Door vervuilde informatie, informatie die niet onderbouwd kan worden, beperkte registratie bij de jeugdteams en onvergelijkbare registraties door de jaren heen zijn de registraties zijn onvoldoende op orde om analyses te kunnen maken.

Jeugdhulp in Amsterdam (2020). Door, onder meer, inconsistenties in de beschikbare informatie over de tijd en onvolledige informatie heeft de gemeente weinig zicht op kostenontwikkelingen in de jeugdzorg.

Handhaving en overlast (2019). De registratie van de handhavingsinterventies bevat de nodige tekortkomingen. De gegevens die handhavers verzamelen zijn niet goed bruikbaar om resultaten zichtbaar te maken. Zonder goede data is het lastig om informatie-gestuurd te werken, zoals de gemeente beoogd.

Toegang tot ambulante ondersteuning en dagbesteding (2019). Veel informatie ontbreekt, waardoor zicht op de toegang mist. Zo is niet duidelijk of de doelgroep de toegang bereikt, is niet precies bekend hoe professionals bepalen wie in aanmerking komt voor een maatwerkvoorziening en Amsterdammers die een maatwerkvoorziening hebben aangevraagd maar niet gekregen, blijven volledig buiten beeld.

Subsidies bewonersondersteuning en belangenbehartiging (2017). Er is onvoldoende informatie beschikbaar om de doelmatigheid van beleid en de doelmatigheid van de bedrijfsvoering te kunnen beoordelen.

Wachten op opvang (2017). De registraties in het belangrijkste informatiesysteem zijn veelal onvolledig en onbetrouwbaar, waardoor er geen goed zicht is op de mate waarin cliënten daadwerkelijk worden geholpen. Zo worden cliënten niet altijd op de wachtlijst geplaatst wanneer zij kunnen doorstromen, wordt niet geregistreerd voor welke cliënten de opvangplaats het eindstation is en doordat verschillende definities worden gehanteerd lopen registraties uiteen.

Verkeersveiligheid (2015). Cijfers in de monitor over blackspots komen niet overeen met eerdere verantwoordingsinformatie. De verschillen kunnen te wijten zijn aan de kwaliteit van de onderliggende registratie. De informatie op de zogenoemde klaar- en voortgangslijsten is namelijk erg lastig te volgen.

Afhandeling van horecaklachten in Amsterdam (2014). De juistheid en volledigheid van de gegevens kunnen niet worden gewaarborgd. De kwaliteit van de registratie is daarom onvoldoende om de beoogde lerende organisatie te kunnen zijn.

Beheer van sporthallen en sportparken fase 2 (2014). Gegevens ontbreken, de urenregistratie schiet tekort en informatie moet uit verschillende bronnen worden samengevoegd. Gegevens die er wel zijn, zijn niet volledig of betrouwbaar. Door deze tekortkomingen is de kwaliteit van informatie niet voldoende voor een professionele aansturing en verantwoording.

Verkenning schuldhulpverlening, rekenkamerbrief (2013). Door niet-frequentie registratie van werkzaamheden bestaat het risico dat de registratie schuldhulpverlening onvolledig is en de schuldhulpverleningsmonitor een vertekend beeld van de werkelijkheid geeft.

Parkeren in Amsterdam (2013). Parkeerdrukmetingen van de stadsdelen lieten tekortkomingen zien: metingen zijn eenmalig, eerdere metingen zijn in een ander gebied gehouden of de methode bij een eerdere meting was anders. Hierdoor kunnen de metingen soms lastig worden gebruikt om de effecten van parkeermaatregelen in beeld te brengen.

Ontwikkeling personeelsomvang (2011). De gemeente beschikt niet over betrouwbare historische gegevens van het aantal formatieplaatsen en salariskosten van de verschillende diensten, bedrijven en stadsdelen. De gemeente wil sturen op – onder meer – personeelskosten maar dat is hierdoor lastig.

Handhaving openbare ruimte Zaanstad (2011). In de gegevens- en meldingenregistratie ontbreken noodzakelijke elementen, zoals het type overtreding en de locatie daarvan. Door deze gebreken is het niet goed mogelijk om op basis van de informatiesystemen te bepalen waar en wanneer handhavers het beste kunnen worden ingezet.

Inburgering (2010). In de praktijk worden gegevens nog onvoldoende eenduidig ingevoerd, waardoor het risico ontstaat dat de gegevens in de basisadministratie onvoldoende betrouwbaar zijn.

Totaal: 14
2020

Jeugdhulp in Amsterdam

  • Bestuur en ondersteuning
  • Financieel beheer
  • Niet-financiële bedrijfsvoering
  • Sociaal domein
  • Wmo en zorg

Jeugdhulp in Amsterdam

Over het onderzoek
In twee deelonderzoeken nemen we het Amsterdamse jeugdbeleid onder de loep. De kosten voor regionaal ingekochte specialistische jeugdhulp namen de afgelopen jaren sterk toe. De gemeente besloot daarom om het inkoopstelsel voor de jeugdhulp per 1 januari 2021 te wijzigen. Het eerste deelonderzoek gaat over dit nieuwe inkoopstelsel voor hoogspecialistische jeugdhulp: wat zijn de probleemanalyse en beleidsredenering achter dit besluit, zijn deze van voldoende kwaliteit, en vormt het stelsel een passende oplossing voor de gesignaleerde problemen?

De resultaten in 2020
De gemeente acteert met “volle kracht vooruit” en koos voor een geheel nieuw inkoopstelsel. Dat straalt daadkracht uit. Hierbij is echter geen tijd genomen om te reflecteren op wat er fout ging. Door deze onbalans tussen acteren en reflecteren is het de vraag of het nieuwe inkoopstelsel een oplossing is voor de problemen in het huidige stelsel.

Lees het hele onderzoek op de projectpagina.
projectpagina
2019

Toegang tot ambulante ondersteuning en dagbesteding

  • Sociaal domein
  • Wmo en zorg

Toegang tot ambulante ondersteuning en dagbesteding

Over dit onderzoek
De gemeente is sinds 1 januari 2015 geheel verantwoordelijk voor de Wmo. De gemeente had ook vóór 1 januari 2015 al taken in het kader van deze wet, zoals woningaanpassing, vervoersmiddelen en hulp in het huishouden. Per 2015 zijn een aantal taken naar de gemeente gedecentraliseerd, waaronder ambulante ondersteuning, dagbesteding en beschermd wonen. In Toegang tot ambulante ondersteuning en dagbesteding onderzochten we of de toegang tot de ambulante ondersteuning en dagbesteding goed functioneerde. We keken of de gemeente Amsterdam zicht heeft op deze toegang. Daarnaast beantwoorden we de vraag of de gemeente voldoende heeft gedaan om problemen te verhelpen die in dit veld speelden.

De resultaten in 2019
Het college heeft geen expliciete doelen geformuleerd voor de toegang tot ambulante ondersteuning en dagbesteding. Het gevolg is dat het college ook weinig informatie verzamelt. In het inkoopdocument zijn nog wel uitgangspunten geformuleerd, maar die zeggen alleen iets over het proces van toegang.

 

Lees het hele onderzoek op de projectpagina.
projectpagina
2019

Jeugdhulp in Zaanstad

  • Bestuur en ondersteuning
  • Financieel beheer
  • Niet-financiële bedrijfsvoering
  • Sociaal domein
  • Wmo en zorg

Jeugdhulp in Zaanstad

Over het onderzoek
Sinds 2015 zijn de gemeenten verantwoordelijk voor jeugdhulp. Eerder waren dit de stadsregio en het Rijk. Door deze verandering zou het aanbod van jeugdhulp eenvoudiger, efficiënter en effectiever worden. Ook zou het financieel voordelig zijn. In het najaar van 2018 bleek dat de kosten voor de jeugdhulp in Zaanstad erg opliepen. Inmiddels heeft de jeugdhulp in Zaanstad een tekort van € 3,9 miljoen. In dit onderzoek willen we laten zien hoe dit tekort is ontstaan en wat de gemeente ertegen wil doen. Ook onderzoeken we hoe de gemeente Zaanstad is omgegaan met de aanbevelingen van ons onderzoek uit 2015.

De resultaten
De gemeente Zaanstad heeft het tekort op de jeugdhulpverlening in 2018 niet goed in beeld. Het college heeft eerder aan de raad een tekort van € 3,9 miljoen gemeld. Wij komen op een tekort van € 5,9 miljoen. We concluderen verder dat de gemeente onvoldoende zicht heeft op de oorzaken voor de tekorten op de jeugdhulp. Dit komt doordat de ontwikkeling van het gebruik van en de kosten voor specialistische jeugdhulp niet goed in beeld zijn.

Lees het hele onderzoek op de projectpagina.
projectpagina
2019

Handhaving en overlast

  • Handhaving
  • Ruimtelijke ordening
  • Veiligheid
  • Volkshuisvesting, ruimtelijke ordening en stedelijke vernieuwing

Handhaving en overlast

Over het onderzoek
Eind 2017 koos ons burgerpanel voor ‘handhaving en overlast’ als centraal thema voor ons publieksonderzoek van 2018. In dit onderzoek zijn we nagegaan wat de gemeentelijke handhaving heeft bijgedragen aan het bestrijden van sociale overlast in Amsterdam. We onderzochten de kwaliteit van het handhavingsbeleid, de uitvoering ervan en de resultaten die met de aanpak werden bereikt.

De resultaten in 2019
Handhaving draagt nog onvoldoende structureel bij aan het verminderen van sociale overlast. Het college heeft wel een heldere visie op handhaving, maar is weinig duidelijk over de normen van wat acceptabel (gedrag) is en wat niet. Er is te weinig inzicht in de concrete problemen. Daarnaast zijn de ambities van de gemeente hoog. Maar de mogelijkheden om die ambities uit te voeren sluiten daar niet bij aan.

Lees het hele onderzoek op de projectpagina.
projectpagina
2017

Wachten op opvang

  • Sociaal domein
  • Wmo en zorg

Wachten op opvang

Over het onderzoek
In Wachten op opvang onderzochten we twee opvangketens: opvang van dak- en thuisloze (maatschappelijke opvang) en beschermd wonen. In Amsterdam hebben in 2016 ten minste 1.612 daklozen zich gemeld bij de gemeente om toegang te krijgen tot maatschappelijke opvang. Voor beschermd wonen meldden hulpverleners 1.246 cliënten aan. Niet iedereen die zich meldt krijgt ook toegang tot opvang. En als is besloten dat cliënten recht hebben op opvang, moeten zij in de praktijk vaak wachten op een plaats in een voorziening. We onderzochten in hoeverre het gemeentebestuur een adequate toegang realiseerde tot de opvang voor (dreigend) dak- en thuislozen. En in hoeverre dit bestuur in voldoende mate de belemmeringen wegnam om uit de opvangketen in-, door- en uit te stromen.

De resultaten in 2017
Het college spant zich in om de maatschappelijke opvang en het beschermd wonen op passende en integrale wijze te bieden aan iedereen die daar recht op heeft. In 2016 werden ruim 3.500 mensen opgevangen. Toch is het voor daklozen en mensen met een psychiatrische problematiek niet eenvoudig om een opvangplaats te krijgen die past bij hun situatie. Het toegangsproces is complex en door gebrek aan opvangplaatsen moeten zij gemiddeld een jaar wachten. Verandert hun situatie op enig moment nadat ze geplaatst zijn, dan worden cliënten opnieuw op een wachtlijst gezet. Het college heeft geen zicht op de effectiviteit van de ondersteuning en door het vele wachten en de tekortschietende ondersteuning wordt de zorg nodeloos duur en kunnen mensen hun situatie niet verbeteren.

Lees het hele onderzoek op de projectpagina.
projectpagina G4-brief Maatschappelijke opvang
2017

Subsidies bewonersondersteuning

  • Burgerparticipatie
  • Sociaal domein
  • Volkshuisvesting, ruimtelijke ordening en stedelijke vernieuwing
  • Wonen

Subsidies bewonersondersteuning

Over het onderzoek
De gemeente wil bewonersondersteuning en belangenbehartiging aanbieden als basisvoorziening aan alle Amsterdammers. Voor deze basisvoorziening ontvangen ASW/WSWonen (thans !Woon), de Huurdersvereniging Amsterdam (HA) en het Emil Blaauw Proceskostenfonds jaarlijks een subsidie. We onderzochten hoe de gemeente borgt dat de beschikbaar gestelde subsidies doeltreffend, doelmatig en rechtmatig worden besteed. De ASW en HA waren organisatorisch sterk aan elkaar verbonden. De gemeente wilde de organisatorische banden tussen de ASW en HA ontvlechten. Wij hebben in dit onderzoek tevens bekeken hoe de gemeente dit proces heeft aangestuurd.

De resultaten in 2017
We constateren dat de subsidieaanvragen voldoende informatie bevatten om te beoordelen of de activiteiten van de instellingen aansluiten op het gemeentelijk beleid. De informatie om de doelmatigheid van het beleid en de doelmatigheid van de bedrijfsvoering van de instellingen te beoordelen, is echter nog onvoldoende of wordt te weinig gebruikt. Het ontvlechtingsproces van de Huurdersvereniging Amsterdam (HA) en ASW (thans !WOON) had beter gekund.

Lees het hele onderzoek op de projectpagina.
projectpagina
2015

Verkeersveiligheid

  • Veiligheid
  • Veiligheid
  • Verkeer en vervoer
  • Verkeer, vervoer en waterstaat

Verkeersveiligheid

Over het onderzoek
De gemeente Amsterdam streeft naar het verminderen van het aantal (ernstige) verkeerslachtoffers. In het verleden lag de nadruk op de aanpak van punten in de stad waar veel ongevallen gebeuren, de zogenaamde black spots. In Verkeersveiligheid onderzochten we hoe het gesteld is met de verkeersveiligheid in Amsterdam, welke maatregelen de gemeente neemt op de meest gevaarlijke kruispunten in de stad en in hoeverre deze effectief zijn.

De resultaten in 2015

Door de slechte kwaliteit van de landelijke ongevallenregistratie is moeilijk vast te stellen hoe het ervoor staat met de verkeersveiligheid in Amsterdam. Met een slag om de arm kan worden gezegd dat het beeld in Amsterdam niet alleen maar positief is. Het beleid en de uitvoering rondom blackspots is wel voldoende vastgelegd. Maar relevante informatie wordt niet altijd gedeeld met de gemeenteraad. En de snelle en eenvoudige maatregelen, die bij de aanpak van blackspots worden genomen, leiden tot verbeteringen, maar lossen vaak de complexe problematiek van een blackspot niet op.

Lees het hele onderzoek op de projectpagina.
projectpagina
2014

Afhandeling horecaklachten (2014)

  • Economie
  • Economie
  • Handhaving
  • Veiligheid
  • Veiligheid

Afhandeling horecaklachten (2014)

Over het onderzoek
Horeca vervult een belangrijke functie in de stad Amsterdam, maar kan voor bewoners ook een bron van overlast zijn. Jaarlijks dienen honderden Amsterdammers dan ook een klacht in over een horecaonderneming in hun woonomgeving. Omdat horecaoverlast een prominent terugkerend thema is dat zich lastig laat oplossen, hebben wij onderzocht in hoeverre de afhandeling van horecaklachten in de stadsdelen Zuid en Centrum efficiënt was ingericht en of de gemeente ervan kon leren.

De resultaten in 2014
We concluderen dat de kwaliteit van de registratie en afhandeling van horecaklachten nog onvoldoende is voor een lerende organisatie.

Lees het hele onderzoek op de projectpagina.
projectpagina Afhandeling horecaklachten (2019)
2014

Beheer van sporthallen en sportparken (fase 2)

  • Sport en recreatie
  • Sport, cultuur en recreatie

Beheer van sporthallen en sportparken (fase 2)

Over het onderzoek
In Beheer van sporthallen en sportparken onderzochten we of er bij de stadsdelen Nieuw-West, Noord, Oost en Zuid voldoende informatie beschikbaar was om inzicht te krijgen in het sport(accommodatie)beleid van de stadsdelen, en de beschikbare kosten en opbrengsten per sportaccommodatie. We deden dit in twee fases. In deze fase (fase 2) deden we diepgaander onderzoek naar een aantal specifieke accommodaties. We onderzochten of er verschillen te zien zijn in doelmatigheid tussen vormen van gemeentelijk beheer van sportaccommodaties.

De resultaten in 2014
De belangrijkste conclusie is dat bij alle exploitanten (gemeente of particulier) de kwaliteit van de informatie onvoldoende is voor een professionele aansturing en verantwoording.

Lees het hele onderzoek op de projectpagina.
projectpagina Beheer van sporthallen en sportparken (fase 1)
2013

Parkeren in Amsterdam

  • Ruimtelijke ordening
  • Verkeer en vervoer
  • Verkeer, vervoer en waterstaat
  • Volkshuisvesting, ruimtelijke ordening en stedelijke vernieuwing

Parkeren in Amsterdam

Over het onderzoek
Jaarlijks innen de Amsterdamse stadsdelen grote bedragen aan fiscale parkeeropbrengsten. Daarvan is in 2012 ongeveer € 62 miljoen beschikbaar voor de stadsdelen om hun eigen parkeer-, verkeer- en vervoerbeleid nader vorm te geven. Maar wat willen de verschillende stadsdelen precies bereiken met hun parkeerbeleid? En hangt het beleid van de verschillende stadsdelen met elkaar samen? Dat onderzochten we in Parkeren in Amsterdam.

De resultaten in 2013
Het parkeerbeleid van de stadsdelen in de gemeente Amsterdam is weinig concreet geformuleerd. Hierdoor is achteraf moeilijk vast te stellen of het beleid effectief is geweest. Daarnaast is er over het algemeen weinig aandacht voor samenhang tussen het parkeerbeleid van de verschillende stadsdelen.

Lees het hele onderzoek op de projectpagina.
projectpagina
2013

Schuldhulpverlening (centrale stad)

  • Sociaal domein
  • Wmo en zorg

Schuldhulpverlening (centrale stad)

Over het onderzoek
In Schuldhulpverlening in Bos en Lommer en Zuidoost (2007) constateerden we een aantal knelpunten op het gebied van schuldhulpverlening. De gemeente had met name geen goed zicht op het succes van de uitgevoerde trajecten. In 2013 onderzochten we in hoeverre de resultaten van de schuldhulpverlening anno 2013 inzichtelijk waren en op welke wijze hierover gegevens verzameld werden.

De resultaten in 2013
De gemeente is op de goede weg met het verzamelen van informatie over de geleverde prestaties, succes- en faalfactoren bij deze prestaties en de bereikte effecten. De nieuwe schuldhulpverleningsmonitor maakt de prestaties en resultaten van de schuldhulpverlening namelijk op een gedetailleerd niveau inzichtelijk. Naast deze kwantitatieve gegevens worden kwalitatieve gegevens verzameld door (een) kwaliteitsconsulent, klanttevredenheidsonderzoeken en klachtenoverzichten. Tot slot worden de verzamelde gegevens besproken in kwartaaloverleggen.

Lees het hele onderzoek op de projectpagina.
projectpagina
2011

Ontwikkeling personeelsomvang

  • Bestuur en ondersteuning
  • Deelnemingen en samenwerking

Ontwikkeling personeelsomvang

Over het onderzoek
De Amsterdamse ambtelijke organisatie is de afgelopen 25 jaar veranderd. Er zijn bijvoorbeeld nieuwe stadsdelen gevormd en daarna weer samengevoegd. Wij wilden onderzoeken hoe in deze periode de omvang van het personeelsbestand is ontwikkeld. Dit hebben we gedaan in de vorm van een verkenning. Het doel van deze verkenning was om te beoordelen of er redenen waren om verder onderzoek te doen.

Resultaten in 2011
We concluderen dat onderzoek naar ontwikkelingen in de doelmatigheid van het ambtelijk apparaat lastig, zo niet onmogelijk, is. De kwaliteit van de historische personeelsgegevens is daarvoor te beperkt. Daarnaast kunnen veranderingen in aantallen fte natuurlijk ook te maken hebben met taakverzwaring (of taakvermindering) in plaats van met minder (of meer) efficiëntie van het ambtelijk apparaat. We denken dat ook in een groot onderzoek met meer en meer nauwkeurige indicatoren voor de taakverzwaring niet goed mogelijk zal blijven om een betrouwbare uitspraak te doen.

Lees het hele onderzoek op de projectpagina.
projectpagina
2011

Handhaving openbare ruimte in Zaanstad

  • Handhaving
  • Veiligheid

Handhaving openbare ruimte in Zaanstad

Over het onderzoek
Handhaven van wetten en regels vraagt om het maken van keuzes. De beschikbare capaciteit is nu eenmaal nooit toereikend om op alle terreinen alles te kunnen handhaven. Het bestuur van de gemeente maakt de keuzes. In Handhaving openbare orde onderzochten we het beleid en de uitvoering van handhaving openbare ruimte in Zaanstad.

De resultaten
Op grond van het onderzoek concluderen we dat de gemeente Zaanstad geen doelen heeft gesteld voor het beoogde gedrag van burgers en geen goede afweging heeft gemaakt over de in te zetten handhavingsmaatregelen. Ook kan de gemeente geen goede inschatting maken van de benodigde capaciteit en kosten. En kan het moeilijk bepalen of de ingezette handhavingscapaciteit bijdraagt aan het behalen van het beleidsdoel.

Lees het hele onderzoek op de projectpagina.
projectpagina
2010

Inburgering

  • Begroting en rekening
  • Bestuur en ondersteuning
  • Burgerparticipatie
  • Sociaal domein

Inburgering

Over het onderzoek
In de afgelopen jaren heeft het onderwerp inburgering landelijk en in Amsterdam veel politieke aandacht gekregen. In Amsterdam verliep de invoering van de Wet Inburgering in 2007 moeizaam. Naar aanleiding daarvan stelde de gemeenteraad vragen over de wijze waarop de gemeente tot afspraken kwam met inburgeraars over inburgeringstrajecten. Ook liet het college van B en W diverse onderzoeken uitvoeren. Wij deden een beperkt onderzoek naar de kwaliteit van informatievoorziening aan de gemeenteraad.

De resultaten in 2010
Hoewel de kwaliteit van de informatie in de voortgangsrapportages aan de gemeenteraad de afgelopen jaren is toegenomen, constateren we dat de kwaliteit van de informatie over taal- en inburgeringstrajecten nog niet voldoende is. De informatie aan de raad gaat vooral over het aantal gestarte taal- en inburgeringstrajecten. Aangezien niet alle trajecten met succes worden afgerond, krijgt de raad daarmee onvoldoende inzicht in de resultaten van inburgering. Informatie over de trajecten die inburgeraars met succes afronden, is maar beperkt aanwezig. Doordat de gemeenteraad geen inzicht heeft in de resultaten kan zij ook niet beoordelen of de gemeente het risico loopt een deel van de vergoedingen van het Rijk voor inburgering mis te lopen.

Lees het hele onderzoek op de projectpagina.
projectpagina