Algoritmen
Laatste update: 1 april 2024
Over het onderzoek
Algoritmen zijn regels die een computer volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden. Amsterdam gebruikt veel algoritmen. Bijvoorbeeld om nummerborden te scannen voor parkeercontroles of om de WOZ-waarde van woningen te berekenen. Het gebruik van algoritmen ligt gevoelig. Algoritmen kunnen grote invloed hebben op burgers en bedrijven. Er is bijvoorbeeld een risico op de inbreuk van privacy van burgers. En als er vooroordelen in een algoritme zitten, kan het algoritme discrimineren.
In dit onderzoek staat de vraag centraal: in hoeverre is het Amsterdamse beheerskader voor algoritmen toereikend voor een verantwoorde toepassing van algoritmen en welke lessen kunnen getrokken worden over het toepassen van algoritmen in de Amsterdamse praktijk?
Wat zijn de belangrijkste bevindingen uit het onderzoek?
Amsterdam wil grip krijgen op algoritmen en algoritmen eerlijker en transparanter maken voor burgers. Om dit te realiseren zijn ambtenaren begin 2022 begonnen met het maken van een beheerskader – een soort handleiding – voor algoritmen. Daarmee liep Amsterdam voor op andere gemeenten. We concluderen dat er in het beheerskader en de praktijk aandacht is voor veel risico’s die het verantwoord toepassen van algoritmen in de weg kunnen zitten. Maar we zien ook dat verbeteringen mogelijk en nodig zijn om meer grip te krijgen op algoritmen en om algoritmen eerlijker en transparanter te maken.
Lees ook: onze rekenkamerbrief aan de gemeenteraad van Zaanstad over dit onderzoek
Status
Op 20 oktober 2023 publiceerden wij het onderzoek.
Ter voorbereiding op de commissiebehandeling hebben wij op woensdag 6 december een digitale technische sessie verzorgd. Zowel raads- en commissieleden en fractieondersteuners namen deel aan de technische sessie en stelde ons vragen. Daarnaast namen vier ambtenaren als toehoorder deel aan de technische sessie. Op donderdag 14 december 2023 is het onderzoek behandeld in de commissievergadering Financiën, Kunst en Diversiteit (FKD). De gemeenteraad heeft op 20 december 2023 gesproken over het rapport en besloten de vijf aanbevelingen over te nemen, en het college te vragen om een plan van aanpak voor het opvolgen van de aanbevelingen. Daarnaast heeft de gemeenteraad motie 733 aangenomen over het opzetten van een burgerpanel digitalisering
Onderzoekers
Algoritmen zijn regels die een computer volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden. Amsterdam gebruikt veel algoritmen. Bijvoorbeeld om nummerborden te scannen voor parkeercontroles of om de WOZ-waarde van woningen te berekenen. De gemeente wil grip krijgen op algoritmen en algoritmen eerlijker en transparanter maken voor burgers. Om dit te realiseren zijn ambtenaren begin 2022 begonnen met het maken van een beheerskader – een soort handleiding – voor algoritmen. Wij hebben onderzocht of het beheerskader in orde is. En we zijn nagegaan welke lessen de gemeente kan leren uit de praktijk. We concluderen dat het beheerskader en de praktijk aandacht hebben voor veel risico’s die verantwoord toepassen van algoritmen in de weg kunnen zitten. We zien ook dat verbeteringen mogelijk en nodig zijn om meer grip te krijgen op algoritmen en om algoritmen eerlijker en transparanter te maken.
Wat kan er beter aan het Amsterdamse beheerskader voor algoritmen?
Het beheerskader en de praktijk hebben nog weinig aandacht voor: 1) de eerlijkheid van algoritmen; 2) de privacybescherming van burgers; en 3) de openheid over het ontwikkelen en toepassen van algoritmen. Ook concluderen wij dat de samenhang en de kwaliteit van de onderdelen van het beheerskader beter kan. Bijvoorbeeld door te kiezen voor één definitie van het woord ‘algoritme’, zodat alle ambtenaren weten wanneer ze de handleiding voor algoritmen moeten gebruiken en weten hoe ze met risico’s moeten omgaan. Verder kan de gemeente het beheerskader concreter maken voor ambtenaren. Er is bijvoorbeeld een hulpmiddel nodig waarmee ambtenaren kunnen nagaan of het ontwikkelen van een algoritme wel haalbaar is, voordat er veel tijd en geld in wordt gestopt.
Algoritmen eerlijker maken
De gemeente wil niet dat algoritmen zonder goede reden onderscheid maken tussen burgers. De gemeente wil dus bias voorkomen. Maar de maatregelen om bias tegen te gaan, zijn weinig gebruikt. Zo heeft de gemeente nog maar bij één algoritme goed onderzocht of het algoritme eerlijk is. Daarnaast worden moeilijke beslissingen over de eerlijkheid van algoritmen nog niet genomen door het bestuur van de gemeente, terwijl dit politieke keuzes zijn.
Privacy beschermen
De gemeente wil de privacy van burgers goed beschermen als zij algoritmen gebruikt. Maar slaagt daar nog onvoldoende in. Verplichte wettelijke controles om de privacy te beschermen zijn onvoldoende uitgevoerd. Burgers zijn nog weinig persoonlijk geïnformeerd over wat de gemeente met hun gegevens doet. En de gemeente legt nog niet goed uit hoe algoritmen zijn gebruikt bij het nemen van besluiten over burgers.
Openbaarheid en transparantie over algoritmen
De gemeente wil open en transparant zijn over het gebruik van algoritmen. Ze heeft daarom een website gemaakt waar alle gemeentelijke algoritmen in moeten staan: het algoritmeregister. Amsterdam was de eerste gemeente met zo’n register. Deze website is alleen nog niet volledig. Zo staan in september 2023 nog maar 29 algoritmen op de website, terwijl er mogelijk honderden algoritmen zijn. Dat komt doordat de gemeente zelf niet goed weet welke algoritmen ze allemaal gebruikt. Hierdoor krijgen raadsleden en burgers te weinig informatie.
Onze adviezen
De gemeente wil de grip op algoritmen vergroten. Daarom adviseren we om het beheerskader verder te ontwikkelen zodat de kwaliteit verbetert. Daarnaast geven we het advies om het beheerskader vaker in de praktijk te gebruiken en daarvan te leren. De gemeente wil algoritmen ook eerlijker maken. We geven daarom concrete adviezen om de omgang met bias en de privacybescherming van burgers te verbeteren. Ten slotte wil de gemeente transparant zijn over algoritmen. We adviseren daarom om de gemeenteraad op vaste momenten te informeren, het algoritmeregister aan te vullen en om burgers persoonlijker en ruimhartig te informeren over het gebruik van algoritmen bij besluiten die hen aangaan.
- Algoritmen kunnen de effectiviteit en efficiëntie van de gemeente vergroten. Maar er kleven ook risico’s aan. Bijvoorbeeld het risico dat een algoritme onterecht onderscheid maakt.
- Het Amsterdamse beheerskader voor algoritmen heeft aandacht voor 49 van de 61 risico’s op de thema’s sturing & verantwoording, model & data, privacy, IT-beheer en ethiek.
- Amsterdam heeft een openbaar Algoritmeregister. Dit register bevat informatie over Amsterdamse algoritmen. Er staan 29 algoritmen in (stand oktober 2023). In onze inventarisatie (Bijlage 5 van het Onderzoeksrapport) staan er veel meer. Betrokken ambtenaren geven aan dat er mogelijk honderden algoritmen in gebruik zijn.
- We hebben drie algoritmen onderzocht. Eén algoritme dat de ambtelijke organisatie ondersteunt bij het behandelen van een aanvraag voor een Bbz-uitkering (Besluit bijstandverlening zelfstandigen). En twee algoritmen die de ambtelijke organisatie moeten gaan ondersteunen bij het herkennen van mogelijke overtredingen (op het water en op de woningmarkt voor sociale huurwoningen).
- Per algoritme zijn we nagegaan of Amsterdam risico’s onderkent en voldoende beheerst. Het gaat om in totaal 58 risico’s rond de thema’s sturing en verantwoording, model en data, privacy en IT-beheer. Voor alle drie de algoritmen geldt dat de ambtelijke organisatie het bestaan van bijna alle risico’s heeft onderkend.
- Voor de drie algoritmen geldt dat op de thema’s sturing en verantwoording, model en data, en IT-beheer voor driekwart van de risico’s door de gemeente beheersmaatregelen zijn getroffen.
- Er is ook een landelijk algoritmeregister. Daar staan 28 Amsterdamse algoritmen in (stand oktober 2023). Den Haag heeft 29 algoritmen, Rotterdam heeft 5 algoritmen en Utrecht heeft 38 algoritmen geregistreerd in het nationale register.
- Vijftien gemeenten hebben algoritmen geregistreerd in het nationale algoritmeregister. De andere 327 gemeenten hebben dat (nog) niet gedaan (oktober 2023).