Over de toeslagenaffaire is het laatste woord nog niet gezegd. Niet alleen omdat het grote puinruimen pas is begonnen, ook omdat de kans op een herhaling van misstappen met de dag toeneemt. In plaats van kritisch te kijken naar de computersystemen die een rol speelden bij de onterechte fraudeverdenkingen, nam de Tweede Kamer namelijk een wet aan waarmee nog ingrijpendere ‘risico-indicatiesystemen’ kunnen worden opgetuigd.
Halverwege december, nota bene op de dag waarop de Parlementaire Ondervragingscommissie Kinderopvangtoeslag (POK) haar bevindingen presenteerde, stemde de Tweede Kamer met deze nieuwe wet in. Er kraaide geen haan naar, en dat is ook niet zo vreemd: de ‘Wet Gegevensverwerking Samenwerkingsverbanden’ is nou niet bepaald een naam die blijft hangen. En hoewel het niet klinkt als iets waar je wakker van hoeft te liggen, is daar alle reden toe.
Inzet van data 'zonder grip'
Als ook de Eerste Kamer met de wet instemt, kunnen overheden en private partijen op nog grotere schaal data delen en verwerken. Niet alleen banken en notarissen, ook overheidsorganisaties zoals de Belastingdienst, Politie, Koninklijke Marechaussee, IND, Fiscale Inlichtingen en Opsporingsdienst, Voedsel- en Waren Autoriteit, inspectiediensten, zorginstellingen en gemeenten. Dit betekent dat nog meer overheidsorganisaties en nog meer bedrijven data met elkaar gaan delen, om nog meer risicoanalyses uit te voeren waarbij mensen ten onrechte afgerekend kunnen worden op voorspeld gedrag.
“
Computersystemen zoals het systeem dat de toeslagenaffaire in de hand werkte, vermenigvuldigen zich waar je bij staat
Tweede Kamerlid Kees Verhoeven (D66) luidt de noodklok. Computersystemen zoals het systeem dat de toeslagenaffaire in de hand werkte,
vermenigvuldigen zich waar je bij staat.
In het Tweede Kamerdebat gaf Verhoeven de nieuwe wet daarom de toepasselijke bijnaam: ‘data-deeltjesversneller’. Op
sociale media waarschuwt hij: ‘Om fraude uit te bannen kiest men vol daadkracht voor het verkeerde middel: gehaaste inzet van data zonder grip. Nu is het doodstil, maar als het straks misgaat, schreeuwt men moord en brand.’
Een vergelijking met de toeslagenaffaire is terecht. Ook bij de toeslagenaffaire werd namelijk data ‘zonder grip’ ingezet. Een opvallende passage
in het onderzoeksrapport ‘Ongekend Onrecht’ schetst hoe dat er in het computersysteem van de Belastingdienst uitzag: ‘Het risico-classificatiemodel is een zelflerend model dat ‘leert’ op basis van voorbeelden van juiste en onjuiste aanvragen. Daarbij wordt gebruik gemaakt van tientallen indicatoren. De Autoriteit Persoonsgegevens heeft in 2020 vastgesteld dat in het risico-classificatiemodel in ieder geval vanaf maart 2016 tot en met oktober 2018 sprake was van een onbehoorlijke, discriminerende verwerking, omdat de nationaliteit van aanvragers is gebruikt voor de indicator ‘Nederlanderschap’ in het model.’
Een zelflerend model, wat moeten we ons daarbij voorstellen?
Een computermodel wordt vaak een algoritme genoemd: een stappenplan met een reeks als-dit-dan-dat-instructies om naar een einddoel te komen. We horen vaak dat algoritmen alleen dingen doen waarvoor ze geprogrammeerd zijn, maar dat is tegenwoordig niet altijd het geval. Een zelflerend computersysteem, haalt zelfstandig patronen uit onze data, bouwt modellen en doet voorspellingen zónder voorgeprogrammeerde regels.
Er zijn grofweg drie manieren waarop computersystemen kunnen leren:
1. Supervised Learning: bij deze methode wordt de trainingsdata vooraf door programmeurs gelabeld. Bijvoorbeeld ‘dit is een hond, dat niet’. Op deze manier leren computersystemen objecten categoriseren.
2. Unsupervised Learning: hier leren algoritmen om zelfstandig naar patronen te zoeken in grote hoeveelheden data zonder labels. Programmeurs geven op voorhand een bereik aan waarmee de afstand tussen de verschillende dataresultaten gemeten kan worden. Het algoritme ordent de data zodat datasets met een kleine afstand bij elkaar in een cluster komen. De muziekgenres in Spotify werken bijvoorbeeld op deze manier.
3. Reinforcement Learning: Hier leren algoritmen door middel van trial and error. De voorbeelden worden niet vooraf gelabeld, maar het algoritme krijgt op basis van de resultaten achteraf feedback met een beloning als het de juiste oplossing aandraagt. AlphaGo Zero, het algoritme dat heel goed het spel Go kan spelen, is hier een voorbeeld van.
Of in de toeslagenaffaire een zelflerend model (zie kader) werd gebruikt is onduidelijk. Volgens het onderzoeksrapport naar de toeslagenaffaire in elk geval wel.
In het algoritme-onderzoeksrapport van De Rekenkamer staat echter dat in deze periode geen algoritmen zijn gebruikt die ‘helemaal zelfstandig kunnen leren van datasets’.
“
Deze computermodellen gooien correlatie en causaliteit op dezelfde hoop
Dat de rapporten elkaar tegenspreken is niet vreemd. Er bestaat namelijk geen universele, eenduidige definitie van ‘zelflerend’. Bovendien zijn er bij alle drie de ‘leervarianten’ momenten waarop het systeem zelfstandig opereert, en momenten waarop de programmeur aan zet is. Daarom zou je de Belastingdienst in zijn geheel als een soort zelflerend systeem kunnen zien: er is een wisselwerking tussen mensen die computermodellen ontwerpen, modellen die zelfstandig data categoriseren, mensen die met de uitkomsten aan de slag gaan, modellen die vervolgens weer zelfstandig gaan rekenen, mensen die dat dan weer overpakken, enzovoorts. En in dat zelflerende proces zijn een hoop dingen verkeerd gegaan.
Aura van objectiviteit
Over het computermodel van de Belastingdienst zijn twee dingen in elk geval zeker: het model werd getraind met voorbeelden van juiste en onjuiste toeslagaanvragen. Daarnaast waren dubbele nationaliteit en achternaam indicatoren waar bewust voor gekozen is.
Het probleem met deze computermodellen, of ze nu zelflerend zijn of niet, is dat correlatie (samenhang tussen twee verschijnselen) en causaliteit (verband tussen oorzaak en gevolg) op dezelfde hoop worden gegooid. Als een computersysteem bijvoorbeeld heeft geleerd wat een hond is op basis van afbeeldingen die allemaal een hond en grote stukken groen gras bevatten, neemt het systeem automatisch aan dat elke afbeelding met veel groene pixels een hoge kans heeft om honden te bevatten. Maar in werkelijkheid bevatten natuurlijk niet alle afbeeldingen met veel groene pixels een hond.
“
Medewerkers kunnen hun morele verantwoordelijkheid afschuiven op de keuzes van het computersysteem
Hetzelfde kan gebeuren met dubbele nationaliteit. Als in de voorbeelden waarvan het model heeft geleerd, dubbele nationaliteit vaker voorkomt bij foute toeslagaanvragen, wordt dubbele nationaliteit meegewogen in de voorspelling of een toekomstige aanvraag fout is. Dit kan grensgevallen over een beslisdrempel tillen, of er nou een oorzakelijke relatie is of niet. Of die relatie er echt altijd is, wat de relatie betekent en hoe die in de gegevens terecht is gekomen wordt niet gecontroleerd, terwijl dit voor mensen die met een verkeerde computervoorspelling te maken krijgen juist van wezenlijk belang is.
Een risico is dat medewerkers hun morele verantwoordelijkheid kunnen afschuiven op de keuzes van het computersysteem waar ze mee samenwerken. Mensen volgen vaak blind de uitkomsten van het systeem op. Computers zijn namelijk omgeven door een aura van objectiviteit: mensen kunnen het rekenproces niet doorgronden en gaan er dus van uit dat een computerbeslissing altijd klopt. Maar computersystemen zijn lang niet zo objectief als we denken. De normen en waarden van de mensen die ze hebben ontworpen werken door in de systemen, en de datasets waarmee de systemen worden getraind bevatten vaak dezelfde vooroordelen, culturele stereotyperingen en maatschappelijke ongelijkheden als in de analoge wereld.
“
De overheid gebruikte SyRI om te bepalen welke burgers sneller uitkeringsfraude zouden plegen
Die wisselwerking zagen we niet alleen bij de toeslagenaffaire, maar ook bij het inmiddels beruchte
Systeem Risico Indicatie (SyRI). De overheid gebruikte dit systeem om te bepalen welke burgers sneller uitkeringsfraude zouden plegen, of arbeidswetten niet zouden naleven. Om die inschatting te maken, koppelde SyRI allerlei gegevens aan elkaar: woon- en verblijfsgegevens, zorgverzekeringsgegevens, bedrijfsgegevens, re-integratiegegevens, gegevens over ontheffingen en vergunningen, boetegegevens, gegevens over bezittingen, toeslagen- en subsidiegegevens, onderwijsgegevens, inburgeringsgegevens en schuldenlastgegevens.
Toen de rechtbank het gebruik van het systeem begin 2020 verbood, omdat burgers uit minder welvarende postcodegebieden ten onrechte werden aangewezen als fraudeur, hoopte iedereen op voortschrijdend inzicht. Maar met de nieuwe datakoppelwet, de Wet Gegevensverwerking Samenwerkingsverbanden, zijn we nog verder van huis. De wet krijgt nu al de bijnaam Super SyRI, omdat inmiddels al vier publiek-private risico-indicatiesystemen zijn opgetuigd waar doorlopend nieuwe samenwerkingsverbanden aan toegevoegd kunnen worden.
Het grote boze algoritme
Eigenlijk is de hamvraag niet of discriminerende algoritmen voortkomen uit discriminerende mensen of discriminerende mensen voortkomen uit discriminerende algoritmen. In de toeslagenaffaire hebben we gezien dat het systeem twee kanten op werkt: een klimaat waarin groepen worden gediscrimineerd kan het ontwerp van een algoritme negatief beïnvloeden en vice versa.
Fiasco’s als SyRI en de toeslagenaffaire laten zien dat we ons niet genoeg bewust zijn van de valkuilen als we computersystemen in de echte wereld loslaten. Toch moeten we de schuld niet afschuiven op ‘het grote boze algoritme’. Algoritmen zijn door mensen gemaakt en de uitkomsten moeten altijd door mensen gecontroleerd kunnen worden.
“
Transparante modellen kunnen het soms juist moeilijker maken om fouten in het model op te sporen en te corrigeren
Dat is een ingewikkelde opgave. Met de ontwikkeling van kunstmatige intelligentie wil de overheid vaker zelflerende algoritmen gebruiken. Deze kunnen duizenden parameters bevatten, waardoor onmogelijk nog valt te achterhalen welke rekenstappen het algoritme heeft doorlopen om tot een eindbeslissing te komen. Naarmate computersystemen complexer worden en meer verknoopt raken met menselijke beslisprocessen, wordt het alleen maar moeilijker om te bepalen wie welke verantwoordelijkheid heeft en waar de eigen invloed begint en eindigt.
Uit onderzoek blijkt zelfs dat transparante modellen het soms juist moeilijker kunnen maken om fouten in het model op te sporen en te corrigeren. Door een overdaad aan informatie konden mensen bijvoorbeeld minder goed de belangrijkste fouten in het model aanwijzen. Daarnaast bleken versimpelde visualisaties tot verkeerde aannames over de datasets en gebruikte modellen te leiden.
“
Met de ontwikkeling van kunstmatige intelligentie wil de overheid vaker zelflerende algoritmen gebruiken
‘De menselijke maat moet weer terug in het systeem’, is een veelgehoorde kreet. Maar de menselijke maat werd jarenlang als probleem gezien: mensen hebben last van vooroordelen en daarom moesten we belangrijke beslissingen maar aan computers overlaten. Nu we erachter komen dat computersystemen een verlengstuk zijn van onze eigen vooroordelen, gaan we hopelijk inzien dat onze menselijke subjectiviteit geen probleem is dat met technologie moet worden opgelost. Net als de menselijke maat, is ook de computermaat subjectief, met het belangrijke verschil dat we mensen moreel verantwoordelijkheid kunnen houden voor hun beslissingen en computers niet.
