Racisme in software: hoogleraar Ghebreab waarschuwt er al jaren voor

“En als die objecten aangestuurd worden door algoritmes die mogelijk discriminerend zijn, dan worden mensen ineens blootgesteld aan een arsenaal van objecten die hetzelfde soort gedrag vertonen.” Deze week kwam daar een nieuw incident bij dat landelijke bekendheid verwierf: een zwarte student van de Vrije Universiteit Amsterdam stapt naar het College van de Rechten van de Mens omdat de ‘antispieksoftware’, die haar universiteit bij tentamens gebruikte, haar niet als mens herkende vanwege haar donkere huid.

Ter illustratie verwijst Ghebreab naar het opsporingssysteem SyRI (niet te verwarren met spraakherkenningssysteem Siri). Het computersysteem werd in 2018 in de relatief arme Rotterdamse wijken Hillesluis en Bloemhof stiekem gebruikt om mogelijke fraude met bijvoorbeeld uitkeringen en toeslagen te achterhalen. “Algoritmes wezen zo wijken aan met een verhoogde kans op fraude. De bewoners werden bij voorbaat gewantrouwd op basis van een rekenmodel. Zo vererger je sociale ongelijkheid.” De ingevoerde data in SyRI bevatten vooroordelen, en doordat het algoritme alleen een specifiek patroon herkent en geen context ziet, worden bewoners met een zwakke sociaaleconomische achtergrond of migratieachtergrond benadeeld.

De schoolvoorkeuren van leerlingen worden gebruikt in een matching- en lotingsysteem. Leerlingen stellen een voorkeurslijst op, maar het systeem maakt bijvoorbeeld ook gebruik van voorrangsregels waarbij een leerling eerder wordt geplaatst op zijn of haar voorkeursschool indien het kind familie is van zittende leerlingen of omdat ze van een basisschool komen met een bepaald onderwijsconcept. “Het idee is dat leerlingen gelijk verdeeld worden, maar het kan onbedoeld leiden tot ongelijkheid en zelfs segregatie van scholen.”

Andersom kan een maker door (bewust of onbewust) bepaalde data wel of niet in te voeren, het systeem sturen. “De Amsterdamse hoogleraar aan het Amsterdams Medisch Centrum, Bart Biemond, vraagt meer aandacht voor de sikkelcelziekte, die voornamelijk bij zwarte mensen voorkomt. Het is een groot probleem waar relatief gezien weinig onderzoeksfinanciering voor bestaat. Als je medische algoritmes ontwikkelt om een diagnose te stellen, maar bij de bouw van het algoritme data over zwarte mensen niet meeneemt, dan beïnvloed je de uitkomst. Je creëert ongelijkheid in de gezondheidszorg.”

Omdat zij vooral naar hun eigen verdienmodel kijken, is het belangrijk om deze vraag niet alleen bij bedrijven en de overheid neer te leggen, maar ook bij de burger, bij iedereen. Als de burger daarin niet mee wil veranderen, mee wil denken, mee wil ontwikkelen; dan blijft die een speelbal van grote bedrijven.”