‘Deze manier van werken zet de taakopvatting van de politie op z’n kop’, zegt Lotte Houwing, beleidsadviseur en onderzoeker bij Bits of Freedom, ‘waar ze eerst enkel onderzoek deden naar strafbare feiten, komen op deze manier ook intenties binnen het bereik. Dat vind ik zorgelijk.’
Misdaad bestrijden vóór het heeft plaatsgevonden? Klinkt als sciencefiction, maar niets is minder waar. Waar in de film 'Minority Report' drie helderzienden misdaad voorspellen, hebben we tegenwoordig predictive policing-software; algoritmes die berekenen hoe groot de kans is dat je geweld of een misdaad gaat plegen.
Bits of Freedom
Bits of Freedom is een Nederlandse beweging die opkomt voor jouw internetvrijheid. Zij ontketenden onder andere de massale weerstand tegen de Sleepwet.
Daderscore
In de documentaire Pre-Crime brengen regisseurs Monika Hielscher en Matthias Heeder in kaart in hoeverre predictive policing al realiteit is. CAS (Criminaliteits Anticipatie Systeem) is een systeem dat berekent waar en wanneer misdaad zal plaatsvinden. Nederland is het eerste land dat dit systeem in alle basiskorpsen heeft uitgerold. Maar nieuwer, en controversiëler, is software die werkt met een puntensysteem per hoofd, predictive identification. Aan de hand van onbekende variabelen wordt berekend hoe groot de kans is dat jij crimineel gedrag gaat vertonen. Dit systeem wordt belicht in Pre-Crime. Enkele politiekorpsen draaien hier pilots mee, o.a. in Californië.
‘Of dit ook in Nederland gebeurt? Jazeker’, zegt Jaïr Schalkwijk van Controle Alt Delete. ‘In Roermond hebben ze last van straatroven en de lokale politie zegt dat de daders afkomstig zijn uit Midden- en Oost-Europa. Nu hebben ze, in samenwerking met de TU Eindhoven, software gemaakt die het telefoonverkeer bekijkt, kentekenplaten scant, met camera’s beweging op straat volgt en zo dadersprofielen opstelt.’ In een NOS-artikel over de pilot in Roermond valt het op dat als je een Roemeens kenteken hebt of uit de richting van Duitsland naar Roermond komt, je score hoger wordt. ‘De vraag is: mag je verdacht zijn voordat je iets hebt gedaan? Wie wordt er daadwerkelijk beschermd door deze toepassingen en wie zijn de slachtoffers? Er is weinig transparantie over hoe deze algoritmes werken en waar de data vandaan komen. Voorspellende software is zo goed als de gegevens die erin gaan. Met weinig bewijs over de betrouwbaarheid van de brongegevens of de correctheid van de dataverwerkingstechnieken, zijn missers bijna een gegeven.'
Controle Alt Delete
Controle Alt Delete is een organisatie die zich inzet tegen etnisch profileren oftewel voor eerlijke en effectieve controles door de politie.
'Wat maakt dat we geflagd kunnen worden als een potentiële dader?'
Variabelen
Het gebrek aan transparantie is wat Schalkwijk en Houwing zorgen baart. Want wat maakt dat we geflagd kunnen worden als een potentiële dader? Houwing is bekend met een aantal van de factoren waar het CAS mee werkt. ‘Het gevaar van een gebied wordt bepaald aan de hand van social media, geografische data – hoeveel drankwinkels zitten er in een wijk? Hoeveel criminele bedrijven? Zijn er vluchtwegen zoals een snelweg in de buurt? –, Is het een wijk met hoge of lage inkomens? Een buurt waar vooral alleenstaanden of gezinnen wonen? En ook de criminaliteitsgeschiedenis van een plek wordt meegenomen.’
De politie maakt ook gebruik van analysetools die gemaakt zijn voor bedrijven om in de gaten te houden wat het publiek van hen vindt. ‘Dat zijn zogenaamde reputatiemanagementtools. Hiermee kun je op zoekwoorden social media en het web doorzoeken om te kijken waar mensen zich mee bezighouden. Soms wordt er naar aanleiding van opvallende berichten verder gekeken naar berichten van dezelfde persoon uit het verleden om te kijken of er sprake is van een patroon. Ook worden evenementen zoals demonstraties in de gaten gehouden; hoeveel mensen komen er? Wat wordt er gepost op de evenementenpagina? Dit wordt nu gebruikt om de politie-inzet te bepalen, maar zou ook gebruikt kunnen worden om jouw persoonlijke score te bepalen.’
'Deze controles, waarbij iemand geen verdachte is, vergroten namelijk de kans op etnisch profileren'
Onschuld
Technische vorderingen gaan tegenwoordig sneller dan dat we onze wetten kunnen aanscherpen. ‘Natuurlijke drempels als hoge kosten voor dataopslag en analyse zijn door nieuwe technieken weggevallen, terwijl hier niets tegenover staat. Zo is er geen onafhankelijk toezichtsorgaan dat nagaat of de politie goed omgaat met onze data en of ze die data überhaupt wel mogen hebben’, zegt Houwing.
Datahandelaren spelen hierin ook een belangrijke rol. ‘Het is niet in hun belang om de zuiverste data aan te leveren. Hun product moet commercieel aantrekkelijk zijn. Aan de kant van de overheid heerst te vaak het idee dat meer data de kwaliteit van de output ten goede komt, wat leidt tot datahonger. Dit is echter niet waar: als de data die je in je predictive policing-software stopt niet zuiver is, is de output dat ook niet. Zo kun je onterecht in het systeem terechtkomen, en kan de politie foute beslissingen maken.’
Schalkwijk maakt zich ook zorgen om de output. 'Criminaliteitsgegevens uit het verleden worden mede gebruikt om voorspellingen in de toekomst te doen. Dat leidt ertoe dat agenten terugkeren naar buurten waar ze eerder een verdachte aanhielden. Door hun aanwezigheid zullen er ook meer verdachten gepakt worden, waardoor de agenten blijven terugkomen naar een buurt', legt Schalkwijk uit.
‘Het is natuurlijk common sense dat de politie meer naar risicobuurten toegaat. Maar de vraag is met welke opdracht politieagenten de buurt in worden gestuurd. Zijn ze aanwezig zodat ze sneller ter plaatse zijn of voeren ze veel proactieve controles uit? Deze controles, waarbij iemand niet een verdachte is, vergroten namelijk de kans op etnisch profileren.’ Ook stelt Controle Alt Delete dat dit tornt aan de onschuldpresumptie, een grondbeginsel van het strafrecht.
Hoewel een maatschappij zonder criminaliteit als een utopie klinkt, is dat het niet vindt Houwing. ‘De kwalijkheid van criminaliteit wordt soms overschat. Soms overtreedt iemand een regel die we als samenleving bij nader inzien toch niet zo nodig vinden. Dat gesprek moet je kunnen hebben. Met een bijna alomtegenwoordige surveillance wordt dit te eng.’
Transparantie
De vraag die nu rest is natuurlijk: ‘wat moeten we hiermee?’ Het is onhoudbaar om nieuwe technieken en software te weren uit politiewerk, maar hoe kan dat op een goede manier gebeuren? Volgens Houwing moeten er verschillende controlepunten in de data- en politieketen komen en moet er strikter worden gereguleerd wat de politie wel en niet met data en technologie mag doen. Maar ook is het belangrijk dat er meer diversiteit komt in de teams die algoritmes maken en software schrijven om zo vooroordelen in het ontwerp te verminderen.’
‘De discussie over de ethiek van kunstmatige intelligentie moet gevoerd worden met softwareontwikkelaars, overheden, bedrijven, politie en rechters die predictive-policing-software gaan gebruiken'
Schalkwijk wijst op het Artificial Intelligence and Human Rights Initiative dat Amnesty International gestart is. Dat initiatief zal mensenrechtenbeginselen formuleren voor kunstmatige intelligentie en de discussie over de ethiek van kunstmatige intelligentie aanzwengelen. Dit gesprek moet gevoerd worden met softwareontwikkelaars, overheden, bedrijven, politie en rechters die de software gaan toepassen. Maar ook met een ieder die onderdeel is van de samenleving, want het gaat iedereen aan.'