Trends in Security Information
The HSD Trendmonitor is designed to provide access to relevant content on various subjects in the safety and security domain, to identify relevant developments and to connect knowledge and organisations. The safety and security domain encompasses a vast number of subjects. Four relevant taxonomies (type of threat or opportunity, victim, source of threat and domain of application) have been constructed in order to visualize all of these subjects. The taxonomies and related category descriptions have been carefully composed according to other taxonomies, European and international standards and our own expertise.
In order to identify safety and security related trends, relevant reports and HSD news articles are continuously scanned, analysed and classified by hand according to the four taxonomies. This results in a wide array of observations, which we call ‘Trend Snippets’. Multiple Trend Snippets combined can provide insights into safety and security trends. The size of the circles shows the relative weight of the topic, the filters can be used to further select the most relevant content for you. If you have an addition, question or remark, drop us a line at info@securitydelta.nl.
visible on larger screens only
Please expand your browser window.
Or enjoy this interactive application on your desktop or laptop.
Searching for the human factor within AI
Algoritmische besluitvorming
Een recente studie van TNO laat zien dat het gebruik van AI binnen de publieke dienstverlening de afgelopen twee jaar is toegenomen. De Algemene Rekenkamer onderzocht onlangs (AI-)algoritmen die voorspellend, waarbij het algoritme een risicovoorspelling doet, en voorschrijvend, waarbij het algoritme geautomatiseerd een besluit neemt, door de overheid worden toegepast. Een voorbeeld van het eerste is een op AI gebaseerd model dat op basis van sensordata voorspelt wanneer een brug of sluis een onderhoudsbeurt moet krijgen of aan vervanging toe is. Een voorschrijvende toepassing is het eerdergenoemde voorbeeld waarin geautomatiseerd wordt bepaald wie er belastingplichtig is en dus een brief krijgt met een oproep om aangifte te doen.
Onderzoek van het Rathenau Instituut,9 de Algemene Rekenkamer en TNO wijst op de risico’s en nadelige gevolgen van algoritmische besluitvorming. Er zijn meerdere redenen om daar aandacht aan te besteden. Zo kan de vooringenomenheid in data of in een algoritme veranderen in ongewenste ongelijke behandeling van individuen of groepen. Bovendien wordt bij een algoritme mogelijk de vooringenomenheid van de programmeur ingebouwd, terwijl die – ten opzichte van de gebruikelijke besluitvormers – weinig inhoudelijke kennis en ervaring heeft met de specifieke toepassing van het algoritme. Het is echter juist voor maatschappelijke vraagstukken cruciaal dat de belangen van degenen over wie een besluit wordt genomen worden meegenomen en afgewogen ten opzichte van de beslissers.
Een eerste nadelig gevolg van geautomatiseerde besluitvorming is discriminatie en uitsluiting als gevolg van onvolledige, incorrecte of vooringenomen data. Voor het ontwikkelen van een AI-systeem is het allereerst belangrijk dat er voldoende bruikbare data voorhanden is om van te kunnen ‘leren’. Dit geldt vooral voor ‘(un)supervised machine learning’. Wanneer er onvoldoende data beschikbaar is wordt het lastig om een algoritme te gebruiken voor het oplossen van een probleem. Naast de hoeveelheid data spelen ook juistheid en vooringenomenheid van de data een grote rol. Dat laatste wil zeggen dat de dataset die wordt gebruikt om het algoritme te trainen mogelijk niet representatief is voor de populatie waarvoor je je AI-systeem gaat inzetten, of wel representatief is, maar daarmee sociaal- maatschappelijke ongelijkheid bevestigt.
Een tweede nadelig gevolg betreft de uitlegbaarheid en beperkte controleerbaarheid van besluiten of van de systemen die besluiten nemen. Hierbij gaat het zowel om begrip van het algoritme zelf als de uitkomsten. Zowel de Algemene Rekenkamer als TNO concluderen dat in veel gevallen waarin de overheid besluiten neemt over burgers, de gegevensverwerking en de toepassing van het algoritme worden uitgevoerd door commerciële partijen. Dit betekent vaak dat het exacte ontwerp van een algoritme wordt gezien als eigendom van de externe partij, waardoor er niet altijd inzicht wordt geboden in de precieze werking. Dit maakt het lastiger voor een overheidsorganisatie om controle op een algoritmisch systeem uit te voeren en hierover verantwoording af te leggen.
Ontmenselijking is een derde nadelig gevolg van algoritmische besluitvorming.
Dit fenomeen treedt op wanneer een systeem uitspraak doet en er geen rekening wordt gehouden met de menselijke situatie. Ook bij besluitvorming waarop menselijke controle wordt uitgeoefend, is het mogelijk dat besluitvormers zich vrijwel automatisch conformeren aan de uitkomst van het systeem. Dit maakt menselijke controle van het systeem dus lastig. Ook maakt dit het moeilijk voor burgers om uitleg te krijgen over een besluit dat is genomen. Hierdoor worden mensen soms niet alleen geconfronteerd met een (verkeerde) nadelige uitkomst, maar krijgen zij ook geen begrijpelijk antwoord over waarom dit besluit werd genomen.
Conclusie
De toepassing van AI voor algoritmische besluitvorming is in opkomst, maar kan ook ongewenste nadelige gevolgen hebben. Om te zorgen dat AI zich in algoritmische besluitvorming verantwoordelijk gedraagt, wordt er onder andere naar bestaande en nieuwe wetgeving gekeken voor bijvoorbeeld dataprivacy en productaansprakelijkheid. Daarnaast wordt ook gekeken naar normenkaders en waardengedreven methodieken gebaseerd op mensenrechten, specifiek in relatie tot hoog-risicotoepassingen van AI. Het opstellen van normenkaders vooraf en toetsing van de systemen achteraf is echter onvoldoende om ongewenste negatieve effecten te voorkomen. Belangrijk is om dergelijke systemen in samenspraak met verschillende partijen – inclusief burgers – in de praktijk te beproeven en te monitoren. Ook vragen AI-algoritmen om dynamische controle en toezicht – ook op langetermijneffecten van AI.
De belangrijkste aanbeveling in dit paper is dan ook om experimentele omgevingen in te richten zodat AI-systemen voor algoritmische besluitvorming stapsgewijs worden beproefd.