Visste du att diskriminering i anslutning till artificiell intelligens och algoritmer övervakas av diskrimineringsombudsmannen?
Jag twittrade nyligen under samma rubrik om artificiell intelligens och diskriminering. Som reaktioner fick jag att det var helt ny information att övervakningen av diskriminering vid användning av artificiell intelligens hörde till diskrimineringsombudsmannens befogenheter. I den här bloggen berättar jag lite hur artificiell intelligens och diskriminering hänger ihop med varandra samt hur diskrimineringsombudsmannen kan ingripa även när det gäller sådan här diskriminering.
Diskriminering vid användning av artificiell intelligens och framför allt vid automatiskt beslutsfattande utifrån algoritmer kan bero på många olika faktorer: fel eller brister i undervisningsdata, dåligt valda prognosvariabler eller sorteringskriterier, eller att algoritmen är direkt byggd för att utgå ifrån diskrimineringsgrunder såsom ålder, språk eller kön. Algoritmer som används för att identifiera ansikten har rapporterats att de bättre identifierar ljushyade människor, eftersom den artificiella intelligensen har lärts upp med hjälp av ljushyade ansikten. På grund av det här drabbas mörkhyade oftare av diskriminering när det gäller falska misstankar och onödiga åtgärder. Artificiell intelligens som används vid rekrytering kan leda till diskriminerande lönebeslut till exempel på grund av kön, om algoritmen grundar sig på en tidigare rekryteringspraxis som varit ensidig gällande kön.
Även om artificiell intelligens inte direkt skulle utgå från en viss diskrimineringsgrund och sådan här information skulle tas bort ur en datamängd, kan en artificiell intelligens hitta information om en sådan person som är starkt förknippad med diskrimineringsgrunden i datamängden. Till exempel kan uppgifter om språk och bostadsort i vissa situationer korrelera kraftigt med ursprung. Artificiell intelligens kan i sig självt, utan att den som utarbetat den artificiella intelligensen eller användaren haft det som avsikt eller önskan, leda till indirekt diskriminerande prognoser och slutsatser genom att kombinera personlig information.
Det är däremot alltid människors ansvar att se till att artificiell intelligens inte orsakar diskriminering. Med tanke på ansvar vid diskriminering spelar det inte någon roll om den ojämlika behandlingen av en individ beror på en algoritm eller en arbetstagares agerande. Den instans som ansvarar för systemet ansvarar för att verksamheten är förenlig med diskrimineringslagen i alla situationer.
Diskrimineringslagen, där diskriminering förbjuds och definieras, gäller också utnyttjandet av artificiell intelligens.
Listan över diskrimineringsgrunder har lämnats öppen i våra lagar. Från fall till fall kan en diskrimineringsgrund till exempel vara en orsak som gäller en person, såsom boningsort eller social status. Diskriminering på grund av kön förbjuds i jämställdhetslagen.
Diskrimineringsombudsmannens uppgift är att övervaka förbudet mot diskriminering. Man kan anföra klagomål till ombudsmannen eller så kan vi på eget initiativ göra en utredning om det uppstår misstankar om diskriminering vid användning av artificiell intelligens. Ombudsmannen har inte beslutanderätt, men ombudsmannen kan främja förlikning mellan parterna eller vid behov föra ärendet till diskriminerings- och jämställdhetsnämnden eller domstolen.
År 2017 förde diskrimineringsombudsmannen ett ärende om automatiskt beslutsfattande vid kreditgivning till diskriminerings- och jämställdhetsnämnden. Automatiseringen baserade sig på ett system där kreditsökandena poängsattes bland annat utifrån boningsort, kön, modersmål och ålder. Nämnden konstaterade i sitt beslut att det här var diskriminering och fördelade ett betydande vite för den diskriminerade aktören.
För att förebygga och upptäcka diskriminering måste artificiell intelligens övervakas och testas regelbundet. Det är nödvändigt att göra en konsekvensbedömning redan innan den tas i bruk. Olika aktörer – inklusive företag, forskningsinstitut och organisationer – har börjat producera verktyg och frågeserier som grund för konsekvensbedömningen. Det är viktigt att dessa utnyttjas och vidareutvecklas. Risken för diskriminering ska identifieras och förebyggas effektivt även i samband med de risk- och konsekvensbedömningar som förpliktas i och med dataskyddsregleringen. Olika verktyg har utarbetats även för att genomföra transparens. En så god transparens som möjligt i system för artificiell intelligens är väsentlig för att förebygga och övervaka diskriminering samt för att verkställa skyldigheten att främja likabehandling.
Diskrimineringslagen förpliktar myndigheter, arbetsgivare och utbildningsanordnare att främja likabehandling. Skyldigheten gäller också vid utnyttjandet av artificiell intelligens. I praktiken måste man alltså redan när man planerar att använda artificiell intelligens göra en konsekvensbedömning ur ett jämlikhetsperspektiv. Skyldigheten att främja likabehandling gäller också för samarbete och när man lägger ut åtgärder på entreprenad till privata aktörer – till exempel måste myndigheten alltså med effektiva åtgärder säkerställa att den inte skaffar och utnyttjar diskriminerande artificiell intelligens som en enskild individ har utarbetat. Konsekvenserna av likabehandling vid användning av artificiell intelligens ska också beaktas som en del av likabehandlingsplaneringen.
I takt med att användningen av artificiell intelligens och det algoritmiska beslutsfattandet ökar blir likabehandlingsfrågornas betydelse och omfattning allt viktigare. Ombudsmannen har under den senaste tiden diskuterat ämnet med många olika aktörer, till exempel Finansinspektionen och de största bankerna (icke-diskriminering i kreditbeslutsformulären), Centralhandelskammaren och Finsk Handel (icke-diskriminering i marknadsföring och prissättning, företagsansvar i användningen av artificiell intelligens), dataombudsmannen (utveckling av samarbetet mellan de auktoriserade byråerna, konsekvensbedömningar) samt flera ministerier (konsekvensbedömningar i projekt för artificiell intelligens, likabehandlingsplanering).
I vårt samhälle finns det olika uppfattningar om vad som är rättvist och bra i allmänhet. Den här diskussionen återspeglas naturligtvis också i användningen av artificiell intelligens. I framtiden kommer vi säkert att få intressanta riktlinjer från såväl de nationella domstolarna som EU och Europeiska domstolen för de mänskliga rättigheterna om hur effekterna av användningen av artificiell intelligens ska hanteras i fråga om proportionalitet med tanke på förbudet mot diskriminering. Det är ganska omöjligt att ge allmänna riktlinjer som är giltiga för alla situationer – diskriminering ska bedömas från fall till fall med beaktande av till exempel den artificiell intelligensens brukskontext, syfte och effekter.
Det är dock klart att artificiell intelligens lätt blir diskriminerande om de personer som utarbetar den och beställer den till sina tjänster inte känner till riskerna för diskriminering.
Jag ser också många möjligheter inom artificiell intelligens för att främja likabehandling och jag hoppas att utvecklingen av artificiell intelligens i framtiden kommer uttryckligen betona främjandet av likabehandling.
Mer information:
Mer information om artificiell intelligens och förebyggande av diskriminering till exempel i Europarådets publikationer:
Discrimination, artificial intelligence and algorithmic decision making.
Unboxing artificial intelligence – 10 steps to protect human rights,
Diskriminerings- och jämställdhetsnämndens beslut 216/2017, 21.3.2018
