Diskrimineringsombudsmannen (DO) talar om användningen av AI och risker för diskriminering. Detta efter att ha observerat e-handeln Amazons rekryteringsverktyg och taxibolaget Übers ansiktsigenkänningssystem som visar att AI genererar enformiga resultat baserat på historisk data.
I ’Användningen av AI och risker för diskriminering’ förklarar Christina Jönsson och Mira-Liv Atie att en algoritm är en regel som kan följas av en dator och som med tiden utvecklar en viss intelligens genom att analysera data, mönster och korrelans. Därför måste människor programmera datan rätt från början, med ett tydligt inkluderings- och mångfaldsperspektiv.
Världens största e-handelsföretag Amazon, bygger sitt rekryteringsverktyg på AI. DO berättar att i och med att datan som användes i verktyget var gammalt och snedvridet, blev resultatet också snedvridet. Datan speglade nämligen manlig dominans, vilket gjorde att kvinnliga sökande fick lägre poäng i rekryteringsverktyget och därmed minskad sannolikhet att erbjudas arbete.
I tro om att vi, med hjälp av AI, neutraliserar rekryteringsprocesser riskerar vi alltså istället att upprätthålla och föra vidare förlegade strukturer
Studier har visat att arbetsgivare inte är medvetna om hur rekryteringsverktyg är uppbyggda. I tro om att vi, med hjälp av AI, neutraliserar rekryteringsprocesser riskerar vi alltså istället att upprätthålla och föra vidare förlegade strukturer om vi inte har tillräckligt med insyn i AI-system för att kunna korrigera programmeringen.
Exempelvis har taxibolaget Über som policy att bilförarna skickar en selfie i realtid som ska matchas mot deras bild på sitt registrerade konto. Detta i syfte att öka säkerheten för den som använder sig av Übers tjänster. Om bilderna inte matchar spärras föraren i 24 h och kan alltså inte jobba. Vid upprepade tillfällen spärras kontot helt. Jättebra! Eller…? Systemet har svårt att läsa av ansikten på personer med mörk hy, vilket gjort att en förare nu stämt företaget för etnisk diskriminering.
Arbetsgivare behöver alltså öka sin medvetenhet och arbeta med aktiva åtgärder för att inte reproducera normativa preferenser. Felen kommer nämligen inte korrigeras av sig själva, utan fortsätta reproduceras om människan inte ingriper.
Text: Mariaserena Baretta.