När tekniken speglar historiens snedvridna mönster

Artificiell intelligens framställs ofta som objektiv matematik. En modell räknar, jämför och rangordnar, och därför kan resultatet verka frikopplat från mänskliga fördomar. Men en algoritm börjar inte med ett neutralt tomrum. Den tränas på data som har skapats av människor, organisationer och samhällen där makt, normer och ojämlikhet redan finns. När historiska mönster matas in i ett automatiserat system kan de därför återkomma med teknisk precision och få sken av att vara sakliga.

Det märks i allt från automatiserade rekryteringsprocesser till bildgeneratorer, språkmodeller och digitala välfärdstjänster. Ett system kan exempelvis lära sig att tidigare ledande befattningar oftare förknippats med män och därefter tolka manliga erfarenheter som en signal för framtida ledarskap. På samma sätt kan en bildgenerator koppla omsorg till kvinnor, teknik till män och ickebinära identiteter till avvikelse eller osynlighet. Den här artikeln visar hur snedvridningen uppstår, hur den kan upptäckas och vilka krav beslutsfattare, IT-beställare, HR-ansvariga och utvecklingsteam bör ställa innan ett AI-system tas i bruk.

Mekanismen bakom snedvridningen i träningsdata

Maskininlärning bygger på statistiska samband. Om ett system ser att ord som sjuksköterska, hem och familj ofta förekommer nära kvinnliga pronomen, medan ord som chef, ingenjör och beslutsfattare oftare kopplas till män, kan det börja behandla dessa samband som användbara regler. Modellen förstår inte automatiskt att materialet speglar historisk arbetsdelning, ojämn tillgång till makt eller begränsade möjligheter. Den ser mönster och optimerar utifrån dem.

Forskning om språkteknologi visar dessutom att kvinnor ofta förknippas med hem, familj och relationer, medan män behandlas som den generella normen. I rapporteringen om Hannah Devinneys avhandling framgår också att ickebinära, transpersoner och queera personer ofta är kraftigt underrepresenterade i träningsdata och, när de förekommer, beskrivs på begränsade och stereotypa sätt. Mönstren kan dessutom skilja sig mellan svenska och engelska, vilket betyder att en granskning måste vara känslig för både språk och sammanhang. Forskningen om språkteknologins stereotyper visar varför en modell inte kan bedömas enbart genom en övergripande träffsäkerhetssiffra.

Det centrala problemet är att historisk representation lätt förväxlas med en önskvärd framtida norm. Om män har haft fler chefsroller betyder det inte att manlighet är en relevant eller legitim förutsättning för ledarskap. Om vissa grupper oftare har fått avslag på lån, försäkringar eller stöd betyder det inte att deras egenskaper orsakar sämre utfall. En algoritm kan däremot använda sådana samband som indirekta signaler, även när kön eller etnicitet har tagits bort som uttrycklig variabel.

Europeiska jämställdhetsinstitutet, EIGE, varnar för att digitalisering kan fördjupa befintliga klyftor när data och tekniska system inte granskas ur ett jämställdhetsperspektiv. I praktiken innebär det att genusbias inte bara är ett problem för enskilda användare, utan en fråga om hur hela organisationer fördelar arbete, möjligheter och resurser. EIGE:s analys av AI och jämställdhetsrisker är därför relevant för alla som förvaltar digital teknik, inte bara för specialister på etik.

• Granska vilka grupper som finns representerade i datamaterialet och vilka som saknas.
• Skilj mellan historiska samband och egenskaper som faktiskt är relevanta för beslutet.
• Testa om till synes neutrala variabler fungerar som indirekta ersättare för kön eller andra skyddade egenskaper.
• Dokumentera vem som samlat in data, i vilket syfte och under vilka maktförhållanden.

Konsekvenser i vardagen från rekryteringsfilter till bildskapare

Rekrytering visar tydligt hur historiska mönster kan byggas in i automatiserade beslut. Ett CV-system som tränats på tidigare anställda eller framgångsrika kandidater från en mansdominerad bransch kan lära sig att vissa ord, utbildningsvägar eller karriärförlopp är särskilt lovande. Om tidigare rekryteringar har gynnat män kan modellen därmed premiera signaler som indirekt speglar manlig karriärhistorik och nedvärdera erfarenheter som är vanligare bland kvinnor, exempelvis avbrott i arbetslivet eller yrkesväxling efter omsorgsansvar.

Problemet behöver inte ligga i en regel som uttryckligen säger att män ska prioriteras. Det kan uppstå genom historiska betyg, formuleringar i jobbannonser, nätverk och tidigare bedömningar. Ett system som lär sig från dessa data kan sortera bort sökande innan en människa ens har sett deras ansökan. Därför räcker det inte att kontrollera om kön finns som en kolumn. Hela kedjan, från kravprofil och datakälla till rangordning och mänsklig uppföljning, måste granskas.

Bildgeneratorer kan skapa andra men lika konkreta problem. En neutral uppmaning om en läkare, företagsledare eller programmerare kan oftare resultera i män, medan en bild av en förskollärare, assistent eller sjuksköterska oftare visar kvinnor. När systemet ombeds skapa personer i maktpositioner kan representationen dessutom bli snäv vad gäller hudfärg, ålder, kropp, funktionsnedsättning och könsuttryck. Sexualiserade resultat kan förstärka redan etablerade föreställningar om kvinnors kroppar och yrkesroller.

Situation	Hur bias kan visa sig	Vad organisationen bör kontrollera
Automatiserad CV-screening	Kandidater med atypiska karriärvägar eller erfarenhet från kvinnodominerade områden rankas lägre.	Urval per grupp, bortsorterade meriter och skillnader i återkopplingsgrad.
Bildgenerering	Män kopplas till teknik och ledarskap, kvinnor till omsorg eller sexualiserade roller.	Resultat för samma prompt med varierande kön, ålder, hudfärg och funktionsförmåga.
Digital välfärd	Profilering och automatiserad kontroll påverkar tillgången till stöd, särskilt för ekonomiskt utsatta grupper.	Rättslig grund, möjlighet att säga nej, mänsklig prövning och möjlighet att överklaga.
Språktjänster	Översättning, sökresultat eller assistenter förstärker stereotypa pronomen och yrkesassociationer.	Språkvisa tester och analys av både synliga och dolda fel.

Metoder för att granska och utmana systemens logik

En feministisk teknikgranskning börjar med en enkel men viktig fråga: vem får större handlingsutrymme genom systemet, och vem får mindre? Perspektivet flyttar fokus från enbart teknisk prestanda till makt, beroende och konsekvenser. Det innebär att utvecklare och beställare undersöker vilka kroppar, livssituationer och erfarenheter som har legat till grund för modellen, vilka som har arbetat med datan och vilka som utsätts för systemets beslut.

Granskningen behöver också omfatta samtycke. I digitala välfärdssystem kan samtycke bli en formalitet om en person måste lämna omfattande data för att få tillgång till stöd. Att klicka på ”godkänn” eller använda en tjänst är inte nödvändigtvis ett fritt och informerat val när alternativet är att förlora en förmån. En feministisk och antikolonial analys av AI pekar därför på klass, kön, rasifiering, funktionsnedsättning och geografisk position som faktorer som påverkar om samtycke faktiskt är möjligt. Den väcker också den mer grundläggande frågan om vissa system bör byggas över huvud taget, i stället för att enbart justeras i efterhand.

Samma kritiska blick behövs inom vård och andra offentliga verksamheter. AI-system kan presenteras som lösningar för social nytta, men de kan samtidigt använda utsatta människors kroppar, journaler och livserfarenheter som billig träningsdata. En feministisk analys av AI i indisk sjukvård visar hur experiment och risker ofta koncentreras till sjuka och fattiga grupper, medan marknadens aktörer får kontroll över teknik och data. Det är en påminnelse om att inkludering inte bara betyder att fler grupper ska finnas i datamängden. De måste också ha inflytande över syftet, villkoren och möjligheten att säga nej.

Kunskap måste byggas in i utvecklingsmiljön, inte läggas till som en kort utbildning efter lansering. Pedagogiska initiativ vid Karolinska Institutet visar hur genusperspektiv kan integreras i kursplaner, undervisningsmaterial och professionell reflektion. Ett utbildningsinitiativ om genusperspektiv kan fungera som modell för hur organisationer tränar personal att upptäcka normer innan de blir tekniska krav.

• Involvera personer med kompetens inom genus, diskriminering, juridik, sociologi och användarerfarenhet redan vid problemformuleringen.
• Testa systemet med realistiska fall från grupper som riskerar att missgynnas.
• Analysera både felaktiga positiva och felaktiga negativa beslut, inte bara genomsnittlig träffsäkerhet.
• Skapa kanaler där berörda personer kan rapportera skada och få en begriplig förklaring.
• Avbryt eller ompröva systemet om riskerna inte kan reduceras till en acceptabel nivå.

Konkreta krav för beställare och utvecklingsteam

Den som beställer ett AI-system har ett ansvar som börjar före upphandlingen. Kravspecifikationen bör beskriva vilka data som används, hur de har samlats in, vilka urval som gjorts och vilka grupper som saknas. Leverantören bör kunna redovisa modellens avsedda användning, kända begränsningar, testresultat och process för incidenthantering. Kommersiell sekretess får inte bli ett generellt argument för att dölja risker för diskriminering.

Transparens betyder inte nödvändigtvis att hela källkoden måste publiceras. Det betyder att organisationen måste kunna förklara vilka faktorer som påverkar beslut, hur kvaliteten har mätts och hur en individ kan få beslutet omprövat. Sveriges Konsumenter betonar att människor bör informeras när automatiserat beslutsfattande används och vilka uppgifter som ligger till grund för beslutet. Vid allvarliga konsekvenser behövs mer detaljerad information och oberoende kontroll.

En praktisk granskningsprocess bör vara återkommande. Data kan förändras, användare kan anpassa sig till systemet och en modell som fungerade acceptabelt vid lansering kan skapa nya problem i en annan verksamhet. Beställaren bör därför kräva uppföljning med tydligt ansvar, dokumenterade tröskelvärden och en möjlighet att pausa modellen. EIGE:s jämställdhetsindex för Europa kan ge organisationer en bredare måttstock för att följa strukturella skillnader och upptäcka områden där tekniska satsningar riskerar att förstärka redan existerande klyftor.

1. Definiera beslutet. Beskriv exakt vilket problem systemet ska lösa och varför automatisering behövs. Om problemet bygger på en orättvis process kan AI förstärka den.
2. Kartlägg datan. Dokumentera källa, urval, tidsperiod, representation, bortfall och möjliga indirekta diskrimineringsmönster.
3. Testa före drift. Jämför utfall mellan relevanta grupper och använd verklighetsnära scenarier, även för personer med kombinerade eller ickebinära identiteter.
4. Förklara beslutet. Säkerställ att användare och berörda personer får begriplig information om systemets roll och vilka möjligheter till mänsklig prövning som finns.
5. Följ upp kontinuerligt. Mät skillnader över tid, samla incidenter och låt en oberoende funktion granska resultatet.
6. Ta ansvar för stopp. Bestäm i förväg när modellen ska justeras, tas ur bruk eller ersättas av en mänsklig process.

Vägen mot en teknik som tjänar hela samhället

Artificiell intelligens blir aldrig mer rättvis än de val som görs när problemet definieras, datan väljs, modellen tränas och resultaten används. Bias är därför inte ett oundvikligt tekniskt faktum. Det är ofta ett synligt resultat av historiska prioriteringar, bristande representation och beslut som har lämnats utan tillräcklig insyn. När organisationer granskar dessa val kan tekniken förändras, men det kräver mer än att radera en variabel eller justera ett gränsvärde.

Nästa steg är konkret: utse ansvariga för jämlikhetsgranskning, kräv dokumentation från leverantörer, involvera berörda grupper och följ upp utfall efter lansering. Gör utbildning i inkluderande systemutveckling till en del av det ordinarie arbetet, inte till ett frivilligt tillägg. När kritisk dataanalys, transparens och möjlighet till mänsklig prövning byggs in från början ökar chansen att automatiserade verktyg faktiskt tjänar hela samhället, i stället för att ge gamla könsroller en ny teknisk form.