Hej! Vi ska prata om etik, rättvisa, bayes och
maskininlärning.
När man brukar prata om ansvarsfull AI utveckling.
Principer för etisk och ansvarsfull AI utveckling.
Då brukar man prata om de här principerna.
Mänskligt agentskap och mänsklig tillsyn. Teknisk
robusthet och säkerhet. Integritet och
dataförvaltning. Transparens och förklarbarhet.
Mångfald. Icke diskriminering och rättvisa.
Mänskliga rättigheter. Samhällets och miljöns
välbefinnande och ansvarsskyldighet. Det är alltså
den femte principen här i EU kommissionens rapport
där det handlar om mångfald, icke diskriminering
och rättvisa.
Och bias. Man brukar översätta det till skevhet
ibland, men det finns inget riktigt bra svenskt
ord tycker jag. Men det innebär i alla fall att AI
skapar diskriminerande resultat om vi nu använder
ordet skapa på ett ganska generöst sätt. Men ett
exempel är ansiktsigenkänning, ett verktyg som
bara har tränats på ljushyade personer. Då blir
den sämre på att känna igen mörkhyade ansikten.
Men det finns olika typer av typer av bias.
Människors antaganden, fördomar och prioriteringar
kan påverka systemen som utvecklas och skevheter
kan uppstå för att träningsdata är bristfällig
eller inte representerar hela befolkningen. Det
här är två olika typer av.
Av bias. I det andra fallet har det inte att göra
med några avsiktliga fördomar eller liknande, utan
helt enkelt bara för att träningsdata är
ofullkomlig. Problem som rör bias är en sorts
rättviseproblem. Men rättvisa kan betyda många
olika saker och det finns olika perspektiv på vad
rättvisa är också. Så det är en sorts
rättviseproblem. Jag gjorde ett litet experiment
för att titta lite på bias och då bad jag i det
här fallet Copilot, men det hade kunnat vara någon
annan också. Då bad jag AIn att ge mig en bild på
en läkare. Jag sa bara ge mig en bild på en läkare
och då fick jag den här bilden. Den här vita
manliga läkaren. När jag istället bad om att få en
läkare med asiatiskt från ett asiatiskt land, då
fick jag den här. Så det är alltså baserat på
mönster i datan som handlar om läkare från
asiatiska länder helt enkelt. Sen gav jag den
uppdraget att skapa en bild på en afroamerikansk
läkare. Och då fick jag den här bilden. Sen bad
jag en skapa en bild på en ljushyad och en
mörkhyad läkare, och då fick jag det här. Så vad
kan man dra för slutsatser här? Jo, om man ändrar
på fronten lite och riktar in den åt något slag så
kan man ju få en vidare representation än om man
bara säger ge mig en bild på en läkare. Men å
andra sidan så är det ju bara manliga läkare. När
jag istället bad om en bild på en sjuksköterska så
fick jag, inte så förvånande, den här bilden.
Och det har ju visat sig att det finns mycket
sådana skevheter i sökningar här. Eller som som
det blir av sökningen 93 % av alla genererade
läkare föreställer män. Det här är från 2004 och
resultatet speglar representationer och mönster i
träningsmaterialet. Det här i sig återspeglar
samhälleliga normer och stereotyper, så det är
inte som att AI modeller och system har egna
värderingar. Men de återspeglar ju det som vi har
som normer i samhället. Och det här var ju ett
exempel som handlade om att få genererade bilder.
Men om vi tittar på sjukvården i stället och den
medicinska forskningen som ligger bakom det som
implementerats i sjukvården, jo, då är det ju så
att när det gäller AI i sjukvården så anses den
både etiskt och juridiskt vara särskilt viktig,
för det är ju ett högriskområde. Det handlar ju om
människors liv och hälsa och död och risk och
skada välbefinnande. Och i bästa fall så skulle ju
AI i sjukvården leda till bättre vård för alla.
Men det är finns stora problem med det och vi kan
inte anta att det kommer att vara så. Även om det
kommer att förbättra mycket så är det finns det
problem här. Det kan vara så att en AI modell
förbättra vården för majoriteten, samtidigt som
den fungerar sämre för vissa minoritetsgrupper.
Varför är det så? Jo, den tränas på
majoritetsbefolkningen. Den tränas på de som har
störst representation i befolkningen. När man
använder till exempel registerdata och om det är
så här att AI implementeras och den leder till
stor positiv skillnad för majoriteten, men liten
negativ skillnad för minoriteter. Ja, utifrån ett
utilitaristiskt perspektiv. För er som kommer ihåg
de etiska teorierna. Där är ju fokus
nyttomaximering, så då blir det att största
möjliga nytta för flest människor. Det är det vi
bör göra. Och då är det ju acceptabelt att införa
ett sådant här system. Om det funkar bäst för
eller bra för de flesta. Även om det är vissa som
det inte fungerar för. Men man kan ju andra
perspektiv på det om man har ett rättighetsbaserat
perspektiv istället. Då skulle man nog hävda att
även minoriteter har rätt till rättvis och jämlik
vård, oavsett den totala nyttan. Då är det inte
acceptabelt att införa system som riskerar att
diskriminera minoriteter. Även om de flesta gynnas.
Så våra olika perspektiv påverkar ju vad vi, när
vi tycker att AI hör implementeras på ett rättvist
sätt eller leder till eller inte är rättvisa. Man
måste skilja på två olika sätt. Att se på rättvisa.
Vad är det rättvisa målet? Rättvisa eller värdet
rättvisa? Vad ställer för krav på oss? Vad är det
för förväntningar som finns på oss och vad är det
för skyldigheter som kommer av det? Hur ska vi
åstadkomma rättvisa? Man kan se det som en negativ
skyldighet. Och med det menar jag en skyldighet
att inte skada eller att undvika skada. Då hamnar
fokus på att undvika diskriminering, minska bias
och orättvis behandling, Försöka säkerställa att
vissa grupper inte missgynnas. Men det är alltså
en skyldighet att inte göra skada, att undvika
skada. Men man kan ju också se rättvisa som en
positiv skyldighet. Eller att vi har en positiv
skyldighet att främja rättvisa, att göra aktiva
insatser, att skapa lika möjligheter till vård.
Att bidra till att alla patienter kan få tillgång
till våra resurser på likvärdiga villkor. Och så
klart den positiva definitionen, eller en positiv
skyldighet, är ju mer krävande än en negativ
skyldighet. Här är ett fall som ni kan fundera
över. Ett sjukhus. Införa ett AI system som ska
hjälpa läkare att identifiera patienter med hög
risk för hjärtinfarkt. När systemet utvärderas
visar det sig att det fungerar mycket bra för
majoriteten av patienterna. Men det fungerar något
sämre för kvinnor eftersom träningsdatorn
huvudsakligen innehöll män. Skillnaden är enorm.
Men kvinnor får något oftare felaktiga
riskbedömningar.
Om vi tar det första perspektivet att vi har en
negativ skyldighet, nämligen att undvika
diskriminering, då skulle man kunna tänka sig att
sjukhuset konstaterar att kvinnor missgynnas av
systemet. Och för att undvika diskriminering
beslutar man att justera modellen testresultaten
separat för kvinnor och män. Inte införa systemet
förrän skillnaderna minskat och fokus är på att
ingen grupp ska behandlas sämre. Man ska minska
risken för skada. Men om vi istället tänker oss
att vi har en positiv skyldighet att främja jämlik
vård, då kan man tänka sig att vid en närmare
analys upptäcker man att kvinnor redan idag får
hjärtsjukdom diagnosticerad senare än män,
eftersom symptomen ofta ser annorlunda ut.
Sjukhuset väljer därför att samla in mer data om
kvinnor och utveckla särskilda modeller för
grupper som historiskt varit underrepresenterade,
och ge extra kliniskt stöd vid bedömning av
kvinnliga patienter. Och här handlar det då inte
bara om att undvika diskriminering, att inte skada,
utan om att aktivt göra något för att minska den
ojämlikhet som redan finns. Och det vet vi ju att
det finns till exempel. Var man bor och vilken
socioekonomisk grupp man tillhör har ju koppling
till hur länge vi lever och hälsa och liv.
Och en viktig fråga här då är ju vilka grupper är
representerade och vilka bör finnas med i datan
För AI modeller. De tränas ofta på. De tränas på
den data som finns och den data som finns. Baseras
på vissa eller vissa fördefinierade grupper. Till
exempel kön och ålder. Men det finns inte data för
alla grupper, eller man har helt enkelt inte delat
in det i alla möjliga gruppindelningar. Det finns
bara vissa. Och då är frågan vilka grupper
inkluderas och vilka utelämnas? Det här har att
göra med vad man menar är en grupp också, till
exempel etnicitet. Är det en grupp i en kategori
som som vi bör ha inkluderat i datan? Ska
könsidentitet eller sexuell identitet? Ska de vara
grupper på det här sättet? Om man skulle inkludera
etnicitet möjligtvis, skulle man kunna förbättra
vården för vissa. För det finns studier som visar
att det finns skillnader, men det skulle också
kunna medföra risker för missbruk och
diskriminering. Och då är det så att i Europa så
har vi inte data för etnicitet. Vi har inte den
kategorin med vår data i våra register. Men i USA
har man det. Och båda de här metoderna bygger på
olika sätt att se på rättvisa. Är det rättvisa att
man vet vilken etnicitet eller vilka etniciteter
som finns och hur de är kopplade till olika
sjukdomar eller inte? Eller ska vi inte ha den
informationen för att det är diskriminerande att
dela upp människor i termer av etnicitet? Båda har
ett icke diskriminerande syfte. En etisk fråga
blir då är det mer rättvist att inkludera eller
exkludera en sådan typ av grupp som etnicitet?
Eller olika etniciteter. Men det är också ett
kunskapsmässigt epistemiskt problem. Vi vet ju
inte alltid i förväg vilka gruppskillnader
kategorier som kommer vara relevanta för framtida
forskning och vård. Det kanske är så att det inte
finns så mycket data om kopplingen mellan
etnicitet och hälsa idag, men det kanske kommer
finnas jättemycket forskning som visar det i
framtiden. Men då bygger ju AIn på den gamla datan
som vi hade där, den kategorin de kategorierna
inte fanns. Som handlade om etnicitet. Så det är
ju ett kunskapsmässigt problemvetenskapligt
problem. Vad kan man dra för slutsatser här? Eller
hur ska vi sammanfatta det? Jo, bias i
träningsdata kan antingen har att göra med
fördomar som forskare och utvecklare har och som
vi i samhället har. Eller så är det ju att vissa
grupper inte finns representerade i träningsdata
och bias är ett rättvise problem och det är ett
problem som är svårt att undgå helt. Men vi måste
vara medvetna om att det finns. Vi måste förhålla
oss kritiskt till det och ställa frågor kring
representation.
Och om rättvisan ses som ger oss en negativ
skyldighet. Då handlar det om att undvika bajs,
att inte skada. Om du ser det som en positiv
skyldighet så handlar det om att arbeta aktivt för
jämlikhet, och vi bör diskutera vad vi menar. Nu
har jag bara tagit upp vissa aspekter. Det finns
många. Vi måste åtminstone ha en syn på vad vi
menar med rättvisa när vi utvecklar. När man
utvecklar AI så bör man ha diskuterat vad det
finns för rättvisefrågor och hur man definierar
eller ser på rättvisa.
Tack!