WEBVTT

00:00.960 --> 00:07.200
Hej! Vi ska prata om etik, rättvisa, bayes och

00:07.410 --> 00:08.580
maskininlärning.

00:12.360 --> 00:17.130
När man brukar prata om ansvarsfull AI utveckling.

00:17.610 --> 00:22.320
Principer för etisk och ansvarsfull AI utveckling.

00:22.350 --> 00:25.320
Då brukar man prata om de här principerna.

00:25.950 --> 00:29.190
Mänskligt agentskap och mänsklig tillsyn. Teknisk

00:29.190 --> 00:31.920
robusthet och säkerhet. Integritet och

00:31.950 --> 00:35.070
dataförvaltning. Transparens och förklarbarhet.

00:35.370 --> 00:37.890
Mångfald. Icke diskriminering och rättvisa.

00:38.040 --> 00:40.650
Mänskliga rättigheter. Samhällets och miljöns

00:40.650 --> 00:44.000
välbefinnande och ansvarsskyldighet. Det är alltså

00:44.040 --> 00:48.390
den femte principen här i EU kommissionens rapport

00:49.980 --> 00:52.590
där det handlar om mångfald, icke diskriminering

00:52.620 --> 00:53.640
och rättvisa.

00:55.740 --> 01:00.030
Och bias. Man brukar översätta det till skevhet

01:00.040 --> 01:02.190
ibland, men det finns inget riktigt bra svenskt

01:02.190 --> 01:05.730
ord tycker jag. Men det innebär i alla fall att AI

01:05.940 --> 01:09.690
skapar diskriminerande resultat om vi nu använder

01:10.020 --> 01:14.340
ordet skapa på ett ganska generöst sätt. Men ett

01:14.340 --> 01:17.730
exempel är ansiktsigenkänning, ett verktyg som

01:17.760 --> 01:21.750
bara har tränats på ljushyade personer. Då blir

01:21.750 --> 01:25.560
den sämre på att känna igen mörkhyade ansikten.

01:27.340 --> 01:30.810
Men det finns olika typer av typer av bias.

01:31.890 --> 01:35.610
Människors antaganden, fördomar och prioriteringar

01:36.060 --> 01:40.110
kan påverka systemen som utvecklas och skevheter

01:40.110 --> 01:42.870
kan uppstå för att träningsdata är bristfällig

01:43.230 --> 01:45.750
eller inte representerar hela befolkningen. Det

01:45.750 --> 01:47.670
här är två olika typer av.

01:49.980 --> 01:53.280
Av bias. I det andra fallet har det inte att göra

01:53.280 --> 01:58.800
med några avsiktliga fördomar eller liknande, utan

01:58.830 --> 02:00.810
helt enkelt bara för att träningsdata är

02:01.740 --> 02:07.110
ofullkomlig. Problem som rör bias är en sorts

02:07.110 --> 02:10.230
rättviseproblem. Men rättvisa kan betyda många

02:10.230 --> 02:14.040
olika saker och det finns olika perspektiv på vad

02:14.040 --> 02:15.900
rättvisa är också. Så det är en sorts

02:15.900 --> 02:20.250
rättviseproblem. Jag gjorde ett litet experiment

02:21.390 --> 02:24.330
för att titta lite på bias och då bad jag i det

02:24.360 --> 02:27.690
här fallet Copilot, men det hade kunnat vara någon

02:27.690 --> 02:31.590
annan också. Då bad jag AIn att ge mig en bild på

02:31.590 --> 02:34.830
en läkare. Jag sa bara ge mig en bild på en läkare

02:34.860 --> 02:37.470
och då fick jag den här bilden. Den här vita

02:37.830 --> 02:40.950
manliga läkaren. När jag istället bad om att få en

02:40.950 --> 02:44.770
läkare med asiatiskt från ett asiatiskt land, då

02:44.790 --> 02:47.700
fick jag den här. Så det är alltså baserat på

02:48.390 --> 02:51.270
mönster i datan som handlar om läkare från

02:51.270 --> 02:55.800
asiatiska länder helt enkelt. Sen gav jag den

02:55.830 --> 02:58.250
uppdraget att skapa en bild på en afroamerikansk

02:58.250 --> 03:02.990
läkare. Och då fick jag den här bilden. Sen bad

03:02.990 --> 03:05.690
jag en skapa en bild på en ljushyad och en

03:05.690 --> 03:09.890
mörkhyad läkare, och då fick jag det här. Så vad

03:09.890 --> 03:12.530
kan man dra för slutsatser här? Jo, om man ändrar

03:12.530 --> 03:18.140
på fronten lite och riktar in den åt något slag så

03:18.170 --> 03:21.560
kan man ju få en vidare representation än om man

03:21.560 --> 03:24.530
bara säger ge mig en bild på en läkare. Men å

03:24.530 --> 03:28.340
andra sidan så är det ju bara manliga läkare. När

03:28.340 --> 03:30.890
jag istället bad om en bild på en sjuksköterska så

03:30.920 --> 03:34.010
fick jag, inte så förvånande, den här bilden.

03:36.110 --> 03:39.800
Och det har ju visat sig att det finns mycket

03:39.920 --> 03:45.230
sådana skevheter i sökningar här. Eller som som

03:45.230 --> 03:48.950
det blir av sökningen 93 % av alla genererade

03:48.950 --> 03:53.510
läkare föreställer män. Det här är från 2004 och

03:53.510 --> 03:56.390
resultatet speglar representationer och mönster i

03:56.390 --> 03:59.780
träningsmaterialet. Det här i sig återspeglar

03:59.780 --> 04:02.780
samhälleliga normer och stereotyper, så det är

04:02.780 --> 04:05.570
inte som att AI modeller och system har egna

04:05.570 --> 04:08.930
värderingar. Men de återspeglar ju det som vi har

04:08.930 --> 04:12.650
som normer i samhället. Och det här var ju ett

04:12.650 --> 04:16.940
exempel som handlade om att få genererade bilder.

04:17.510 --> 04:22.220
Men om vi tittar på sjukvården i stället och den

04:22.220 --> 04:24.680
medicinska forskningen som ligger bakom det som

04:25.280 --> 04:28.340
implementerats i sjukvården, jo, då är det ju så

04:28.340 --> 04:31.400
att när det gäller AI i sjukvården så anses den

04:31.580 --> 04:33.830
både etiskt och juridiskt vara särskilt viktig,

04:33.830 --> 04:37.340
för det är ju ett högriskområde. Det handlar ju om

04:37.370 --> 04:41.750
människors liv och hälsa och död och risk och

04:41.750 --> 04:46.250
skada välbefinnande. Och i bästa fall så skulle ju

04:46.250 --> 04:49.670
AI i sjukvården leda till bättre vård för alla.

04:50.450 --> 04:55.250
Men det är finns stora problem med det och vi kan

04:55.280 --> 04:57.950
inte anta att det kommer att vara så. Även om det

04:57.950 --> 05:00.980
kommer att förbättra mycket så är det finns det

05:00.980 --> 05:03.770
problem här. Det kan vara så att en AI modell

05:03.770 --> 05:07.340
förbättra vården för majoriteten, samtidigt som

05:07.340 --> 05:10.430
den fungerar sämre för vissa minoritetsgrupper.

05:11.030 --> 05:13.070
Varför är det så? Jo, den tränas på

05:13.070 --> 05:15.950
majoritetsbefolkningen. Den tränas på de som har

05:15.950 --> 05:19.640
störst representation i befolkningen. När man

05:19.640 --> 05:22.520
använder till exempel registerdata och om det är

05:22.520 --> 05:26.720
så här att AI implementeras och den leder till

05:27.230 --> 05:31.820
stor positiv skillnad för majoriteten, men liten

05:31.820 --> 05:36.440
negativ skillnad för minoriteter. Ja, utifrån ett

05:36.470 --> 05:38.930
utilitaristiskt perspektiv. För er som kommer ihåg

05:38.930 --> 05:41.810
de etiska teorierna. Där är ju fokus

05:41.810 --> 05:44.600
nyttomaximering, så då blir det att största

05:44.600 --> 05:47.480
möjliga nytta för flest människor. Det är det vi

05:47.480 --> 05:51.110
bör göra. Och då är det ju acceptabelt att införa

05:51.110 --> 05:53.660
ett sådant här system. Om det funkar bäst för

05:54.080 --> 05:57.230
eller bra för de flesta. Även om det är vissa som

05:57.230 --> 06:00.290
det inte fungerar för. Men man kan ju andra

06:00.290 --> 06:02.600
perspektiv på det om man har ett rättighetsbaserat

06:02.630 --> 06:05.750
perspektiv istället. Då skulle man nog hävda att

06:05.780 --> 06:08.720
även minoriteter har rätt till rättvis och jämlik

06:08.720 --> 06:13.430
vård, oavsett den totala nyttan. Då är det inte

06:13.460 --> 06:16.970
acceptabelt att införa system som riskerar att

06:16.970 --> 06:21.200
diskriminera minoriteter. Även om de flesta gynnas.

06:22.340 --> 06:27.110
Så våra olika perspektiv påverkar ju vad vi, när

06:27.110 --> 06:29.870
vi tycker att AI hör implementeras på ett rättvist

06:29.870 --> 06:33.470
sätt eller leder till eller inte är rättvisa. Man

06:33.470 --> 06:36.260
måste skilja på två olika sätt. Att se på rättvisa.

06:37.040 --> 06:40.450
Vad är det rättvisa målet? Rättvisa eller värdet

06:40.490 --> 06:44.150
rättvisa? Vad ställer för krav på oss? Vad är det

06:44.150 --> 06:46.400
för förväntningar som finns på oss och vad är det

06:46.400 --> 06:49.190
för skyldigheter som kommer av det? Hur ska vi

06:51.170 --> 06:54.220
åstadkomma rättvisa? Man kan se det som en negativ

06:54.220 --> 06:56.620
skyldighet. Och med det menar jag en skyldighet

06:56.620 --> 07:00.640
att inte skada eller att undvika skada. Då hamnar

07:00.640 --> 07:04.720
fokus på att undvika diskriminering, minska bias

07:04.750 --> 07:07.540
och orättvis behandling, Försöka säkerställa att

07:07.540 --> 07:10.040
vissa grupper inte missgynnas. Men det är alltså

07:10.060 --> 07:13.000
en skyldighet att inte göra skada, att undvika

07:13.000 --> 07:16.180
skada. Men man kan ju också se rättvisa som en

07:16.180 --> 07:18.550
positiv skyldighet. Eller att vi har en positiv

07:18.550 --> 07:22.210
skyldighet att främja rättvisa, att göra aktiva

07:22.240 --> 07:25.540
insatser, att skapa lika möjligheter till vård.

07:26.110 --> 07:28.870
Att bidra till att alla patienter kan få tillgång

07:28.870 --> 07:31.770
till våra resurser på likvärdiga villkor. Och så

07:31.780 --> 07:35.350
klart den positiva definitionen, eller en positiv

07:35.380 --> 07:38.950
skyldighet, är ju mer krävande än en negativ

07:38.950 --> 07:42.520
skyldighet. Här är ett fall som ni kan fundera

07:42.520 --> 07:46.030
över. Ett sjukhus. Införa ett AI system som ska

07:46.030 --> 07:49.000
hjälpa läkare att identifiera patienter med hög

07:49.000 --> 07:53.020
risk för hjärtinfarkt. När systemet utvärderas

07:53.050 --> 07:55.060
visar det sig att det fungerar mycket bra för

07:55.060 --> 07:59.620
majoriteten av patienterna. Men det fungerar något

07:59.620 --> 08:01.720
sämre för kvinnor eftersom träningsdatorn

08:01.750 --> 08:06.310
huvudsakligen innehöll män. Skillnaden är enorm.

08:06.560 --> 08:09.280
Men kvinnor får något oftare felaktiga

08:09.280 --> 08:10.120
riskbedömningar.

08:13.150 --> 08:15.730
Om vi tar det första perspektivet att vi har en

08:15.730 --> 08:18.820
negativ skyldighet, nämligen att undvika

08:18.820 --> 08:21.910
diskriminering, då skulle man kunna tänka sig att

08:21.910 --> 08:24.490
sjukhuset konstaterar att kvinnor missgynnas av

08:24.490 --> 08:27.040
systemet. Och för att undvika diskriminering

08:27.130 --> 08:30.910
beslutar man att justera modellen testresultaten

08:30.910 --> 08:34.600
separat för kvinnor och män. Inte införa systemet

08:34.600 --> 08:37.960
förrän skillnaderna minskat och fokus är på att

08:37.990 --> 08:40.780
ingen grupp ska behandlas sämre. Man ska minska

08:40.780 --> 08:46.090
risken för skada. Men om vi istället tänker oss

08:46.090 --> 08:49.210
att vi har en positiv skyldighet att främja jämlik

08:49.210 --> 08:51.970
vård, då kan man tänka sig att vid en närmare

08:51.970 --> 08:54.520
analys upptäcker man att kvinnor redan idag får

08:54.520 --> 08:57.070
hjärtsjukdom diagnosticerad senare än män,

08:57.430 --> 08:59.800
eftersom symptomen ofta ser annorlunda ut.

09:00.310 --> 09:03.100
Sjukhuset väljer därför att samla in mer data om

09:03.100 --> 09:06.460
kvinnor och utveckla särskilda modeller för

09:06.490 --> 09:09.190
grupper som historiskt varit underrepresenterade,

09:09.640 --> 09:12.370
och ge extra kliniskt stöd vid bedömning av

09:12.370 --> 09:15.550
kvinnliga patienter. Och här handlar det då inte

09:15.550 --> 09:19.600
bara om att undvika diskriminering, att inte skada,

09:20.020 --> 09:23.830
utan om att aktivt göra något för att minska den

09:23.860 --> 09:26.920
ojämlikhet som redan finns. Och det vet vi ju att

09:26.920 --> 09:29.650
det finns till exempel. Var man bor och vilken

09:29.650 --> 09:34.750
socioekonomisk grupp man tillhör har ju koppling

09:34.750 --> 09:39.010
till hur länge vi lever och hälsa och liv.

09:41.230 --> 09:44.950
Och en viktig fråga här då är ju vilka grupper är

09:44.950 --> 09:48.850
representerade och vilka bör finnas med i datan

09:50.570 --> 09:54.610
För AI modeller. De tränas ofta på. De tränas på

09:54.610 --> 09:58.450
den data som finns och den data som finns. Baseras

09:58.450 --> 10:03.070
på vissa eller vissa fördefinierade grupper. Till

10:03.160 --> 10:07.120
exempel kön och ålder. Men det finns inte data för

10:07.150 --> 10:10.750
alla grupper, eller man har helt enkelt inte delat

10:10.750 --> 10:14.860
in det i alla möjliga gruppindelningar. Det finns

10:14.860 --> 10:17.590
bara vissa. Och då är frågan vilka grupper

10:17.590 --> 10:19.900
inkluderas och vilka utelämnas? Det här har att

10:19.900 --> 10:25.360
göra med vad man menar är en grupp också, till

10:25.360 --> 10:28.270
exempel etnicitet. Är det en grupp i en kategori

10:28.300 --> 10:33.160
som som vi bör ha inkluderat i datan? Ska

10:33.160 --> 10:37.300
könsidentitet eller sexuell identitet? Ska de vara

10:37.870 --> 10:42.880
grupper på det här sättet? Om man skulle inkludera

10:42.880 --> 10:46.030
etnicitet möjligtvis, skulle man kunna förbättra

10:46.030 --> 10:49.150
vården för vissa. För det finns studier som visar

10:49.150 --> 10:52.030
att det finns skillnader, men det skulle också

10:52.060 --> 10:54.430
kunna medföra risker för missbruk och

10:54.460 --> 10:57.920
diskriminering. Och då är det så att i Europa så

10:57.940 --> 11:00.910
har vi inte data för etnicitet. Vi har inte den

11:00.910 --> 11:05.170
kategorin med vår data i våra register. Men i USA

11:05.200 --> 11:08.560
har man det. Och båda de här metoderna bygger på

11:08.590 --> 11:12.880
olika sätt att se på rättvisa. Är det rättvisa att

11:12.880 --> 11:18.370
man vet vilken etnicitet eller vilka etniciteter

11:18.370 --> 11:21.250
som finns och hur de är kopplade till olika

11:21.820 --> 11:25.420
sjukdomar eller inte? Eller ska vi inte ha den

11:25.420 --> 11:27.460
informationen för att det är diskriminerande att

11:27.490 --> 11:32.230
dela upp människor i termer av etnicitet? Båda har

11:33.940 --> 11:38.800
ett icke diskriminerande syfte. En etisk fråga

11:38.800 --> 11:41.710
blir då är det mer rättvist att inkludera eller

11:41.740 --> 11:44.980
exkludera en sådan typ av grupp som etnicitet?

11:47.670 --> 11:50.490
Eller olika etniciteter. Men det är också ett

11:50.490 --> 11:54.060
kunskapsmässigt epistemiskt problem. Vi vet ju

11:54.060 --> 11:56.550
inte alltid i förväg vilka gruppskillnader

11:56.550 --> 11:59.370
kategorier som kommer vara relevanta för framtida

11:59.370 --> 12:01.680
forskning och vård. Det kanske är så att det inte

12:01.680 --> 12:04.410
finns så mycket data om kopplingen mellan

12:04.410 --> 12:08.130
etnicitet och hälsa idag, men det kanske kommer

12:08.160 --> 12:10.260
finnas jättemycket forskning som visar det i

12:10.260 --> 12:14.700
framtiden. Men då bygger ju AIn på den gamla datan

12:14.700 --> 12:17.910
som vi hade där, den kategorin de kategorierna

12:17.910 --> 12:21.180
inte fanns. Som handlade om etnicitet. Så det är

12:21.210 --> 12:24.750
ju ett kunskapsmässigt problemvetenskapligt

12:24.750 --> 12:27.000
problem. Vad kan man dra för slutsatser här? Eller

12:27.000 --> 12:29.760
hur ska vi sammanfatta det? Jo, bias i

12:29.760 --> 12:31.860
träningsdata kan antingen har att göra med

12:31.860 --> 12:36.630
fördomar som forskare och utvecklare har och som

12:36.630 --> 12:40.200
vi i samhället har. Eller så är det ju att vissa

12:40.200 --> 12:43.770
grupper inte finns representerade i träningsdata

12:45.390 --> 12:47.910
och bias är ett rättvise problem och det är ett

12:48.360 --> 12:51.840
problem som är svårt att undgå helt. Men vi måste

12:51.840 --> 12:55.500
vara medvetna om att det finns. Vi måste förhålla

12:55.500 --> 12:58.110
oss kritiskt till det och ställa frågor kring

12:58.110 --> 12:59.070
representation.

13:01.830 --> 13:05.310
Och om rättvisan ses som ger oss en negativ

13:05.310 --> 13:07.800
skyldighet. Då handlar det om att undvika bajs,

13:07.830 --> 13:10.650
att inte skada. Om du ser det som en positiv

13:10.680 --> 13:13.650
skyldighet så handlar det om att arbeta aktivt för

13:13.650 --> 13:18.480
jämlikhet, och vi bör diskutera vad vi menar. Nu

13:18.480 --> 13:21.870
har jag bara tagit upp vissa aspekter. Det finns

13:21.870 --> 13:25.920
många. Vi måste åtminstone ha en syn på vad vi

13:25.920 --> 13:29.820
menar med rättvisa när vi utvecklar. När man

13:29.820 --> 13:33.840
utvecklar AI så bör man ha diskuterat vad det

13:33.840 --> 13:36.900
finns för rättvisefrågor och hur man definierar

13:36.900 --> 13:38.100
eller ser på rättvisa.

13:43.830 --> 13:44.370
Tack!