Nem jogai vannak, hanem feladatai – felelősség az automatizált döntésekben

Bevezető

2019-ben a robotjogokról írtam. Akkor még az volt a kérdés, hogy a technológia fejlődése elvezethet-e oda, hogy a gépek jogalanyokká váljanak. Azóta sok minden történt. A technológia nem lassított, mi pedig egyre több döntést adtunk át rendszereknek.

Ma már nem az a kérdés, hogy lesznek-e jogaik a gépeknek.
Hanem az, hogy részt vesznek-e döntésekben és ha igen, ki viseli ezek következményeit. Jogilag, erkölcsileg, emberileg.

Ez az írás nem jogi elemzés, nem állásfoglalás és nem mentség.
Egy gondolkodási kísérlet. Annak a logikának a bemutatása, amely alapján ezek a rendszerek működnek.

A felelősség pedig – ahogy eddig is – nem a rendszernél, hanem az embernél marad.

Nem jogai vannak, hanem feladatai

Ezeknek a rendszereknek nincsenek jogaik.
Feladataik vannak.

Nem akarnak semmit.
Nem várnak elismerést.
Nem sértődnek meg, nem éreznek igazságtalanságot.

Nem azért "hoznak döntést", mert így szeretnék, hanem mert erre programozták őket. Amit tesznek, az végrehajtás: bemenetek alapján kimeneteket adnak.

A jogok kérdése nem róluk szól.
Hanem rólunk.

Nem önállóak – csak annak tűnnek

Gyakran mondjuk: a rendszer önállóvá vált.
Ez kényelmes megfogalmazás, de pontatlan.

Ezek a rendszerek nem választanak célokat.
Nem döntenek arról, hogy mit kellene csinálni.
Csak azt hajtják végre, amit az ember előzetesen meghatározott.

Adatokat kapnak.
Szabályokat kapnak.
Súlyozásokat kapnak.

A működés minősége attól függ, mennyire volt átgondolt mindaz, amit előre beléjük tettünk és attól, hogy az ember mikor hiszi el róluk, hogy "majd megoldják".

Az igazság nem része a működésüknek

Ezek a rendszerek nem értik az igazságot.
Nem érzékelik a méltányosságot.
Nem tudják, mit jelent veszteséget elszenvedni.

Mintázatokat elemeznek.
Valószínűségeket rangsorolnak.
Kimeneteket állítanak elő.

Ha egy döntés igazságos, az nem azért van, mert a rendszer felismerte az igazságot.
Ha igazságtalan, az sem azért történik, mert "így akarta".

Ezek emberi kategóriák.
A rendszer csak a következményeket látja, nem pedig azok súlyát.

Miért félrevezető az, hogy "a rendszer döntött"?

Sokszor hangzik el: az algoritmus döntött.

Valójában a döntés korábban születik meg.

Ott, ahol:

• eldől, milyen adat számít

• rögzítik, mi mennyit ér

• meghatározzák, hogy egy kimenetnek milyen következménye lesz

A rendszer ezután végrehajt.
Amikor megszólal, a döntés felelőssége már rég eldőlt.

A felelősség nem a rendszernél jelenik meg

Ha egy döntési eredmény káros,
ha kizár valakit,
ha aránytalan következménye van,

a rendszer ezt nem tudja problémaként értelmezni.

A felelősség nem a működés szintjén jelenik meg, hanem azon kívül. Ott, ahol eldől, hogy:

• mire használjuk

• meddig használjuk

• és mikor állítjuk le

A jog nem a rendszert szabályozza, hanem az embert

A jog gyakran úgy tűnik, mintha magát a technológiát próbálná fegyelmezni. Valójában nem erről van szó.

A jog az emberi döntéseket próbálja keretben tartani.
Akkor is, ha ezek a döntések automatizált folyamatokon keresztül valósulnak meg.

Egy rendszer nem tud megfelelni jogi elvárásoknak.
Csak beállításoknak tud megfelelni.

Hol van a valódi kockázat?

Nem a számítási kapacitásban.
Nem a gyorsaságban.
Nem az összetettségben.

Van egy visszatérő, nagyon emberi kísértés is.

Amikor egy helyzet túl bonyolult, túl időigényes vagy egyszerűen kényelmetlen, jólesik hinni abban, hogy létezik egy eszköz, amely "majd megmondja a választ". Akár egy kép alapján, akár egy szöveg újrafogalmazásával, akár egy gyors összegzéssel. Elvileg. Gondolatban.

És amikor ez a válasz később mégsem állja ki a valóság próbáját, ritkán hangzik el az a mondat, hogy "ezt nem kellett volna így továbbengedni". Sokkal gyakoribb az, hogy a hiba forrását máshol keressük: az eszközben, a rendszerben, a módszerben.

Pedig ezekben a helyzetekben nem az automatizmus téved el.
Hanem az ember mond le egy pillanatra a mérlegelésről.

A rendszer azt teszi, amire használják: mintázatot keres, lehetőségeket kínál, szöveget állít elő. Nem tudja, mi a tét. Nem látja, kinek szól. Nem érzi a következményeket.

A döntés ott születik meg, amikor valaki ezt az eredményt megállás nélkül továbbviszi.
Nem rossz szándékból. Nem tudatlanságból. Hanem kényelemből.

Az automatizmus nem öli meg a józan észt.
Csak kényelmes ürügyet ad arra, hogy ne használjuk.

A kockázat ott van, ahol nincs egyértelmű pont, ahol egy ember:

• meg tudja állítani a folyamatot

• felül tudja írni az eredményt

• vagy vállalni tudja a következményt

A rendszer nem tud megállni.
Nem tud visszalépni.
Nem tud újragondolni.

A kérdés az, hogy az ember mikor teszi meg helyette.

Nem a rendszer változik – a környezet igen

A rendszer működése kiszámítható.
A hatása nem mindig az.

Minél gyorsabb a folyamat,
minél kevesebb az emberi beavatkozási pont,
annál inkább rendszerszintűvé válik minden következmény.

Ez nem szándék kérdése.
Ez szerkezeti kérdés.

Záró gondolat

Nem jogokat kell adni ezeknek a rendszereknek.
És nem is tőlük kell elvárni, hogy "emberibbek" legyenek.

Hanem világosan ki kell mondani, hol kezdődik és hol ér véget az a felelősség, amelyet nem lehet automatizálni.

A rendszer nem sérül az igazságtalanságtól.
Nem romlik el tőle.

A következményeket mindig az viseli, aki a rendszerben él.
Akkor is, ha a döntést már nem ő hozta meg.