Honnan ered a torzítás
Egy generatív modell nem a semmiből találja ki, amit mond. Hatalmas mennyiségű, emberek által létrehozott szövegből és képből tanulja meg a mintázatokat, majd ezeket ismétli és kombinálja. Ha ez a tananyag a valós világot tükrözi, akkor a világ egyenlőtlenségeit és előítéleteit is magában hordozza. Ha bizonyos szerepekben a múltban jellemzően egy adott csoport jelent meg, a modell ezt a kapcsolatot mintaként rögzíti, és a saját kimenetében is reprodukálja. A torzítás tehát ritkán abból származik, hogy valaki szándékosan rossz adatot adott a rendszernek. Sokkal gyakrabban egyszerűen abból, hogy az adat a maga természetes állapotában sem semleges, mert egy egyenlőtlen történelem lenyomata.
Három helyen csúszhat félre
Érdemes szétválasztani, hol keletkezhet a torzítás, mert máshol kell beavatkozni mindegyiknél. Az első az adat összetétele. Ha egyes csoportok alulreprezentáltak a tananyagban, a modell róluk kevesebbet és pontatlanabbat tanul. A második a címkézés és a feldolgozás. Amikor emberek döntik el, mi számít jó vagy rossz példának, a saját nézőpontjuk is beépül a rendszerbe. A harmadik a felhasználás módja. Ugyanaz a modell méltányosabban vagy igazságtalanabbul is használható attól függően, milyen döntésre és milyen ellenőrzés mellett vetjük be. A torzítás így nem egyetlen ponton dől el, hanem az egész folyamaton végigvonul.
Miért veszélyes a méretben
Egyetlen ember elfogultsága egyszerre egy döntést érint. Egy rendszer elfogultsága viszont egyszerre nagyon sok döntésben ismétlődhet, ugyanúgy, kifogástalan következetességgel. Ez a következetesség félrevezető, mert a gépi választ könnyű tárgyilagosnak és semlegesnek látni. Ha egy szűrő, egy ajánlás vagy egy előértékelés rendszeresen egy irányba téved, akkor a hátrány nem véletlenszerűen oszlik el, hanem mindig ugyanazokat a csoportokat sújtja. A tét ott lesz igazán nagy, ahol a rendszer emberek sorsát érintő döntéseket készít elő, például állásra jelentkezésnél, hitelbírálatnál vagy ügyfélválasztásnál. Itt a torzítás nem elméleti kérdés, hanem közvetlen hatással van emberek lehetőségeire.
A látszólagos semlegesség csapdája. A gépi döntést hajlamosak vagyunk tárgyilagosnak látni, épp mert számításból ered. Pedig ha az alapját torz adat adja, a rendszer következetesen ismétli ugyanazt a félrecsúszást, csak most a tárgyilagosság látszatával megerősítve.
Mit jelent a méltányosság
Kézenfekvő volna azt mondani, tegyük egyszerűen méltányossá a rendszert, és kész. A nehézség az, hogy a méltányosságnak több, egymással versengő értelmezése van. Jelentheti azt, hogy mindenki azonos bánásmódot kap, függetlenül a csoporttól. Jelentheti azt is, hogy a rendszer minden csoportnál egyformán pontos. És jelentheti azt, hogy a végeredmény arányai kiegyenlítettek. Ez a három cél sok esetben nem teljesíthető egyszerre, a matematika itt választásra kényszerít. Ezért a méltányosság végső soron nem tisztán technikai kérdés, hanem értékválasztás arról, mit tartunk igazságosnak az adott helyzetben. A rendszer megépíthető így vagy úgy, de azt, hogy melyik a helyes, embernek kell eldöntenie.
Ami nem old meg mindent
- Több adat, ha ugyanolyan torz
- A védett jellemző puszta elrejtése
- Egyetlen, minden helyzetre húzott szabály
- A gépi válasz automatikus elfogadása
Ami tényleg segít
- Kiegyensúlyozott, ellenőrzött tananyag
- Csoportonkénti tesztelés a kimeneten
- Tudatos döntés a méltányosság értelméről
- Ember a fontos döntések végén
Mit kezdhet ezzel egy vezető
A jó hír, hogy a torzítás kezelhető, ha tudunk róla és számítunk rá. Nem az a cél, hogy egy tökéletesen semleges rendszert várjunk, mert ilyen nincs. A reális cél az, hogy a torzítást felismerjük, mérjük és folyamatosan figyeljük. Egy szervezetben ez azt jelenti, hogy a fontos döntésekben marad emberi felülvizsgálat, hogy a rendszereket rendszeresen tesztelik a különböző csoportokra nézve, és hogy előre kimondják, mit tekintenek méltányos eredménynek. A felelősség így nem hárítható át a gépre. A rendszer eszköz, a méltányosságról szóló döntés pedig emberi, és az is marad.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →