Miért hallucinál, és mennyire bízhatunk benne

Mi az a hallucináció

A hallucináció akkor történik, amikor a modell egy magabiztosan megfogalmazott, de téves vagy teljesen kitalált állítást ad. Nem arról van szó, hogy a rendszer bizonytalankodik vagy zavarosan fogalmaz. Éppen ellenkezőleg. Ugyanolyan folyékonyan és meggyőzően írja le a valótlant, mint a valót. Kitalálhat egy nem létező könyvcímet, megadhat egy hibás évszámot, hivatkozhat egy soha meg nem jelent tanulmányra, mindezt olyan határozottsággal, hogy a felhasználónak eszébe sem jut kételkedni. Éppen ez a magabiztosság teszi a jelenséget veszélyessé.

Fontos tisztázni, hogy a modell nem hazudik a szó emberi értelmében. A hazugsághoz tudni kellene az igazságot, és szándékosan mást állítani. A modellnek nincs ilyen szándéka. Egyszerűen egy nagyon valószínűen hangzó folytatást állít elő, amely ezúttal nem felel meg a valóságnak. A hallucináció tehát nem rosszindulat, hanem a rendszer működésének egy mellékterméke.

Miért fordul elő

Ha visszaemlékszünk a korábbi leckékre, a magyarázat kézenfekvő. A modell alapvetően a legvalószínűbb következő szót állítja elő, mintázatok alapján. Nem egy ellenőrzött adatbázisból emel ki tényeket, hanem egy nyelvileg meggyőző folytatást alkot. A legtöbb esetben a valószínű folytatás egyben helyes is, hiszen a tanult szövegek túlnyomó része igaz információt tartalmazott. De amikor a modell olyan kérdéssel találkozik, amelyre nincs elég támpontja, akkor is előállít egy simán hangzó választ, mert erre tanítottuk. Ilyenkor a nyelvi valószínűség és a tényszerű igazság szétválhat.

Ez különösen olyankor fordul elő, amikor nagyon pontos, konkrét adatot kérünk, például egy ritka tényt, egy pontos idézetet vagy egy számadatot. A modell nem tudja megmondani magáról, hogy ezúttal nincs biztos tudása. Nincs benne egy jelzőlámpa, amely felvillanna, ha bizonytalan. Ehelyett a tőle megszokott folyékonysággal fogalmaz tovább, akkor is, ha a tartalom valójában megalapozatlan.

A földelés

Van egy hatékony módszer arra, hogy csökkentsük a hallucináció esélyét. Ezt földelésnek nevezzük. A lényege az, hogy nem hagyjuk a modellt pusztán a saját belső tudására hagyatkozni, hanem valós, ellenőrzött forrásanyagot adunk a kezébe, és arra kérjük, hogy abból dolgozzon. Ha például egy szerződésről kérdezünk, akkor beillesztjük magát a szerződés szövegét, és arra kérjük a modellt, hogy csak abból válaszoljon. Így a felelet egy konkrét, általunk ismert forráshoz kötődik, nem a modell szabad asszociációjához.

A földelés azért működik jól, mert a modell erős oldalát használja ki, a szövegértést és a fogalmazást, miközben leszűkíti a gyenge oldalát, a bizonytalan tényekből való szabad építkezést. Amikor a modellnek konkrét anyag van a kezében, a válasza sokkal megbízhatóbb, mert van mihez igazodnia. Ez a technika a mindennapi munkában rendkívül praktikus. Sok esetben nem azt kell kérnünk a modelltől, hogy tudjon valamit, hanem azt, hogy dolgozzon fel egy általunk adott anyagot.

Az emberi ellenőrzés kötelező

Bármennyire is segít a földelés, a fontos következtetés ettől nem változik. Az ember végső ellenőrző szerepe nem hagyható el. Mielőtt egy modelltől kapott állítást tényként továbbadunk, döntést hozunk rá alapozva, vagy nyilvánosan felhasználjuk, ellenőrizni kell. Ez különösen igaz a számokra, a nevekre, a dátumokra, a jogi és pénzügyi részletekre, valamint minden olyan információra, aminek komoly következménye lehet. A modell kiváló első vázlatot ad, de a felelősség mindig a felhasználónál marad.

Ez a szemlélet nem az AI leértékelése, hanem a helyes használat feltétele. Ugyanúgy, ahogy egy tapasztalt vezető sem ír alá egy jelentést anélkül, hogy átnézné, a modell kimenetét sem szabad ellenőrzés nélkül elfogadni. Ha ezt a szokást beépítjük a munkába, a hallucináció kockázata kezelhető marad, és a rendszer így is óriási segítséget jelent. A cél nem a vak bizalom és nem is a teljes elutasítás, hanem a tudatos, ellenőrzésen alapuló együttműködés.

Egy dolgot érdemes még tisztázni. A hallucináció nem azt jelenti, hogy a modell megbízhatatlan, ezért kerülni kellene. A legtöbb esetben pontos és hasznos válaszokat ad, és a hibaarány a jó használattal, például a földeléssel, tovább csökkenthető. A helyes hozzáállás nem a bizalmatlanság, hanem a helyénvaló óvatosság. Ott bízunk a modellben, ahol a tévedés ára alacsony és az eredmény könnyen javítható, és ott ellenőrzünk körültekintően, ahol egy hibás állítás valódi kárt okozhat. Ez a különbségtétel a felelős használat lényege.

Hol a legnagyobb a kockázat

Nem minden feladatnál egyforma a hallucináció veszélye. Érdemes tudni, mikor kell fokozottan figyelni. A kockázat ott a legnagyobb, ahol a modelltől pontos, ellenőrizhető tényt kérünk, amelynek komoly következménye lehet. Ide tartoznak a konkrét számadatok, a jogszabályi hivatkozások, az orvosi vagy pénzügyi információk, a nevek, a dátumok és a forrásmegjelölések. Ezeknél a modell magabiztos válasza önmagában soha nem elég, mindig egy megbízható forráshoz kell kötni. Ezzel szemben a fogalmazási, ötletelési vagy átszerkesztési feladatoknál a tévedés ára jóval kisebb, mert az eredményt amúgy is a saját ítéletünk szerint alakítjuk tovább.

Van néhány egyszerű jel, amely óvatosságra int. Ha a modell nagyon konkrét, mégis ellenőrizhetetlen részletet ad, ha egy általunk nem ismert forrásra hivatkozik, vagy ha a válasz gyanúsan pontosan illeszkedik ahhoz, amit hallani szeretnénk, akkor érdemes megállni és utánanézni. A gyakorlott felhasználó nem az alapján dönt, mennyire meggyőzően hangzik a válasz, hanem az alapján, hogy ellenőrizte-e. Ez a szokás önmagában a legtöbb hallucinációból fakadó hibát kiszűri, anélkül hogy le kellene mondanunk az eszköz gyorsaságáról.