Miért hallucinálnak az LLM-ek? Egy diák, aki nem adhat le üres lapot

Miért hallucinálnak az LLM-ek?

Úgy gondolom, az LLM-et el lehet képzelni egy ilyen diákként: rengeteg, de rengeteg könyvet olvasott, de az emlékezetét tömörítették, és ő maga sem tudja, mely részek homályosodtak el valójában; ami még kellemetlenebb, azt is megkövetelik tőle – vizsga közben –, hogy „ne adjon le üres lapot”.

Az infografika egy könyvtengerben álló, „nem hagyhat üresen semmit, mindenre válaszolnia kell” elvárás alá vetett diák képével szemlélteti, miért hallucinálnak az LLM-ek, és hat okot sorol fel, köztük a tömörített emlékezetet és az összekeveredett forrásokat

Az erőssége nem az, hogy „tudja, hogy tudja-e”

Ennek a diáknak a valódi erőssége nem annak megítélése, hogy „valóban tudja-e” a választ, hanem az, hogy a szavakat folyékonyan fűzi össze, így a válasz ésszerű válasznak látszik.

Ezért, ha maga az adat homályos, a források összekeverednek, vagy már az első következtetési lépés is hibás, a folytatás – a hangnem egységének megőrzése érdekében – egyre teljesebbé válhat, és minél tévesebb, annál magabiztosabb is lesz.

A lényeg, hogy szűkítsük a teret az „össze-vissza pótlásra”

Ezért az MI használatakor nem az a lényeg, hogy csak odavessünk egy mondatot: „Találja meg nekem a választ.” Hanem az, hogy találjunk módot arra, hogy szűkítsük a teret az „össze-vissza pótlásra”.

A jobb megoldás az, ha:

strukturáljuk a kérdést, egyértelműen soroljuk fel a hátteret, a korlátokat és a kimeneti formátumot;
ha túl sok az adat, adjuk be részletekben, hogy lépésről lépésre dolgozza fel;
ami még fontosabb, adjunk meg helyes forrásokat, és kérjük, hogy „a források alapján válaszoljon”, a bizonytalan részeket pedig jelölje meg.

Tekintsük olyan asszisztensnek, akinek egyértelmű feladatra van szüksége

Váltsunk hasonlatot: tekintsük az MI-t olyan asszisztensnek, „akinek egyértelmű feladatot, referenciaanyagot és válaszolási keretet kell adnunk”.

Minél lazábban tesszük fel a kérdést, annál könnyebben pótol össze-vissza; minél egyértelműbben határoljuk be a keretet, annál valószínűbb, hogy tényleg tud segíteni.

Vagyis, ha a kérdező úgy tudja megtervezni a kérdést, hogy az inkább hasonlítson egy „kiegészítendő feladatra”, mint egy határtalan „kifejtős kérdésre”, akkor az MI által adott válaszok általában egyre inkább összeszűkülnek, és egyre közelebb kerülnek egy pontosabb eredményhez.