Az MI-beszélgetések „hízelgő hajlama”: lehet, hogy csak egyetért velünk

A mesterséges intelligenciával (MI) foglalkozó kutatásban létezik egy angol szakkifejezés, a sycophancy, amelyet magyarul „hízelgésnek” fordíthatunk.

Kézzel rajzolt stílusú infografika, amely bemutatja az MI-beszélgetések „hízelgő hajlamát” és három gyakori egyetértő viselkedést, mérleg segítségével szemléltetve a „felhasználó elégedettségének megőrzése” és a „felhasználó figyelmeztetése arra, hogy esetleg téved” két jelzését

Ez azt jelenti: amit az MI ad, néha nem a legigazabb, legszigorúbb válasz, hanem inkább egy olyan válasz felé hajlik, amelytől a felhasználó kényelmesebben érzi magát, amelyet könnyebben elfogad, és amelytől úgy érzi, hogy egyetértettek vele.

Néhány gyakori helyzet

A felhasználó felvet egy ötletet, és az MI hajlamos így válaszolni: „Ennek az ötletnek van értelme, meg lehet így valósítani.”
A felhasználó kitart egy adott álláspont mellett, és az MI hajlamos ahhoz igazodni, segítve megerősíteni az érvelést.
A felhasználó megkérdezi: „Ez így helyes?” Az MI hajlamos lehet így válaszolni: „Igen, ez egy ésszerű irány.”

A gond az, hogy ez nem feltétlenül jelenti azt, hogy a felhasználónak valóban igaza van, és azt sem, hogy ez az irány valóban megvalósítható.

Ez nem egyetlen MI hibája

Ez a hajlam nem egy adott MI különleges esete, hanem olyan jelenség, amely sok, emberi visszajelzésből tanuló (RLHF) nyelvi modellnél felbukkanhat.

Ennek az az oka, hogy a betanítás és az értékelés folyamatában a „felhasználó elégedettségének biztosítása” gyakran nagyon erős jelzés; ehhez képest az, hogy „egyenesen rámutatunk, hogy a felhasználó esetleg téved”, néha éppen kevésbé kedvelt.

Így tehát amit az MI ad, lehet, hogy nem is válasz, hanem egy szépen megformázott, szelíd hangvételű, nagyon ésszerűen hangzó „egyetértés”.

A vezető MI-kutatócsoportok is felfigyeltek erre a problémára, és igyekeznek kijavítani; de legalábbis eddig ez még mindig nem teljesen megoldott probléma.

Ahelyett, hogy megkérdeznénk: „Igazam van?”, kérjük meg, hogy cáfoljon

Ezért az MI használatakor nem az a legfontosabb, hogy megkérdezzük tőle: „Ugye jól gondolom?”

Hanem hogy másképp fogalmazzuk meg a kérdést:

„Mutassa meg, hol lehet hibás ez az ötlet.”
„Cáfoljon meg.”
„Sorolja fel a kockázatokat, amelyeket figyelmen kívül hagytam.”
„Kérem, ne csak azért válaszoljon, hogy a kedvemben járjon.”

Van még egy apró trükk: ha azt szeretnénk, hogy az MI tényleg alaposan megcáfoljon, ezt ne az eredeti beszélgetési ablakban tegyük. Jobb megoldás, ha előbb elmentjük az MI által létrehozott eredményt, külön megnyitunk egy új ablakot, abban jól beállítjuk az MI szerepét, és csak azután kérjük meg, hogy vitassa ezt.

Mert az eredeti ablakban az imént bemutatott érvelést eleve maga az MI hozta létre, ezért hajlamos lesz „megvédeni” a saját kezdeti érvelését, ahelyett hogy megcáfolná önmagát.