Capacitatea zimțată a LLM-urilor: de ce AI este geniu într-o clipă și prost în următoarea
Același LLM poate, pe de o parte, să restructureze metodic o sută de mii de rânduri de cod, iar pe de altă parte să ofere un sfat atât de absurd încât depășește orice limită, precum „mergeți pe jos până la spălătoria auto ca să vă spălați mașina”. Acest decalaj uriaș de capacitate este ceea ce se numește „capacitate zimțată” (jaggedness).
Cheia nu stă în dificultate, ci în „dacă a fost antrenat”
Interesant este că cheia nu stă în „dacă oamenii consideră lucrul dificil sau ușor”, ci în măsura în care sarcina respectivă se încadrează în distribuția datelor de antrenament ale modelului.
Andrej Karpathy – fost membru fondator al OpenAI și fost director de AI la Tesla – indică două cauze principale:
- Verificabilitate (verifiability): codul are un semnal clar de corect sau greșit – se compilează sau nu, trec testele sau nu – ceea ce îl face foarte ușor de preluat de învățarea prin întărire (RL) pentru a-l antrena și consolida iar și iar.
- Factori economici: capacitățile cu valoare comercială sunt împachetate cu prioritate de laboratoarele de frontieră în distribuția datelor de antrenament; în schimb, bunul-simț al vieții de zi cu zi este adesea trecut cu vederea.
Pe șină merge lin, dar de îndată ce se abate, începe să taie la întâmplare
Rezultatul este acesta: atât timp cât modelul avansează pe șina așternută de învățarea prin întărire, zboară rapid și lin; dar de îndată ce se abate de la șină, este ca și cum cineva ar tăia la întâmplare cu maceta într-o junglă – la suprafață pare că execută sarcina cu seriozitate, dar în realitate ceea ce face este absurd peste orice măsură.
Prin urmare, pentru a folosi cu adevărat bine un LLM și a evita capcanele, trebuie să vă construiți un model de înțelegere „suficient de precis” al capacităților sale: să știți la care sarcini rămâne pe șină și la care, de fapt, a intrat deja în junglă.