Зубчастий інтелект LLM: чому ШІ то геній, то дурень

Один і той самий LLM може, з одного боку, методично перебудувати сто тисяч рядків коду, а з другого — дати пораду настільки безглузду, як «підіть пішки до автомийки, щоб помити машину». Цей величезний розрив у можливостях і називають «зубчастим інтелектом» (jaggedness).

Справа не у складності, а в тому, «чи це відпрацьовано»

Цікаво, що справа не в тому, «чи вважають люди це складним чи простим», а в тому, чи потрапляє це завдання в розподіл тренувальних даних моделі.

Колишній співзасновник OpenAI, колишній директор зі ШІ в Tesla, Андрей Карпатий (Andrej Karpathy) вказує на дві головні причини:

1. Перевірюваність (verifiability): код має чіткий сигнал правильно/неправильно — чи компілюється, чи проходить тести — тому його дуже легко раз по раз тренувати й підсилювати за допомогою навчання з підкріпленням (RL).
2. Економічні чинники: здібності, що мають комерційну цінність, провідні лабораторії пріоритетно пакують у розподіл тренувальних даних; а щодо повсякденного здорового глузду — його часто просто ігнорують.

На рейках усе гладко, а щойно зійшов з них — починається безладне рубання

Результат такий: коли модель рухається рейками, прокладеними навчанням з підкріпленням, вона летить швидко й плавно; але щойно вона сходить з рейок, це виглядає так, ніби хтось мачете безладно рубає в джунглях — на поверхні здається, що завдання виконується сумлінно, а насправді те, що відбувається, — цілковитий абсурд.

Тож щоб справді добре користуватися LLM і не наступити на міну, потрібно вибудувати «достатньо точну» модель розуміння його здібностей: знати, у яких завданнях він тримається на рейках, а в яких насправді вже забрів у джунглі.