Zapsat úsudek z hlavy do dokumentu: inženýrství kontextu a poslušnost modelu
Poté, co jsem v posledních letech zapojil do své práce AI, jsem postupně rozebíral úsudky, které původně existovaly jen v mé hlavě, externalizoval (externalize) je a uspořádal do kontrolovatelného „dokumentu inženýrství kontextu“ (Context Engineering Document).
Model hodnotím podle tří věcí
V současnosti, když posuzuji, zda se nějaký model hodí pro práci vyžadující „vysokou disciplínu, vysokou dohledatelnost“, dívám se hlavně na tři věci:
- zda dokáže dodržovat stanovená pravidla;
- zda při nedostatku informací sám od sebe „vyplňuje mezery“;
- zda lze vydávaný obsah zpětně vysledovat a auditovat.
Aktuální dojmy z praktického testování
Níže jsou mé nedávné praktické poznatky – hned na úvod upřesním, že jde čistě o mou aktuální, osobní zkušenost s používáním; modely se navíc neustále aktualizují, takže to nemusí platit pro každého a pro každou verzi:
- Claude: nejvyšší poslušnost vůči kontextu; lépe se drží stanovených pravidel při provádění, takže ho používám jako hlavní model a svěřuji mu vrstvu úsudku.
- GPT: na druhém místě. Dohledatelnost je poměrně dobře kontrolovatelná, ale při nedostatku informací občas doplňuje mezery trénovacími daty, takže ho používám hlavně jako zálohu a pro konkrétní úlohy.
- Gemini: s tímto typem dlouhého, vysoce disciplinovaného úkolu má větší potíže; jednou naráz vyjmenoval celou dávku smyšlených zdrojů, a proto prozatím vypadl z této hlavní linie.
Rozdíl vytváří „poslušnost vůči externalizovanému úsudku“
Pro mě klíč, který mezi modely skutečně vytváří rozdíl, ve skutečnosti není jen schopnost samotného modelu, ale to, zda dokáže „poslouchat“ ten odborný úsudek, který jsem už externalizoval.
Nástroje se budou dál aktualizovat, ale nejprve jasně napsat úsudek, který máte v hlavě – to je ve skutečnosti stejně důležité jako to, který nástroj si vyberete.