A fejünkben lévő ítélet írásba foglalása: kontextusmérnökség és a modell engedelmessége
Az elmúlt években, miután bevezettem a mesterséges intelligenciát (MI) a munkámba, fokozatosan lebontottam azokat az ítéleteket, amelyek eredetileg csak a fejemben léteztek, externalizáltam (externalize) őket, és egy kontrollálható „kontextusmérnöki dokumentummá” (Context Engineering Document) rendeztem.
Egy modellt három dolog alapján értékelek
Jelenleg, amikor azt értékelem, hogy egy modell alkalmas-e „magas fegyelmet, magas nyomon követhetőséget” igénylő munkára, elsősorban három dolgot nézek:
- hogy be tudja-e tartani a megállapított szabályokat;
- hiányos információ esetén magától „kitölti-e az űrt”;
- hogy a kimenete nyomon követhető és auditálható-e.
Egy jelenlegi gyakorlati tapasztalat
Az alábbiakban a legutóbbi gyakorlati tapasztalataim olvashatók – előre jelzem, hogy ez kizárólag az én jelenlegi, személyes használati tapasztalatom, a modellek pedig folyamatosan frissülnek, így nem feltétlenül érvényes mindenkire és minden verzióra:
- Claude: a legmagasabb a kontextusnak való engedelmessége, jobban képes szorosan a megállapított szabályok szerint végrehajtani, ezért ezt tekintem fő modellnek, és erre bízom az ítéletréteget.
- GPT: a következő. A nyomon követhetősége viszonylag jól kontrollálható, de hiányos információ esetén időnként a tanítóadatokkal tölti ki az űrt, ezért elsősorban tartalékként és bizonyos feladatokra használom.
- Gemini: nehezebben boldogul az ilyen hosszú, magas fegyelmet igénylő munkával; egyszer egy lélegzetre kitalált forrásoknak egy egész kötegét sorolta fel, ezért egyelőre kikerült ebből a fővonalból.
Ami igazán szétnyitja a szakadékot: „az engedelmesség a már externalizált ítélet iránt”
Számomra a modellek közötti szakadékot igazán szétnyitó kulcs valójában nem csupán a modell saját képessége, hanem az, hogy „engedelmeskedni” tud-e annak a szakmai ítéletnek, amelyet már externalizáltam.
Az eszközök továbbra is frissülni fognak, de az, hogy előbb világosan leírjuk a fejünkben lévő ítéletet – ez ugyanolyan fontos, mint hogy melyik eszközt választjuk.