Context engineering és evalok · Lecke 04

Eszköztervezés és példák

Ha egy mérnök nem tudja eldönteni, melyik eszközt kell használni egy adott helyzetben, az ügynök sem fogja tudni. A jó eszköztervezés és a jól válogatott példák sokkal többet érnek, mint a kimerítő dokumentáció.

Vissza a tananyaghoz


Milyen egy jó eszköz

Az ügynöki rendszerekben az eszközök jelentik a modell és a külvilág közötti interfészt. A jó eszköz önmagában zárt, tehát nem igényel más eszközök ismeretét a helyes használatához. Hibatűrő, tehát váratlan bemenetre sem omlik össze értelmetlenül. Egyértelmű rendeltetésű, és minimális az átfedése más eszközökkel.

Ha egy tapasztalt mérnök is bizonytalan abban, hogy két hasonló eszköz közül melyiket kellene használnia egy adott helyzetben, az AI ügynök is bizonytalan lesz, és rosszul fog dönteni. Az eszközök közti egyértelmű határvonal ezért nem apró részlet, hanem alapvető tervezési szempont.


  1. Önmagában zártNem igényli más eszközök ismeretét a helyes használatához.
  2. HibatűrőVáratlan bemenetre sem omlik össze értelmetlenül.
  3. Egyértelmű rendeltetésűEgy tapasztalt mérnök is habozás nélkül tudja, mikor kell használni.
  4. Minimális átfedésNincs két hasonló eszköz, ami közt találgatni kellene.

Jó eszközkészlet keresés létrehozás törlés, minimális átfedés Rossz eszközkészlet keres_1 (átfedő) keres_2 (átfedő) homályos, sok kivétel
A jó eszközkészlet elemei egyértelműen elkülönülnek, a rossz eszközkészlet átfedésekkel kényszeríti ki a találgatást.

Token hatékony visszatérési értékek

Az eszközök válaszai közvetlenül a kontextusablakba kerülnek, így ezek is fogyasztják a figyelem büdzsét. Egy jól tervezett eszköz tömören, a feladat szempontjából releváns információra szorítkozva ad választ, nem önti ki a teljes nyers adatot, ha arra nincs szükség.


Eszköz válasza minden token beáramlik Kontextusablak releváns kivonat nyers adatdump mindkettő a büdzsét fogyasztja
Az eszközválasz minden tokenje közvetlenül a kontextusablakba áramlik, ezért a tömörség tervezési kérdés.

Nyers adatdump

Az eszköz a teljes rekordot visszaönti, mezőstül, metaadatostul. A figyelem büdzsé irreleváns tokenekre megy el.

Tömör, releváns válasz

Csak a feladat szempontjából fontos információ jön vissza. Ugyanaz a tartalom, töredék tokenből.


Miért ér egy példa ezer szót

A modell számára egy jól megválasztott, konkrét példa gyakran hatékonyabb tanítóeszköz, mint egy hosszú szabálylista. Ahelyett, hogy minden lehetséges él-esetet külön dokumentálnánk, érdemes diverz, kanonikus példákat kurálni, amik hatékonyan bemutatják az elvárt viselkedést. Ez a few-shot megközelítés jelentősen csökkenti a szükséges instrukció hosszát, miközben pontosabb irányt ad a modellnek.


1000

Ennyi szót ér egy kép a mondás szerint, és a modelleknél is így működik. Néhány diverz, kanonikus példa hosszú szabálylistát vált ki, kevesebb tokenből.


Minden él-eset dokumentálása hosszú szabálylista nehezen karbantartható sok tokent fogyaszt mégis hézagos marad Diverz, kanonikus példák 2-3 jól válogatott eset tömör, pontos jelzés egy példa ezer szót ér
A kanonikus példák sokkal kevesebb tokenből adnak erősebb iránymutatást, mint a kimerítő szabálylista.

← Előző lecke Következő lecke →

Workshop

AI Transformation Day

Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.

Érdekel a program →