Miért működik a demó, és miért nem elég
Egy jól megírt prompt egyetlen ügynökkel, kontrollált bemenettel, néhány próbafuttatás alatt lenyűgöző eredményt ad. Ez a demó pillanata, és sokan itt hiszik el, hogy a rendszer kész. A valóságban a demó azt bizonyítja, hogy az ötlet működőképes, nem azt, hogy termelésre kész.
Anthropic saját multi-ügynök kutatórendszerének fejlesztése során azt tapasztalták, hogy a prompt engineering sokkal komplexebbé válik, amint egy rendszer több ügynökkel, termelési környezetben fut. Ennek oka nem a modell gyengesége, hanem a koordinációs kihívások és az emergens viselkedések megjelenése, amelyek egyetlen ügynök esetén fel sem merülnek.
- Működő demóEgy ügynök, kontrollált bemenet, néhány sikeres próbafuttatás.
- Valós bemenetekA felhasználók kiszámíthatatlan kéréseket adnak, a szép esetek elfogynak.
- Koordinációs kihívásokTöbb ügynök fut együtt, megjelennek az emergens viselkedések.
- Termelésre kész rendszerHibatűrés, megfigyelhetőség és koordináció is meg van tervezve.
Az emergens viselkedés problémája
Amikor egy lead agent több subagentnek oszt ki feladatot, a rendszer viselkedése már nem vezethető le egyszerűen az egyes ügynökök külön-külön megfigyelt viselkedéséből. Az ügynökök egymásra hatnak, versenyeznek erőforrásokért, és olyan hibamintázatok jelennek meg, amik egyetlen ügynökkel sosem fordultak volna elő.
Ez az oka annak, hogy a termelési prompt engineering nem egyenlő a jó prompt megírásával. A csapatnak azt is meg kell terveznie, hogyan koordinálnak az ügynökök egymással, mi történik hibás eszközhívás esetén, és hogyan marad a rendszer kezelhető akkor is, ha tíz vagy száz párhuzamos feladat fut egyszerre.
Ennyi párhuzamos feladat mellett is kezelhetőnek kell maradnia a rendszernek. A demóban egy futás volt, élesben tíz vagy száz fut egyszerre, és az ügynökök egymásra is hatnak.
Mit jelent ez a gyakorlatban
Ha egy vállalat AI ügynököt épít be a folyamataiba, az első működő demó csak a kiindulópont. A termelésre állás azt jelenti, hogy fel kell készülni a hibákra, a részleges sikerekre és a váratlan felhasználói bemenetekre is, nem csak a legjobb esetre. Ez a tananyag pontosan ezekre a kérdésekre ad választ a következő leckékben.
Felkészülés a legjobb esetre
A demó forgatókönyve fut a fejekben. Amíg minden bemenet szép és minden eszközhívás sikerül, a rendszer működik.
Felkészülés minden esetre
Hibák, részleges sikerek és váratlan felhasználói bemenetek is be vannak tervezve. Ez a termelésre állás valódi jelentése.
- HibákMi történik, ha egy eszközhívás vagy egy ügynök elbukik menet közben.
- Részleges sikerekA feladat fele elkészült. Eldobjuk vagy folytatjuk onnan, ahol megállt.
- Váratlan bemenetekA valós felhasználók olyat kérdeznek, amire a demó sosem készült.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →