AI rendszerek termelésben · Lecke 06

Guardrailek és biztonsági határok

Egy ügynök autonómiája hasznos, de határok nélkül kockázatos. A guardrailek és a jóváhagyási pontok azt biztosítják, hogy a rendszer szabadon dolgozhasson ott, ahol biztonságos, és megálljon ott, ahol nem.

Vissza a tananyaghoz

A homokozó tesztelés szerepe

Mielőtt egy ügynökrendszer valódi, éles hatással bíró műveleteket végezhetne, extenzív tesztelésen kell átesnie homokozó, vagyis elszigetelt környezetben, ahol a hibás döntések nem okoznak valódi kárt. Ez a lépés nem opcionális extra, hanem a termelésre állás előfeltétele minden olyan rendszernél, ami fájlokat módosít, pénzügyi tranzakciót indít vagy külső rendszerekkel kommunikál.

A Claude Code hivatalos best practices dokumentációja ezt az elvet Plan Mode formájában is megjeleníti, ahol az ügynök előbb egy strukturált tervet mutat be, mielőtt bármilyen fájlt módosítana. Ez lehetőséget ad az embernek arra, hogy jóváhagyja vagy módosítsa a tervet, mielőtt a végrehajtás elkezdődne.

Rögtön élesben

Az ügynök első hibás döntése valódi fájlokat, tranzakciókat vagy külső rendszereket érint. A kár azonnal valós.

Előbb homokozóban

A hibás döntések elszigetelt környezetben derülnek ki, valódi kár nélkül. Ez a termelésre állás előfeltétele.

  1. Strukturált terv bemutatásaPlan Mode, az ügynök előbb megmutatja, mit tenne.
  2. Emberi döntésJóváhagyás vagy módosítás, még mielőtt bármi megtörténne.
  3. VégrehajtásAz ügynök a jóváhagyott terv szerint dolgozik.
  4. Éles hatásFájlmódosítás vagy külső művelet csak a kapun túl történik.
Szervezeti szabályzat Rendszer guardrail Eszköz szintű korlát Ügynök minden réteg szűkíti a mozgásteret, mielőtt cselekvés történne
Beágyazott guardrail rétegek, a szervezeti szabálytól az eszköz szintű korlátig.

Jóváhagyási pontok kritikus műveletek előtt

Nem minden lépésnél kell emberi jóváhagyás, ez lelassítaná a rendszert feleslegesen. A jó gyakorlat azt jelenti, hogy az alacsony kockázatú lépéseket az ügynök önállóan végzi, míg a visszafordíthatatlan vagy magas kockázatú műveletek, például adattörlés, pénzügyi tranzakció vagy külső kommunikáció előtt egyértelmű jóváhagyási pont épül be a folyamatba.

Alacsony kockázat ügynök önállóan dönt Közepes kockázat naplózás, felügyelet Magas kockázat emberi jóváhagyás kell a kockázat szintje határozza meg, hol áll meg a rendszer és vár emberi döntésre, mielőtt cselekedne
A kockázati szint alapján az ügynök vagy önállóan dönt, vagy megáll egy jóváhagyási pontnál.

Hogyan tervezz guardraileket egy vállalati rendszerhez

Érdemes a lehetséges hibás kimeneteket előre végiggondolni, és minden kockázati szintre külön szabályt felállítani. A szervezeti szintű szabályzat, a rendszer szintű technikai korlát és az eszköz szintű validáció együtt olyan hálót alkot, ami akkor is megfogja a hibát, ha egy réteg kivételesen elmulasztja azt.

3

Ennyi guardrail réteg véd egyszerre. Szervezeti szabályzat, rendszer szintű technikai korlát és eszköz szintű validáció, így egy réteg kihagyott hibáját a másik még megfogja.

  1. Hibás kimenetek végiggondolásaMi a legrosszabb, amit az ügynök az adott folyamatban tehet.
  2. Kockázati szintek felállításaAlacsony, közepes és magas kockázatú műveletek szétválasztása.
  3. Szabály minden szinthezÖnálló döntés, naplózás vagy kötelező emberi jóváhagyás.
← Előző lecke Következő lecke →

Workshop

AI Transformation Day

Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.

Érdekel a program →