AI rendszerek termelésben · Lecke 03

Frissítések élesben

Egy ügynök percekig, néha órákig fut egyetlen feladaton. Ha közben egy jószándékú kódfrissítést tolunk ki, a futó munka nem szakadhat félbe. Erre válasz a rainbow deployment.

Vissza a tananyaghoz


Miért veszélyes egy sima újraindítás

A hagyományos szoftverfrissítés modellje egyszerű, leállítjuk a régi verziót, elindítjuk az újat. Egy hosszan futó AI ügynök esetén ez katasztrofális lehet, mert a folyamatban lévő munka elveszhet, egy félbehagyott eszközhívás inkonzisztens állapotban maradhat, és a felhasználó egy hibaüzenettel szembesül ott, ahol korábban minden működött.

Anthropic csapata erre a problémára a rainbow deployment technikát alkalmazza. A lényege, hogy a régi és az új verzió egy ideig egyszerre, párhuzamosan fut, és a forgalom fokozatosan, apránként tolódik át az egyikről a másikra, ahelyett hogy egy pillanat alatt váltana a rendszer.


Sima újraindítás

  • A régi verzió leáll, az új azonnal indul
  • A folyamatban lévő munka elveszhet
  • Félbehagyott eszközhívás inkonzisztens állapotot hagy
  • A felhasználó hibaüzenetet kap

Rainbow deployment

  • Régi és új verzió párhuzamosan fut
  • A futó ügynökök zavartalanul befejezik a munkát
  • A forgalom apránként tolódik át
  • Hiba esetén visszatolható a régire

0

Ennyi futó munkamenet szakad meg egy jól kivitelezett rainbow deployment alatt, mert a régi verzió addig fut, amíg az utolsó rajta lévő ügynök is végez.


Bejövő forgalom Régi verzió Új verzió mindkét verzió aktívan fut egyszerre a forgalom fokozatosan tolódik át az újra
Rainbow deployment, a forgalom apránként mozog a régi verzióról az újra, futó ügynökök megszakítása nélkül.

Mit nyerünk a fokozatos átállással

Amíg a forgalom fokozatosan mozog át, a csapat folyamatosan figyelheti, hogy az új verzió ugyanolyan jól, vagy jobban teljesít-e, mint a régi. Ha valami hibát mutat, a forgalom visszatolható a régi verzióra anélkül, hogy bármelyik felhasználó munkája megszakadt volna. Ez a megközelítés a kockázatot apró, kezelhető lépésekre bontja egyetlen nagy, visszafordíthatatlan váltás helyett.


  1. Kis adag forgalom áttereléseA felhasználók töredéke kerül az új verzióra.
  2. MegfigyelésUgyanolyan jól vagy jobban teljesít az új verzió, mint a régi.
  3. Visszatolás hibánálHa gond van, a forgalom visszamegy a régire, munkavesztés nélkül.
  4. Teljes átállásCsak akkor, amikor az új verzió minden szakaszban bizonyított.

100% régi 75% / 25% 50% / 50% 100% új a forgalom lépésről lépésre tolódik, minden szakaszban megfigyelve
A rainbow deployment fázisai, apró lépésekben halad a teljes átállásig.

Mit jelent ez a saját rendszerednél

Nem kell hatalmas infrastruktúra ahhoz, hogy ezt az elvet alkalmazd. Ha egy vállalati AI ügynök éles használatban van, már egy egyszerű verziójelzés és fokozatos kikapcsolás is óriási különbséget jelent ahhoz képest, mintha egyetlen pillanatban minden felhasználó az új verzióra váltana, teszt nélkül.


  1. VerziójelzésMinden futó munkamenet tudja magáról, melyik verzión indult.
  2. Párhuzamos futtatásA régi verzió addig él, amíg a rajta futó feladatok be nem fejeződnek.
  3. Fokozatos kikapcsolásA régi verzió csak üresen, futó munka nélkül áll le.

← Előző lecke Következő lecke →

Workshop

AI Transformation Day

Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.

Érdekel a program →