Két rejtett kockázat
Az eddigi leckékben végigvettük, hol érhető el az AI ingyen, és mikor elég az ingyenes szint egy feladathoz. Van azonban két kérdés, ami a napi használatban nem tűnik fel, de baj esetén annál élesebben jelentkezik. Az egyik az adatvédelem, vagyis hogy mi lesz azzal, amit beküldünk a modellnek. A másik a megbízhatóság, vagyis hogy ott lesz-e a szolgáltatás akkor, amikor tényleg szükség van rá. Mindkettő rejtett kockázat, mert addig nem látszik, amíg minden rendben megy. Éppen ezért érdemes előre gondolni rájuk, nem pedig akkor, amikor már megtörtént a baj.
Mi történik a beküldött adattal
Amikor egy ingyenes szolgáltatóhoz elküldünk egy szöveget, az az adat elhagyja a saját gépünket, és a szolgáltató szerverére kerül. Itt jön a lényeg. Sok szolgáltató az ingyenes szinten fenntartja magának a jogot, hogy a beküldött adatot felhasználja a modell tanítására, a szolgáltatás fejlesztésére, vagy emberi ellenőrzésre. Ez nem feltétlenül rossz szándék, sokszor éppen ez az ára annak, hogy a szint ingyenes. A fizetős és üzleti szinteken a szolgáltatók jellemzően szigorúbb garanciát adnak, és a beküldött adatot nem használják tanításra. Az ingyenes szinten viszont ez gyakran másképp van, ezért az alapszabály egyszerű. Érzékeny, személyes vagy üzleti titkot tartalmazó adatot nem szabad ingyenes szolgáltatóba küldeni.
Fontos látni, miért éppen az ingyenes szint a kényes pont. Egy modell fejlesztéséhez rengeteg valós szöveges példa kell, és az ingyenes felhasználók által beküldött anyag ehhez értékes forrás. A díjfizetés hiányában a szolgáltató máshol keresi az ellenértéket, és ez sok esetben pontosan az adat. Ettől még lehet teljesen legális és korrekt a működés, hiszen a felhasználási feltételekben ott áll, mire számíthatunk. A felelősség így a mi oldalunkra kerül, nekünk kell eldöntenünk, mit adunk oda és mit nem.
Egyetlen szabály az adatküldésre. Érzékeny, személyes vagy üzleti titkot tartalmazó adat nem kerül ingyenes szolgáltatóba. Ha nem vagy biztos benne, kezeld érzékenyként, és futtasd helyben, vagy válassz adatvédelmi garanciát adó fizetős szintet.
Nézd meg az adatkezelési feltételeket
Ez nem azt jelenti, hogy minden ingyenes szolgáltató mindent felhasznál, és azt sem, hogy az ingyenes szint használhatatlan. Azt jelenti, hogy nem szabad feltételezésre hagyatkozni. Minden komoly szolgáltatónak van adatkezelési tájékoztatója és felhasználási feltétele, és ezekben szerepel, mi történik a beküldött adattal. Érdemes elolvasni, mielőtt éles adattal dolgozunk. Néhány kérdést mindig érdemes kikeresni, mert ezek döntik el, milyen adatot bízhatunk az adott szintre. Az alábbi négy pontból indulj ki, amikor egy új szolgáltatót mérlegelsz.
- Tanításra használjákFelhasználja-e a szolgáltató a beküldött adatot a modell tanítására vagy a szolgáltatás fejlesztésére.
- Meddig tároljákMennyi ideig őrzi meg a szolgáltató a beküldött adatot a szerverén, és mikor törli.
- Ki fér hozzáHozzáfér-e ember a beadott adathoz, például minőség ellenőrzés vagy hibajavítás céljából.
- Ki lehet kapcsolniVan-e lehetőség letiltani, hogy a beküldött adatot tanításra használják fel.
A helyi futtatás előnye és a GDPR
Itt válik értékessé az, amit a saját futtatásról szóló korábbi leckében láttunk. Ha a modell a saját gépünkön fut, például Ollamával, akkor a beküldött adat nem hagyja el a gépet. Nincs harmadik fél, nincs feltöltés idegen szerverre, és fel sem merül a kérdés, hogy tanításra kerül-e. Pontosan ez teszi a helyi futtatást vonzóvá az érzékeny adatoknál, még akkor is, ha a helyi modell képessége elmarad a legnagyobb felhős modellekétől. A választás sokszor nem az, hogy melyik a legokosabb modell, hanem hogy melyik adatot hol dolgozzuk fel.
Uniós cég esetében ehhez jön a GDPR szempont. Ha személyes adatot kezelünk, tudnunk kell, hová kerül az adat, ki fér hozzá, és milyen célra használják. Egy ingyenes, üzleti garancia nélküli szolgáltatóba küldött személyes adatnál ezekre a kérdésekre gyakran nem tudunk megnyugtató választ adni. Ezért az ilyen adat feldolgozását vagy adatvédelmi garanciát adó fizetős szintre, vagy helyi futtatásra érdemes bízni. Ez nem jogi tanács, hanem gyakorlati óvatosság, de a kettő itt egy irányba mutat.
A megbízhatóság kockázata
A második rejtett kockázat a megbízhatóság. Az ingyenes szint a természeténél fogva nem ad garanciát. Nincs mögötte SLA-t, vagyis olyan szolgáltatási szintre vonatkozó megállapodás, amely a szolgáltatót adott rendelkezésre állásra kötelezné. Ez a gyakorlatban több dolgot jelent egyszerre. A napi vagy percenkénti limit bármikor elérhető, és onnantól a szolgáltatás átmenetileg nem válaszol. A válaszidő nagy terhelésnél megnőhet, a szolgáltatás lelassulhat. Az ingyenes szint feltételei előzetes értesítés nélkül szűkülhetnek, vagy akár meg is szűnhetnek. Egyik sem hiba a szolgáltató részéről, egyszerűen ez az, amit ingyen kapunk.
Amíg kísérletezünk vagy alkalmi feladatot végzünk, ez nem probléma. Ha viszont egy éles, ügyfelet érintő vagy időérzékeny folyamat múlik egyetlen ingyenes forráson, a kockázat valós. Képzeljünk el egy helyzetet, amikor a folyamat épp a legfontosabb pillanatban áll le, mert elértük a napi limitet, vagy mert a szolgáltató éppen nem elérhető. Ilyenkor már nem az a kérdés, hogy ingyenes volt-e, hanem hogy működik-e. Egy kritikus folyamatot önmagában ingyenes szolgáltatóra építeni ezért kockázatos.
Ingyenes szint megbízhatósága
- Nincs SLA, nincs garantált rendelkezésre állás
- A limit bármikor elérhető, akkor leáll
- Nagy terhelésnél lassulhat a válasz
- A feltételek értesítés nélkül változhatnak
Fizetős vagy helyi megoldás
- Van garancia vagy teljes saját kontroll
- Magasabb és kiszámíthatóbb limitek
- Stabilabb válaszidő terhelés alatt is
- Kiszámítható, szerződéses feltételek
A megoldás, tartalék és rétegzés
A megoldás nem az, hogy azonnal fizetni kell mindenért. A megoldás az, hogy soha ne múljon a működés egyetlen ingyenes forráson. Ennek több gyakorlati eleme van. Érdemes tartalék szolgáltatót beállítani, hogy ha az elsődleges ingyenes forrás nem válaszol, a folyamat automatikusan átváltson egy másikra. A kritikus pontokon, ahol a leállás valódi kárt okozna, érdemes fizetős vagy helyi megoldást használni, ahol van garancia vagy teljes kontroll. A kevésbé kritikus, kísérleti vagy háttérben futó feladatoknál pedig maradhat az ingyenes szint. Így az ingyenes szolgáltató ott marad, ahol az előnye érvényesül, és nem ott, ahol egy leállás fájna.
Ehhez nem kell bonyolult rendszert építeni. Sokat számít már az is, ha előre tudjuk, mi a terv, amikor az elsődleges forrás elérhetetlen. Melyik a második szolgáltató, hová esik vissza a folyamat, és van-e olyan pont, ahol inkább emberi jóváhagyás kell, mint automatikus futás. Ez a néhány előre eldöntött kérdés a különbség aközött, hogy egy leállás észrevétlenül át van hidalva, vagy épp a legrosszabb pillanatban okoz fennakadást. A megbízhatóság tehát nem a szolgáltató választásán múlik elsősorban, hanem azon, hogy a mi oldalunkon van-e terv arra az esetre, amikor valami nem az elvárt módon működik.
Egy céges példa
Helyezzük mindezt egy elképzelt magyar cég helyébe. A Tisza Marketing Kft. egy kis ügynökség, amely szövegtervezésre és ötleteléshez használ ingyenes AI szolgáltatót. Amíg általános, nyilvános témákról ír vázlatot, az ingyenes szint tökéletesen megfelel, és az adatvédelem sem kérdés, hiszen nincs benne érzékeny információ. Amikor viszont egy ügyfél még nem publikus kampányáról, belső terveiről vagy szerződéses részleteiről lenne szó, az már üzleti titok, és nem kerülhet ingyenes szolgáltatóba. Ezt a részt vagy helyben futó modellel, vagy adatvédelmi garanciát adó fizetős szinten dolgozzák fel.
A megbízhatóság oldalán hasonló a gondolkodás. Amikor az ügynökség egy visszatérő, határidős riportot állít elő félig automatikusan, nem bízza egyetlen ingyenes forrásra, hanem tartalék szolgáltatót is beállít, hogy a határidő ne egy limit elérésén múljon. Így ugyanaz a cég használja az ingyenes szintet ott, ahol biztonságos és elég, és lép egy szinttel feljebb ott, ahol az adat vagy a határidő ezt megköveteli. Nem az a kérdés tehát, hogy ingyenes vagy fizetős, hanem hogy az adott feladathoz melyik illik.
Összefoglalás
A két rejtett kockázat az adat és a megbízhatóság. Az adatvédelemnél a szabály, hogy érzékeny, személyes vagy üzleti titkot tartalmazó adat nem megy ingyenes szolgáltatóba, és mindig a szolgáltató adatkezelési feltétele a mérce. A megbízhatóságnál a szabály, hogy kritikus folyamat nem múlhat egyetlen ingyenes forráson, ezért kell a tartalék és a rétegzés. Ha ezt a két szabályt tartjuk, az ingyenes szolgáltatók előnyét úgy élvezhetjük, hogy a rejtett kockázatok nem érnek váratlanul. A következő leckében ezt a tudást a gyakorlatba ültetjük, és összeraksz egy teljes, ingyenes AI munkafolyamatot.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →