Saját futtatás alapjai, az Ollama és a helyi modellek

Mit jelent a saját futtatás

A saját futtatás azt jelenti, hogy egy nyílt súlyú modellt nem egy távoli szolgáltató szerverén, hanem a saját gépeden hívsz meg. A modell súlyai a saját merevlemezeden vannak, a kérdésed nem megy ki az internetre, és a válasz a saját processzorodon vagy videokártyádon készül el. Amíg a felhős megoldásnál a szöveged eljut egy másik cég szerveréig és ott dolgozzák fel, addig a helyi futtatásnál minden a négy fal között marad. Ez a különbség önmagában nem jobb vagy rosszabb, de teljesen más helyzetekben előnyös, és pontosan ezt a döntést segít meghozni ez a lecke.

Érdemes tisztázni, hogy a nyílt súlyú modell és a saját futtatás nem ugyanaz. Egy nyílt súlyú modellt sok esetben egy felhős szolgáltató is kínál, ott is kényelmesen elérheted anélkül, hogy a saját gépeden bármit telepítenél. A saját futtatás ehhez képest egy külön lépés, arról szól, hogy a modellt fizikailag a te vasadon indítod el. A nyílt súly ehhez a szabadságot adja meg, mert a súlyokat letöltheted és helyben használhatod, de attól még te döntöd el, hogy élsz-e ezzel a lehetőséggel, vagy inkább maradsz a felhőnél.

Mi az Ollama

Az Ollama egy egyszerű eszköz, amivel nyílt súlyú modelleket lehet helyben futtatni, minimális beállítással. Letöltöd, kiválasztasz egy modellt a listából, és néhány perc múlva már beszélgethetsz vele a saját gépeden. Nem kell hozzá mélyebb technikai tudás, a modell letöltését, betöltését és a memória kezelését az Ollama elintézi helyetted. A lényeg, hogy a modell egyetlen paranccsal elérhetővé válik, és onnantól úgy használod, mintha egy chatablak lenne, csak épp a te vasadon fut.

Ami az egészet igazán hasznossá teszi, az az, hogy az Ollama OpenAI-kompatibilis végpontot is ad. Ez azt jelenti, hogy ugyanúgy hívható kódból, mint egy felhős szolgáltató, ahogy azt a 03-as leckében az OpenAI-kompatibilis API-nál láttuk. Ha egy alkalmazásod eddig egy felhős szolgáltatóhoz kapcsolódott, sok esetben elég a végpont címét átírnod a helyi címre, és máris a saját gépeden futó modellt használja, a kód többi része változatlan marad. Így ugyanaz a program szinte átírás nélkül tud felhős és helyi modellel is dolgozni.

Ennek a kompatibilitásnak a gyakorlati haszna nagyobb, mint amilyennek elsőre tűnik. Fejlesztés közben dolgozhatsz a helyi modellel, ahol nincs kérésenkénti költség és nincs limit, majd amikor a legnagyobb minőségre van szükség, ugyanaz a kód átkapcsolható egy felhős modellre. Ugyanígy fordítva is működik, felhőben építed a megoldást, aztán ahol az adatvédelem megköveteli, ugyanazt a programot a helyi modellel futtatod. Az Ollama tehát nem egy különálló világ, hanem beleillik abba a szemléletbe, amit a kurzus végig képvisel, hogy a modellek cserélhető alkatrészek legyenek a munkádban.

Mikor éri meg helyben futtatni

A helyi futtatásnak három tipikus helyzetben van egyértelmű előnye. Az első az adatvédelem. Ha érzékeny adatokkal dolgozol, például ügyféladatokkal vagy belső dokumentumokkal, akkor sokat számít, hogy a szöveg nem hagyja el a gépet, és nem kerül egy külső szolgáltató szerverére. A második az offline igény. Ha olyan környezetben dolgozol, ahol nincs megbízható internet, vagy elvi okból nem akarsz külső hálózatra támaszkodni, a helyi modell akkor is működik, amikor a felhős szolgáltató elérhetetlen. A harmadik a nagy volumen. Ha nagyon sok kérést futtatnál, a felhős ingyenes csomagok napi vagy perces limitje hamar kevés lesz, a saját gépeden viszont annyit futtatsz, amennyit a vasad elbír, külön díj nélkül.

Ehhez a háromhoz gyakran társul egy negyedik, csendesebb szempont, a kiszámíthatóság. A felhős szolgáltatók időről időre változtatnak a modelljeiken, a limiteken vagy a feltételeken, és ami ma ingyenes, az később megváltozhat. A helyben letöltött modell viszont a tiéd marad, ugyanaz a súlyfájl ugyanúgy fog viselkedni hónapokkal később is, függetlenül attól, hogy egy szolgáltató mit dönt. Ez a stabilitás olyan munkánál értékes, ahol egy folyamat sokáig, változatlan formában kell hogy fusson.

Mikor nem éri meg

A helyi futtatás nem minden esetben jó választás. Az első akadály a vas. A nagyobb, erősebb modellekhez sok memória és jó videokártya kell, és ha ez nincs meg, akkor a modell vagy el sem indul, vagy olyan lassan válaszol, hogy a gyakorlatban használhatatlan. A második eset az alkalmi használat. Ha csak néha, néhány kérdésre használnád a modellt, akkor a telepítés, a letöltés és a karbantartás több munka, mint amennyit megspórolsz vele, és egy felhős ingyenes csomag bőven elég. Röviden, a helyi futtatás akkor kifizetődő, ha rendszeres és van hozzá megfelelő gép, egyébként a felhős út egyszerűbb és gyorsabban beüzemelhető.

Reális elvárások

Fontos tisztán látni, mit ad a helyi futtatás és mit nem. A kisebb modellek gyengébb gépen is elfutnak, ez a jó hír. A rossz hír, hogy a kisebb modellek jellemzően gyengébb minőségű választ adnak, mint a nagy felhős modellek, tehát a kényelemért és az adatvédelemért cserébe a képességekből engedsz valamennyit. A nagy, erős modellek fordítva működnek, közelebb kerülnek a felhős minőséghez, viszont komoly vasat kérnek, sok memóriát és jó videokártyát. Nincs olyan beállítás, ami egyszerre adná a legnagyobb tudást és a leggyengébb gépen való futást. A helyes hozzáállás az, hogy a feladathoz választasz modellt. Egyszerűbb, ismétlődő feladatokra sokszor egy kisebb helyi modell is teljesen elég, a nehezebb, összetettebb munkákhoz viszont vagy erős gép, vagy inkább egy felhős modell kell.

A gyakorlatban ez azt jelenti, hogy a modellméret a legfontosabb döntés, amit meghozol. Nem az a kérdés, hogy melyik a legjobb modell általánosságban, hanem az, hogy melyik a legkisebb modell, ami a te feladatodat még megbízhatóan megoldja. Egy rövid szöveg összefoglalása vagy egy sablon levél megfogalmazása egészen más terhelést jelent, mint egy összetett elemzés vagy egy hosszú dokumentum feldolgozása. Érdemes a legkisebbel kezdeni, kipróbálni a saját valós feladataidon, és csak akkor lépni nagyobbra, ha a minőség tényleg kevés. Így nem terheled feleslegesen a gépet, és gyorsabb válaszokat is kapsz. A sebesség ugyanis szintén a vason múlik, ugyanaz a modell egy erős gépen folyékonyan válaszol, egy gyengébben viszont akadozva, és ez a különbség a napi használatban sokat számít.

Egy céges példa

Vegyünk egy fiktív magyar könyvelőirodát. Náluk a napi munka nagy része érzékeny ügyféladattal dolgozik, számlákkal, béradatokkal, szerződésekkel, és a vezetés kényes arra, hogy ez az adat ne kerüljön ki külső szolgáltatóhoz. Ugyanakkor jól jönne egy nyelvi modell a dokumentumok összefoglalására és a levelek fogalmazására. Ez pontosan az a helyzet, ahol a helyi futtatásnak értelme van. Az iroda egy megfelelően felszerelt gépen Ollama-val futtat egy nyílt súlyú modellt, így az ügyféladat a saját gépükön marad, nem hagyja el a céget, és mégis élvezik a modell segítségét a mindennapi szövegmunkában. Ha ugyanez az iroda csak havonta egyszer szeretne egy modellt megkérdezni valami általánosról, ahol nincs érzékeny adat, akkor viszont fölösleges lenne saját futtatásba fogniuk, arra egy felhős ingyenes csomag is bőven megfelel. A döntést mindig a feladat érzékenysége, a gyakoriság és a rendelkezésre álló gép együtt hozza meg.