Laitteella ajettavat LLM:t taktisella reunalla: kvantisointi ja käyttöönotto

Suuri kielimalli, joka tarvitsee pilvipalvelun päätepisteen, on hyödytön taktisella reunalla, koska verkko on toimintaympäristön epäluotettavin elementti. Kielletty, heikentynyt, katkonainen tai rajoitetun kaistanleveyden yhteys ei pysty välittämään pyyntöä etäiselle mallille ja palauttamaan vastausta päätöksen sallimassa aikataulussa – ja operatiivisen tekstin lähettäminen alustalta luo sekä emissionjäljen että tietovuotoriskin. Vaihtoehto on ajaa malli siellä, missä data sijaitsee: laitteella, radio sammutettuna, generoiden jokainen token paikallisesti. Tässä artikkelissa käsitellään, kuinka tämä käytännössä tehdään – mallin valinta, kvantisointi, laitteistobudjetit, avain-arvo-välimuisti ja ajoympäristön yksityiskohdat, jotka ratkaisevat, onko laitteella tapahtuva päättely nopeaa vai käyttökelvottoman hidasta.

Miksi laitteella, ja mitä se maksaa

Perustelu laitteella tapahtuvalle päättelylle on selkeä: se poistaa verkon kriittiseltä polulta. Kun malli on ladattu muistiin, ei tarvita etäkutsua, riippuvuutta satelliitista tai mesh-radiolinkistä eikä alustalta lähtevää telemetriaa. Latenssi muuttuu deterministiseksi – se on laitteiston ja mallin, ei kiistetyn linkin, funktio. Promptit ja tulokset, jotka voivat sisältää sijainteja, joukko-osastojen nimiä tai aikomuksia, eivät koskaan poistu laitteelta.

Hintana on kyky. Malli, joka mahtuu yhdelle reunalaitteelle, on paljon pienempi kuin etulinjan pilviomalli, ja 7B–8B-parametrinen malli on merkittävästi heikompi avoimessa päättelyssä kuin kaksi kertaluokkaa suurempi malli. Laitteella ajettavan LLM-työn insinöörididiplomia on siksi tehtävän rajaaminen: kapean, hyvin määritellyn tehtävän sovittaminen pienimpään malliin, joka pystyy suorittamaan sen luotettavasti, sen sijaan, että odotetaan pienen mallin olevan yleinen assistentti. Yhteenvetoraportin tiivistäminen, saapuvien viestien luokittelu prioriteetin mukaan, jäsenneltyjen kenttien poimiminen vapaasta tekstistä tai kysymysten vastaaminen paikallisesta dokumenttikokoelmasta ovat kaikki tehtäviä, jotka pienen mallin hallitsee hyvin. Monitasoinen päättely suuressa, epäselvässä kontekstissa on se, missä pienet mallit hajoavat.

Mallin valinta: pienempi kuin luulet

Vaisto ladata suurin malli, jonka laitteisto voi fyysisesti pitää, on yleisin virhe reuna-LLM:n käyttöönotossa. Suurin malli ei jätä muistivaraa konteksti-ikkunalle, avain-arvo-välimuistille eikä millekään laitteen jakavalle samanaikaiselle työkuormalle – ja autoregressiivisessä generoinnissa suurempi malli tarkoittaa vähemmän tokenia sekunnissa. Oikea lähtökohta on pienin malliperheen, joka on uskottavasti kykenevä tehtävään, validoituna pidettyä sarjaa todellisia esimerkkejä vasten ennen kuin mitään muuta optimoidaan.

Karkeana kartoituksena: 1B–3B-parametriset mallit soveltuvat mallipohjaista poimintaa, luokittelua ja lyhyen muodon muuntamista varten; ne toimivat vaatimattomassa laitteistossa ja generoivat nopeasti. 7B–8B-mallit ovat työmäärä-luokka tiivistämistä, hakupohjaista kysymysvastaamista ja rajoitettua päättelyä varten, ja ne sopivat mukavasti keski-tason reuna-kiihdyttimille kvantisoituina. Noin 13B parametrin jälkeen muisti- ja kaistanleveysvaatimukset ylittävät yleensä sen, mitä yksittäinen karaisttu reunalaite voi ylläpitää interaktiivisella tokenitahdilla, ja marginaalinen kyky harvoin oikeuttaa kustannuksen reunalla.

Kvantisointi: keskeinen vaihtosuhde

Kvantisointi on tekniikka, joka tekee laitteella ajettavista LLM:istä käytännöllisiä. Malli koulutetaan ja jaetaan 16-bittisellä liukulukutarkkuudella, mutta suurin osa siitä tarkkuudesta ei ole tarpeen päättelyssä. Kvantisointi uudelleenkoodaa painot pienemmillä bittileveydellä – 8, 5 tai 4 bitin, ja alemmilla – mikä pienentää muistin jalanjälkeä suhteellisesti ja lisää suorituskykyä, koska generoinnin rajoittava tekijä on muistin kaistanleveys ja vähemmän tavuja per paino tarkoittaa vähemmän siirrettäviä tavuja per token.

Tarkkuuden menetys on epälineaarinen, ja sen muodon ymmärtäminen erottaa järkevän käyttöönoton hauraasta. Kahdeksan bitin kvantisointi on lähes häviötön lähes kaikissa tehtävissä. Neljän bitin kvantisointi modernilla K-kvanttijärjestelmällä (yleisesti merkitty Q4_K_M) maksaa tyypillisesti 1–3 prosenttia päättelytestien tuloksista samalla kun jalanjälki puolittuu 8-bittiseen verrattuna – tämä on oletusarvoinen makea piste reuna-käyttöönottoa varten. Alle 4 bitin heikkeneminen kiihtyy: 3-bitin ja 2-bitin rakennukset voivat romahtaa päättelytehtävissä jopa silloin, kun ne tuottavat edelleen sujuvaa tekstiä, mikä tekee niistä vaarallisia juuri siksi, että vika ei ole ilmeinen pintapuolisesta lukemisesta.

Ratkaiseva seikka on, että tämä vaihtosuhde on tehtäväkohtainen ja se on mitattava, ei oletettava. Erottavissa ja mallipohjaissa tehtävissä – poimi ruudukkosymboli tästä viestistä, luokittele tämä raportti – 4-bittinen malli suoriutuu lähellä täyden tarkkuuden lähtötasoa, koska tehtävä ei harjoita mallin hauraita osia. Monivaiheisessa päättelyssä sama 4-bittinen rakennus voi menettää riittävästi merkittävästi. Ainoa tapa tietää on ajaa pidetty arviointisarja täyden tarkkuuden lähtötason, 8-bittisen rakennuksen ja 4-bittisen rakennuksen läpi, verrata tehtäväkohtaisia mittareita ja hyväksyä pienin rakennus, jonka menetys on operatiivisen toleranssin sisällä. Oikean reuna-kiihdyttimen valinta tälle mallille on oma oppialansa – katso analyysimme reuna-tekoälylaitteiston valinnasta puolustukseen.

Kvantisointitietoinen koulutus versus koulutuksen jälkeinen kvantisointi

Useimmat reuna-käyttöönotot käyttävät koulutuksen jälkeistä kvantisointia: otetaan olemassa oleva malli ja kvantisoidaan painot suoraan, valinnaisella kalibroinnilla pienellä edustavalla tietoaineistolla. Se on nopeaa, ei vaadi koulutusinfrastruktuuria ja on riittävän hyvä 4 bitillä enemmistölle tehtävistä. Kvantisointitietoinen koulutus – mallin hienosäätö kvantisoinnin simuloinnilla eteenpäin-passissa – palauttaa enemmän tarkkuutta hyvin alhaisilla bittileveydellä, mutta vaatii koulutuspipeline ja alkuperäiset tiedot. Useimmissa kenttäjärjestelmissä koulutuksen jälkeinen 4-bittinen kvantisointi kalibroinnilla on pragmaattinen valinta; varaa kvantisointitietoinen koulutus tapauksiin, joissa alle 4 bitin toiminta on pakko laitteistorajoitusten vuoksi.

Laitteistobudjetit ja muistin kaistanleveyden seinä

Laitteella ajettavien LLM:ien laitteistokysymystä hallitsee muisti, ei laskenta. Autoregressiivinen generointi tuottaa yhden tokenin kerrallaan, ja jokaisen tokenin tuottaminen vaatii koko mallin painosarjan lukemisen muistista. Tokenia sekunnissa mitattu suorituskyky on siksi rajoitettu muistin kaistanleveydellä jaettuna mallin koolla tavuissa paljon useammin kuin raakalla aritmeettisella suorituskyvyllä. Laite, jossa on runsaasti FLOPS:ia mutta vaatimaton muistin kaistanleveys, on hidas generoinnissa riippumatta sen laskentaarvosanasta.

Käytännön alaraja responsiiviselle 7B-luokan mallille on noin 8 GB muistia päättelykiihdyttimen käytettävissä ja riittävästi kaistanleveyttä ylläpitämään 10–20 tokenia sekunnissa. Jetson Orin NX 8GB tai 16GB konfiguraatiossa istuu tähän alueeseen, samoin kuin pieni karaisttu x86-järjestelmä integroidulla tai erillisellä GPU:lla. Pelkkä CPU-päättely on täysin toimiva 1B–3B-malleille ja tuottaa muutaman tokenin sekunnissa 7B-malleilla – hyväksyttävä erä-tiivistämiseen, joka toimii ilman odottavaa operaattoria, ei hyväksyttävä interaktiiviseen käyttöön. Esitäyttö (promptin käsittely) ja dekoodaus (vastauksen generointi) ovat erilaisia pullonkauloja: esitäyttö on laskentarajoitteinen ja rinnakkainen, dekoodaus on kaistanleveysrajoitteinen ja peräkkäinen, joten ne on mitattava erikseen laitteiston mitoituksessa.

Avain-arvo-välimuisti: piilotettu muistikustannus

Painojen koko on se muistikustannus, jonka kaikki budjetoivat; avain-arvo (KV) -välimuisti on se, joka yllättää tiimit. Generoinnin aikana malli tallentaa huomioavaimet ja -arvot jokaiselle jo käsitellylle tokenille, jotta niitä ei tarvitse laskea uudelleen, ja tuo välimuisti kasvaa lineaarisesti kontekstin pituuden mukaan. 7B-mallille 16-bitin tarkkuudella KV-välimuisti maksaa noin 0,5 MB tokenia kohden, joten 8 000 tokenin konteksti lisää noin 4 GB painojen päälle – usein enemmän kuin kvantisoitujen painojen koko itsessään. Rajoitetussa laitteistossa KV-välimuisti, ei painot, on se mikä rajoittaa käytettävissä olevaa kontekstin pituutta. KV-välimuistin kvantisoiminen 8 tai 4 bittiin puolittaa tai neljännestää tämän ja on usein ero toimivan kontekstibudjetin ja muistin loppumisvirheen välillä. Johtopäätös on asettaa kontekstin pituus pienimpään tehtävän tarvitsemaan arvoon mallin tukeman suurimman sijasta.

Ajoympäristö, pakkaus ja varmennettu offline-toiminta

Laitteella ajettava ajoympäristö on kerros, joka lataa kvantisoidut painot, hallitsee KV-välimuistia ja tarjoaa generointirajapinnan sovellukselle. llama.cpp-pohjainen moottori on yleinen valinta, koska se ajaa GGUF-kvantisoitua muotoa suoraan, tukee CPU- ja kiihdytin-taustapalvelimia ja sillä on pieni riippuvuuden jalanjälki, joka sopii karaistuun imageen. Riippumatta ajoympäristöstä, malli tulisi kiinnittää muistiin ensimmäisen latauksen jälkeen, jotta sekuntien latauksen kustannus maksetaan kerran eikä jokaisella pyynnöllä, ja sovelluksen tulisi käsitellä generointilatenssia ensiluokkaisena mittarina, joka näytetään operaattorille.

Pakkaus on se, missä laitteella ajettavat väitteet voitetaan tai hävitään. Mallitiedosto, ajoympäristö, tokenisaattori ja prompttimallit on kaikki oltava laitteen imagessa – mitään ei haeta ajon aikana. Ainoa rehellinen testi offline-toiminnasta on ajaa koko työnkulku radio sammutettuna, lentotilassa tai eristyksissä olevassa verkossa ja vahvistaa, että järjestelmä käynnistyy ja vastaa ilman saavutettavaa päätepistettä. Kaikki piiloitetut kutsut – tokenisaattorin lataus, telemetriamerkki, lisenssitarkistus – on löydettävä ja poistettava, koska reunalla ne epäonnistuvat hiljaa ja vievät kyvyn mukanaan. Mallipäivitykset toimitetaan fyysisillä medioilla tai todennetulla paikallisella synkronoinnilla, ei koskaan yhteysoletusten varaan.

Laitteella ajettavat LLM:t laajentavat myös hyökkäyspintaa tavoilla, joilla pilviomalli ei, koska painot, promptit ja mahdollinen hakukorpus sijaitsevat laitteella, joka voidaan kaapata. Promptin injektio kerättyjen dokumenttien kautta, tietojen suodattaminen laadittujen tulosteiden kautta ja mallitiedoston väärentäminen ovat kaikki ulottuvuudessa ja niihin on suunniteltava vastatoimia – aihe käsitellään syvällisesti oppaassamme LLM-tietoturvasta puolustuksen tekoälyjärjestelmille.