UAV:n sisäinen tekoälyn inferenssi: reunaprosessointi ilman yhteyttä

UAV ilman datalinkkiä ei ole sokea, jos sen inferenssiputkisto toimii sisäisesti. Maa-asemapohjainen tekoälyn prosessointi on yleisin arkkitehtuuri kustannussyistä, mutta se luo kovan riippuvuuden: heti kun linkki katkeaa, havainnointi pysähtyy. Kiistanalaisissa ympäristöissä, joissa elektroniset sodankäynnin resurssit heikentävät tai katkaisevat datalinkkejä säännöllisesti, tämä riippuvuus on operatiivisesti hyväksymätön. Sisäinen tekoälyn inferenssi siirtää laskennan ilma-alukseen, käsittelee ruutuja EO- tai IR-anturista suoraan hyötykuormaan kiinnitetyllä kiihdyttimellä, tallentaa merkityt havainnot paikallisesti ja toimittaa jäsennellyn havaintolokikirjan C2-järjestelmälle heti yhteyden palautuessa. Tässä artikkelissa käsitellään laitteistoalustoja, mallipakkaustekniikoita, tunnistusputkiston suunnittelua, teho- ja lämpörajoituksia sekä C2-integraatiomalleja, jotka tekevät laitteella tapahtuvasta kohteiden tunnistuksesta ja seurannasta toteuttamiskelpoisen pienillä taktisilla UAV:illa.

Miksi inferenssin on toimittava UAV:n sisällä

Operatiivinen perustelu sisäiselle inferenssille on selkeä: mikä tahansa tehtävä, joka vaatii havaintokyvyn jatkuvuutta linkkikatkoksen aikana, ei voi nojata maa-asemapuolen prosessointiin. UAV, joka suoratoistaa raakavideon maa-asemalle, vaatii jatkuvan suuren kaistanleveyden linkin – tyypillisesti 2–10 Mbps pakatulle HD-videolle hyväksyttävällä viiveellä. Tuon kaistanleveyden saavuttaminen 10–30 km:n taktisella kantamalla aktiivisen häirinnän ympäristössä ei ole taattu. Kun videovirta katkeaa, maa-operaattori menettää paitsi tilannetietoisuuden UAV:n sijainnista myös jokaisen havainnon, jonka anturi olisi tuottanut katkoksen aikana. ISR-tehtävälle, joka kestää tunteja, 20 minuutin linkkiaukko on hyväksymätön aukko havaintotietueessa.

Sisäinen inferenssi ratkaisee tämän kääntämällä datavirran. Sen sijaan, että raakanturidataa lähetetään maa-aseman prosessointisolmuun, UAV lähettää vain inferenssitulokset: havaintotietueita, jotka ovat suuruusluokkia pienempiä kuin raakavideoruudut. Havaintotietue – luokkatunniste, luottamuspistemäärä, rajoitusruudun koordinaatit, GPS-sijainti ja aikaleima – vie muutaman sadan tavun. Täyden resoluution videoruutu 10 Mbps nopeudella vie noin 1,25 MB sekunnissa. Kun käytettävissä on pienen kaistanleveyden varayhteysradio (lyhyen purskeen dataradio, MANET-verkko alennetulla bittinopeudella), havaintotietueet siirtyvät linkin yli, jonne raakavideovirta ei pääse. Ja kun yhteyttä ei ole lainkaan, havaintotietueet kertyvät paikalliseen tallennustilaan, kunnes linkki palautuu.

On myös viiveperustelu. Verkon edestakaisin kulkuaika UAV:ltä lentokorkeudelta maa-asemalle ja takaisin voi vaihdella 50 ms:sta useisiin satoihin millisekunteihin linkin laadun ja reitityksen mukaan. Aikaherkkiä kohteita varten – ajoneuvo, joka poistuu suojasta, henkilöstöryhmä, joka hajaantuu – tuo viive voi ylittää hyödyllisen vihjeen ikkunan. Sisäinen inferenssi tuottaa tunnistustuloksen paikallisen kiihdyttimen kehyksen käsittelyajan sisällä, tyypillisesti 30–100 ms kuvakaappauksesta merkittyyn tulokseen ilman verkkosiirtymää kriittisellä polulla.

Laitteistoalustat: NVIDIA Jetson Orin vs Hailo-8 vs Intel Movidius UAV-hyötykuormille

Kolme piiriperhettä hallitsevat tuotanto-UAV-hyötykuormien käyttöönottoja. Jokainen edustaa eri pistettä TOPS-per-watti-käyrällä, ja oikea valinta määräytyy ensisijaisesti alustan tehoresurssin ja inferenssitehtävän monimutkaisuuden perusteella. Näiden vaihtoehtojen yksityiskohtainen vertailu on myös käsitelty artikkelissamme reunatekoälyn laitteisto puolustuksessa.

NVIDIA Jetson Orin Nano tuottaa 40 TOPS 7–15 W:lla riippuen NV:n tehonhallintakehyksessä konfiguroidusta virtakoodista. Se käyttää täyttä Linux-pinoa, tukee CUDA:a ja TensorRT:tä natiivisti ja hyväksyy minkä tahansa ONNX-vaihtoehdolla viedyn mallin – mikä tekee siitä pienimmän kitkavaihtoehdon tiimeille, joiden koulutusputkisto jo kohdistuu TensorRT:hen. Orin Nanon muotokerroin (69,6 mm x 45 mm) sopii 5–15 kg luokan UAV:ien hyötykuormalokeriin, mutta sen huipputehon lämmönhajotus vaatii joko aktiivijäähdytyksen tai huolellisen lämpölevyjen integroinnin rungon pintaa vasten. Jetson Orin NX, seuraava taso jopa 100 TOPS ja 15–25 W, sopii tilanteisiin, joissa tehtävä edellyttää useiden samanaikaisten mallien ajamista (tunnistus plus luokittelu plus uudelleentunnistus) samalla inferenssisolmulla.

Hailo-8 M.2-moduuli saavuttaa 26 TOPS alle 5 W:lla erittäin tehokkaalla dataflow-arkkitehtuurilla, joka jakaa verkkokaavion prosessoriryhmien taulukon yli sen sijaan, että se suorittaisi sen peräkkäin GPU-ytimessä. Kompromissi on työkaluketjun erityisyys: mallit on käännettävä Hailo Dataflow Compilerin kautta, joka tuottaa Hailo Execution Format (HEF) -binäärin. Kääntäjä käsittelee INT4- ja INT8-kvantistuksen sisäisesti ja tuottaa erittäin optimoituja binäärejä, mutta se vaatii, että mallitopologia on edustettavissa kääntäjän tuketussa operaattorijoukossa. Vakio YOLOv5-, YOLOv8- ja RT-DETR-arkkitehtuurit ovat Hailo Model Zoo -mallistossa ja kääntyvät ilman muutoksia. Hailo-8:n tehoprofiili – 5 W huippu M.2-paikasta – tekee siitä luontevan valinnan alle 5 kg:n monipotkurialustoille tiukoilla hyötykuorman tehoresursseilla.

Intel Movidius Myriad X (OpenVINO-kohde) tuottaa 4 TOPS noin 1–2 W:lla. Tuo luku on vaatimaton verrattuna Hailoon ja Jetsoniin, mutta Myriad X:n integraatiotiheys – se on saatavana USB-tikku- ja M.2-muotokerroksissa, jotka liitetään mihin tahansa Linux-isäntään standardiliitännöillä – tekee siitä yksinkertaisimman vaihtoehdon erittäin pienille kiinteäsiipisille tai putkesta laukaistuille UAV:ille, joihin ei mahdu erillinen kantakortti. OpenVINO:n mallioptimointiohjelma käsittelee INT8-kvantistuksen ja graafioptimoinnin, ja työkaluketju on hyvin dokumentoitu. Käyttöönotoille, joissa YOLOv8n 5–10 fps nopeudella riittää – esimerkiksi hitaaseen ISR-valvontaan kiinteän infrastruktuurin yllä – Myriad X on toteuttamiskelpoinen vaihtoehto huomattavasti alhaisemmalla SWaP-C-kustannuksella kuin Hailo tai Jetson.

Mallipakkaus: kvantistus, karsinta ja tiedon tislaus sulautettuun käyttöönottoon

Täystarkkuuksinen YOLOv8m-malli sisältää noin 25 miljoonaa parametria ja vie 50 MB FP32-tallennuksessa. Hailo-8:lla, jossa on 8 MB sirulla olevaa SRAM-muistia, tuo malli ei voi toimia suoraan – se on pakattava kokoon, jonka kiihdyttimen muistihierarkia voi käsitellä ilman liiallista DRAM-kaistanleveyspainetta. Kolmea pakkaustekniikkaa käytetään yhdistelmänä tuotanto-UAV-käyttöönotoissa, ja niiden vuorovaikutus on käsitelty perusteellisesti artikkelissamme ONNX:sta ja TensorRT:stä tekoälymallien optimointiin taktiseen reunakäyttöönottoon.

Jälkeiskoulutuskvantistus (PTQ) muuntaa FP32-painot ja aktivoinnit INT8:ksi kalibroimalla skaalakertoimet edustavalla tietojoukolla. Laitteistoilla, joissa on INT8-tensorisuoritusyksiköt – Jetson Orin, Hailo-8, Myriad X – INT8-inferenssi tuottaa 2–4-kertaisen suorituskyvyn parannuksen FP32:een verrattuna vastaavalla mallikapasiteetilla. Tarkkuushäviö on tyypillisesti 0,5–2 mAP ilmasta tapahtuvan kohteiden tunnistuksen vertailuarvoissa, kun kalibrointitietojoukko vastaa käyttöalueen tietoja. Kalibrointitietojoukon tulee sisältää näytteitä todellisesta anturista ja lentokorkeudesta, jolla mallia käytetään; kalibrointi julkisesti saatavilla olevilla ilmakuvatietojoukoilla ja käyttöönotto eri anturilla luo alueen epäsopivuuden, joka voi heikentää kvantistoitua tarkkuutta enemmän kuin raakanuumerot viittaavat.

Rakenteellinen karsinta poistaa kokonaiset konvoluutiosuodattimet (lähtökanavat), joiden L1-normi alittaa kynnysarvon, tuottaen topologisesti pienemmän mallin, joka hyötyy sekä vähentyneestä parametrimäärästä että vähentyneestä muistikaistalevelydestä. YOLOv8s:n 30% rakenteellinen karsinta poistaa noin 30% suodattimista rungon läpi, vähentäen inferenssiviivettä noin 25% Jetson-laitteistolla ja parantaen INT8-tarkkuuspohjaa uudelleenkvantistuksen jälkeen (koska jäljellä olevat suodattimet ovat eniten aktivoituja). Karsintakynnystä viritetään iteratiivisesti: karsitaan, hienosäädetään 10–20 epochia koulutusjoukolla, mitataan tarkkuus validointijoukolla ja toistetaan, kunnes tavoiteviive tai muistinkäyttö saavutetaan ylittämättä hyväksyttävää mAP-budjettia.

Tiedon tislaus käsittelee tapauksen, jossa täyden mallin karsiminen ei saavuta tavoiteparametrimäärää ilman hyväksymätöntä tarkkuustappiota. Kompaktia opiskelijanmallia – esimerkiksi YOLOv8n:ää – koulutetaan toistamaan suuremman opettajan (YOLOv8m tai YOLOv8l) logiittilähdöt koulutustiedoista. Opiskelija oppii jäljittelemään opettajan luottamusjakaumaa luokkien yli, ei vain sen kovia nimiöintejä, mikä välittää tietoa luokkaepäselvyydestä ja ominaisuussamankaltaisuudesta, jota kovanimiöinen koulutus ei tee. Tislauksen kautta koulutetut opiskelijanmallit suoriutuvat johdonmukaisesti paremmin kuin identtisen kokoiset mallit, jotka on koulutettu alusta alkaen, tyypillisesti 1–3 mAP paremmin ilmasta tapahtuvan tunnistuksen vertailuarvoissa. Tekniikka on erityisen tehokas, kun koulutustietojoukko on pieni – yleinen tilanne puolustuskäyttöönotoissa, joissa merkityt ilmakuvat tietyistä kohdeluokista ovat harvinaisia.

Kohteiden tunnistusputkistot reunassa: YOLO-variantit ja kehysnopeuden vs. tarkkuuden kompromissit

YOLO-perhe hallitsee tuotannon reunatunnistuksen käyttöönottoja UAV-hyötykuormilla kahdesta syystä: arkkitehtuuri on yksivaiheinen (ei alueproposaaliverkkoa), mikä pitää inferenssiviiveen ennustettavana ja rajattuna, ja mallimallistot ovat laajoja – esikoulutetut painot useilla skaaloilla (n, s, m, l, x) antavat tiimeille mahdollisuuden valita kapasiteettitason, joka sopii laitteistobudjettiin. YOLOv8 on nykyinen tuotannon peruslinja useimmille puolustusintegraattoreille, vaikka RT-DETR (transformatoripohjainen yksivaiheinen ilmaisin) on kasvattamassa suosiotaan käyttötapauksissa, joissa pienten kohteiden havaitseminen – henkilöstö 500 m:n lentokorkeudella esimerkiksi – on kriittistä ja inferenssilaitteisto pystyy käsittelemään korkeamman laskentakustannuksen.

Kehysnopeus ja tarkkuus ovat kompromississa kolmen muuttujan kautta, joita putkiston insinööri kontrolloi: mallin mittakaava, syöttöresoluutio ja luottamuskynnys. Syöttöresoluution vähentäminen 640x640:sta 320x320:een leikkaa inferenssilaskennan noin 4-kertaisesti ja kaksinkertaistaa saavutettavan kehysnopeuden kiinteällä laitteistolla, mutta se vähentää pienten kohteiden tehollista tunnistusetäisyyttä suhteessa. Ajoneuvon tunnistukseen 100–200 m:n lentokorkeudella 320x320 on yleensä riittävä. Henkilöstön tunnistukseen samalla korkeudella 640x640 on käytännön minimi. Luottamuskynnyksen laskeminen 0,5:stä 0,35:een palauttaa osittain peitettyjen tai kaukaisten kohteiden havainnot, mutta lisää väärien positiivisten määrää, mikä kasvattaa merkintätaakkaa alavirtaan kulkevalle fuusiojärjestelmälle. Oikea kynnys on tehtäväkohtainen ja se tulee virittää todellisiin tietoihin käyttöönottoanturista ja -lentokorkeudesta.

Monivaiheisissa putkilinjoissa – kevyt ilmaisin tunnistamaan kiinnostuksen alueita, jota seuraa korkeampikapasiteettinen luokitin merkinnän tarkentamiseen – voidaan parantaa tarkkuutta annetussa lasketabudjetissa keskittämällä resurssit ehdokasalueille. YOLOv8n 30 fps nopeudella tunnistaa rajoitusruudut ajoneuvokokoisten kohteiden ympärillä; MobileNetV3-luokitin 10 fps nopeudella käsittelee vain rajattuja alueita erottaakseen pyörälliset telaketjuisista ja kevyet raskaista. Tämä kaskaadiarkkitehtuuri sopii hyvin Hailo-8:n dataflow-malliin, jossa kaksi verkkoa voidaan kääntää yhdeksi HEF:ksi ja suorittaa pipelinena graafina sen sijaan, että ne suoritettaisiin peräkkäin, piilottaen toisen vaiheen viiveen ensimmäisen vaiheen ruutuväliin.

Tehoresurssin rajoitukset ja lämmönhallinta pienillä UAV:illa

UAV-hyötykuorman tehoresurssi ei ole kiinteä ilma-aluksen kokonaisenergiakapasiteetin mukaan, vaan hyötykuormalokeron tehon jaon mukaan tehonjakoyksiköltä (PDU) ja lennon hallintajärjestelmän lämpömallista hyötykuormakotelossa. 5 kg:n monipotkuri, jossa on 100 Wh:n akku ja 30 minuutin lentoaika, kuluttaa kaikkien järjestelmien yhteensä noin 200 W:n tehon. Propulsiojärjestelmä kuluttaa 80–90% tästä budjetista tyypillisissä hoverolosuhteissa, jättäen 20–40 W avionikalle, hyötykuormalle ja antureille. Hyötykuorma, joka kuluttaa 15 W, jättää vain 5–25 W muulle. Käytännössä alle 5 kg:n alustojen hyötykuorman tehonkäyttöosuudet asetetaan usein 5–8 W:iin ilma-aluksen valmistajan toimesta, ja niiden ylittäminen heikentää kestoa mitattavasti.

Lämmönhallinta pienillä UAV:illa on vaikeampaa kuin maavoimien ajoneuvoissa tai kiinteässä infrastruktuurissa, koska hyötykuormalokero on suljettu, pieni ja saattaa olla rakennettu lämpöä eristävistä komposiittimateriaaleista. UAV:n runko tarjoaa jonkin verran jäähdytystä ihon johtumisen ja ulkopinnalla virtaavan ilman kautta, mutta tämä hyöty vaihtelee lentonopeuden ja hyötykuormalokeron geometrian mukaan. Vakiomenetelmä on kiinnittää inferenssitietokonepiirikortil lämpöliitosalustalle hyötykuorman rungon paksuimman alumiinirakenneprofiilin vasten, joka toimii lämpölevynä runkoon. Jetson Orin Nanolle 10 W:n vakiotilassa 2 mm:n alumiinilaatta, joka on kiinnitetty termisellä tahnalla rungon alaosaan, voi pitää liitoslämpötilan alle 75 °C:ssa 40 °C:n ympäristössä tason lennon aikana. Hailo-8:lle 5 W:lla moduulin M.2-liittimeen kiinnitetty yksinkertainen jäähdytyssiipi on tyypillisesti riittävä.

Tehonkulutus reagoi myös ohjelmistokonfiguraatioon. Jetson-alustan nvpmodel-apuohjelma tarjoaa tehokoodien esiasetuksia, jotka rajoittavat CPU-kelloa, GPU-kelloa ja muistikaistalevelyttä. Orin Nanon asettaminen 7 W:n tehokoodiin vähentää inferenssin suorituskykyä noin 35% verrattuna 15 W:n maksimitilaan, mutta leikkaa lämmönhajotuksen lähes puoleen, mikä saattaa olla oikea kompromissi, kun hyötykuorman lämpöprofiili on sitova rajoitus eikä inferenssiviive. Konfiguraatio, joka ajaa ilma-aluksen koko tehtäväprofiilin ilman lämpöisannointia, on luotettavampi kuin se, joka saavuttaa huippu-inferenssin suorituskyvyn 15 minuutin ajan ennen kuin sirun automaattinen lämpösuojaus laukeaa ja kehysnopeus laskee arvaamattomasti.

C2-integraatio MANET:n kautta yhteyden palautuessa

Linkkikatkoksen aikana kertynyt havaintoloki on rajoitetusti arvokas, ellei sitä voida toimittaa komento- ja valvontajärjestelmälle nopeasti ja täydellisesti yhteyden palautuessa. MANET (Mobile Ad-hoc Network) -radiolaitteet – joita käytetään taktisissa UAV-operaatioissa verkkoyhteystä varten ilma-alusten, maakalustovalun ja jalkamiesten välillä – ovat ensisijainen siirto sekä reaaliaikaiselle havaintovirtaukselle että katkoksen jälkeiselle synkronoinnille. Kun UAV palaa verkon peittoalueelle, MANET-solmu aluksella muodostaa reitityksen uudelleen sekunneissa ja synkronointiagentit alkaa lähettää puskuroituja havaintotietueita.

Synkroniagentin arkkitehtuuri tulee suunnitella kahden toimintatilan ympärille. Yhteydessä-tilassa havaintotietueet lähetetään lähes reaaliaikaisesti inferenssiputkiston tuottaessa ne, serialisoituna CoT-tapahtumina ja julkaistuna TAK Server -palvelimelle MANET-verkon kautta. Irrotettu-tilassa tietueet kertyvät paikalliseen SQLite-tietokantaan "synkronoitu"-lipulla. Yhteyden palautuessa agentti hakee synkronoimattomat tietueet aikajärjestyksessä ja lähettää ne kronologisessa järjestyksessä, nopeusrajoitettuna välttääkseen MANET-radion kaistanleveyden kyllästämistä purskeen liikenteellä muiden verkon osallistujien kustannuksella. Kunkin tietueen palvelimen kuittauksen jälkeen se merkitään synkronoiduksi. Tietokanta tarjoaa kaatumispalautuksen: jos UAV laskeutuu tai inferenssipalvelu käynnistyy uudelleen kesken synkronoinnin, seuraava synkronointikierros jatkuu viimeisestä synkronoimattomasta tietueesta eikä lähetä koko lokia uudelleen.

CoT-tapahtuman rakentaminen UAV:n tekoälyhavainnoille noudattaa vakio-CoT-skeemaa, mutta kantaa hyötykuormakohtaisia laajennuksia yksityiskohtablokkiin. Havaintoluokka ja luottamuspistemäärä täyttävät mukautetut CoT-yksityiskohtien alielementit. UAV:n GPS-sijainti ruudun kaappaushetkellä käytetään CoT-pisteenä, ja jos inferenssiputkisto voi laskea maahan projisoitun havaintosijainnin anturin näkökentästä, maanpinnan yläkorkeudesta ja kamera-asennon kulmasta, käytetään tuota projisoitua koordinaattia sen sijaan – sijoittaen havaintomarkeri kartalle kohteen todelliseen maaposition sijaan ilma-aluksen sijaintikohtaan. TAK Server toimittaa nämä CoT-tapahtumat kaikille yhdistetyille ATAK-asiakkaille, joissa ne näkyvät luokiteltuina markereina havaintoprovenanssi- ja luottamusmetatietoineen tapahtuman yksityiskohtanäkymässä.

Hankinta: SWaP-C ja MIL-STD-ympäristöluokitukset

Sisäisen tekoälyn inferenssihyötykuorman hankkiminen taktiseen UAV-ohjelmaan edellyttää laitteiston arviointia kolmen ehdottoman akselin mukaan: SWaP-C (koko, paino, teho ja kustannus), ympäristöluokitukset ja toimitusketjun kypsyys. SWaP-C ohjaa yllä kuvattua alustakompromissia – TOPS-per-watti, fyysiset mitat ja yksikköhinta rajoittavat kaikki sen, mikä piiritoteutus on toteuttamiskelpoinen. Ympäristöluokitukset määräävät, selviääkö laitteisto käyttöönottoolosuhteista, joita se kohtaa. Kustannus ohjaa alustan kulutettavuusdoktriinia: hyötykuorma, joka on tarkoitettu palautettavaan ISR UAV:hen, on eri kustannustoleranssissa kuin yksisuuntaisessa seilaavassa järjestelmässä.

MIL-STD-810 määrittää UAV-hyötykuormille relevantit ympäristörasitustestit: lämpösyklitys (menetelmä 501/502), tärinä (menetelmä 514), kosteus (menetelmä 507), korkeus (menetelmä 500) ja isku (menetelmä 516). Kaupalliset valmisosat (COTS) -inferenssimoduulit kuten Jetson Orin Nano on luokiteltu 0–80 °C käyttölämpötilaan kaupallisessa variantissa ja -25–80 °C teollisuusvariantissa. UAV-hyötykuormalokerot kylmässä ilmastossa tai korkeuden operaatioissa voivat altistaa tietokonepiirikortit alle -25 °C:n lämpötiloille käynnistyksessä. Tämän ollessa huolenaihe, lämpöesikäsittelypiiri – resistiivinen lämmitin, jota termostaatti ohjaa ja joka lämmittää lokeron ennen pääkuorman virransyöttöä – on yksinkertaisempi ja luotettavampi ratkaisu kuin valita laajemman lämpötila-alueen prosessori, jota ei välttämättä ole saatavana tarvitussa kapasiteettitasolla.

Toimitusketjun kypsyys on suhteettoman tärkeä puolustusprojekteissa, koska pitkät tuotantojaksot vaativat tasaista komponenttien saatavuutta useamman vuoden ajan. Jetson Orin -moduulin elinkaari on NVIDIA:n julkaisema 10 vuoden tuotantositoumuksella teollisuuslaaduille, mikä täyttää useimpien puolustusprojektien elinkarivaatimukset. Hailo-8 on uudempi tulokas lyhyemmällä tuotantohistorialla, ja hankintavirastot, jotka arvioivat sitä suurivolyymisissä projekteissa, tulisi vaatia sopimusperusteisia toimituksen jatkuvuussitoumuksia. Alustoille, joissa inferenssipiirikortit upotetaan mukautettuun kantakorttiin, joka on suunniteltu ohjelmamääräyksiin, kantakortin suunnittelu tulisi sisältää jalanjälkijärjestelyt ainakin yhdelle vaihtoehtoiselle kiihdytinmoduulille, jotta ohjelman keskeinen siirinjärjestyksen muutos ei vaadi kantakortin uudelleensuunnittelua.