Tekoälyavusteinen ISR: tiedusteludatan triagen automatisointi reunalaitteilla

Nykyaikaiset ISR-järjestelmät (Intelligence, Surveillance, Reconnaissance) tuottavat datamääriä, jotka ylittävät perustavanlaatuisesti ihmisen käsittelykyvyn. Yksittäinen keskikorkeudella lentävä UAV, jossa on jatkuvatoiminen videohyötykuorma, tuottaa noin 2–4 TB raakavideota päivässä vakioresoluutiolla, minkä lisäksi tulevat siihen liittyvät sensorilokit ja metatiedot. Käytössä oleva SIGINT-keräysjärjestelmä saattaa tuottaa teratavuja IQ-dataa päivässä valvomaltaan spektrialueelta. Nykyaikaisen ISR:n pullonkaula ei ole keräys — vaan käsittely ja analyysi.

Perinteinen vastaus tähän pullonkaulaan on kaistanleveys: siirretään raakadata maa-asemalle ja käytetään siellä analyytikkojen työpanosta. Tämä lähestymistapa kohtaa kolme rakenteellista rajoitetta nykyaikaisissa operaatioympäristöissä. Ensinnäkin linkkibudjetti — satelliitti- ja taktiset radiolinkit eivät yksinkertaisesti pysty siirtämään täysiresoluutioista jatkuvatoimista videota suuresta UAV-laivastosta jatkuvasti. Toiseksi analyytikkopula — päteviä kuva-analyytikkoja ei ole tarpeeksi tarkastamaan kaikkea kerättyä materiaalia ruutu ruudulta. Kolmanneksi tiedustelutiedon ajallinen arvo — siihen mennessä, kun raakavideo saavuttaa maa-aseman, joutuu jonoon ja saa analyytikon huomion, aikakriittisten kohteiden toiminta-aikaikkuna on saattanut jo sulkeutua.

Tekoälyavusteinen triage reunalaitteilla ratkaisee kaikki kolme rajoitetta samanaikaisesti. Tekoälyputki ajetaan keräysalustalla — itse UAV:lla tai sensorisolmulla — ja se suodattaa datavirran automaattisesti säilyttäen ja lähettäen vain ne osat, jotka sisältävät kiinnostavia kohteita, ja samalla hylkää tai voimakkaasti pakkaa tyhjän maaston, taivaan ja veden taustan, joka muodostaa suurimman osan raa'asta ISR-keräyksestä.

ISR-datan ylikuormitusongelma

Datan ylikuormitusongelman mittakaava vaatii täsmällistä hahmottamista. Otetaan käytössä oleva tiedustelu-UAV, jossa on EO/IR-kaksoissensorihyötykuorma 1080p-resoluutiolla, 30 fps, 16 tuntia päivässä. Vakiomuotoisella H.264-pakkauksella tämä tuottaa noin 50 GB videota lentoa kohden. Jos vain 3 % kerätystä materiaalista sisältää kiinnostavia kohteita (mikä on antelias arvio laaja-alaisille kattamismissioille), niin 97 % kaistanleveys- ja tallennusbudjetista kuluu dataan, josta ei koskaan tule toiminnan kannalta hyödyllistä. Reunatekoälyn triage muuttaa suhdetta perustavanlaatuisesti: havaitsemalla ja merkitsemällä vain ne ruudut, joissa on havaintoja, lähetyskaistanleveyden tarve laskee 50 GB:stä noin 1,5 GB:hen lentopäivää kohden — sen alueen sisälle, jonka maltillisella tiedonsiirtonopeudella toimiva satelliitin nousulinkki kykenee välittämään.

SIGINT-keräys kohtaa vastaavan ongelman. Laajakaistainen SDR-keräysjärjestelmä, joka valvoo 200 MHz:n spektrilohkoa, tuottaa useita satoja gigatavuja IQ-dataa tunnissa. Vain pieni osa valvotusta spektristä on aktiivinen kullakin hetkellä, ja vain osa aktiivisista signaaleista on analyyttisesti kiinnostavia. Automaattinen spektrin skannaus ja signaalien luokittelu reunalaitteilla vähentää jatkokäsittelyn kuormaa koko kerätystä kaistanleveydestä pelkkiin luokiteltuihin, kiinnostaviin signaaleihin — vähennys on kaksi tai kolme suuruusluokkaa.

Reunatriagen putki: raakasensoridatasta prioriteettipisteytykseen

UAV-videon käsittelyn reunatriageputki etenee neljän vaiheen kautta:

1. Raakasensoridata. EO- ja/tai IR-sensorin videoruudut vastaanotetaan reunalaskentalaitteistossa. Reaaliaikaisessa käsittelyssä 30 fps:n nopeudella laskentaputken on suoritettava yksi täysi inferenssisykli — esikäsittely, havaintomallin inferenssi, jälkikäsittely ja metatiedon tuottaminen — 33 ms:n sisällä.

2. Kohteiden havaitseminen. Jokainen ruutu käsitellään kevyellä kohteiden havaitsemismallilla (YOLOv8-nano tai YOLOv8-small, kvantisoitu INT8-muotoon), joka tunnistaa kiinnostavien kohteiden — ajoneuvojen, henkilöiden, rakenteiden tai sensorikohtaisten kohteiden — olemassaolon ja sijainnin. Havaitsemisen tulos on joukko rajauslaatikoita, joissa on luokkatunnisteet ja luottamuspisteet.

3. Luokittelu ja kontekstin rikastaminen. Ruudut, joissa on luottamuskynnyksen ylittäviä havaintoja, siirretään toissijaiseen luokitteluvaiheeseen. Tässä vaiheessa havaittuihin kohteisiin sovelletaan laskennallisesti raskaampaa analyysiä: ajoneuvotyypin luokittelu (pyöräinen vs. telaketjuinen, siviili- vs. sotilasprofiili), toiminnan luokittelu (paikallaan, liikkeessä, ryhmittynyt) ja geospatiaalinen merkintä (havaittujen kohteiden GPS-koordinaatit kardaanin ja sensorin geometriaa hyödyntäen). Usean kohteen havainnoissa klusterointivaihe tunnistaa, muodostavatko havaitut kohteet ryhmiä, jotka vastaavat saattuekokoonpanoja tai hajautettuja partiokuvioita.

4. Prioriteettipisteytys. Jokainen merkitty havaintotapahtuma pisteytetään operatiivisen prioriteetin mukaan. Pisteytystekijöitä ovat muun muassa: kohteen luokka ja tyyppi (sotilasajoneuvo saa korkeammat pisteet kuin siviiliajoneuvo); luottamuspiste; läheisyys aiemmin tunnistettuihin kiinnostaviin sijainteihin (aiemmin merkityn tukikohdan lähellä oleva havainto saa korkeammat pisteet kuin ensimmäinen havainto); toiminnan indikaattorit (liikkuvat kohteet saavat tyypillisesti korkeammat pisteet kuin paikallaan olevat); ja ajallinen tiheys (useat saman kohdetyypin havainnot 10 minuutin aikaikkunassa nostavat prioriteettia). Prioriteettipiste määrää, lähetetäänkö tapahtuma välittömästi, asetetaanko se jonoon erälähetystä varten vai arkistoidaanko se lähettämättä.

UAV-videon käsittely: reaaliaikainen kohteiden havaitseminen 30 fps:n nopeudella

Kestävän 30 fps:n kohteiden havaitsemisen saavuttaminen sulautetulla GPU:lla vaatii huolellista putken suunnittelua, ei vain nopean mallin käyttöönottoa. Videosyöte on dekoodattava tehokkaasti ja siirrettävä GPU-muistiin; kardaanikameroiden H.264/H.265-koodatuissa videovirroissa laitteistokiihdytetty dekoodaus (käyttäen Jetsonin NVDEC-laitteistovideodekooderia ohjelmistopohjaisen CPU-dekoodauksen sijaan) on välttämätöntä, jotta ei kuluteta ohjaukseen ja viestintään tarvittavaa CPU-budjettia.

NVIDIA:n DeepStream SDK tarjoaa GStreamer-pohjaisen putkikehyksen, joka on optimoitu Jetsonille ja käsittelee laitteistokiihdytetyn videon dekoodauksen, monivirtatuen ja tehokkaan GPU-muistinhallinnan havaintomallin inferenssiä varten. DeepStream-putki, joka ajaa YOLOv8-small INT8 -mallia Jetson Orin NX:llä, pystyy käsittelemään neljä samanaikaista 1080p-videovirtaa 30 fps:n nopeudella 15 W:n tehobudjetin sisällä — mahdollistaen nelisensorisen hyötykuormakokoonpanon keskiluokan UAV:issa.

Ajallinen tasoitus on kriittinen luotettavuuskomponentti. Yhden ruudun kohteenhavaitsemismalli tuottaa havaintoja, jotka voivat välkkyä — kohde havaitaan ruuduissa 1 ja 3 mutta ei ruudussa 2 luottamuskynnyksen vaihtelun vuoksi. Seurantapohjainen koostekerros (käyttäen ByteTrackia tai vastaavaa) antaa pysyvät seurantatunnisteet ruutujen yli ja soveltaa ajallista suodatusta: vain seurannat, jotka säilyvät vähintään tietyn ruutumäärän ajan (tyypillisesti 3–5) ja pitävät yllä vähimmäiskeskiarvon luottamuspisteistä, nostetaan triagetapahtumiksi. Tämä poistaa yhden ruudun virhepositiiviset triagen tuloksista ilman merkittävää viivettä.

Ihminen mukana päätöksenteossa: tekoälyn eskalointikynnykset

Tekoälytriageputkea ei ole suunniteltu korvaamaan analyytikon harkintaa — se on suunniteltu kohdistamaan analyytikon huomio. Eskalointiarkkitehtuurissa on kolme tasoa:

Automaattinen lähetys. Tapahtumat, jotka saavat korkean prioriteetin kynnyksen ylittävät pisteet (tyypillisesti luottamuskorjattu yhdistelmä kohdetyyppiä, toimintaa ja ajallista tiheyttä), lähetetään välittömästi käytettävissä olevan paluulinkin kautta. Metatietopaketti — GPS-koordinaatit, kohdeluokka, luottamuspiste, aikaleima ja edustava pienoiskuva — on noin 50 KB tapahtumaa kohden. Järjestelmä, joka tuottaa 200 korkean prioriteetin tapahtumaa lentopäivää kohden, tarvitsee noin 10 MB lähetyskaistanleveyttä pelkkiin metatietoihin — hyvin tyypillisen satelliittilinkin kapasiteetin sisällä.

Analyytikon tarkistusjono. Keskitason prioriteetin tapahtumat puskuroidaan laitteella ja lähetetään seuraavassa käytettävissä olevassa suuren kaistanleveyden lähetysikkunassa (satelliittiyhteys, tukikohtaan paluu). Analyytikon tarkistusjono sisältää sekä metatiedot että videoleikkeen (tyypillisesti 10–30 sekuntia havaintotapahtuman ympäriltä alennetulla resoluutiolla) kontekstuaalista tarkastelua varten.

Vain arkistointi. Matalan luottamuksen ja matalan prioriteetin tapahtumat arkistoidaan UAV:n paikalliseen tallennustilaan. Jos myöhempi korkean prioriteetin tapahtuma samalla alueella käynnistää takautuvan analyysin, korkean prioriteetin tapahtumaa edeltävältä ajalta arkistoitua materiaalia voidaan tarkastella edeltävien toimintakuvioiden selvittämiseksi.

Kaistanleveyssäästöt: leikkeiden lähettäminen vs. täydet videovirrat

Reunatriagen tuoma määrällinen kaistanleveyden vähennys riippuu kohteiden tiheydestä operaatioalueella ja havaintomallin herkkyysasetuksista. Vähäisen toiminnan maastossa (avoin aavikko, metsä, valtameri), jossa kiinnostavat kohteet esiintyvät alle 1 %:ssa ruuduista, reunatriage voi saavuttaa 100:1-vähennyksen lähetetyssä datassa. Vilkkaan toiminnan kaupunki- tai kiistanalaisilla alueilla, joissa ajoneuvojen liike on jatkuvaa, vähennys on pienempi — ehkä 10:1 — mutta silti merkittävä linkkibudjetin hallinnan kannalta.

Havaitun tapahtuman pienoiskuva-ja-metatieto-lähetys on keskimäärin noin 50–100 KB. 30 sekunnin videoleike alennetulla resoluutiolla (480p, H.265) on keskimäärin noin 5–10 MB. Verrattuna täysiresoluutioisen jatkuvatoimisen videon lähettämiseen noin 2 Mbps:n nopeudella (noin 900 MB tunnissa), kaistanleveyssäästöt lentopäivälle, jolla on 200 triagetapahtumaa, ovat: 200 metatietopakettia (20 MB) plus 50 keskitason prioriteetin leikettä (500 MB) verrattuna 14,4 GB:n täyteen videoon — 20:1-vähennys tässä skenaariossa, mikä pienentää tarvittavan satelliittilinkin kaistanleveyden noin 2 Mbps:n jatkuvasta noin 200 kbps:n keskiarvoon.