UAV-tiedusteluohjelmisto: sensorista operaattorin päätökseen

UAV kantaa sensoreita. Sensori tuottaa dataa. Datasta tulee informaatiota, kun se yhdistetään kontekstiin ja asetetaan operaattorin eteen, joka voi toimia sen perusteella. Etäisyys näiden kahden päätepisteen — sensorin kaappauksen ja operaattorin päätöksen — välillä on sensori–päätös-silmukka, ja UAV-tiedusteluohjelmisto on se, joka hallitsee sen latenssia, tarkkuutta ja luotettavuutta. Tässä artikkelissa tarkastellaan koko dataputkea: sisäisestä sensoriasetusten konfiguroinnista alaslinkin kautta maa-asemaan, videoanalytiikkaputken läpi ja kentällä toimivien S2- ja S6-upseerien näyttämään yhteiseen tilannetietokuvaan.

Sensori–päätös-silmukka: arkkitehtuurin yleiskatsaus

Silmukka koostuu viidestä erillisestä vaiheesta, joista jokainen lisää latenssia ja edustaa mahdollista vikaantumiskohtaa:

1. Sisäinen sensori ja koodaus. Elektro-optiset (EO), infrapuna- (IR), synteettinen apertuuritutkain (SAR) ja SIGINT-hyötykuormat tuottavat raakadataa, joka on pakattava ja multipleksoitava siirtoa varten. Videohyötykuormille H.264- tai H.265-koodaus tapahtuu UAV:n videokooderilevyllä. MISB (Motion Imagery Standards Board) KLV -metatieto — alustan sijainti, asento, sensorin näkökenttä — upotetaan kuljetusvirran tässä vaiheessa. Koodauslatenssi kyvykkäällä laitteistolla on tyypillisesti 30–80 ms.

2. Datalinkki. Koodattu kuljetusvirta lähetetään ilmateitse C2-linkin (komento- ja ohjauslinkin) sekä erillisen, kaistanleveydeltään suuremman tiedustelualalinkin kautta. Yleisiä alalinkkityyppejä ovat taktinen yhteinen datalinkki (TCDL) C-kaistalla tai Ku-kaistalla MALE- ja HALE-alustoille sekä pisteestä pisteeseen kulkevat 2,4 GHz:n tai 5,8 GHz:n linkit taktisille UAS-järjestelmille. Linkkiviive hyvin suunnitellussa näköyhteydessä on 10–50 ms; satelliittivälitys lisää 500–600 ms yksisuuntaisesti (geostationaari) tai 20–80 ms (matala kiertorata), mikä muuttaa merkittävästi aikakriittisen maalikäsittelyn latenssibudjettia.

3. Maa-aseman vastaanotto ja purku. Maadataterminaali (GDT) vastaanottaa RF-signaalin ja tulostaa STANAG 4609 MPEG-2 -kuljetusvirran Ethernetin tai sarjaliitännän kautta. Maa-asemaohjelmisto purkaa virran, demultipleksoi KLV-metatiedon videoelementtivirrasta ja välittää molemmat jatkokäsittelijöille. Hyvin toteutettu vastaanottopino lisää alle 100 ms käsittelylatenssia tässä vaiheessa.

4. Analytiikka ja geolokointia. Puretut kehykset siirretään videoanalytiikkaputkelle — havaitsemiseen, luokitteluun ja seurantaan — samalla kun samanaikaisesti poimittu KLV-metatieto syöttää geolokointimoottorin. Tämän vaiheen tuloste on joukko geolokointeja, luokiteltuja havaintoja, jotka julkaistaan tapahtumina taktiseen verkkoon. Analytiikkalatenssi riippuu mallin monimutkaisuudesta ja laitteistosta; YOLOv8-kokoinen malli GPU-varusteisella työasemalla käsittelee 1080p-kehyksiä nopeammin kuin reaaliajassa, alle 20 ms kehystä kohti. CPU-only-reunalaitteistolla sama malli voi vaatia 80–150 ms kehystä kohti.

5. Operaattorin näyttö ja päätös. Operaattori katsoo videosyötettä, sensorin jalanjälkipäällekkäisyyttä kartalla ja analytiikan havaintotunnuksia yhteisessä tilannetietokuvassa. Päätöslatenssi — aika näytöltä komentoon tai raporttiin — on inhimillinen tekijä, jota ohjelmisto ei voi täysin hallita, mutta näyttölatenssin vähentäminen ja informaatiotiheyden parantaminen vähentävät suoraan kognitiivista kuormitusta ja lyhentävät päätössykliä.

STANAG 4609 ja MISB KLV: datasopimus

STANAG 4609 on liittoutuman yhteentoimivuuskehysten UAV-liikkuvan kuvamateriaalin perustava datasopimus. Se määrää, että UAV-video on kuljetettava MPEG-2-kuljetusvirralla upotetun MISB Local Set (LS) 0601 -metatiedon kanssa. LS 0601 määrittelee noin 140 tägättyä dataelementtiä, jotka kattavat kaikki parametrit, joita analyytikko tai automaattinen järjestelmä tarvitsee kuvan sisällön geolokoimiseksi: sensorin sijainti, alustan suunta, kallistus, kiertokulma, sensorin FOV-kulmat, vinoetäisyys, vinokulma ja paljon muuta.

MISB:n käyttämä KLV (Key-Length-Value) -koodaus on kompakti binäärimuoto. Jokainen metatieto-elementti tunnistetaan 1-tavun tai 2-tavun avaimella, jota seuraa pituuskenttä ja arvo standardoidussa liukuluku- tai kokonaislukukoodauksessa. Minimaalinen yhteensopiva KLV-paketti videokehykselle voi olla 80–120 tavua. 30 kehystä sekunnissa -nopeudella tämä lisää noin 3–4 kbps:n ylimääräistä kuormitusta kuljetusvirralle — merkityksetön millä tahansa taktisella datallinkillä.

Integraattoreille kriittinen toteutuspiste on, että KLV-metatieto on poimittava synkronisesti sen kuvaamien videokehysten kanssa. KLV-paketit on upotettu kuljetusvirran yksityisiin dataPID-tunnuksiin videoPID:n rinnalle. Jäsennin, joka käsittelee kaksi PID:iä asynkronisesti — tai joka viivästyttää videon näyttöä viivästyttämättä metatiedon soveltamista — tuottaa geolokointivirheitä, jotka kasvavat alustan nopeuden ja gimbaalin kääntelynopeuden mukana. 60 solmun maanopeudella ja 1 sekunnin metatietoviiveellä geolokointivirhe voi ylittää 30 metriä.

Pakolliset LS 0601 -kentät geolokointia varten

Kaikki 140+ LS 0601 -kenttää eivät ole pakollisia perustason geolokointiin. Vähimmäisjoukko, joka tarvitaan laskettaessa, mihin kuvan pikseli osuu maanpinnalla, sisältää: sensorin leveys- (tägi 13), pituusaste (tägi 14), todellinen korkeus (tägi 15), alustan suuntakulma (tägi 5), alustan kallistuskulma (tägi 6), alustan kiertokulma (tägi 7), sensorin vaakatasoinen FOV (tägi 16), sensorin pystytasoinen FOV (tägi 17), sensorin suhteellinen atsimuuttikulma (tägi 18), sensorin suhteellinen korkeuskulma (tägi 19), sensorin suhteellinen kiertokulma (tägi 20) ja vinoetäisyys (tägi 21). Kaikki muut kentät ovat täydentäviä — hyödyllisiä analyysiin mutta ei pakollisia reaaliaikaiseen geolokointilaskentaan.

Videoanalytiikkaputki: havaitseminen ja luokittelu

Automaattinen kohteiden havaitseminen on vaihe, joka on eniten riippuvainen toimialakoh­taisesta insinöörityöstä. Yleiskäyttöiset siviili-kuvamateriaaleilla koulutetut havaintomallit toimivat heikosti UAV-perspektiivin sotilaallisessa kuvassa — katselukulma, mittakaava, naamiointia ja kohdediversiteetti ovat kaikki erilaisia. Tuotannossa käytettävä malli tulisi hienosäätää operatiivisen ympäristön edustavan merkityn aineiston perusteella: kohdetyypit (ajoneuvot, henkilöstö, tukikohdat), korkeusalue, sensorityypit (EO vs. IR) ja taustaluokat (kaupunki, maaseutu, metsäinen, sekainen).

UAV-videoanalytiikan reaaliaikaisen putkiston vakioarkkitehtuuri käyttää kaksivaiheista putkea: nopea yksivaiheinen havaitsija (YOLOv8 tai vastaava) ajaa täydellä kehysnopeudella havaitsemista ja karkeaa luokittelua varten syöttäen havainnot hitaammalle mutta tarkemmalle luokittelumallille, joka vahvistaa luokan ja antaa luottamustason. Nopea havaitsija priorisoi muistamista — tarttuu kaikkiin potentiaalisiin maaleihin jopa väärien positiivisten kustannuksella. Luokittelija suodattaa havaintolistan ja antaa lopullisen etiketin. Tämä eroaminen mahdollistaa järjestelmän toimia videokehysnopeudella samalla, kun se soveltaa enemmän laskentaa vahvistettuihin havaintoihin.

Havaintojen geolokointia

Jokainen havaintokehys on muunnettava maanpinnan WGS84-koordinaatiksi ennen kuin se voidaan julkaista geospatiaalisena tapahtumana. Laskenta käyttää havaintosentroidin pikselikoordinaatteja, KLV-metatiedosta peräisin olevaa sensorigeometriaa ja maastokorkeusmallia (DTED taso 1 tai taso 2). Vakioratkaisu on heittää säde sensorilta kuvatason pikselin kautta ja leikata se maastopin­nalla. Ilman DEM:iä tasainen maa -approksimaatio vinoetäisyyttä käyttäen tuottaa korkeudesta riippuvia virheitä, jotka kasvavat merkittäviksi mäkisellä tai vuoristoisella maastolla.

Havaintojen seurantaan — havaintojen linkittämiseen kehysten yli pysyvien raitapojen tuottamiseksi — Kalman-suodatin tai SORT (Simple Online and Realtime Tracking) -algoritmi on tuotantostandardia. Pysyvät raidat vähentävät operaattorin kognitiivista kuormitusta verrattuna kehyskohtaisiin havaintoihin: sen sijaan, että kartta vilkkuisi uusilla tunnuksilla joka kehyksessä, operaattori näkee pienen määrän vakaita, liikkuvia tunnuksia, joilla on luottamushistoria.

Maa-asemaintegraatio ja C2-linkkiarkkitehtuuri

Maa-asema on sensori–päätös-silmukan keskipisteessä. Taktisen UAS-ohjelman tuotantomaa-asema ajaa tyypillisesti useita ohjelmistokomponentteja rinnakkain: kuljetusvirran vastaanotin ja demultipleksori, videoesittelysovellus (tehtävätallennus mukana), KLV-metatietojen poimija, analytiikkaputki ja CoT/taktisen verkon julkaisija.

C2-lähetyslinkki — komennot operaattorilta UAV:lle — ja tiedustelualalinkki ovat loogisesti erillisiä, mutta jakavat usein saman RF-järjestelmän. C2-linkin integriteetin suojaaminen on vaikeampaa kuin alalinkin: komentosanomat ovat pieniä, mutta niiden on saavuttava erittäin pienellä latensilla ja korkealla luotettavuudella. C2-linkin integriteetin vakioarkkitehtuuri käyttää erillistä kapearaita-lähetyslinkkiä erillisellä taajuudella laajakaistaisen tiedustelualalinkin suhteen, AES-256-salauksella ja FHSS:llä (taajuushyppyviestiintä) häirintäkestävyyden vuoksi. Maa-asemaohjelmiston on seurattava C2-linkin laadun mittareita — bittivir­hesuhdetta, komentokuittauksen pyöreän matkan latenssia — ja hälytettävä operaattori ennen kuin linkkidegradoituminen aiheuttaa ilma-aluksen hallinnan menetyksen.

ATAK-lisäosaohjelmakuvio UAV-syötteille

UAV-syötteen integroiminen ATAK:iin — vakiotaktiseen tilannetietosovellukseen — noudattaa vakiintunutta lisäosaarkkitehtuuria. UAV-integrointilisäosalla on kolme toiminnallista komponenttia, jotka toimivat samanaikaisesti.

Videopaneelin komponentti. SurfaceView-pohjainen paneeli ATAK-lisäosaikkunan sisällä renderöi puretun videovirran. Videon purkija toimii taustatiedostossa, syöttäen kehyksiä pinnalle virran alkuperäisellä kehysnopeudella. Paneelin tulisi sisältää päällekkäisannotaatiot (kohderuudut analytiikkaputkelta), jotka renderöidään Canvas:lla läpinäkyvällä tasolla videoapinnan yläpuolella synkronoituna näytettävään kehykseen.

Jalanjälkipäällekkäisyyden komponentti. Sensorin jalanjäljen neljä kulmakoordinaattia — laskettu MISB-geometriakenttien ja maastomallin avulla — julkaistaan CoT-monikulmiotapahtumana ja renderöidään ATAK-kartalla puoliläpinäkyvänä trapetsina. Jalanjälkimonikulmio päivittyy KLV-metatiedon nopeudella (tyypillisesti 1–10 Hz useimmissa järjestelmissä). Hitaammilla päivitysnopeuksilla jalanjälki saattaa näyttää jäljessä videosta nopeiden gimbaalikaarteiden aikana; korjaus on ekstrapoloida jalanjäljen sijainti käyttäen alustan asennon muutosnopetta metatietopäivitysten välillä.

Havaintojen julkaisijakomponentti. Analytiikkaputken geolokoidut havainnot julkaistaan CoT-pisteTapahtumina TAK-palvelimelle sopivilla CoT-tyyppikoodeilla. Pysyvällä identiteetillä varustetut havaintoraidat julkaistaan yhtenäisellä UID:llä päivitysten yli, joten ATAK-asiakkaat näyttävät ne liikkuvina tunnuksina erillisten tapahtumien sarjan sijaan. Lisäosan tulisi sallia operaattorin vahvistaa tai hylätä havainto — vahvistetut havainnot ylennetään korkeamman luottamuksen CoT-tyypiksi; hylätyt havainnot poistetaan kuvasta.

Latenssibudjetit aikakriittisille maaleille

Aikakriittinen maalikäsittely — prosessi, jossa havaitaan, tunnistetaan ja kohdistetaan maali, joka esittyy lyhyessä ikkunassa — asettaa tiukimmat latenssivaatimukset UAV-tiedusteluohjelmistopinoon. Asiaan liittyvä sotilasdoktriini määrittää alle 30 minuutin kohdistamissyklin harkitulle kohdistamiselle; aikakriittinen kohdistaminen tiivistää tämän minuutteihin tai sekunteihin uhkatyypin mukaan.

Ohjelmistoputkessa eniten merkitsevät latenssibudjetin allokaatiot ovat:

Videon näyttölatenssi: alle 500 ms yhteensä sensorin kaappauksesta operaattorin näyttöön. Tämä tarkoittaa koodaus (80 ms) + linkki (50 ms, näköyhteys) + purku (30 ms) + näyttöputki (20 ms) = noin 180 ms hyvin optimoidulle järjestelmälle. Puskurointi mukautuvaa bittinopeussuoratoistoa tai jitterin kompensointia varten lisää usein 200–500 ms tämän päälle — aggressiiviset puskuriasetukset ovat yleisin lähde sietämättömälle näyttölatenssia.

Havainto-CoT-latenssi: alle 3 sekuntia havaitsemisesta analytiikkaputkessa CoT-tapahtumana näkyviin yhdistetyille ATAK-asiakkaille. Tämä budjetti kattaa päättelyinferenssin (20–150 ms), geolokointilaskennan (10 ms), CoT-tapahtuman rakentamisen ja julkaisemisen (5 ms), TAK-palvelimen välityksen (50–200 ms riippuen federointihyppyjen määrästä) ja ATAK-asiakkaan päivityksen (100–500 ms riippuen päivityskyselyvälitasosta).

Operaattori-C2-latenssi: alle 2 sekuntia operaattorin maalin merkitsemisestä ATAK-lisäosassa komennon saavuttamiseen UAV-operaattorille tai tulinohjauselementille. Tämä on ensisijaisesti verkko- ja C2-järjestelmän latenssia — UAV-integrointilisäosan osuus on merkityksetön, jos se julkaisee CoT:n välittömästi operaattorin toiminnalla.

Syvällisempi käsittely analytiikkaputkessa käytetystä konenäköarkkitehtuurista löytyy artikkelista konenäkö ISR-droneille.