Multimodaalinen tekoäly ISR-tehtäviin: EO, IR, SAR ja SIGINT yhdistettynä

Mikään yksittäinen ISR-sensori ei näe koko taistelukentän kuvaa. Elektro-optinen kamera on sokea yöllä ja hyödytön pilven läpi. Infrapunasensori havaitsee lämmön, mutta menettää kontrastin auringon lämmittämää taustaa vasten. Synteettinen apertuuritutka läpäisee sään ja pimeyden, mutta tuottaa täplinäistä kuvantamista, jota on vaikea luokitella. Signaalitiedustelu paikantaa lähettimen, jolla ei ole visuaalista signaalia lainkaan — eikä sano mitään sen vieressä pysäköidystä kuorma-autosta. Multimodaalinen tekoäly on olemassa, jotta nämä vikamuodot kumoavat toisensa sen sijaan, että ne kasaantuisivat: yhdistämään EO, IR, SAR ja SIGINT yhdeksi geopaikannetuksi havainnoksi, joka säilyy olosuhteissa, joissa jokin yksittäinen modaliteetti epäonnistuisi. Tämä artikkeli käy läpi fuusion insinööriosaamisen — ajallinen ja spatiaalinen kohdistus, ristimodaaliset malliarkkitehtuurit, luottamusarvojen käsittely sensorien pudottua pois ja kurinalaisuus, jota vaaditaan fuusioitujen havaintojen esittämiseen operaattorille luottamusta menettämättä.

Miksi fuusioida: komplementaarisuusargumentti

Peruste multimodaaliselle fuusiolle ei ole, että enemmän dataa on aina parempi — vaan se, että modaliteetit ovat komplementaarisia juuri niissä dimensioissa, jotka ovat operatiivisesti tärkeitä. EO ja IR tarjoavat korkean spatiaalisen resoluution ja ihmisen tulkittavissa olevaa kuvantamista, mutta sää estää ne ja valaistus rajoittaa niitä. SAR tarjoaa kaikkisään, päivä-yö-kattavuuden ja on erityisen hyvä metallisten kohteiden ja maanpinnan muutosten havaitsemisessa, mutta sen geometria ja täplinäisyys vaikeuttavat tarkkaa luokittelua. SIGINT tarjoaa identiteetti- ja aikomusvihjeitä — mitä lähetin on ja joskus mitä se tekee — karkealla ja epävarmalla geolokaatiolla. Tieto, jota kullakin modaliteetilla puuttuu, on sopivasti se, mitä toinen toimittaa.

Fuusiojärjestelmä muuntaa komplementaarisuuden mitattavaksi hyödyksi. Havainto, joka nähdään EO:ssa, vahvistetaan IR:ssä vastaavalla lämpösignaatuurilla, tuetaan SAR-paluulla samalla maanpintasijainnilla ja liitetään SIGINT-lähettimen suuntaviivaan, joka kulkee kyseisen pisteen kautta, on perustavanlaatuisesti eri tiedustelutuote kuin mikään näistä havainnoista yksin. Se kantaa suurempaa luottamusarvoa, tiukempaa geolokaatiota ja — kriittisesti — identiteettihypoteesia, jota yksikään yksittäinen sensori ei voisi esittää. Tämä on sama korrelaatiologiikka, joka on perinteisen multisensorifuusioarkkitehtuurin taustalla, mutta multimodaalinen tekoälylähestymistapa oppii ristimodaaliset assosiaatiot datasta sen sijaan, että ne koodattaisiin käsin viritettynä sääntöinä.

Kohdistus: ennakkoehto, jota fuusioinsinöörit aliarvioivat

Ennen kuin mikään malli voi fuusioida modaliteetteja, modaliteettien on kuvattava samaa todellisuutta. Kohdistuksella on kolme akselia, ja epäonnistuminen millä tahansa niistä tuottaa fuusioituja jälkiä, jotka ajautuvat, jakautuvat tai hallusinoivat.

Ajallinen kohdistus

Neljä modaliteettia toimivat täysin eri kelloilla. EO ja IR striimautuvat 30–60 Hz:llä. SAR tuottaa kuvan lentoa kohden — tahdilla, joka mitataan sekunneista minuutteihin alustan ja moodin mukaan. SIGINT saapuu epäsäännöllisinä sieppaustapah­tumina aina, kun lähetin lähettää. EO-ruudun fuusiointi ajanhetkellä t SIGINT-sieppauksen kanssa ajanhetkeltä t − 4 s ikään kuin ne olisivat samanaikaisia, attribuoi lähetyksen siihen, minne EO-kohde on siitä asti siirtynyt. Kurinalaisuus on aikaleimata jokainen näyte sensorilla kurinalaista kelloa (GPS tai PTP) käyttäen, ei koskaan kuluttajalla, ja uudelleennäytteistää jokainen virta yhteiseen viiteaikaan liikekompensoidulla interpoloinnilla. Jokaisen fuusioidun havainnon on myös kannettava osallistuvien näytteiden todellinen ikä, jotta malli voi painottaa vanhentuneet todisteet alas sen sijaan, että luottaisi niihin sokeasti.

Spatiaalinen kohdistus

Jokainen modaliteetti on ilmaistava yhdessä yhteisessä maantieteellisessä kehyksessä ennen kuin assosiaatio on merkityksellistä. EO/IR-havainnot georeferoidaan heittämällä säde sensorista kuvatasopikselien kautta ja leikkaamalla se maankohoamamallilla (DTED). SAR-kuvantaminen geokoodataan sen kantama-Doppler-geometrian kautta. SIGINT-suuntaviivat muuttuvat geolokalisointielipseiksi samassa datumissa. Tulos on jokainen havainto ilmaistuna sijaintina ja epävarmuusalueena WGS84:ssä. Epävarmuus on yhtä tärkeä kuin sijainti: SIGINT-elipsi voi olla kilometrien kokoinen, kun taas EO-geolokaatio on metrejä, ja assosiaatiologiikan on painotettava niitä vastaavasti sen sijaan, että kohtelisi keskilinjaa totuutena.

Esityksellinen kohdistus

Lopulta modaliteetit on tehtävä mallille vertailtaviksi. Raakoilla EO-pikseleillä, IR-säteilyllä, SAR-kompleksipalauksilla ja SIGINT-ominaisuusvektoreilla ei ole mitään yhteistä numeerisesti. Jokainen modaliteetti koodataan rungolla, joka on viritetty sen tilastoihin, ominaisuusvektoreiksi, jotka jakavat yhteisen upotusdimension, jotta alavirtainen tarkastelutaso voi tehdä päättelyä niiden välillä. Tämä esityksellinen vaihe on se, missä multimodaalinen tekoäly poikkeaa klassisesta fuusiosta: jaettu upotus on opittu, ei määritelty.

Fuusioarkkitehtuurit: varhainen, myöhäinen ja välitason

Siihen, missä putkilinjan kohdassa fuusio tapahtuu, on kolme rakenteellista valintaa, ja valinta on arkkitehtuurin yksittäisesti merkittävin päätös.

Varhainen fuusio yhdistelee raaka- tai kevyesti käsiteltyjä syötteitä — esimerkiksi pinottaessa pikselirekisteröidyt EO ja IR monikanavaiseksi tensoriksi — ja syöttää tuloksen yhteen malliin. Se on yksinkertaisin toteuttaa ja voi hyödyntää matalan tason ristimodaalisia korrelaatioita, mutta se on hauras: se olettaa lähes täydellisen spatiaalisen rekisteröinnin ja romahtaa, kun modaliteetti puuttuu tai on väärin rekisteröity. Varhainen fuusio toimii vain, kun modaliteetit ovat aidosti ko-rekisteröityjä ja luotettavasti läsnä, mikä käytännössä tarkoittaa EO+IR yhteisestä kääntyvästä kiinnityksestä, ei koko neljän INT -joukkoa.

Myöhäinen fuusio ajaa itsenäisen ilmaisimen per modaliteetti ja yhdistää niiden tulokset päätöstasolla — sääntöjen, Bayesilaisen päivityksen tai modaliteettikohtaisten havaintojen opitun yhdistelijän avulla. Se on luonnollisesti kestävä puuttuvan modaliteetin suhteen (muut jatkavat yksinkertaisesti) ja se on helpoin sertifioida, koska kukin ilmaisin on itsenäisesti testattavissa. Sen heikkous on se, että fuusioituessa kukin modaliteetti on jo hylännyt matalan tason vihjeet, joita kumppani olisi voinut hyödyntää; heikko EO-kohde yksittäisen sensorin havaintorajan alapuolella menetetään ennen kuin SAR-palaus, joka olisi vahvistanut sen, saa äänensä.

Välitason (ominaisuustason) fuusio koodaa jokaisen modaliteetin erikseen, sitten fuusioi opitut ominaisuudet — tyypillisesti rististentio-transformerilla — ennen jaettua ilmaisinpäätä. Se kaappaa ristimodaaliset vihjeet, jotka myöhäinen fuusio heittää pois, säilyttäen silti paljon myöhäisen fuusion kestävyydestä, koska modaliteettikohtaiset enkoodereet toimivat edelleen, kun kumppani puuttuu. ISR:lle välitason fuusio on tuotantostandardi. Rististentiotaso antaa SAR-ominaisuuksien tarkastella EO-ominaisuuksia ja päinvastoin, jotta heikko signaali yhdessä modaliteetissa voidaan vahvistaa toisessa olevan corroboroivan rakenteen avulla — juuri se kynnyksen alittava vahvistus, jota myöhäinen fuusio ei saavuta.

Ristimodaalinen mallien suunnittelu

Käytännöllisessä välitason fuusiomallissa ISR:lle on neljä osaa. Ensinnäkin joukko modaliteettikohtaisia enkoodereita: vision transformer tai CNN EO/IR:lle, SAR-spesifinen enkooderi, joka sietää täplinäisyyttä ja tutkan kuvantamisen epäoptiset tilastot, ja sekvenssenkooderi SIGINT-sieppausominaisuuksille (taajuus, modulaatio, pulssiominaisuudet, suuntakulma). Toiseksi projektio, joka kuvaa jokaisen enkooderin tulosteen jaettuun upotusdimensioon. Kolmanneksi rististentio-fuusioblocci, joka tarkastelee modaliteettitokenien välillä, saatavuusmaskilla portoituna niin, että poissaolevat modaliteetit eivät osallistu lainkaan nollien sijaan, joita malli lukisi väärin todisteena. Neljänneksi jaettu pää, joka lähettää geopaikannetut havainnot, luokkahypoteesit ja fuusioidun luottamusarvon.

Hallitseva suunnitteluriski on koadaptaatio: malli, joka on koulutettu datalla, jossa kaikki neljä modaliteettia ovat yleensä läsnä, oppii nojaamaan informatiivisimpaan ja heikkenee katastrofaalisesti, kun kyseinen modaliteetti putoaa pois kentällä. Vastatoimenpide on modaliteettidropout koulutuksen aikana — kokonaisten modaliteettien satunnainen nollaus (saatavuusmaskit asetettu vastaavasti), jotta verkko pakotetaan purkamaan arvoa jokaisesta osajoukosta. Tällä tavoin koulutettu malli tuottaa käyttökelpoisen havainnon pelkästä EO:sta, parantaa sitä IR:n ollessa läsnä ja saavuttaa täyden luottamusarvon vasta, kun SAR ja SIGINT korroboroivat. Samat reuna-asennuksen rajoitteet, jotka koskevat yksittäisen modaliteetin näköä, pätevät tässä; multimodaalinen pää on raskaampi, ja tekniikat, joita käsitellään artikkelissa tietokonenäkö ISR-drooneille — kvantisointi, karsinta ja huolellinen viivebudjetti — siirtyvät suoraan.

Luottamusarvo, epävarmuus ja sulavuus

Fuusioitu luottamusarvo on koko putkilinjan tärkein tulos, koska se on se, johon operaattori ja mikä tahansa alavirtainen automaatio todellisuudessa reagoi. Raaka softmax-todennäköisyys ilmaisinpäästä ei ole kalibroitu luottamusarvo — neuroverkot ovat notoriousesti ylilupauksia — joten pisteet on kalibroitava lämpötilaskaalauksella tai opitulla yhdistelijällä pidettyä ulkopuolista dataa vasten, jotta ilmoitettu 0,9 vastaa todellista 90 %:n luotettavuutta.

Pelkkä kalibrointi ei riitä. Fuusioitu luottamusarvo on heijastettava mitkä modaliteetit osallistuivat ja kuinka hyvä kukin oli siinä hetkessä. Neljän modaliteetin vahvistaman havainnon ei pitäisi kantaa samaa luottamusarvoa kuin saman nimellispisteen, joka on johdettu pelkästä EO:sta sumuisessa ilmakehässä. Putkilinja siksi painottaa jokaisen modaliteetin kontribuution modaliteettikohtaisella laatu-estimaatilla — valaistus ja kontrasti EO:lle, lämpökontrasti IR:lle, paluuvoima ja geometria SAR:lle, sieppauksen signaali-kohinasuhde SIGINT:lle — ja levittää tuon painotuksen fuusioituun pisteeseen. Kun modaliteetti putoaa kokonaan pois, saatavuusmaskki poistaa sen tarkastelusta ja sen paino menee nollaan; järjestelmä jatkaa jäljellä olevilla modaliteeteilla rehellisesti alennetussa luottamusarvossa sen sijaan, että epäonnistuisi tai, mikä pahempaa, hiljaisesti keksisi.

Fuusioitujen havaintojen välittäminen operaattorille

Fuusio tuottaa arvoa vain, jos sen tulos saavuttaa operaattorin muodossa, johon he luottavat ja johon he voivat reagoida. Fuusioidut havainnot yhdistetään ajan mittaan pysyviksi jäljiksi pysyvillä tunnisteilla ja julkaistaan yhteiselle tilannetietokuvalle, tyypillisesti Cursor on Target -tapahtumina TAK-palvelimelle, jotta jokainen yhdistetty asiakas näkee saman liikkuvan merkin eikä itsenäisten tapahtumien välkettä. Triaasilogiikka, joka päättää, mitkä fuusioidut jäljet nousevat operaattorin huomion piiriin, noudattaa samaa priorisointikuria, jota kuvataan artikkelissa tekoälyavusteinen ISR-datan triaasiaus — fuusiokerros vähentää volyymiä, mutta järjestäminen ja suodatus päättävät edelleen, mitä analyytikko näkee ensin.

Ratkaiseva suunnitteluvalinta on alkuperä. Yksi varma merkki ilman ilmoitusta siitä, mistä se tuli, ansaitsee luottamuksen siihen asti, kunnes se on ensimmäisen kerran väärässä, minkä jälkeen operaattorit jättävät järjestelmän huomiotta. Kaikkien sensorihavaintojen pudottaminen kartalle tulvii kuvan ja kumoaa fuusioinnin tarkoituksen. Oikea käyttäytyminen on yksi fuusioitu jälki, joka näkyvasti koodaa, mitkä modaliteetit osallistuivat (EO+IR+SAR+SIGINT-vahvistus renderöidään selvästi erottuvana EO-vain-vihjeestä), kalibroitu luottamusarvo ja porautuminen modaliteettikohtaiseen näyttöön pyydettäessä. Fuusiokerroksen tehtävä on tiivistää monet sensorihavainnot yhdeksi luotettavaksi jäljeksi säilyttäen samalla tarkastuspolun, jonka avulla ihminen voi varmentaa sen.

Operatiiviset todellisuudet

Kolme kentän todellisuutta muovaavat kaikkia käyttöönottoja. Ensinnäkin modaliteetit saapuvat harvoin yhteen solmuun — EO/IR UAV:ssa, SAR toisella alustalla, SIGINT maanpäällisessä taulukossa — joten fuusio on hajautettu ongelma, ja verkon viive keräyksen välillä hallitsee usein aikajanaa enemmän kuin johtopäätöskustannus. Toiseksi ristiisutuminen on yhtä arvokasta kuin havaitseminen: SIGINT-sieppaus voi ohjata EO-sensorin kääntymään suuntaan, suljettu silmukka, joka on itsessään fuusiomuoto ennen mitään yhteistä mallia. Kolmanneksi koulutusdata-ongelma on akuutti — leimatut, aika- ja tilaan kohdistetut neljän INT:n datajoukot ovat harvinaisia, minkä vuoksi modaliteettidropout, synteettinen data ja itseohjautuva esiharjoittelu ilman merkintöjä olevasta yksittäismodaliteettidatasta ovat käytännöllinen tie toimivaan malliin.

Laajemmasta arkkitehtuurista, johon multimodaalinen malli liittyy — jälkien korrelaatio, identiteettifuusio ja tilannetietokuva itse — kumppanikertoo artikkeli multisensorifuusioarkkitehtuurista, joka käsittelee ympäröivää putkilinjaa syvällisesti.