Sotilaalinen datafuusio on laskennallinen prosessi, jossa useista heterogeenisistä lähteistä peräisin oleva tiedustelutieto yhdistetään johdonmukaiseksi, yhtenäiseksi ja tarkaksi kuvaksi operatiivisesta ympäristöstä. Kun se toimii, komentaja näkee yhden kohteen, jonka merkintä on "T-80-panssarivaunu, varmuus 87 %, päivitetty viimeksi 14 sekuntia sitten." Kun se ei toimi, hän näkee kolme ristiriitaista kohdetta, jokainen eri sensorista, jokaisella eri sijainti — eikä mitään keinoa tietää, mikä niistä on oikea.
Datafuusion saaminen kuntoon on yksi puolustusohjelmistojen teknisesti vaativimmista ongelmista. Syötteet ovat kohinaisia, viivästyneitä ja usein ristiriitaisia. Tuloksen on oltava riittävän luotettava, jotta sen perusteella voidaan toimia.
JDL-malli: viitekehys fuusiotasoille
Data Fusion Information Group (DFIG) -malli — jota kutsutaan yleisesti JDL-malliksi sen Joint Directors of Laboratories -taustan mukaan — määrittelee fuusion sarjaksi käsittelytasoja, joista jokainen rakentuu edellisen päälle.
Taso 0 — Aliobjektitason data-assosiaatio ja estimointi. Raakana saadut sensorisignaalit käsitellään ja puhdistetaan. Pikselitason kuva-aineistoa esikäsitellään; akustinen data digitoidaan; RF-signaalit demoduloidaan. Tuloksena on havaintovirta, jota ei vielä ole liitetty mihinkään kohteeseen.
Taso 1 — Kohteiden tarkentaminen. Yksittäiset havainnot yhdistetään kohteiksi. Saman fyysisen kohteen useat tutkapaluut liitetään yhteen ja fuusioidaan yhdeksi kinemaattiseksi kohteeksi. Tämä taso käsittelee keskeisen kohdefuusio-ongelman: kun saadaan viisi tutkaosumaa 30 sekunnin aikana, estimoidaan kohteen sijainti, nopeus ja kulkusuunta sekä niihin liittyvä epävarmuusellipsi. Tämän tason algoritmeihin kuuluvat Kalman-suodatus, monihypoteesiseuranta (MHT) ja yhteinen todennäköisyyspohjainen data-assosiaatio (JPDA).
Taso 2 — Tilannekuvan tarkentaminen. Yksittäiset kohteet asetetaan kontekstiin. Tämä taso vastaa kysymykseen "mitä tämä muodostelma tarkoittaa?" — tunnistaen, että kolme kiilamuodostelmassa liikkuvaa panssarivaunua tykistö perässään muodostavat läpimurtoyrityksen, eivät partion. Tason 2 fuusio edellyttää kohteiden korreloimista doktriinin, taistelujärjestystietokantojen ja historiallisten kaavojen kanssa.
Taso 3 — Uhkan tarkentaminen. Nykytilanne projisoidaan eteenpäin: jos tämä muodostelma jatkaa nykyisellä suunnallaan ja nopeudellaan, mitä se uhkaa 20 minuutin kuluttua? Tämä taso tuottaa uhka-arvioita, ei pelkkää kohdedataa.
Tietolähteet ja niiden ohjelmistohaasteet
SIGINT-syötteet saapuvat strukturoituina sieppauksina tai raakoina RF-talteenottoina. Niissä on ajoituksen epävarmuutta (sieppausaika voi poiketa lähetysajasta) ja paikannuksen monitulkintaisuutta, kun geolokaatiodataa ei ole saatavilla. SIGINT-syötteet vaativat usein muotonormalisointia omistusoikeudellisten keräysjärjestelmien tuotoksista ennen kuin ne voivat siirtyä fuusioputkeen.
IMINT-tuotteet ovat kuvatiedustelun hyödyntämisen tuloksia — joko automaattisia (konenäön havaitsemat kohteet UAV-syötteistä) tai manuaalisia (kuva-analyytikon merkintöjä). Haasteena on aikaleiman tarkkuus: klo 09:47 hankittu kuva, jossa näkyy ajoneuvo koordinaateissa X, on hyödyllinen vain, jos fuusiomoottori tietää sen hankitun klo 09:47 eikä käsitellyn ja toimitetun klo 11:15.
HUMINT-raportit ovat strukturoituja tiedusteluraportteja ihmislähteistä. Ne ovat tyypillisesti matalataajuisia, korkean varmuuden raportteja, ja niihin liittyy merkittävää paikannuksen epävarmuutta. Niitä on harvoin mahdollista fuusioida suoraan kinemaattisen kohdedatan kanssa, mutta ne ovat välttämättömiä tason 2 fuusion edellyttämän taistelujärjestyskontekstin rakentamiselle.
EW-sensorisyötteet tarjoavat elektronisten emissioiden dataa — tutkaparametrijoukkoja, viestintätaajuuksia, aaltomuotosignatuureja. Kun ne korreloidaan kohdedatan kanssa, ne mahdollistavat alustan tunnistamisen: 60 km/h liikkuva kohde, joka vastaa BMP-2:n tutkan emissiosignatuuria, muuttuu korkean varmuuden BMP-2-tunnistukseksi.
UAV-videosyötteet tuottavat jatkuvan virran sijainti- ja visuaalista dataa. Ohjelmistohaasteena on strukturoitujen kohteiden poimiminen videosta — mikä edellyttää reaaliaikaista konenäköpäättelyä — ja näiden kohteiden korreloiminen olemassa olevan datan kanssa ottaen huomioon, että UAV:n havaitsema ja tutkan tunnistama sama ajoneuvo voi synnyttää kaksi erillistä kohdetta fuusiomoottoriin.
Normalisoinnin haasteet: piilotettu monimutkaisuus
Ennen kuin yksikään fuusioalgoritmi käynnistyy, kaikki saapuva data on normalisoitava. Tämä on epäglamouroista työtä, joka vie suhteettoman suuren osan kehitysajasta todellisissa fuusiojärjestelmissä.
Koordinaattijärjestelmän normalisointi: sensorit raportoivat sijainnit järjestelmissä WGS84, MGRS, paikallinen ruudukko tai korkeudesta riippuvat koordinaatistot. Kaikki on muunnettava kanoniseen esitysmuotoon ennen kuin korrelaatio on mahdollinen. Koordinaattimuunnoksesta aiheutuva 10 metrin virhe on operatiivisesti merkittävä.
Aikaleiman normalisointi: eri sensorit käyttävät GPS-aikaa, UTC:tä, paikallista aikaa tai järjestysnumeroita. Fuusiomoottori tarvitsee auktoritatiiviset aikaleimat yhdessä viitekehyksessä. GPS-synkronoitu aikaleima on standardi, mutta kaikki vanhat sensorit eivät tue sitä.
Luokituksen ja varaumien käsittely: fuusiodata ylittää luokitusrajoja. Yhden luokitustason SIGINT:stä ja alemman tason tutkadatasta rakennetulla kohteella on yhdistelmäluokitus. Fuusiomoottorin on välitettävä luokitus oikein ja valvottava tiedonsaantitarvetta kyselyhetkellä, ei sisäänlukuhetkellä.
Korrelaatio ja päällekkäisyyksien poisto
Tason 1 fuusion keskeinen tekninen ongelma on päättää, edustavatko kaksi havaintoa kahdesta eri sensorista samaa fyysistä kohdetta. Tämä on data-assosiaatio-ongelma. Vakiomenetelmä on porttausfunktio (poistetaan ehdokkaat, jotka ovat etäisyyden enimmäiskynnyksen ulkopuolella), jota seuraa todennäköisyyspohjainen pisteytin (esim. lähimmän naapurin menetelmä tai MHT), joka määrittää vastaavuustodennäköisyyden.
Päällekkäisyyksien poisto — sen tapauksen ratkaiseminen, jossa kaksi olemassa olevaa kohdetta ovatkin sama kohde — on vaikeampaa. Se edellyttää pysyvien kohdeduplikaattien havaitsemista, niiden historioiden yhdistämistä ja attribuuttiristiriitojen sovittamista. Huono päällekkäisyyksien poisto johtaa "haamukohteisiin": kohteisiin, jotka näkyvät COP:ssa mutta joita ei ole olemassa, tai kohteisiin, jotka ovat olemassa mutta näkyvät kahdesti.
Keskeinen oivallus: Useimmissa operatiivisissa fuusiojärjestelmissä suurin virhelähde ei ole itse fuusioalgoritmi — se on aikaleimojen epätarkkuus ja koordinaattien normalisointivirheet, jotka syntyvät datan sisäänlukukerroksessa. Korjaa putkisto ennen kuin viritetään algoritmeja.
Miten fuusio syöttää COP:tä
Fuusiomoottori tuottaa auktoritatiivisen kohdevaraston, jonka yhteinen operatiivinen tilannekuva (COP) renderöi. COP-kerros tekee kyselyt kohdevarastoon API:n kautta, tilaa päivitystapahtumat WebSocketin yli ja renderöi muutokset inkrementaalisesti. COP:n laatu riippuu täysin sen alla olevan fuusiokerroksen laadusta.
Hyvin suunniteltu fuusio-COP-putki julkaisee kohteiden päivitystapahtumat (uusi kohde, kohde päivitetty, kohde poistettu) virtana. COP tilaa ne ja soveltaa muutoksia (deltoja) — ei täystilan tilannekuvia — pitääkseen näytön responsiivisena silloinkin, kun kohdetietokanta sisältää kymmeniä tuhansia kohteita. Viiveen sensorihavainnosta COP-näyttöön tulisi olla mitattavissa yksinumeroisina sekunteina taktisissa järjestelmissä.