AI multimodal pentru ISR: fuziunea EO, IR, SAR și SIGINT

Niciun senzor ISR nu vede întregul câmp de luptă. O cameră electro-optică este oarbă noaptea și inutilă prin nori. Un senzor infraroșu detectează căldura, dar pierde contrastul pe un fundal încălzit de soare. Radarul cu apertură sintetică penetrează vremea și întunericul, dar produce imagini cu speckle greu de clasificat. Informațiile de semnal localizează un emițător care nu are nicio semnătură vizuală — și nu spune nimic despre camionul parcat lângă el. AI multimodal există pentru a face ca aceste moduri de eșec să se anuleze mai degrabă decât să se cumuleze: pentru a fuziona EO, IR, SAR și SIGINT într-o singură detecție geolocalizată care supraviețuiește condițiilor în care oricare modalitate ar eșua. Acest articol prezintă ingineria acestei fuziuni — alinierea temporală și spațială, arhitecturile modelelor cross-modale, gestionarea încrederii când senzorii cad și disciplina necesară pentru a prezenta detecțiile fuzionate unui operator fără a-i distruge încrederea.

De ce să fuzionăm: argumentul complementarității

Argumentul pentru fuziunea multimodală nu este că mai multe date sunt întotdeauna mai bune — ci că modalitățile sunt complementare tocmai în dimensiunile care contează operațional. EO și IR oferă rezoluție spațială ridicată și imagini interpretabile de oameni, dar sunt blocate de vreme și limitate de iluminare. SAR oferă acoperire pe orice vreme, zi și noapte, și este unic de bun la detectarea obiectelor metalice și a schimbărilor de sol, dar geometria și speckle-ul său fac clasificarea fină dificilă. SIGINT oferă indicii de identitate și intenție — ce este un emițător și uneori ce face — cu o geolocalizare grosieră și incertă. Informațiile pe care o modalitate le lipsesc sunt, convenabil, informațiile pe care le furnizează alta.

Un sistem de fuziune transformă această complementaritate într-un câștig cuantificabil. O detecție văzută în EO, confirmată în IR printr-o semnătură termică corespunzătoare, coroborată de o reflecție SAR la aceeași poziție de sol și asociată cu o linie de azimut a unui emițător SIGINT care trece prin acel punct este un produs de informații fundamental diferit față de oricare din acele observații luate separat. Poartă o încredere mai mare, o geolocalizare mai precisă și — critic — o ipoteză de identitate pe care niciun senzor singur nu ar putea-o afirma. Aceasta este aceeași logică de corelație care stă la baza arhitecturii tradiționale de fuziune multi-senzor, dar o abordare AI multimodală învață asocierile cross-modale din date, mai degrabă decât să le codifice ca reguli ajustate manual.

Aliniere: precondița pe care inginerii de fuziune o subestimează

Înainte ca orice model să poată fuziona modalitățile, modalitățile trebuie să descrie aceeași realitate. Alinierea are trei axe, iar un eșec pe oricare dintre ele produce urme fuzionate care derivă, se divizează sau halucinează.

Alinierea temporală

Cele patru modalități funcționează pe ceasuri radical diferite. EO și IR transmit la 30–60 Hz. SAR produce o imagine per trecere — o cadență măsurată în secunde până la minute, în funcție de platformă și mod. SIGINT sosește ca evenimente de interceptare neregulate ori de câte ori un emițător transmite. Fuzionarea unui cadru EO la momentul t cu o interceptare SIGINT de la t − 4 s ca și cum ar fi simultane atribuie emisia locului unde s-a deplasat între timp ținta EO. Disciplina constă în a marca cu timp fiecare eșantion la senzor folosind un ceas disciplinat (GPS sau PTP), niciodată la consumator, și în a reeșantiona fiecare flux la un timp de referință comun folosind interpolarea compensată de mișcare. Fiecare observație fuzionată trebuie să poarte și vârsta reală a eșantioanelor contributoare, astfel încât modelul să poată reduce ponderea dovezilor învechite în loc să aibă încredere oarbă în ele.

Alinierea spațială

Fiecare modalitate trebuie exprimată într-un cadru geografic comun înainte ca asocierea să fie semnificativă. Detecțiile EO/IR sunt georeferențiate prin lansarea unui ray de la senzor prin pixelul din planul imaginii și intersectarea acestuia cu un model de elevație a terenului (DTED). Imaginile SAR sunt geocodificate prin geometria lor range-Doppler. Liniile de azimut SIGINT devin elipse de geolocalizare în același datum. Rezultatul este fiecare observație exprimată ca o poziție plus o regiune de incertitudine în WGS84. Incertitudinea contează la fel de mult ca și poziția: o elipsă SIGINT poate fi de câțiva kilometri, în timp ce o geolocalizare EO este de câțiva metri, și logica de asociere trebuie să le pondereze în consecință, mai degrabă decât să trateze un centroid ca adevăr absolut.

Alinierea reprezentațională

În final, modalitățile trebuie să devină comparabile pentru un model. Pixelii EO brut, radianța IR, returnurile complexe SAR și vectorii de caracteristici SIGINT nu au nimic în comun numeric. Fiecare modalitate este codificată de un backbone ajustat la statisticile sale în vectori de caracteristici care împart o dimensiune de embedding comună, astfel încât un strat de atenție din aval să poată raționa peste ele. Această etapă reprezentațională este locul unde AI multimodal diverge de la fuziunea clasică: embedding-ul comun este învățat, nu specificat.

Arhitecturi de fuziune: timpurie, târzie și intermediară

Există trei alegeri structurale pentru locul din pipeline unde se produce fuziunea, iar alegerea este singura decizie arhitecturală cu cele mai mari consecințe.

Fuziunea timpurie concatenează intrările brute sau ușor procesate — de exemplu, stivuind EO și IR înregistrate pixel cu pixel într-un tensor multicanal — și alimentează rezultatul unui singur model. Este cel mai simplu de implementat și poate exploata corelațiile cross-modale de nivel scăzut, dar este fragil: presupune înregistrare spațială aproape perfectă și se prăbușește când o modalitate lipsește sau este înregistrată greșit. Fuziunea timpurie funcționează numai când modalitățile sunt cu adevărat co-înregistrate și fiabil prezente, ceea ce în practică înseamnă EO+IR de la un gimbal comun, nu setul complet de patru INT.

Fuziunea târzie rulează un detector independent per modalitate și combină ieșirile la nivelul deciziei — prin regulă, actualizare bayesiană sau un combiner învățat pe detecțiile per modalitate. Este natural robustă la o modalitate lipsă (celelalte continuă pur și simplu) și este cea mai ușor de certificat, deoarece fiecare detector este testabil independent. Slăbiciunea sa este că, până când se produce fuziunea, fiecare modalitate a eliminat deja indiciile de nivel scăzut pe care un partener le-ar fi putut folosi; o țintă EO slabă sub pragul de detecție al unui singur senzor este pierdută înainte ca returnul SAR care ar fi confirmat-o să poată vota.

Fuziunea intermediară (la nivel de caracteristici) codifică fiecare modalitate separat, apoi fuzionează caracteristicile învățate — de obicei cu un transformator cross-atenție — înainte de un cap de detecție comun. Captează indiciile cross-modale pe care fuziunea târzie le aruncă, păstrând în același timp mare parte din robustețea fuziunii târzii, deoarece encoders per modalitate funcționează în continuare când un partener lipsește. Pentru ISR, fuziunea intermediară este implicita de producție. Un strat de cross-atenție permite caracteristicilor SAR să acorde atenție caracteristicilor EO și invers, astfel încât un semnal slab într-o modalitate să poată fi amplificat de structuri coraboratoare din alta — exact confirmarea sub prag pe care fuziunea târzie nu o poate realiza.

Proiectarea modelului cross-modal

Un model practic de fuziune intermediară pentru ISR are patru componente. În primul rând, un set de encoders per modalitate: un vision transformer sau CNN pentru EO/IR, un encoder specific SAR care tolerează speckle și statisticile non-optice ale imaginilor radar, și un encoder de secvență pentru caracteristicile de interceptare SIGINT (frecvență, modulație, caracteristici de impuls, azimut). În al doilea rând, o proiecție care mapează ieșirea fiecărui encoder într-o dimensiune de embedding comună. În al treilea rând, un bloc de fuziune cu cross-atenție care acordă atenție peste token-urile de modalitate, controlat de o mască de disponibilitate, astfel încât modalitățile absente să nu contribuie cu nimic în loc de zerouri pe care modelul le-ar interpreta greșit ca dovezi. În al patrulea rând, un cap comun care emite detecții geolocalizate, ipoteze de clasă și o încredere fuzionată.

Cel mai mare risc de proiectare este co-adaptarea: un model antrenat pe date unde toate cele patru modalități sunt de obicei prezente învață să se bazeze pe cea mai informativă și degradează catastrofal când acea modalitate cade pe teren. Contramăsura este abandonul de modalitate în timpul antrenamentului — zeroing aleatoriu al modalităților întregi (cu măștile de disponibilitate setate corespunzător), astfel încât rețeaua este forțată să extragă valoare din fiecare subset. Un model antrenat astfel produce o detecție utilizabilă numai din EO, o îmbunătățește când IR este prezent și atinge încredere deplină numai când SAR și SIGINT coraborează. Aceleași constrângeri de implementare la margine care guvernează viziunea cu o singură modalitate se aplică aici; capul multimodal este mai greu, iar tehnicile acoperite în viziunea computerizată pentru drone ISR — cuantizare, prunare și bugetarea atentă a latenței — se transferă direct.

Încredere, incertitudine și degradare grațioasă

Scorul de încredere fuzionat este cea mai importantă ieșire a întregului pipeline, deoarece este ceea ce operatorul și orice automatizare din aval acționează efectiv. O probabilitate softmax brută din capul de detecție nu este o încredere calibrată — rețelele neuronale sunt notoriu de încrezătoare — așa că scorul trebuie calibrat, cu scalare de temperatură sau un combiner învățat, pe date reținute, astfel încât un 0,9 declarat să corespundă unei fiabilități reale de 90%.

Calibrarea singură nu este suficientă. Încrederea fuzionată trebuie să reflecte care modalități au contribuit și cât de bune au fost fiecare în acel moment. O detecție confirmată de patru modalități nu trebuie să poarte aceeași încredere ca același scor nominal derivat numai din EO printr-o atmosferă tulbure. Pipeline-ul ponderează deci contribuția fiecărei modalități printr-o estimare a calității per modalitate — iluminare și contrast pentru EO, contrast termic pentru IR, putere de returnare și geometrie pentru SAR, raportul semnal-zgomot al interceptării pentru SIGINT — și propagă acea ponderare în scorul fuzionat. Când o modalitate cade complet, masca de disponibilitate o elimină din atenție și ponderea sa merge la zero; sistemul continuă pe modalitățile rămase cu o încredere sincer redusă, mai degrabă decât să eșueze sau, mai rău, să fabrice silențios.

Prezentarea detecțiilor fuzionate operatorului

Fuziunea oferă valoare numai dacă ieșirea sa ajunge la operator într-o formă în care acesta poate avea încredere și pe care poate acționa. Detecțiile fuzionate sunt asociate în timp în urme persistente cu identificatori stabili și publicate pe imaginea operațională comună, de obicei ca evenimente Cursor on Target la un server TAK, astfel încât fiecare client conectat vede același marcator în mișcare, mai degrabă decât o pâlpâire de evenimente independente. Logica de triere care decide ce urme fuzionate ajung la atenția operatorului urmează aceeași disciplină de prioritizare descrisă în triajul datelor ISR cu asistență AI — stratul de fuziune reduce volumul, dar clasificarea și filtrarea decid în continuare ce vede primul un analist.

Alegerea de design decisivă este proveniența. Un singur marcator încrezător fără nicio indicație privind originea câștigă încredere până la prima greșeală, după care operatorii ignoră sistemul. A expune fiecare detecție per senzor pe hartă inundă imaginea și zădărnicește scopul fuzionării. Comportamentul corect este o singură urmă fuzionată care codifică vizibil care modalități au contribuit (o confirmare EO+IR+SAR+SIGINT redată distinct față de un indiciu numai EO), încrederea calibrată și o detaliere a dovezilor per modalitate la cerere. Sarcina stratului de fuziune este de a comprima multe observații ale senzorilor într-o singură urmă de încredere, păstrând în același timp traseul de audit care permite unui om să o verifice.

Realități operaționale

Trei realități de teren modelează orice implementare. În primul rând, modalitățile ajung rar la un singur nod — EO/IR pe un UAV, SAR pe o altă platformă, SIGINT de la un array terestru — astfel încât fuziunea este o problemă distribuită, iar latența rețelei dintre colectori domină adesea cronologia mai mult decât costul inferenței. În al doilea rând, cross-cueing-ul este la fel de valoros ca și detecția: o interceptare SIGINT poate dirija un senzor EO să se orienteze spre un azimut, o buclă închisă care este în sine o formă de fuziune care precede orice model comun. În al treilea rând, problema datelor de antrenament este acută — seturile de date cu patru INT, aliniate temporal și spațial și etichetate, sunt rare, motiv pentru care abandonul de modalitate, datele sintetice și pre-antrenamentul auto-supervizat pe date cu o singură modalitate neetichetate sunt calea practică spre un model care funcționează.

Pentru arhitectura mai largă în care se integrează un model multimodal — corelarea urmelor, fuziunea identității și imaginea operațională în sine — articolul companion despre arhitectura de fuziune multi-senzor acoperă pipeline-ul înconjurător în detaliu.