Arhitectura de fuziune multi-senzor: Combinarea radarului, EO/IR, AIS și SIGINT într-o singură imagine operațională

Fiecare senzor dintr-un inventar de apărare răspunde la o întrebare diferită despre aceeași realitate fizică. Radarul vede metalul — returnează raza și viteza precise, dar nu poate spune dacă contactul este ostil sau civil, militar sau comercial. Camerele electro-optice și infraroșii văd semnătura termică și forma — utile pentru clasificare, dar precizia lor de geolocalizare scade cu altitudinea și produc imagini la intervale de reviziuire, nu continuu. Transmisiunile AIS vă oferă identitate și pavilion explicit pentru țintele maritime cooperative, dar o navă poate opri transponderul, raporta o poziție falsă sau fi falsificată. Receptoarele SIGINT vă oferă identitatea și rulmentul emițătorului, dar adesea nu o poziție precisă fără triangulare din mai multe stații.

Niciunul dintre acești senzori, singur, nu oferă o imagine completă. Arhitectura de fuziune multi-senzor este disciplina inginerească care combină toate patru — și orice fluxuri suplimentare — într-o singură bază de date de urme mai precisă, mai completă și mai de încredere decât orice sursă individuală. Acest articol descrie cum să o construiți: modelul de date, algoritmii de corelație, mecanica de aliniere temporală și spațială și modelele arhitecturale care se scalează de la un COP la nivel de brigadă la un centru național de supraveghere maritimă.

Provocarea multi-INT: senzori diferiți, semantici incompatibili

Dificultatea fundamentală în fuziunea multi-senzor nu este computațională. Este semantică. Fiecare tip de senzor poartă un model diferit al realității, iar acele modele nu se mapează clar unul pe celălalt.

O urmă radar este un obiect cinematic: estimări ale poziției, vitezei și accelerației actualizate la rata de scanare a radarului, cu elipse de incertitudine asociate care reflectă zgomotul de măsurare. Radarul alocă un număr de urmă de sistem și menține acel număr între scanări prin corelație. Identitatea este o ieșire a clasificatorului — contact mare de suprafață, contact mic aerian, elicopter — nu o etichetă definitivă.

Un raport EO/IR este un eveniment de detectare: o casetă de delimitare într-un cadru de imagine, cu un scor de încredere pentru fiecare clasă din taxonomia senzorului. Geolocalizarea acelei casete de delimitare necesită cunoașterea poziției și atitudinii platformei senzorului, unghiul de pointare al senzorului și un model de teren — fiecare contribuind cu propria eroare. Rata de actualizare este limitată de latența de procesare, nu de fizică.

Un raport AIS este un mesaj auto-raportat: MMSI-ul navei, numele, tipul și poziția derivată din GPS la momentul raportului, transmis pe VHF. Este cooperativ, structurat și explicit — ceea ce îl face și trivial falsificabil. Un receptor AIS produce rapoarte câte unul pe navă pe perioadă; o navă le poate suprima, falsifica sau reda.

O colectare SIGINT produce linii de rulment — sau, cu mai mulți receptori, o fixare de poziție triangulată cu o elipsă de incertitudine caracteristică alungită de-a lungul liniei de bază. Identitatea emițătorului provine dintr-o comparație de bibliotecă față de parametrii cunoscuți ai emițătorului: frecvență, modulație, caracteristici de puls. Acea comparație produce o distribuție de probabilitate peste tipurile de emițătoare, nu o identificare definitivă.

Motorul de fuziune trebuie să acopere toate aceste modele semantice. Nu le poate reduce la un singur scor de încredere fără a distruge diferențele calitative care contează operațional. O urmă confirmată de SIGINT și AIS este calitativ diferită de o urmă confirmată de două baleiaje radar, chiar dacă valorile lor numerice de încredere sunt identice.

Unificarea modelului de date: schema canonică a urmei

Schema canonică a urmei este contractul dintre fiecare componentă a sistemului de fuziune. Definiți-o devreme, versionați-o doar adițional și rezistați tentației de a o face specifică senzorului.

O schemă minimală de clasă de producție pentru o urmă multi-senzor include următoarele câmpuri:

Câmpuri de identitate: un UUID al urmei alocat de sistem, o estimare de identitate compozită (distribuție de probabilitate peste tipurile de entități), o etichetă lizibilă uman și o mască de biți sursă care indică ce discipline de senzori au contribuit dovezi (bitul 0 = radar, bitul 1 = EO/IR, bitul 2 = AIS, bitul 3 = SIGINT, bitul 4 = HUMINT și așa mai departe).

Câmpuri cinematice: latitudine, longitudine și altitudine WGS84; viteză nord, est și verticală; accelerație; o matrice de covarianță a poziției 3×3 care captează incertitudinea în toate cele trei dimensiuni spațiale; și un identificator al modelului cinematic (viteză constantă, accelerație constantă, viraj coordonat).

Câmpuri de clasificare: mediu (aer, suprafață, subsuprafață, sol, spațiu), categorie (platformă militară, navă civilă, necunoscut), tip (clasa specifică de platformă dacă este rezolvată) și încredere pe nivel de clasificare.

Câmpuri de proveniență: o listă a UUID-urilor observațiilor contribuitoare, nivelul de clasificare și etichetele de difuzabilitate derivate din toate sursele contribuitoare și identificatorul sistemului de origine.

Câmpuri temporale: timpul de observare (când senzorul de bază a observat fenomenul), timpul raportului (când a fost generat raportul) și timpul de ingestie (când platforma de fuziune l-a primit). Toate trei sunt necesare; confundarea lor produce bug-uri subtile în fuziunea temporală.

Câmpuri de ciclu de viață: starea urmei (tentativă, confirmată, matură, în degradare, pierdută), timpul ultimei actualizări și scorul de încredere degradat de la ultima actualizare.

Această schemă este stocată în memorie pentru starea fierbinte, persistată în PostGIS pentru interogări geospațiale și publicată pe magistrala de mesagerie ca eveniment imuabil la fiecare actualizare. Consumatorii din aval — afișajul COP, stațiile de lucru ale analiștilor, motorul de analiză a tiparelor de viață — se abonează la fluxul de evenimente și mențin propriile vizualizări.

Corelația urmă-la-urmă: poartă, alocare și ambiguitate

Corelația urmă-la-urmă este nucleul dens din punct de vedere algoritmic al oricărui motor de fuziune. O observație care sosește trebuie alocată unei urme existente, utilizată pentru a crea o urmă nouă sau marcată ca zgomot. Problema alocării se scalează cu numărul de urme și observații pe ciclu de scanare.

Poartă cu distanța Mahalanobis. Primul pas este filtrarea grosieră. Pentru fiecare observație care sosește, calculați distanța Mahalanobis între poziția observației și poziția prezisă a fiecărei urme candidate. Distanța Mahalanobis normalizează prin matricea de covarianță comună a incertitudinii predicției și a incertitudinii măsurătorii — o urmă cu incertitudine mare de poziție are o poartă mai largă. Observațiile din afara porții nu sunt candidate pentru acea urmă. Aceasta reduce problema combinatorie de la N×M la un grafic rar de alocări fezabile.

Alocare prin algoritmul maghiar. Pentru scenarii neambigue — urme bine separate, densitate scăzută, senzor unic — algoritmul maghiar găsește alocarea unu-la-unu optimal globală între observații și urme în timp O(n³). Minimizează costul total de alocare, de obicei calculat ca suma ponderată a distanțelor Mahalanobis. Algoritmul maghiar este rapid, determinist și ușor de depanat. Este alegerea corectă pentru 80% din scenariile care nu sunt contestate.

JPDA pentru medii dense. În medii cu densitate mare — o strâmtoare maritimă aglomerată, un sector de spațiu aerian supraaglomerat — mai multe observații cad simultan în mai multe porți de urmă. Alocarea celui mai apropiat vecin și cea maghiară produc erori sistematice: două urme care se încrucișează își schimbă identitățile, sau un contact care se mișcă lent într-un cluster dens acumulează observații destinate vecinilor săi. Asocierea probabilistică comună a datelor (JPDA) rezolvă aceasta calculând probabilitatea că fiecare observație aparține fiecărei urme candidate, dată fiind probabilitatea comună completă în fereastra de poartă. Starea urmei este actualizată cu o combinație ponderată a tuturor observațiilor din poartă, ponderate prin probabilitățile lor de asociere. JPDA este mai costisitoare, dar produce o continuitate a urmei măsurabil mai bună prin ocluzii și evenimente de încrucișare.

Urmărire cu ipoteze multiple. MHT amână deciziile ferme de alocare menținând mai multe ipoteze de urmă în paralel — urma A este continuarea observației 1, sau urma A este un nou contact și observația 1 aparține urmei B. Ipotezele sunt punctate și eliminate pe măsură ce sosesc noi observații; arborele de ipoteze se prăbușește la o alocare de mare încredere odată ce ambiguitatea se rezolvă. MHT produce cele mai bune rezultate în condiții adversariale, dar necesită gestionarea disciplinată a ipotezelor pentru a preveni creșterea exponențială a arborelui. Eliminarea la N scanări — eliminarea ipotezelor mai vechi de N scanări — este abordarea standard.

În practică, motoarele de fuziune de producție folosesc un hibrid: corelarea bazată pe reguli a celui mai apropiat vecin pentru urmele bine separate cu încredere mare; JPDA pentru subsetul contestat; și MHT pentru scenariile în care sistemul a fost configurat special pentru a gestiona ambiguitatea de înaltă consecință (de exemplu, urmărirea mai multor contacte într-un punct de blocaj).

Ponderarea calității senzorilor: notarea dinamică a credibilității

Nu toate rapoartele senzorilor merită o pondere egală în actualizarea fuziunii. Un radar care funcționează la limita razei sale de detectare în condiții de cluttering marin puternic are o incertitudine de măsurare mai mare decât același radar în condiții ideale. Un senzor EO/IR care raportează printr-o acoperire subțire de nori are o precizie de geolocalizare degradată. Un raport AIS de la o navă marcată pentru discrepanțe istorice între pozițiile raportate și cele observate de radar ar trebui să aibă o pondere de poziție redusă.

Notarea dinamică a credibilității alocă o pondere fiecărui raport la ingestie pe baza a trei factori:

Starea de sănătate a senzorului. Fiecare interfață de senzor din platforma de fuziune publică un mesaj de stare alături de datele sale. Câmpurile de stare includ raportul semnal-zgomot, starea de calibrare, rezultatul BIT (testului încorporat) și timpul de funcționare de la ultima întreținere. Rapoartele de la senzori în stări de sănătate degradate primesc o pondere redusă. Un senzor în stare de DEFECȚIUNE este exclus din actualizări, dar poate contribui în continuare la crearea de urme tentative dacă nu este disponibilă nicio altă sursă.

Condiții de mediu. Platforma de fuziune ingerează date meteorologice și de mediu — starea mării, precipitații, indice de ducting atmosferic, ora din zi (relevant pentru contrastul EO/IR) — și aplică modele de performanță specifice senzorilor pentru a estima precizia curentă a măsurătorii. Aceste modele sunt derivate din datele producătorului de senzori și validate față de rulările de calibrare operaționale. Estimarea preciziei alimentează direct covarianța zgomotului de măsurare utilizată în pasul de actualizare al filtrului Kalman.

Precizia istorică. Pentru fiecare senzor, platforma urmărește distribuția reziduurilor — diferențele dintre pozițiile prezise și cele observate pentru urmele bine stabilite — pe o fereastră rulantă. Un senzor cu reziduuri constant mari are covarianța umflată; un senzor care urmărește mai strâns decât specificațiile sale publicate are covarianța redusă. Acest mecanism de auto-calibrare detectează deriva senzorilor și erorile de calibrare pe care telemetria de stare nu le raportează direct.

Fuziunea temporală: alinierea senzorilor care nu sunt de acord cu privire la timp

Platformele de fuziune multi-senzor procesează date din surse cu caracteristici temporale fundamental diferite. Un radar se poate actualiza la 4 Hz, un senzor EO/IR la 1 Hz, AIS la un raport pe navă la 10 secunde și SIGINT la intervale neregulate determinate de activitatea emițătorului. Fuzionarea naivă a acestora — tratarea fiecărui raport ca și contemporan — introduce erori sistematice proporționale cu viteza platformei și diferența de latență.

Modelul corect este propagarea la un timp de referință comun. Pentru fiecare observație care sosește, motorul de fuziune propagă starea existentă a urmei înainte (sau înapoi) de la ultima sa actualizare la momentul observației folosind modelul cinematic al urmei. Pasul de predicție al filtrului Kalman calculează poziția așteptată și incertitudinea sa la momentul țintă; pasul de actualizare a măsurătorilor corectează apoi această predicție cu noua observație.

Măsurătorile în afara secvenței — observații care sosesc după ce o observație mai recentă dintr-un alt senzor a actualizat deja urma — necesită netezire retro sau un algoritm OOSM dedicat (măsurătoare în afara secvenței). Abordarea practică pentru întârzieri moderate în afara ordinii (mai puțin de un ciclu de scanare) este aplicarea observației întârziate ca măsurătoare virtuală la momentul corect și repropagarea înainte. Pentru întârzieri mai mari, observația este fie eliminată, fie stocată și aplicată în timpul următorului pas de netezire în lot.

Gestionarea datelor vechi este la fel de importantă. O urmă care nu a primit o observație de confirmare de la niciun senzor într-o fereastră configurabilă începe degradarea încrederii: elipsa de incertitudine crește cu fiecare pas de predicție fără actualizare, iar scorul de încredere al urmei scade. Sistemul de afișare arată urmele în degradare cu îmbătrânire vizuală — opacitate redusă, bordura simbol punctată, indicator de timp scurs. Urmele a căror încredere scade sub pragul de ștergere sunt arhivate în magazinul de evenimente în loc să fie șterse; pot fi reînviate dacă o nouă observație cade în poarta lor (acum mare).

Înregistrarea spațială: alinierea senzorilor care nu sunt de acord cu privire la spațiu

Fiecare senzor raportează poziții în propriul cadru de coordonate cu propriile deviații sistematice. Un radar montat pe navă raportează relativ la poziția sa derivată din GPS plus propriile erori de pointare și decalaje de braț de pârghie. Un senzor EO/IR montat pe UAV raportează relativ la poziția și atitudinea derivate din INS ale platformei, cu erori de geolocalizare care se cumulează pe mai multe transformări geometrice. Un transponder AIS folosește GPS și este în general bine calibrat, dar are cuantizare din codificarea NMEA.

Înregistrarea spațială corectează aceste decalaje sistematice înainte de fuziune. Abordarea standard este compararea, pe o perioadă de antrenament, a pozițiilor obiectelor observate simultan de mai mulți senzori și estimarea deviației per senzor folosind minimizarea celor mai mici pătrate. Țintele de referință de clasă geodezică — balize la poziții cunoscute, puncte de control la sol — furnizează adevărul pentru calibrare; coerența inter-senzor pe urmele bine stabilite furnizează auto-calibrarea continuă în operațiuni.

Erorile de înregistrare se deghizează în scindarea urmelor. Dacă senzorul A are o deviație nordică de 50 de metri și senzorul B nu are, observațiile aceleiași nave produc două urme adiacente. Operatorii recunosc aceasta ca patologie cunoscută și fuzionează manual urmele, ceea ce este costisitor operațional și predispus la erori. Înregistrarea spațială automată care rulează continuu și actualizează estimările de deviație reduce scindările false fără intervenția operatorului.

Normalizarea sistemului de coordonate este o problemă conexă. Schema canonică a urmei stochează pozițiile în grade zecimale WGS84; fiecare adaptor convertește din formatul său nativ la ingestie. Referințele MGRS, UTM și grilele naționale trebuie convertite consistent — rotunjirea trebuie aplicată într-un singur punct (ieșirea adaptorului), nu dispersată pe lanțuri de transformare unde eroarea acumulată poate ajunge la zeci de metri.

Fuziunea identității: combinarea SIGINT, AIS, secțiunii transversale radar și formei EO

Fuziunea cinematică — obținerea unei estimări bune a poziției — este fundația necesară. Fuziunea identității — determinarea ce este contactul — este ceea ce dă COP-ului valoare operațională.

Fiecare tip de senzor contribuie cu o felie diferită de dovezi de identitate:

Secțiunea transversală radar (RCS) constrânge dimensiunea fizică și compoziția materială a țintei. Un contact RCS mare într-un sector de spațiu aerian este consistent cu un avion de transport cu fuselaj lat sau o navă de război mare, nu cu un avion ușor sau o barcă mică. RCS este un discriminator grosier — efectele atmosferice și variația unghiului de aspect introduc zgomot semnificativ — dar elimină ieftin fracțiuni mari din spațiul de ipoteze.

Clasificarea formei EO/IR restrânge identitatea în continuare. Un clasificator convoluțional care rulează față de detecția EO/IR produce distribuții de probabilitate peste clasele de vehicule: camion militar, tanc, elicopter, navă de suprafață, mașină civilă. La altitudine, rezoluția limitează calitatea clasificării; de aproape, poate distinge modele specifice de vehicule. Motorul de fuziune combină ieșirea clasificării formei cu spațiul de ipoteze constrâns de RCS folosind combinarea Dempster-Shafer sau o actualizare bayesiană.

AIS MMSI furnizează identitate explicită, structurată pentru navele cooperative. MMSI se rezolvă la o înregistrare de navă în baza de date ITU: nume, tip, pavilion, tonaj brut, indicativ de apel și proprietar înregistrat. Aceasta este identitatea definitivă pentru țintele cooperative; motorul de fuziune ridică identitatea compozită la CUNOSCUT cu mare încredere când corelația AIS reușește. Înregistrarea urmei compozite leagă MMSI și înregistrarea navei ca proveniență.

Identitatea emițătorului SIGINT potrivește parametrii observați ai emițătorului — frecvență, interval de repetare a pulsului, modulație — față de biblioteca de ordine electronică de luptă (EOB) pentru a identifica tipul emițătorului și, unde EOB suportă, platforma specifică. Un tip de emisie radar asociat unic cu o clasă specifică de nave de război restrânge identitatea la acea clasă. Combinat cu AIS (care furnizează numele și MMSI pentru aceeași navă dacă emite), motorul de fuziune poate produce o identitate de navă specifică cu mare încredere.

Ieșirea fuziunii identității este o listă clasificată de ipoteze de identitate cu probabilități, nu o clasificare unică forțată. COP-ul afișează ipoteza cu cea mai mare încredere cu scorul de probabilitate; analistul poate extinde lista de ipoteze pentru urmele ambigue. Acest design împiedică interfața utilizator să comunice falsă certitudine — o cerință critică în mediile operaționale cu consecințe ridicate.

Modele arhitecturale: fuziune centralizată vs. federată

Alegerea dintre topologia de fuziune centralizată și federată are implicații pentru supraviețuire, latență, lățimea de bandă a rețelei și conceptul operațional.

Server de fuziune centralizat. Toți adaptatorii de senzori trimit observații brute la un singur server de fuziune. Serverul menține baza de date completă de urme și efectuează toate corelațiile și gestionarea urmelor. Această arhitectură este simplă de înțeles: există o bază de date de urme, un motor de corelație și o singură sursă de adevăr pentru COP. Asocieri optimal globale sunt posibile deoarece motorul vede toate observațiile simultan. Modul de eșec este evident: serverul de fuziune este un singur punct de eșec, iar o partiție de rețea între senzori și server degradează COP-ul la ceea ce serverul știa ultima dată. Arhitecturile centralizate sunt adecvate pentru instalații cu loc fix cu infrastructură de rețea fiabilă — centre naționale de informații, centre de patrulare maritimă.

Noduri de fuziune federate. Senzorii sunt grupați în clustere, fiecare deservit de un nod local de fuziune. Fiecare nod produce urme din senzorii clusterului său. Un nod de nivel superior ingerează urme (nu observații brute) de la toate nodurile locale și efectuează corelația între noduri — potrivind urmele care reprezintă aceeași entitate, dar care provin din clustere diferite de senzori. Arhitecturile federate tolerează mai bine partițiile de rețea: fiecare nod local continuă să funcționeze cu senzorii locali; nodul de nivel superior se resincronizează când conectivitatea se restabilește. Acestea sunt soluția naturală pentru formațiunile militare desfășurate, unde radarele și sistemele EO/IR sunt distribuite pe un câmp de luptă și rețeaua este contestată.

Modelul JDL se mapează natural pe această arhitectură. Nodurile locale de fuziune implementează Nivelul 1 JDL (rafinarea obiectelor) din datele clusterului de senzori. Nodul de nivel superior implementează Nivelul 1 între noduri (fuziunea urmă-la-urmă a ieșirilor nodurilor) și Nivelul 2 (evaluarea situației — detectarea convoaielor, recunoașterea formațiunilor, cuplarea amenințare-țintă) din imaginea unificată de urme. Nivelul 3 (evaluarea impactului) rulează de obicei pe o stație de lucru a analistului sau pe un server de evaluare separat care interoghează ieșirea Nivelului 2.

În oricare topologie, magistrala de mesagerie — Kafka, Pulsar sau NATS JetStream — transportă toată comunicarea inter-componente. Adaptatorii de senzori publică observații pe subiecte de intrare; nodurile de fuziune se abonează și publică ieșirile pe subiecte de ieșire; COP-ul se abonează la subiectul final de urmă fuzionată. Magistrala decuplează producătorii de consumatori, tamponează exploziile și furnizează capacitatea de redare necesară pentru revizuirea după acțiune și testarea algoritmilor. Pentru analiza detaliată a compromisurilor dintre substraturile de mesagerie, consultați Cozi de mesaje pentru conductele de date de apărare.

Lecturi conexe

Arhitectura de fuziune multi-senzor este un strat într-un stack mai mare de informații de apărare. Articolele de mai jos tratează componentele conexe în profunzime.

Fundamente ale fuziunii: Ghid complet pentru fuziunea datelor de apărare, Fuziunea datelor militare explicată, Modelul de fuziune a datelor JDL, Algoritmi de corelație a urmelor.

Integrare specifică senzorului: Integrarea AIS și ADS-B într-o imagine militară, Construirea unui pipeline de fuziune pentru apărare: surse și scheme.

Ingineria datelor: Cozi de mesaje pentru conductele de date de apărare, Event Sourcing pentru jurnalele de audit de apărare, PostGIS pentru datele geospațiale de apărare, Indexare geospațială pentru apărare.

Integrare COP și C2: Imaginea Operațională Comună: Cum este construită, Ghid complet pentru sistemele C2.