Multimodalna AI dla ISR: fuzja EO, IR, SAR i SIGINT

Żaden pojedynczy sensor ISR nie widzi całego pola walki. Kamera elektrooptyczna jest ślepa w nocy i bezużyteczna przez chmury. Sensor podczerwieni wykrywa ciepło, ale traci kontrast na tle nagrzanego przez słońce tła. Radar z syntetyczną aperturą przenika przez pogodę i ciemność, ale produkuje obrazy obarczone zakłóceniami, które są trudne do sklasyfikowania. Rozpoznanie sygnałowe lokalizuje emiter, który w ogóle nie ma wizualnego podpisu — i nic nie mówi o ciężarówce zaparkowanej obok. Multimodalna AI istnieje po to, aby te tryby awarii się znosiły, a nie nakładały: aby scalić EO, IR, SAR i SIGINT w pojedyncze geolokalizowane wykrycie, które przetrwa warunki, w których jakakolwiek pojedyncza modalność by zawiodła. Ten artykuł omawia inżynierię tej fuzji — wyrównanie czasowe i przestrzenne, architektury modeli wielomodalnych, obsługę pewności przy wypadaniu sensorów oraz dyscyplinę wymaganą do prezentacji scalonych wykryć operatorowi bez niszczenia jego zaufania.

Dlaczego w ogóle scalać: argument o komplementarności

Argument za wielomodalną fuzją nie polega na tym, że więcej danych jest zawsze lepsze — chodzi o to, że modalności są komplementarne dokładnie w wymiarach, które mają znaczenie operacyjne. EO i IR zapewniają wysoką rozdzielczość przestrzenną i obrazy interpretowalne przez człowieka, ale są blokowane przez pogodę i ograniczone przez oświetlenie. SAR zapewnia pokrycie w każdych warunkach pogodowych i porach doby oraz jest wyjątkowo dobry w wykrywaniu metalowych obiektów i zmian na gruncie, ale jego geometria i zakłócenia utrudniają szczegółową klasyfikację. SIGINT dostarcza wskazówek o tożsamości i zamiarach — czym jest emiter i czasem co robi — przy niedokładnej i niepewnej geolokalizacji. Informacji, której brakuje każdej modalności, dostarcza wygodnie inna.

System fuzji przekształca tę komplementarność w mierzalny zysk. Wykrycie zauważone w EO, potwierdzone w IR przez pasujący podpis termiczny, potwierdzone przez powrót SAR w tym samym miejscu na ziemi i powiązane z kierunkiem namiaru emitera SIGINT przechodzącym przez ten punkt to fundamentalnie inny produkt wywiadowczy niż każda z tych obserwacji z osobna. Niesie wyższą pewność, ściślejszą geolokalizację i — co krytyczne — hipotezę tożsamości, której żaden pojedynczy sensor nie mógłby postawić. To ta sama logika korelacji, która leży u podstaw tradycyjnej architektury fuzji wielu sensorów, ale podejście wielomodalne AI uczy się powiązań wielomodalnych z danych, zamiast kodować je jako ręcznie dostrojone reguły.

Wyrównanie: warunek wstępny, który inżynierowie fuzji niedoceniają

Zanim jakikolwiek model będzie mógł scalać modalności, modalności muszą opisywać tę samą rzeczywistość. Wyrównanie ma trzy osie, a niepowodzenie na którejkolwiek z nich produkuje scalone ścieżki, które dryfują, rozdzielają się lub halucynują.

Wyrównanie czasowe

Cztery modalności działają na zupełnie różnych zegarach. EO i IR strumieniują przy 30–60 Hz. SAR produkuje jeden obraz na przejazd — kadencja mierzona w sekundach do minut w zależności od platformy i trybu. SIGINT nadchodzi jako nieregularne zdarzenia przechwycenia za każdym razem, gdy emiter nadaje. Scalenie ramki EO w czasie t z przechwyceniem SIGINT z t − 4 s jak gdyby były jednoczesne, przypisuje emisję do miejsca, gdzie cel EO przebył tymczasem. Dyscyplina polega na oznaczaniu każdej próbki znacznikiem czasu po stronie sensora za pomocą zdyscyplinowanego zegara (GPS lub PTP), nigdy po stronie konsumenta, oraz na ponownym próbkowaniu każdego strumienia do wspólnego czasu odniesienia z użyciem interpolacji skompensowanej ruchem. Każda scalona obserwacja musi również zawierać prawdziwy wiek swoich wnoszących próbek, aby model mógł zmniejszać wagę nieaktualnych dowodów zamiast im ślepo ufać.

Wyrównanie przestrzenne

Każda modalność musi być wyrażona w jednej wspólnej geograficznej ramie, zanim powiązanie stanie się sensowne. Wykrycia EO/IR są georeferencjonowane przez rzucanie promienia z sensora przez piksel w płaszczyźnie obrazu i przecięcie go z modelem terenu (DTED). Obrazy SAR są geokodowane przez geometrię zasięg-Doppler. Kierunki namiarów SIGINT stają się elipsami geolokalizacji w tym samym układzie odniesienia. Wynikiem jest każda obserwacja wyrażona jako pozycja plus region niepewności w WGS84. Niepewność ma równie duże znaczenie jak pozycja: elipsa SIGINT może mierzyć kilometry, podczas gdy geolokalizacja EO to metry, a logika powiązań musi ważyć je odpowiednio zamiast traktować centroid jako prawdę absolutną.

Wyrównanie reprezentacyjne

Wreszcie modalności muszą być porównywalne dla modelu. Surowe piksele EO, promieniowanie IR, złożone powroty SAR i wektory cech SIGINT nie mają ze sobą nic wspólnego numerycznie. Każda modalność jest kodowana przez sieć szkieletową dostrojoną do jej statystyk do wektorów cech o wspólnym wymiarze osadzenia, tak aby warstwa uwagi poniżej mogła rozumować między nimi. Ten krok reprezentacyjny jest miejscem, gdzie multimodalna AI odchodzi od klasycznej fuzji: wspólne osadzenie jest uczone, a nie określone.

Architektury fuzji: wczesna, późna i pośrednia

Istnieją trzy strukturalne wybory co do tego, gdzie w potoku przetwarzania następuje fuzja, i ten wybór jest jedną najważniejszą decyzją architektoniczną.

Wczesna fuzja łączy surowe lub lekko przetworzone dane wejściowe — na przykład nakładając zarejestrowane pikselowo EO i IR w wielokanałowy tensor — i podaje wynik do jednego modelu. Jest najprostsza w implementacji i może wykorzystywać niskopoziomowe korelacje wielomodalne, ale jest krucha: zakłada niemal doskonałą rejestrację przestrzenną i zawodzi, gdy brakuje modalności lub jest ona źle zarejestrowana. Wczesna fuzja działa tylko wtedy, gdy modalności są naprawdę współrejestrowane i niezawodnie obecne, co w praktyce oznacza EO+IR z jednego gimbala, nie pełen zestaw czterech INT.

Późna fuzja uruchamia niezależny detektor dla każdej modalności i łączy ich wyniki na poziomie decyzji — regułami, aktualizacją bayesowską lub wyuczonym kombinatorem po wykryciach per-modalność. Jest naturalnie odporna na brakującą modalność (pozostałe po prostu kontynuują) i najłatwiej ją certyfikować, ponieważ każdy detektor jest niezależnie testowalny. Jej słabość polega na tym, że gdy następuje fuzja, każda modalność już odrzuciła niskopoziomowe wskazówki, z których partner mógłby skorzystać; słaby cel EO poniżej progu wykrycia przez pojedynczy sensor jest tracony, zanim powrót SAR, który by go potwierdził, w ogóle dostanie głos.

Pośrednia (na poziomie cech) fuzja koduje każdą modalność osobno, a następnie scala wyuczone cechy — zazwyczaj transformerem krzyżowej uwagi — przed wspólną głowicą detekcji. Wychwytuje wskazówki wielomodalne, które późna fuzja traci, zachowując przy tym dużą część odporności późnej fuzji, ponieważ kodery per-modalność nadal działają, gdy brakuje partnera. Dla ISR pośrednia fuzja jest produkcyjnym standardem. Warstwa krzyżowej uwagi pozwala cechom SAR skupiać uwagę na cechach EO i odwrotnie, tak że słaby sygnał w jednej modalności może być wzmocniony przez potwierdzającą strukturę w innej — dokładnie to podprogowe potwierdzenie, którego późna fuzja nie może osiągnąć.

Projektowanie modelu wielomodalnego

Praktyczny model pośredniej fuzji dla ISR ma cztery części. Po pierwsze, zestaw koderów per-modalność: vision transformer lub CNN dla EO/IR, koder specyficzny dla SAR tolerujący zakłócenia i nieptyczne statystyki obrazów radarowych, oraz koder sekwencji dla cech przechwycenia SIGINT (częstotliwość, modulacja, charakterystyki impulsów, namiar). Po drugie, projekcja mapująca wyjście każdego kodera do wspólnego wymiaru osadzenia. Po trzecie, blok fuzji z krzyżową uwagą, który skupia uwagę na tokenach modalności, bramkowany maską dostępności, aby nieobecne modalności nie wnosiły niczego zamiast zer, które model błędnie zinterpretowałby jako dowód. Po czwarte, wspólna głowica emitująca geolokalizowane wykrycia, hipotezy klas i scaloną pewność.

Dominującym ryzykiem projektowym jest koadaptacja: model trenowany na danych, gdzie wszystkie cztery modalności są zazwyczaj obecne, uczy się polegać na najbardziej informatywnej i degraduje się katastrofalnie, gdy ta modalność wypada w terenie. Środkiem zaradczym jest porzucanie modalności podczas treningu — losowe zerowanie całych modalności (z odpowiednio ustawionymi maskami dostępności), aby sieć była zmuszona do wyciągania wartości z każdego podzbioru. Model trenowany w ten sposób produkuje użyteczne wykrycie z samego EO, poprawia je gdy IR jest obecne i osiąga pełną pewność dopiero gdy SAR i SIGINT corroborują. Te same ograniczenia wdrożenia brzegowego, które dotyczą wizji jednomodalnej, mają tu zastosowanie; głowica wielomodalna jest cięższa, a techniki omówione w artykule wizja komputerowa dla dronów ISR — kwantyzacja, przycinanie i staranne budżetowanie opóźnień — przenoszą się bezpośrednio.

Pewność, niepewność i elegancka degradacja

Scalone wyniki pewności to najważniejszy wynik całego potoku, ponieważ to na nich faktycznie działają operator i wszelka automatyzacja poniżej. Surowe prawdopodobieństwo softmax z głowicy detekcji nie jest skalibrowaną pewnością — sieci neuronowe są notoryczne ze swojej nadmiernej pewności siebie — dlatego wynik musi być skalibrowany, skalowaniem temperatury lub wyuczonym kombinatorem, na danych wyłączonych, tak aby deklarowane 0,9 odpowiadało prawdziwej 90% niezawodności.

Sama kalibracja nie wystarczy. Scalone wyniki pewności muszą odzwierciedlać które modalności wniosły wkład i jak dobra była każda z nich w danej chwili. Wykrycie potwierdzone przez cztery modalności nie powinno nieść tej samej pewności co ten sam nominalny wynik wywodzący się jedynie z EO przez mglistą atmosferę. Potok waży więc wkład każdej modalności przez szacunek jakości per-modalność — oświetlenie i kontrast dla EO, kontrast termiczny dla IR, siłę powrotu i geometrię dla SAR, stosunek sygnału do szumu przechwycenia dla SIGINT — i propaguje to ważenie do scalonego wyniku. Gdy modalność całkowicie wypada, maska dostępności usuwa ją z uwagi i jej waga spada do zera; system kontynuuje na pozostałych modalnościach przy uczciwie obniżonej pewności zamiast zawodzić lub — co gorsza — cicho fabrykować.

Prezentacja scalonych wykryć operatorowi

Fuzja przynosi wartość tylko wtedy, gdy jej wynik dociera do operatora w formie, której ufa i na której może działać. Scalone wykrycia są powiązane w czasie w trwałe ścieżki ze stabilnymi identyfikatorami i publikowane do wspólnego obrazu operacyjnego, zazwyczaj jako zdarzenia Cursor on Target do serwera TAK, tak aby każdy podłączony klient widział ten sam poruszający się marker zamiast migotania niezależnych zdarzeń. Logika triaż decydująca o tym, które scalone ścieżki trafiają do uwagi operatora, podąża za tą samą dyscypliną priorytetyzacji opisaną w artykule ISR wspomagane przez AI: automatyczny triaż danych wywiadowczych — warstwa fuzji redukuje wolumen, ale ranking i filtrowanie nadal decydują, co analityk widzi jako pierwsze.

Decydującym wyborem projektowym jest proweniencja. Pojedynczy pewny marker bez wskazania, skąd pochodzi, zyska zaufanie aż do pierwszego błędu, po którym operatorzy ignorują system. Zrzucanie każdego wykrycia per sensor na mapę zalewa obraz i niweczy cel scalania. Właściwe zachowanie to jedna scalona ścieżka, która widocznie koduje, które modalności wniosły wkład (potwierdzenie EO+IR+SAR+SIGINT renderowane wyraźnie inaczej niż wskazówka tylko z EO), skalibrowaną pewność i możliwość przejścia do dowodów per-modalność na żądanie. Zadaniem warstwy fuzji jest sprowadzenie wielu obserwacji sensorów do jednej wiarygodnej ścieżki przy jednoczesnym zachowaniu ścieżki audytu, która pozwala człowiekowi ją zweryfikować.

Realia operacyjne

Trzy realia terenowe kształtują każde wdrożenie. Po pierwsze, modalności rzadko przybywają do jednego węzła — EO/IR na UAV, SAR na innej platformie, SIGINT z naziemnej baterii — więc fuzja jest problemem rozproszonym, a opóźnienie sieci między kolektorami często dominuje harmonogram bardziej niż koszt wnioskowania. Po drugie, wzajemne naprowadzanie jest równie cenne jak detekcja: przechwycenie SIGINT może nakierować sensor EO na obrót w kierunku namiaru, zamknięta pętla, która sama w sobie jest formą fuzji poprzedzającą każdy wspólny model. Po trzecie, problem danych treningowych jest poważny — oznakowane, wyrównane w czasie i przestrzeni zbiory danych czterech INT są rzadkie, dlatego porzucanie modalności, dane syntetyczne i samosuperwizowane pretraining na nieoznakowanych danych jednomodalnych są praktyczną ścieżką do modelu, który działa.

W związku z szerszą architekturą, do której podłącza się model wielomodalny — korelacją ścieżek, fuzją tożsamości i samym obrazem operacyjnym — artykuł towarzyszący o architekturze fuzji wielu sensorów szczegółowo omawia otaczający potok.