Klasyfikacja obrazowania termicznego na brzegu sieci: przetwarzanie czujników IR w zastosowaniach obronnych

Termiczne obrazowanie podczerwone daje operatorom to, czego nie mogą zapewnić kamery w paśmie widzialnym: stałą zdolność detekcji w ciemności, dymie, kurzu i przy lekkim maskowaniu. Silnik pojazdu rozgrzany po niedawnej pracy świeci na tle zimnego pola o godzinie 3 w nocy. Żołnierz pieszy przekraczający otwarte tereny emituje wyraźną sylwetkę z odległości 2 km w warunkach, które ślepią każdą kamerę EO. Fizyka emisji termicznej jest z natury dyskryminująca -- cele, które wytwarzają lub zatrzymują ciepło, wyróżniają się na tle otoczenia w sposób, którego żadne maskowanie optyczne nie może w pełni stłumić. Wdrożenie modelu klasyfikacyjnego do przetwarzania tych obrazów na brzegu sieci, na platformie czujnika, a nie na zdalnym serwerze, to właśnie to, co zamienia kamerę termiczną w autonomiczną warstwę detekcji. Niniejszy artykuł omawia fizykę czujników, wymagania dotyczące przetwarzania wstępnego, adaptacje CNN dla jednokanałowego wejścia termicznego, specyficzne wyzwania detekcji małych celów, fuzję wielosensorową, ograniczenia kwantyzacji oraz ramy ewaluacji stosowane do walidacji wojskowego AI termicznego.

Fizyka czujników termicznych i dlaczego IR różni się od obrazowania w paśmie widzialnym

Termiczne kamery podczerwone nie rejestrują odbitego światła otoczenia. Mierzą długofalowe promieniowanie podczerwone (LWIR, 8–14 µm) lub średniofalowe promieniowanie podczerwone (MWIR, 3–5 µm), które obiekty emitują w zależności od temperatury powierzchni i emisyjności. Prawo Stefana-Boltzmanna rządzi całkowitą wypromieniowaną mocą, jednak w praktyce istotną wielkością dla detekcji celów jest różnicowa luminancja między celem a lokalnym tłem -- pozorny kontrast temperaturowy. Ludzkie ciało w temperaturze 37°C nieprzerwanie emituje ok. 100 W mocy podczerwonej. Przedział silnikowy czołgu po 30 minutach pracy może utrzymywać kontrast 20–40 K powyżej temperatury otoczenia. Sygnatury termiczne istnieją niezależnie od warunków oświetlenia, co czyni czujniki LWIR i MWIR podstawową pasywną modalnością detekcji dla wojskowego ISR w nocy.

Jednokanałowy charakter obrazowania termicznego jest najważniejszą różnicą w stosunku do wejścia w paśmie widzialnym dla projektu potoku AI. Kamera RGB generuje trzy skorelowane kanały kodujące kolor, a zdecydowana większość wstępnie wytrenowanych wag CNN -- ResNet, MobileNet, EfficientNet i ich pochodne -- była trenowana na trzykanałowych danych ImageNet. Bezpośrednie zastosowanie tych modeli do jednokanałowej klatki termicznej przez potraktowanie jej jako jednej z trzech identycznych płaszczyzn wejściowych daje wyniki niższe od optymalnych: filtry wyuczone przez pierwszą warstwę konwolucyjną są zaprojektowane do ekstrakcji krawędzi kolorów i gradientów chromatycznych, które nie mają znaczenia w danych termicznych. Model musi być zaadaptowany lub ponownie wytrenowany, aby ekstraować istotne cechy w obrazowaniu termicznym, którymi są przede wszystkim gradienty kontrastu termicznego, granice emisyjności między materiałami oraz zmiany luminancji w czasie spowodowane ruchem lub wymianą ciepła.

Nieochłodzone detektory mikrobolometryczne, stosowane w większości taktycznych i lotniczych czujników termicznych na brzegu sieci, działają w temperaturze otoczenia i mierzą zmianę rezystancji elektrycznej każdego elementu pikselowego podczas pochłaniania promieniowania podczerwonego. Są znacznie mniej czułe niż chłodzone macierze detektorów fotonowych (InSb lub HgCdTe), z wartościami ekwiwalentu szumowej różnicy temperatur (NETD) wynoszącymi 30–80 mK w porównaniu z 5–20 mK dla chłodzonych czujników, jednak ich niskie zużycie energii (poniżej 2 W samego detektora), brak kriogenicznego układu chłodzenia i koszt modułu poniżej 3 000 USD czynią je dominującą platformą dla wdrożeń AI na brzegu sieci na BSP i pojazdach naziemnych. Niższe NETD bezpośrednio wyznacza minimalny wykrywalny kontrast temperaturowy, który z kolei wyznacza maksymalny zasięg wykrywania dla danego typu celu i warunków atmosferycznych.

Przetwarzanie wstępne: korekcja niejednorodności, zastępowanie złych pikseli i wzmocnienie kontrastu

Surowego wyjścia mikrobolometru nie można bezpośrednio podawać do modelu klasyfikacyjnego. Trzy etapy przetwarzania wstępnego są obowiązkowe dla zapewnienia spójnej wydajności modelu: korekcja niejednorodności (NUC), zastępowanie złych pikseli (BPR) i adaptacyjne wzmocnienie kontrastu. Każdy etap kompensuje inną kategorię artefaktów czujnika.

Korekcja niejednorodności eliminuje szum o stałym wzorcu nieodłącznie związany z wszelkimi matrycami ogniskowymi. Każdy piksel w FPA ma nieco inne charakterystyki wzmocnienia i przesunięcia ze względu na zmienność produkcyjną, a te charakterystyki zmieniają się powoli wraz z temperaturą detektora. Bez NUC surowy obraz zawiera przestrzennie ustrukturyzowany wzorzec szumu -- często opisywany jako artefakt "wafla" lub "kratki" -- który jest na tyle stabilny, że może być częściowo wyuczony przez model klasyfikacyjny jako fałszywa cecha, podwyższając wskaźniki fałszywych alarmów dla obiektów, których zarys zdarza się pokrywać ze wzorcem artefaktu NUC. Standardowa procedura kalibracji fabrycznej stosuje dwupunktową NUC poprzez obrazowanie dwóch jednorodnych termicznie źródeł ciała doskonale czarnego i obliczanie współczynników korekcji wzmocnienia i przesunięcia dla każdego piksela. W warunkach polowych NUC oparta na scenie uzupełnia kalibrację fabryczną: gdy czujnik obraca się w panoramie lub scena zawiera duże jednorodne obszary, gromadzone jest bieżące oszacowanie przesunięcia pola płaskiego i odejmowane od kolejnych klatek, korygując dryft termiczny rozwijający się w ciągu kilkudziesięciu minut pracy.

Zastępowanie złych pikseli obsługuje elementy detektora reagujące nieprawidłowo -- permanentnie zablokowane na stałej wartości, nadmiernie zaszumione lub niereagujące na zmiany temperatury. Producent dostarcza mapę złych pikseli z każdym modułem czujnika. Przed jakimkolwiek innym przetwarzaniem wartości złych pikseli są zastępowane za pomocą interpolacji dwuliniowej z bezpośrednich sąsiadów. Dla typowej nieochłodzonej FPA 640x512 liczba złych pikseli wynosząca 0,1–0,5% (320–1 600 pikseli) mieści się w specyfikacji i nie pogarsza istotnie wydajności detekcji po BPR. Wzmocnienie kontrastu przy użyciu adaptacyjnego wyrównania histogramu z ograniczeniem kontrastu (CLAHE) jest ostatnim krokiem przetwarzania wstępnego: zwiększa lokalny kontrast w przestrzennie ograniczonych obszarach kafelkowych (zazwyczaj kafelki 8x8 pikseli) bez globalnego wzmacniania szumu, czyniąc subtelne gradienty termiczne na granicach celów widocznymi zarówno dla operatorów ludzkich, jak i konwolucyjnych ekstraktorów cech.

Architektury CNN do klasyfikacji termicznej: adaptacje jednokanałowe

Adaptacja wstępnie wytrenowanej CNN dla jednokanałowego wejścia termicznego jest dobrze zbadanym problemem z trzema ugruntowanymi podejściami, z których każde charakteryzuje się innym kompromisem między dokładnością a kosztem trenowania. Najprostsze podejście powiela pojedynczy kanał termiczny na trzy identyczne płaszczyzny, umożliwiając użycie wstępnie wytrenowanego modelu bez żadnej modyfikacji architektury. Działa to umiarkowanie dobrze w zadaniach klasyfikacji gruboziarnistej, ale słabo gdy istotne są cechy tekstury specyficzne dla termiki, ponieważ filtry pierwszej warstwy są ograniczone do ekstrakcji redundantnych reprezentacji z trzech identycznych płaszczyzn, zamiast specjalizować się w kontraście termicznym.

Drugie i ogólnie preferowane podejście zastępuje pierwszą warstwę konwolucyjną nową warstwą jednokanałową, zachowując wszystkie kolejne wstępnie wytrenowane wagi. Nowa pierwsza warstwa jest inicjowana ze średniej wag trzech wstępnie wytrenowanych kanałów wejściowych, co zapewnia sensowny aprior dla odpowiedzi filtru pierwszej warstwy i znacznie zmniejsza ilość danych treningowych z dziedziny termicznej potrzebnych do dostrojenia do akceptowalnej dokładności. Eksperymenty na wojskowych zbiorach danych termicznych konsekwentnie wykazują poprawę dokładności o 2–5% w porównaniu z podejściem polegającym na powielaniu kanałów podczas dostrajania na tym samym zbiorze danych. Trzecie podejście trenuje całkowicie od podstaw na zbiorze danych specyficznym dla termiki, co osiąga najwyższą dokładność specyficzną dla dziedziny, ale wymaga znacznie większej ilości oznaczonych danych termicznych (zazwyczaj 50 000 lub więcej oznaczonych przykładów we wszystkich klasach celów), aby uniknąć niedopasowania. W przypadku wojskowej klasyfikacji termicznej, gdzie oznaczone dane są kosztowne w pozyskaniu i często objęte kontrolą eksportu, transfer learning przy użyciu drugiego podejścia jest praktycznym standardem.

Skala architektury ma istotne znaczenie dla wdrożenia na brzegu sieci. Pełna sieć ResNet-50 zaadaptowana dla wejścia termicznego osiąga wysoką dokładność klasyfikacji, ale wymaga 25 MB wag modelu i 4 GFLOPS na jedno przejście wnioskowania przy rozdzielczości 640x512 -- niewykonalne dla potoku czasu rzeczywistego 30 Hz na Jetson Orin Nano przy mocy poniżej 15 W. MobileNetV3-Small zaadaptowany dla jednokanałowego wejścia redukuje to do 2,5 MB i 56 MFLOPS, mieszcząc się wygodnie w budżecie obliczeniowym przy zachowaniu konkurencyjnej dokładności w standardowych testach klasyfikacji termicznej. Te same ograniczenia architektoniczne rządzące automatycznym rozpoznawaniem celów na brzegu sieci obowiązują tutaj: dobór modelu jest wspólną optymalizacją dokładności, latencji, zużycia pamięci i poboru mocy, a nie samej dokładności.

Detekcja małych celów w obrazowaniu termicznym: wyzwania środowiska niskiego SNR

Gdy osoba lub pojazd są obserwowane z dużej odległości -- powyżej 2 km dla typowego nieochłodzonego czujnika o średniej ogniskowej -- cel zajmuje zaledwie 2–8 pikseli w FPA. W tej skali standardowe frameworki detekcji obiektów opierające się na przestrzennych hierarchiach cech (detektory z rodziny YOLO, Faster R-CNN) przestają działać niezawodnie. Pole recepcyjne głębszych warstw konwolucyjnych obejmuje setki pikseli; 4-pikselowy cel wnosi prawie żaden sygnał dyskryminacyjny do tych warstw. Skuteczna detekcja małych celów wymaga zupełnie innej strategii, działającej na poziomie pikseli i łatek przed jakimkolwiek przestrzennym podpróbkowaniem.

Dominującym podejściem do detekcji małych celów w obrazowaniu LWIR jest potok infrared search-and-track (IRST), który łączy tłumienie tła z akumulacją czasową. Tłumienie tła używa morfologicznej transformaty kapeluszowej z elementem strukturyzującym nieznacznie większym niż oczekiwany odcisk celu, aby odjąć rozszerzoną strukturę tła, zachowując jednocześnie cele punktowe lub o małym odcisku. Reszta po odejmowaniu tła zawiera plamy kandydujących celów przy stosunkach sygnał-do-zakłóceń tak niskich jak 1,5 dB, poniżej którego wiarygodna detekcja jednoklatkowa jest fizycznie niemożliwa przy danym NETD czujnika. Akumulacja czasowa -- integracja dowodów przez 5–20 klatek wzdłuż przewidywanej trajektorii -- rozszerza efektywny próg detekcji poprzez wykorzystanie spójności ruchu celu, umożliwiając wykrycie celów niewidocznych w żadnej pojedynczej klatce. Frameworki track-before-detect formalizują tę akumulację: utrzymują zestaw hipotez kandydujących śladów i oceniają każdą hipotezę w stosunku do przychodzących danych klatki bez deklarowania detekcji jednoklatkowej, zobowiązując się do potwierdzonego śladu dopiero gdy zgromadzone dowody przekroczą próg.

Fuzja wykryć termicznych z danymi śledzenia EO i radarowego

Żadna pojedyncza modalność czujnika nie jest wystarczająca do niezawodnej klasyfikacji i śledzenia we wszystkich warunkach operacyjnych. Czujniki termiczne ulegają degradacji w deszczu i gęstej mgle (para wodna efektywnie pochłania LWIR), tracą kontrast celu gdy temperatury tła i celu wyrównują się (termiczne przesilenie w południe) i nie mogą rozwiązać szczegółowych cech wizualnych umożliwiających identyfikację typu platformy. Czujniki EO w paśmie widzialnym zawodzą w nocy i w dymie. Radar zapewnia dalekozasięgową detekcję i pomiar prędkości, ale brakuje mu rozdzielczości przestrzennej do klasyfikacji typu celu w istotnych taktycznych zasięgach bez dodatkowych danych referencyjnych. Fuzja wielosensorowa na poziomie śladu łączy komplementarne mocne strony każdej modalności w bardziej niezawodny i informacyjny ślad niż ten, który może zapewnić jakikolwiek pojedynczy czujnik.

Fuzja na poziomie śladu, a nie fuzja obrazów na poziomie pikseli, jest architekturą stosowaną we wdrożonych wojskowych systemach ISR, ponieważ jest obliczeniowo wykonalna na sprzęcie brzegowym i odporna na luki w dostępności czujników. Każdy czujnik generuje niezależny strumień wykryć konwertowany do wspólnej reprezentacji śladu: wektor stanu (pozycja, prędkość, kurs), macierz kowariancji kodująca niepewność estymacji, etykieta klasy z pewnością i znacznik typu czujnika. Wielosensorowa brama asocjacyjna dopasowuje nowe wykrycia z każdego czujnika do istniejących śladów za pomocą odległości Mahalanobisa, wykluczając wykrycia statystycznie niespójne z jakimkolwiek istniejącym stanem śladu. Gdy wykrycie termiczne i wykrycie EO są skojarzone z tym samym śladem w tym samym oknie czasowym, fuzja stanu stosuje kombinację ważoną kowariancją: czujnik o mniejszej niepewności pozycji wnosi proporcjonalnie więcej do fused estimate. Fuzja etykiet klas stosuje kombinację naiwnego Bayesa prawdopodobieństw klas dla poszczególnych czujników, warunkową na niezależności między modalnościami czujników -- założenie, które w praktyce działa dostatecznie dobrze, gdy czujniki różnią się fizyczną zasadą pomiaru. Wyniki są szczegółowo opisane w naszym opracowaniu na temat fuzji multimodalnej AI dla strumieni czujników ISR.

Radar wnosi największy wkład do architektury fuzji poprzez precyzję pomiaru prędkości: radary zdolne do pomiaru Dopplera mogą rozwiązać radialną prędkość celu z dokładnością do 0,1 m/s, co jest znacznie ściślejsze niż oszacowanie prędkości wywodzone z przemieszczenia śladu termicznego między klatkami. Ten aprior prędkości znacznie poprawia asocjację śladów podczas okresów okluzji, gdy ani czujnik termiczny, ani EO nie mają prawidłowego wykrycia, umożliwiając trackerowi przewidzenie następnej lokalizacji wykrycia na podstawie prędkości z radaru. Na platformach, gdzie radar nie jest dostępny, predykcja śladu wspomagana IMU z użyciem kompensacji ruchu platformy z inercyjnego systemu nawigacyjnego nośnika częściowo zastępuje zewnętrzny pomiar prędkości, gdy kinematyka celu jest względnie przewidywalna.

Wdrożenie na brzegu sieci: ograniczenia kwantyzacji dla modeli termicznych

Wdrożenie modelu klasyfikacji termicznej na ładunku BSP lub pokładowej płycie obliczeniowej montowanej w pojeździe narzuca twarde ograniczenia dotyczące rozmiaru modelu, latencji wnioskowania i zużycia energii, które nie mają zastosowania w środowiskach chmurowych lub serwerowych. Standardową ścieżką wdrożenia jest kwantyzacja po-treningowa INT8, a następnie kompilacja do sprzętowo zoptymalizowanego środowiska uruchomieniowego wnioskowania, takiego jak TensorRT (dla NVIDIA Jetson), ARMNN (dla procesorów klasy Cortex-A) lub TFLite z XNNPACK (dla ogólnego sprzętu ARM). Kwantyzacja INT8 zastępuje 32-bitowe liczby zmiennoprzecinkowe wagi i aktywacje 8-bitowymi liczbami całkowitymi, redukując rozmiar modelu 4-krotnie i czas wnioskowania 2–4-krotnie na sprzęcie z obsługą akceleratora INT8, z typową karą za dokładność wynoszącą 1–3%.

Modele termiczne są nieco bardziej tolerancyjne na kwantyzację niż modele RGB, ponieważ wejściowy zakres dynamiczny jest węższy: po przetwarzaniu wstępnym klatka termiczna zajmuje stosunkowo jednorodny zakres wartości pikseli bez ekstremalnych wartości odstających, jakie mogą wykazywać obrazy RGB (bezpośrednie refleksy zwierciadlane, nasycone podświetlenia). Ten węższy rozkład wejściowy oznacza, że współczynniki skali kwantyzacji obliczane podczas kalibracji są dokładniejsze, a strata dokładności z kwantyzacji INT8 dla klasyfikacji termicznej często mieści się w dolnym zakresie typowego przedziału. W przypadku modeli korzystających z mechanizmów uwagi -- takich jak małe warianty Vision Transformer -- kwantyzacja INT8 bardziej poważnie degraduje operacje softmax i normalizacji niż sploty, wymagając kwantyzacji mieszanej precyzji (INT8 dla splotów, FP16 dla warstw uwagi), aby zachować dokładność w granicach 2% wartości bazowej pełnej precyzji. Ten sam przepływ pracy kwantyzacji stosowany dla ładunków BSP ISR z kamerą EO ma zastosowanie do ładunków termicznych z etapem przetwarzania wstępnego zaadaptowanym dla jednokanałowego wyjścia NUC.

Przepustowość pamięci jest często niedocenianym wąskim gardłem przy wdrożeniu termicznym na brzegu sieci. Klatka termiczna 640x512 przy głębokości 16-bitowej zajmuje 655 KB na klatkę. Przy 30 Hz surowa szybkość transmisji danych wynosi ok. 20 MB/s. Na Jetson Orin Nano z architekturą pamięci zunifikowanej konkurencyjne żądania ze strony sterownika przechwytywania, potoku przetwarzania wstępnego, wnioskowania modelu i zarządzania śladami mogą nasycić dostępną przepustowość pamięci zanim wyczerpana zostanie pojemność obliczeniowa. Profilowanie wykorzystania przepustowości pamięci, a nie tylko zajętości GPU, jest niezbędne do identyfikacji rzeczywistego pułapu przepustowości i określenia, czy redukcja prędkości klatek, przestrzenne podpróbkowanie czy asynchroniczne etapowanie potoku jest właściwym środkiem zaradczym.

Zbiory danych ewaluacyjnych i metryki wydajności wojskowego AI termicznego

Walidacja modelu klasyfikacji termicznej do celów wojskowych wymaga zbiorów danych i metryk odzwierciedlających warunki operacyjne, a nie kontrolowane ustawienia laboratoryjne powszechne w akademickich testach porównawczych. Istotne wymiary wydajności to prawdopodobieństwo detekcji (Pd) przy docelowym wskaźniku fałszywych alarmów (FAR), a nie dokładność top-1 znana z ewaluacji ImageNet. Model osiągający 95% dokładności top-1 na zrównoważonym zbiorze testowym może nadal mieć FAR wynoszący 10 na godzinę na żywym strumieniu termicznym, jeśli zestaw treningowy niedostatecznie reprezentuje różnorodność rzeczywistych warunków zakłóceń tła.

Publicznie dostępne zbiory danych dla wojskowego AI termicznego obejmują zbiór danych multispektralnych pieszych KAIST (sparowane LWIR i RGB, 95 000 klatek z adnotacjami, skoncentrowane na pieszych), zbiór danych FLIR ADAS (scenariusze drogowe, niezoptymalizowane dla celów wojskowych) oraz zbiór danych LITIV (wielomodalne sekwencje wewnątrz i na zewnątrz budynków). W przypadku klasyfikacji pojazdów i broni operacyjne wojskowe zbiory danych są niejawne i niedostępne publicznie; grupy badawcze zazwyczaj korzystają z syntetycznie generowanych obrazów termicznych z narzędzi do symulacji opartych na fizyce (DI-Guy, CAMEO-SIM lub VIRSuite), aby uzupełnić ograniczone zbiory danych rzeczywistych. Wierność transferu z symulacji do rzeczywistości -- stopień, w jakim modele wytrenowane na syntetycznych danych termicznych uogólniają się na rzeczywiste wyjście czujnika -- jest aktywnym obszarem badań; aktualne najlepsze praktyki łączą wstępne trenowanie na danych syntetycznych z dostrajaniem na mniejszym zbiorze danych rzeczywistych przy użyciu technik adaptacji dziedziny, takich jak adversarialne wyrównanie cech.

Standardowe metryki raportowania dla wojskowych systemów detekcji termicznej to krzywa charakterystyki operacyjnej odbiornika (ROC) z Pd wykreśloną w stosunku do FAR wyrażonego w fałszywych alarmach na jednostkę czasu na żywym strumieniu, wynik F2 (który waży recall dwukrotnie silniej niż precyzję, odpowiedni dla detekcji zagrożeń, gdzie nieodkryte detekcje są kosztowniejsze niż fałszywe alarmy) oraz krzywe Pd zależne od zasięgu charakteryzujące prawdopodobieństwo detekcji jako funkcję zasięgu cel-czujnik. Dla systemów fuzji na poziomie śladu dodatkowe metryki śledzą latencję inicjacji śladu (klatki od pierwszego pojawienia się celu do potwierdzonego śladu), ciągłość śladu podczas okluzji oraz dokładność fuzji oszacowań pozycji w porównaniu z prawdą z GPS-instrumentowanych pojazdów testowych.