Przetwarzanie obrazów hiperspektralnych na taktycznej krawędzi sieci

Obrazowanie hiperspektralne nie jest nową technologią, ale jego zastosowanie na taktycznej krawędzi sieci — w ładunku BSP, module montowanym na pojeździe lub przenośnym czujniku — stanowi stosunkowo nowe wyzwanie inżynierskie. Standardowa kamera RGB dostarcza trzy liczby na piksel; czujnik hiperspektralny — setki, z których każda reprezentuje odbitą energię w wąskim wycinku widma. To właśnie czyni dane hiperspektralne operacyjnie wartościowymi dla wojskowych zastosowań ISR — i zarazem obliczeniowo wyjątkowo wymagającymi w warunkach ograniczonego zasilania i przepustowości łącza.

Czym jest obrazowanie hiperspektralne — w porównaniu z multispektralnym i RGB

Kamery RGB rejestrują trzy szerokie pasma widmowe. Kamery multispektralne rozszerzają to do 4–20 pasm. Czujniki hiperspektralne różnią się zasadniczo: rejestrują ciągłe pasma o rozdzielczości 5–10 nm w zakresie VNIR (400–1000 nm) lub VNIR/SWIR (do 2500 nm). Czujnik VNIR o rozdzielczości 5 nm w zakresie 400–1520 nm dostarcza 224 pasma na piksel.

Wynikiem przechwycenia hiperspektralnego jest sześcian danych: trójwymiarowa tablica z dwiema osiami przestrzennymi i jedną spektralną. Chlorofil w żywej roślinności daje charakterystyczny skok odbicia między 700 a 740 nm — tzw. czerwoną krawędź. Syntetyczna farba maskująca jest pozbawiona tej cechy. Naruszona gleba ma inną sygnaturę absorpcji wilgoci niż nienaruszona. Żadna z tych różnic nie jest widoczna w RGB.

Ograniczeniem jest wolumen danych. Kamera RGB 640×480 przy 8 bitach na kanał daje ok. 0,9 MB/klatkę; czujnik 224-pasmowy przy 12 bitach — około 3,4 MB/klatkę, co przy 30 kl./s daje ponad 100 MB/s.

Charakterystyka czujników i wolumeny danych

Czujniki hiperspektralne dla lotniczego ISR dzielą się na dwa typy: push-broom (rejestruje jedną linię przestrzenną na klatkę, budując obraz podczas ruchu platformy) i migawkowy (przechwytuje całe pole widzenia jednocześnie). Push-broom jest standardem dla lotniczych systemów wysokiej rozdzielczości.

Typowy taktyczny łącze BLOS w zdegradowanym środowisku utrzymuje 1–5 Mbps użytecznej przepustowości dla danych rozpoznawczych. Luka między 100 MB/s surowych danych czujnika a tą przepustowością — około 100-krotna — jest fundamentalnym argumentem za przetwarzaniem na krawędzi: dane muszą zostać zredukowane do geolokalizowanych wykryć przed dotknięciem radia.

Dlaczego przetwarzać na krawędzi sieci

Opóźnienie. Taktyczne zadania ISR często wymagają działania w ciągu minut od wykrycia. Przesłanie 100 MB/s surowych danych do centrum przetwarzania i oczekiwanie na wyniki dodaje dziesiątki sekund — przy tempi operacyjnym oznacza to nieaktualność danych wywiadowczych.

Operacje w warunkach braku łączności. BSP w zakłóconym środowisku EM może całkowicie utracić łącze transmisji danych. Potok przetwarzania na krawędzi kontynuuje klasyfikację i rejestrację zdarzeń CoT lokalnie, synchronizując się po przywróceniu łączności.

Ograniczenia budżetu łącza. Wykrycia przetworzone na krawędzi zużywają kilka kilobitów na minutę zamiast megabitów na sekundę, pozostawiając łącze wolne dla ruchu dowodzenia, telemetrii i innych strumieni czujników.

Redukcja wymiarowości na urządzeniu

Pierwszym i najważniejszym etapem każdego krawędziowego potoku hiperspektralnego jest redukcja wymiarowości: zredukowanie 224-pasmowego wektora spektralnego na piksel do 8–16 składowych zachowujących informacje dyskryminacyjne. Bez tego żaden współczesny procesor krawędziowy nie może utrzymać pracy w czasie rzeczywistym.

Analiza składowych głównych (PCA) to najszerzej stosowana metoda. Macierz transformacji 224×12 (dla K=12) zajmuje ~10,8 KB we float32. Zastosowanie wymaga jedynie mnożenia macierzy na piksel — na procesorach ARM z NEON SIMD działa wydajnie w ciasnej pętli.

Transformacja minimalnej frakcji szumu (MNF) to dwuetapowy wariant, odporniejszy przy przestrzennie skorelowanym szumie czujnika — typowym w czujnikach push-broom.

Losowe rzuty — macierz Gaussa 224×K — nie wymagają danych treningowych i nadają się do szybkiego wdrożenia, choć zazwyczaj wymagają nieco większego K.

Po redukcji przepustowość spada z ~3,4 MB/klatkę do ~0,18 MB/klatkę (dla K=12) — redukcja 18-krotna, sprowadzająca strumień danych do poniżej 5,5 MB/s przy 30 kl./s.

Modele klasyfikacji widmowej

Odwzorowanie kąta spektralnego (SAM) to klasyczne podejście fizyczne. Porównuje zredukowany wektor z biblioteką widm referencyjnych przez kąt między nimi. Nie wymaga danych treningowych, jest trywialny obliczeniowo.

Maszyny wektorów nośnych (SVM) z jądrem RBF na zredukowanych wektorach — standard uczenia maszynowego przez dwie dekady. Na wejściach 8–16-wymiarowych klasyfikują miliony pikseli na sekundę na jednym rdzeniu CPU.

1D CNN na wektorach widmowych oferuje najwyższą dokładność przy większym koszcie obliczeniowym. Mała sieć splotowa z 3–5 warstwami i 32–64 filtrami. Po eksporcie do ONNX i kompilacji (TensorRT dla Jetsona) kwantyzacja INT8 z 200–500 próbkami kalibracyjnymi na klasę zmniejsza rozmiar i czas wnioskowania 3–4-krotnie przy degradacji dokładności poniżej 2%. Polowa weryfikowana dokładność: 92–96%.

Wykrywanie kamuflażu i identyfikacja materiałów

Chlorofil w żywej roślinności daje charakterystyczną czerwoną krawędź między 700 a 740 nm. Syntetyczny kamuflaż konsekwentnie wykazuje brak lub stłumienie czerwonej krawędzi w danych VNIR, czyniąc zamaskowane pozycje odróżnialnymi od otaczającej roślinności nawet przy wizualnej identyczności na zdjęciach EO.

Naruszona gleba ze śladów pojazdów, umocnień polowych lub zakopanych min daje charakterystyczną zmianę sygnatur absorpcji wilgoci w pasmach SWIR około 1400 nm i 1900 nm. Pozostałości paliwa diesla (JP-8) mają charakterystyczne pasma absorpcji węglowodorów około 1700 nm.

Ograniczenia operacyjne: odpowiednie nasłonecznienie, właściwa geometria czujnik-cel i skalibrowany czujnik. Absorpcja atmosferyczna pary wodnej w pewnych pasmach SWIR wymaga kompensacji.

Integracja z obrazem ISR

Zdarzenia CoT (Cursor on Target) to główny format integracji dla sieci opartych na TAK. Po identyfikacji regionu zainteresowania węzeł krawędziowy oblicza współrzędne geograficzne pikseli, agreguje je w wielokąty wykrycia i generuje zdarzenie CoT XML z klasą, ufnością, centroidem w WGS84 lub MGRS i identyfikatorem czujnika. Zdarzenia trafiają na klientów ATAK/WinTAK w ciągu sekund.

Warstwy adnotacji GeoTIFF służą głębszej analizie: sklasyfikowana scena trafia do taktycznego magazynu chmurowego, gdzie analitycy mogą nakładać ją na inne warstwy czujników.

Fuzja wieloczujnikowa koreluje wykrycia hiperspektralne ze śladami z innych systemów — kamer EO, systemów automatycznego rozpoznawania celów, radarów — w konfigurowalnym oknie przestrzenno-czasowym.