Wykrywanie zmian na zdjęciach satelitarnych i lotniczych dla obronności

Ilość zdjęć z góry zbieranych obecnie nad każdym spornym obszarem przekracza to, co ludzcy analitycy kiedykolwiek zdołają obejrzeć klatka po klatce. Pytanie wywiadowcze rzadko brzmi „co jest na tym zdjęciu” – brzmi „co różni się od tego, co widzieliśmy ostatnio”. Wykrywanie zmian odpowiada na to pytanie wprost: porównuje korejestrowane zdjęcia między przelotami i redukuje stos identycznie wyglądających scen do krótkiej, geolokalizowanej listy miejsc, w których fizyczny świat się poruszył. Pojawiają się nowe stanowiska, pojazdy gromadzą się w bazie, most zostaje przecięty, pas startowy naprawiony. Ten artykuł przechodzi cały potok – korejestrację, normalizację radiometryczną, same modele zmian, kontrolę fałszywych alarmów i etap wskazywania analitykowi, który przekształca maskę zmian w produkt wywiadowczy. Ta sama dyscyplina, która napędza wizję komputerową na dronach ISR, ma tu zastosowanie, ale wymiar czasowy zmienia wszystko.

Co naprawdę wytwarza wykrywanie zmian

Produktem systemu wykrywania zmian nie jest obraz – jest narzędziem wspomagania decyzji. Działający potok pobiera obraz odniesienia (ostatni zaufany stan bazowy obszaru) i nowy obraz (najnowszy przelot), a daje zbiór poligonów zmian: ograniczone regiony, w których scena znacząco różni się od stanu bazowego, każdy oznaczony wynikiem pewności, powierzchnią, obrysem WGS84 i, najlepiej, klasą zmiany. Analityk otrzymuje uszeregowaną listę wskazań z wycinkami przed/po, a nie pełną scenę do przeglądania. Ta inwersja – od „interpretuj wszystko” do „rozstrzygaj tylko to, co się poruszyło” – stanowi całą propozycję wartości. Zwielokrotnia przepustowość analityka i, co ważniejsze, skraca czas między fizyczną zmianą w terenie a alertem w rękach decydenta.

To ujęcie ma znaczenie, bo wyznacza priorytety inżynieryjne. System ocenia się nie po tym, ile zmian znajduje, lecz po wiarygodności swojej listy wskazań. Analityk, któremu pokazano dziesięć wskazań i dziewięć z nich okazuje się szumem, przestanie ufać jedenastemu. Precyzja – odsetek wskazań, które są prawdziwe – to wskaźnik rządzący operacyjnym przyjęciem, a niemal każda decyzja projektowa poniżej służy właśnie jemu.

Korejestracja: warunek wszystkiego

Dwa przeloty nad tą samą współrzędną prawie nigdy nie są wyrównane co do piksela. Platforma leci nieco inną orbitą lub trasą, sensor patrzy pod innym kątem, rzeźba terenu wywołuje paralaksę, a ortorektyfikacja pozostawia własny błąd resztkowy. Każdą z tych różnic geometrycznych naiwny model zmian odczytuje jako zmianę. Wynikiem jest aureola fałszywych alarmów obrysowująca każdą wysokokontrastową krawędź sceny: kontury budynków, krawędzie dróg, granice pól, linie brzegowe. W praktyce największym źródłem operacyjnych fałszywych alarmów nie jest model zmian – to błąd korejestracji.

Rozwiązaniem jest subpikselowa korejestracja. Oba obrazy są najpierw ortorektyfikowane względem cyfrowego modelu wysokości (DTED lub komercyjny DEM) i rzutowane na wspólną ramkę mapową, co usuwa większość paralaksy wywołanej terenem. Nowy obraz jest następnie korejestrowany do odniesienia za pomocą dopasowania punktów wiążących lub korelacji fazowej w dziedzinie Fouriera, dopracowując wyrównanie do lepszego niż 0,5 piksela RMS. Kafelki, których nie da się skorejestrować z taką tolerancją – nad bezcechową pustynią lub otwartą wodą na przykład – należy oznaczyć i wykluczyć, a nie wymuszać, bo źle skorejestrowany kafelek wnosi jedynie szum.

Dlaczego ortorektyfikacja nie jest opcjonalna

Kuszące jest pominięcie ortorektyfikacji dla zdjęć nadirowych na płaskim terenie. To pułapka. Nawet niewielkie kąty od nadiru w połączeniu z pionowymi strukturami – budynkami, wieżami, krawędziami terenu – wywołują pochylenie i przesunięcie zmieniające się wraz z geometrią obserwacji między przelotami. 30-metrowy budynek sfotografowany z dwóch różnych azymutów będzie wydawał się „poruszony” o kilka metrów na linii dachu. Bez ortorektyfikacji i modelu wysokości ten pozorny ruch jest nieodróżnialny od rzeczywistej zmiany, a wskaźnik fałszywych alarmów wokół każdej wysokiej struktury staje się nie do opanowania.

Normalizacja radiometryczna: usuwanie tego, co się zmieniło, ale nie ma znaczenia

Nawet idealnie wyrównane zdjęcia różnią się radiometrycznie między przelotami. Kąt słońca przesuwa się z porą dnia i sezonem, mgiełka atmosferyczna i obciążenie aerozolami się zmieniają, a wzmocnienie i kalibracja sensora dryfują. Model zmian widzący surową intensywność oznaczy całe zbocze jako „zmienione” tylko dlatego, że popołudniowe słońce oświetliło je inaczej niż poranny stan bazowy. Normalizacja radiometryczna przeskalowuje nowy obraz tak, by jego rozkład intensywności był porównywalny z odniesieniem, używając albo fizycznej korekcji atmosferycznej (przeliczenia na współczynnik odbicia powierzchni), albo normalizacji względnej wobec cech niezmiennych – dachów, nawierzchni, głębokiej wody – które nie powinny się zmienić.

Obok normalizacji potok maskuje klasy zakłócające, które naturalnie się zmieniają i nie niosą wartości wywiadowczej. Chmury i cienie chmur są oczywiste; w przeciwnym razie przechodząca chmura zdominuje maskę zmian. Gęsta roślinność porusza się na wietrze i rośnie między przelotami, otwarta woda ma stale zmieniającą się powierzchnię, a cień terenu przesuwa się z kątem słońca. Maskowanie tych klas przed uruchomieniem modelu zmian – lub obniżenie ich wagi – utrzymuje model skupiony na zmianie semantycznej, na której zależy analitykowi. Zasady tutaj w dużym stopniu pokrywają się z szerszą architekturą platformy GEOINT, która hostuje te produkty.

Modele zmian: od różnicowania pikseli do nauczonej zmiany

Najprostszym detektorem zmian jest różnicowanie obrazów: odejmij obraz odniesienia od nowego i proguj wielkość. Jest szybkie i interpretowalne, a na dobrze skorejestrowanych, dobrze znormalizowanych zdjęciach działa dla zmian wysokokontrastowych. Ale jest kruche – nie potrafi odróżnić plandeki narzuconej na sprzęt od prawdziwej zmiany strukturalnej i nie ma pojęcia, jaki rodzaj zmiany ma znaczenie. Klasyczne udoskonalenia obejmują analizę wektorów zmian w pasmach spektralnych, analizę składowych głównych ułożonej pary obrazów oraz transformację IR-MAD (iteracyjnie ważone wielowymiarowe wykrywanie zmian), statystycznie odporną na resztkowe różnice radiometryczne.

Nowoczesne systemy operacyjne używają nauczonych modeli zmian, najczęściej sieci syjamskiej: dwa kodery o wspólnych wagach przetwarzają obraz odniesienia i nowy obraz w osadzenia cech, a dekoder łączy oba strumienie cech w mapę prawdopodobieństwa zmiany na piksel. Konwolucyjne architektury syjamskie (jak rodziny Siam-Diff i FC-Siam) oraz, ostatnio, detektory zmian oparte na transformerach uchwytują kontekst, którego metody pikselowe nie potrafią – uczą się, że nowa liniowa cecha na polu to raczej koleina niż cień, a prostokątna przybudówka obok budynku to budowa. Wynikiem jest ciągły raster pewności zmiany, a nie twarda maska binarna, co zachowuje informację potrzebną na etapie progowania.

SAR i koherentne wykrywanie zmian

Optyczne wykrywanie zmian jest ślepe nocą i pod chmurami. Radar z syntetyczną aperturą nie jest, a to czyni wykrywanie zmian na SAR wszechpogodowym, całodobowym uzupełnieniem, które często jest bardziej wartościowym operacyjnie trybem. Poza prostym różnicowaniem amplitudy SAR umożliwia koherentne wykrywanie zmian (CCD): porównanie interferometrycznej koherencji fazowej między dwoma zespolonymi obrazami SAR tej samej sceny. Tam, gdzie powierzchnia została fizycznie naruszona w skali długości fali radaru – ślady pojazdów na glebie, świeże kopanie, ścieżki, niedawno przesunięty sprzęt – koherencja się załamuje, a te zakłócenia wyróżniają się wyraziście nawet wtedy, gdy oko nie widzi zmiany amplitudy. Powszechny wzorzec operacyjny łączy oba: utrata koherencji w SAR wskazuje na kolejny zbiór optyczny dokładnie tych współrzędnych, więc sensor wszechpogodowy wyzwala wysokorozdzielczy.

Kontrola fałszywych alarmów i wskazywanie analitykowi

Wytworzywszy raster pewności zmiany, potok musi przekształcić go w wiarygodną listę wskazań. To wieloetapowy problem filtrowania. Najpierw próg pewności i czyszczenie morfologiczne usuwają szum i izolowane piksele. Spójne regiony są następnie wektoryzowane do poligonów zmian, każdy opatrzony powierzchnią, obrysem, pewnością i – jeśli obecny jest klasyfikator – klasą zmiany. Wymóg trwałości to jeden z najskuteczniejszych dostępnych tłumików fałszywych alarmów: wymaganie, by zmiana pojawiła się w dwóch lub więcej kolejnych przelotach, zanim zostanie awansowana, eliminuje większość artefaktów jednoprzelotowych (przemijająca krawędź chmury, jednorazowy błąd korejestracji), wciąż ujawniając prawdziwą aktywność w akceptowalnym opóźnieniu.

Ocalałe poligony są szeregowane – zwykle według kombinacji pewności i powierzchni, ze zdefiniowanymi przez operatora strefami priorytetowymi wzmacniającymi zmiany wewnątrz nazwanych obszarów zainteresowania. Każde wskazanie jest pakowane z wycinkiem obrazu przed/po, więc analityk może rozstrzygnąć w sekundy bez otwierania pełnej sceny. Co kluczowe, werdykt analityka (prawdziwa zmiana, zakłócenie, już znane) jest rejestrowany i podawany z powrotem jako oznaczone dane treningowe. To zamyka pętlę: model, który wytworzył wskazanie, uczy się od analityka, który je ocenił, a precyzja poprawia się w trakcie życia wdrożenia. Ta sama dyscyplina człowieka w pętli leży u podstaw wspomaganego AI triażu danych ISR w szerszym ujęciu.

Opóźnienie, powtórny przelot i przejście na krawędź

To, jak szybko trzeba wykryć zmianę, zależy całkowicie od celu. Monitorowanie stałej infrastruktury strategicznej toleruje powtórny przelot mierzony w dniach i opóźnienie przetwarzania mierzone w godzinach – stan bazowy ledwie się porusza, a powolny, staranny produkt jest akceptowalny. Monitorowanie aktywności jest inne. Gdy wartość wywiadowcza tkwi w koncentracji pojazdów, ruchu sprzętu lub świeżym wykopie, zmiana jest ostrzeżeniem, a wskazanie, które przybywa dzień za późno, to wskazanie, które przybywa po zamknięciu okna decyzyjnego. Taktyczne wykrywanie zmian dąży zatem ku godzinowemu powtórnemu przelotowi i opóźnieniu przetwarzania w skali minut od pobrania danych do wskazania.

Ta presja opóźnienia jest głównym motorem przenoszenia wykrywania zmian ku krawędzi sensorowej. Klasyczna architektura przesyła łączem każdy pełny obraz do naziemnego centrum przetwarzania, co jest łakome na przepustowość i powolne. Wyłaniająca się architektura uruchamia korejestrację i model zmian na pokładzie lub w węźle wysuniętym, tak że przez ograniczone łącze przechodzą tylko poligony zmian i małe wycinki przed/po – kilobajty, nie gigabajty. To ta sama filozofia wnioskowania na krawędzi stosowana w całym nowoczesnym ISR, gdzie sieć jest wąskim gardłem, a odpowiedzią jest wysyłanie decyzji, a nie danych.

Inżynieria systemu od początku do końca

Produkcyjny system wykrywania zmian to łańcuch komponentów, z których każdy może zatopić produkt, jeśli działa poniżej oczekiwań: front-end ortorektyfikacji i korejestracji, etap normalizacji radiometrycznej i maskowania, sam model zmian (optyczny, SAR lub złączony), back-end progowania i wektoryzacji oraz warstwa wskazywania i sprzężenia zwrotnego wpięta w obraz GEOINT. Model to część przyciągająca najwięcej uwagi, ale rzadko jest częścią decydującą o tym, czy analitycy zaufają wynikowi. Decydują o tym geometria, normalizacja i zdyscyplinowana kontrola fałszywych alarmów. Zbuduj je dobrze, utrzymaj człowieka w pętli rozstrzygania – a produkt wykrywania zmian staje się tym, czym powinien być: silnikiem typu „wskaż i naprowadź”, kierującym ograniczoną uwagę analityczną dokładnie na współrzędne, w których świat się zmienił.

Co do strony wnioskowania na urządzeniu tego problemu – uruchamiania modeli detekcji i zmian blisko sensora – zobacz nasz tekst towarzyszący o wizji komputerowej dla systemów obronnych.