Виявлення змін на супутникових та аерознімках для оборони

Обсяг знімків з повітря, що зараз збирається над будь-якою спірною територією, перевищує те, що людські аналітики коли-небудь зможуть оглянути кадр за кадром. Розвідувальне питання рідко звучить як «що є на цьому знімку» – воно звучить як «що відрізняється від того, що ми бачили востаннє». Виявлення змін відповідає на це питання безпосередньо: воно порівнює суміщені знімки між проходами й зводить стос однакових на вигляд сцен до короткого, геолокованого переліку місць, де фізичний світ зрушив. З’являються нові укриття, техніка зосереджується на базі, перерізано міст, відремонтовано злітну смугу. Ця стаття проходить весь конвеєр – суміщення, радіометричну нормалізацію, самі моделі змін, контроль хибних тривог і етап підказки аналітику, що перетворює маску змін на розвідувальний продукт. Та сама дисципліна, що живить комп’ютерний зір на ISR-дронах, застосовна й тут, але часовий вимір змінює все.

Що насправді створює виявлення змін

Результат системи виявлення змін – це не зображення, а засіб для ухвалення рішень. Робочий конвеєр приймає опорне зображення (останній надійний базовий стан території) та нове зображення (найсвіжіший прохід) і видає набір полігонів змін: обмежені області, де сцена суттєво відрізняється від базового стану, кожна позначена оцінкою довіри, площею, контуром WGS84 та, в ідеалі, класом зміни. Аналітик отримує ранжований перелік підказок із фрагментами «до/після», а не повну сцену для перегляду. Ця інверсія – від «інтерпретувати все» до «оцінювати лише те, що зрушило» – і є всією ціннісною пропозицією. Вона множить продуктивність аналітика та, що важливіше, скорочує час між фізичною зміною на місцевості й сигналом у руках того, хто ухвалює рішення.

Це формулювання важливе, бо воно задає інженерні пріоритети. Система оцінюється не за тим, скільки змін вона знаходить, а за надійністю свого переліку підказок. Аналітик, якому показали десять підказок і дев’ять із них виявилися шумом, перестане довіряти одинадцятій. Точність – частка підказок, що є реальними – це показник, який керує оперативним прийняттям, і майже кожне проєктне рішення нижче слугує саме йому.

Суміщення: передумова для всього

Два проходи над однією й тією самою координатою майже ніколи не вирівняні до пікселя. Платформа летить трохи іншою орбітою чи траєкторією, сенсор дивиться під іншим кутом, рельєф спричиняє паралакс, а ортотрансформація лишає власну залишкову похибку. Кожну з цих геометричних відмінностей наївна модель змін читає як зміну. Результатом є ореол хибних тривог, що окреслює кожен висококонтрастний край сцени: контури будівель, узбіччя доріг, межі полів, берегові лінії. На практиці найбільше джерело оперативних хибних тривог – це не модель змін, а похибка суміщення.

Розв’язання – субпіксельне суміщення. Спершу обидва зображення ортотрансформуються відносно цифрової моделі рельєфу (DTED чи комерційного DEM) і проєктуються у спільну картографічну рамку, що усуває основну частину паралаксу, спричиненого рельєфом. Потім нове зображення суміщається з опорним за допомогою зіставлення опорних точок або фазової кореляції у Фур’є-просторі, доводячи вирівнювання до кращого за 0,5 пікселя RMS. Фрагменти, які не вдається суміщати з такою точністю – наприклад, над безликою пустелею чи відкритою водою – слід позначати й виключати, а не форсувати, бо погано суміщений фрагмент додає лише шум.

Чому ортотрансформація не є необов’язковою

Спокусливо пропустити ортотрансформацію для надирних знімків на рівнинній місцевості. Це пастка. Навіть невеликі кути від надиру в поєднанні з вертикальними структурами – будівлями, вежами, краями рельєфу – спричиняють нахил і зміщення, що варіюються залежно від геометрії огляду між проходами. 30-метрова будівля, знята з двох різних азимутів, здаватиметься «зрушеною» на кілька метрів по лінії даху. Без ортотрансформації та моделі висот цей видимий рух неможливо відрізнити від реальної зміни, і рівень хибних тривог навколо кожної високої структури стає некерованим.

Радіометрична нормалізація: усунення того, що змінилося, але не має значення

Навіть ідеально вирівняні знімки відрізняються радіометрично між проходами. Кут сонця зміщується з часом доби й порою року, атмосферна імла й аерозольне навантаження варіюються, а підсилення й калібрування сенсора дрейфують. Модель змін, що бачить сиру інтенсивність, позначить цілий схил як «змінений» лише тому, що пообіднє сонце освітило його інакше, ніж ранковий базовий стан. Радіометрична нормалізація перемасштабовує нове зображення так, щоб його розподіл інтенсивності був зіставним з опорним, використовуючи або фізичну атмосферну корекцію (перетворення у відбивну здатність поверхні), або відносну нормалізацію відносно інваріантних об’єктів – дахів, мощених поверхонь, глибокої води – які не мали б змінитися.

Поряд із нормалізацією конвеєр маскує завадні класи, що природно змінюються й не несуть розвідувальної цінності. Хмари й тіні хмар – очевидні; інакше хмара, що проходить, домінуватиме в масці змін. Густа рослинність ворушиться на вітрі й росте між проходами, відкрита вода має поверхню, що постійно змінюється, а тіні рельєфу зміщуються з кутом сонця. Маскування цих класів перед запуском моделі змін – або їх зниження у вазі – тримає модель зосередженою на семантичній зміні, що цікавить аналітика. Принципи тут значною мірою перетинаються з ширшою архітектурою платформи GEOINT, що розміщує ці продукти.

Моделі змін: від попіксельного віднімання до вивченої зміни

Найпростіший детектор змін – це різниця зображень: відняти опорне від нового зображення й порогувати величину. Це швидко й зрозуміло, і на добре суміщених, добре нормалізованих знімках це працює для висококонтрастних змін. Але це крихко – воно не може відрізнити брезент, накинутий на обладнання, від справжньої структурної зміни, і не має поняття про те, який вид зміни має значення. Класичні вдосконалення включають аналіз векторів змін за спектральними діапазонами, аналіз головних компонент стека пари зображень і перетворення IR-MAD (ітеративно перезважений багатовимірний детектор змін), що статистично стійкий до залишкових радіометричних відмінностей.

Сучасні оперативні системи використовують вивчені моделі змін, найчастіше сіамську мережу: два кодери зі спільними вагами обробляють опорне й нове зображення у вкладення ознак, а декодер зливає два потоки ознак у попіксельну карту ймовірності зміни. Згорткові сіамські архітектури (як-от родини Siam-Diff і FC-Siam) і, нещодавно, детектори змін на основі трансформерів вловлюють контекст, який не можуть пікселеві методи – вони вчаться, що нова лінійна ознака на полі радше колія, ніж тінь, і що прямокутна прибудова поряд із будівлею – це будівництво. Результатом є неперервний растр довіри до змін, а не жорстка бінарна маска, що зберігає інформацію, потрібну для етапу порогування.

SAR і когерентне виявлення змін

Оптичне виявлення змін сліпе вночі та під хмарами. Радар із синтезованою апертурою – ні, і це робить виявлення змін на SAR всепогодним, цілодобовим доповненням, що часто є оперативно ціннішим режимом. Окрім простого віднімання амплітуди, SAR уможливлює когерентне виявлення змін (CCD): порівняння інтерферометричної фазової когерентності між двома комплексними SAR-зображеннями однієї сцени. Там, де поверхню було фізично порушено в масштабі довжини хвилі радара – сліди техніки по ґрунту, свіже копання, стежки, нещодавно переміщене обладнання – когерентність руйнується, і ці порушення яскраво виділяються навіть тоді, коли жодної зміни амплітуди не видно оку. Поширений оперативний шаблон зливає ці два: втрата когерентності в SAR підказує подальший оптичний збір точно тих самих координат, тож всепогодний сенсор запускає високороздільний.

Контроль хибних тривог і підказки аналітику

Створивши растр довіри до змін, конвеєр має перетворити його на надійний перелік підказок. Це багатоетапна задача фільтрації. Спершу поріг довіри та морфологічне очищення усувають спекл та ізольовані пікселі. Зв’язні області тоді векторизуються у полігони змін, кожен анотований площею, контуром, довірою та – якщо присутній класифікатор – класом зміни. Вимога стійкості – один із найдієвіших доступних засобів пригнічення хибних тривог: вимога, щоб зміна з’явилася у двох чи більше послідовних проходах, перш ніж її буде підвищено, усуває більшість однопрохідних артефактів (минущий край хмари, разовий збій суміщення), все ще виявляючи справжню активність у прийнятний термін.

Уцілілі полігони ранжуються – зазвичай за поєднанням довіри й площі, з визначеними оператором пріоритетними зонами, що підвищують зміни всередині названих районів інтересу. Кожна підказка пакується з фрагментом зображення «до/після», тож аналітик може ухвалити рішення за секунди, не відкриваючи повну сцену. Критично, вердикт аналітика (реальна зміна, завада, вже відоме) фіксується й подається назад як розмічені навчальні дані. Це замикає цикл: модель, що створила підказку, вчиться від аналітика, що її оцінив, і точність зростає протягом життя розгортання. Та сама дисципліна «людина в циклі» лежить в основі тріажу даних ISR за допомогою AI ширше.

Затримка, повторний огляд і перехід на край

Наскільки швидко має бути виявлено зміну, цілком залежить від цілі. Моніторинг стаціонарної стратегічної інфраструктури допускає повторний огляд, виміряний у днях, і затримку обробки, виміряну в годинах – базовий стан майже не рухається, і повільний, ретельний продукт прийнятний. Моніторинг активності інший. Коли розвідувальна цінність полягає в накопиченні техніки, переміщенні обладнання чи свіжих земляних роботах, зміна – це і є попередження, а підказка, що приходить із запізненням на добу, – це підказка, що приходить після того, як вікно рішення зачинилося. Тому тактичне виявлення змін тяжіє до погодинного повторного огляду й затримки обробки масштабу хвилин від отримання даних до підказки.

Цей тиск затримки – головний рушій перенесення виявлення змін до сенсорного краю. Класична архітектура передає лінією зв’язку кожне повне зображення на наземний центр обробки, що ненажерливе до пропускної здатності й повільне. Нова архітектура запускає суміщення та модель змін на борту чи на висунутому вузлі, тож лінією зв’язку проходять лише полігони змін та невеликі фрагменти «до/після» – кілобайти, а не гігабайти – через обмежену лінію зв’язку. Це та сама філософія крайових обчислень, застосована в усій сучасній ISR, де мережа – вузьке місце, а відповідь – відправляти рішення, а не дані.

Інженерія системи від початку до кінця

Робоча система виявлення змін – це ланцюг компонентів, кожен з яких може потопити продукт, якщо працює недостатньо добре: фронт-енд ортотрансформації та суміщення, етап радіометричної нормалізації та маскування, сама модель змін (оптична, SAR чи злита), бек-енд порогування та векторизації, шар підказки й зворотного зв’язку, вбудований у картину GEOINT. Модель – це частина, що привертає найбільше уваги, але вона рідко є частиною, що визначає, чи довірятимуть аналітики результату. Це вирішують геометрія, нормалізація й дисциплінований контроль хибних тривог. Зробіть їх добре, тримайте людину в циклі ухвалення рішень – і продукт виявлення змін стає тим, чим має бути: рушієм «підказка-і-наведення», що спрямовує дефіцитну аналітичну увагу точно на координати, де світ змінився.

Щодо сторони висновку на пристрої цієї задачі – запуску моделей виявлення та змін поряд із сенсором – дивіться нашу супутню статтю про комп’ютерний зір для оборонних систем.