Архітектура мультисенсорної злиття: Об'єднання радару, EO/IR, AIS та SIGINT в єдину оперативну картину

Кожен сенсор в оборонному арсеналі відповідає на різне питання про одну й ту саму фізичну реальність. Радар бачить метал — він повертає точний діапазон і швидкість, але не може сказати, чи є контакт ворожим або цивільним, військовим чи комерційним. Електрооптичні та інфрачервоні камери бачать теплову сигнатуру та форму — корисно для класифікації, але їх точність геолокації знижується з висотою, і вони виробляють зображення з інтервалами повторного проходження, а не безперервно. Трансляції AIS дають вам явну ідентифікацію та прапор для кооперативних морських цілей, але судно може вимкнути свій транспондер, повідомити хибну позицію або бути підроблено. Приймачі SIGINT дають вам ідентифікацію та пеленг випромінювача, але часто не точну позицію без тріангуляції від кількох станцій.

Жоден з цих сенсорів поодинці не дає повної картини. Архітектура мультисенсорної злиття — це інженерна дисципліна, яка об'єднує всі чотири — і будь-які додаткові потоки — в єдину базу даних треків, яка є більш точною, більш повною і більш надійною, ніж будь-яке окреме джерело. Ця стаття описує, як її побудувати: модель даних, алгоритми кореляції, механіку темпорального та просторового вирівнювання, а також архітектурні шаблони, що масштабуються від COP рівня бригади до національного морського центру спостереження.

Виклик multi-INT: різні сенсори, несумісна семантика

Фундаментальна складність мультисенсорної злиття не є обчислювальною. Вона семантична. Кожен тип сенсора несе різну модель реальності, і ці моделі не відображаються чисто одна на одну.

Трек радару — це кінематичний об'єкт: оцінки позиції, швидкості та прискорення, що оновлюються зі швидкістю сканування радару, з пов'язаними еліпсами невизначеності, що відображають шум вимірювань. Радар призначає системний номер треку та підтримує цей номер між скануваннями за допомогою кореляції. Ідентифікація є виходом класифікатора — великий поверхневий контакт, малий повітряний контакт, гелікоптер — а не остаточною міткою.

Звіт EO/IR — це подія виявлення: обмежуючий прямокутник у кадрі зображення з оцінкою достовірності для кожного класу в таксономії сенсора. Геолокація цього обмежуючого прямокутника вимагає знання позиції та орієнтації сенсорної платформи, кута орієнтування сенсора та моделі рельєфу — кожен вносить свою помилку. Швидкість оновлення обмежена затримкою обробки, а не фізикою.

Звіт AIS — це самоповідомлення: MMSI судна, назва, тип та GPS-похідна позиція на момент звіту, що транслюється на ОВЧ. Він є кооперативним, структурованим та явним — що також робить його тривіально підробним. Приймач AIS виробляє звіти один на судно за період; судно може пригнічувати, фальсифікувати або відтворювати їх.

Збір SIGINT виробляє лінії пеленгу — або, при кількох приймачах, тріангульовану фіксацію позиції з характерним еліпсом невизначеності, витягнутим вздовж базової лінії. Ідентифікація випромінювача походить від порівняння з бібліотекою відомих параметрів випромінювача: частота, модуляція, характеристики імпульсів. Це порівняння виробляє розподіл імовірностей по типах випромінювачів, а не остаточну ідентифікацію.

Двигун злиття повинен подолати всі ці семантичні моделі. Він не може звести їх до єдиної оцінки достовірності без знищення якісних відмінностей, які важливі оперативно. Трек, підтверджений SIGINT та AIS, якісно відрізняється від треку, підтвердженого двома проходами радару, навіть якщо їх числові значення достовірності ідентичні.

Уніфікація моделі даних: канонічна схема треку

Канонічна схема треку — це контракт між кожним компонентом системи злиття. Визначте її рано, зробіть версійованою лише у бік додавань і опирайтеся спокусі зробити її специфічною для сенсора.

Мінімальна схема виробничого рівня для треку мультисенсора включає такі поля:

Поля ідентифікації: UUID треку, призначений системою, складова оцінка ідентифікації (розподіл імовірностей по типах сутностей), зрозуміла людині мітка та бітова маска джерела, що вказує, які сенсорні дисципліни надали докази (біт 0 = радар, біт 1 = EO/IR, біт 2 = AIS, біт 3 = SIGINT, біт 4 = HUMINT тощо).

Кінематичні поля: широта, довгота та висота WGS84; швидкість на північ, схід та вертикаль; прискорення; матриця коваріації позиції 3×3, що фіксує невизначеність у всіх трьох просторових вимірах; ідентифікатор кінематичної моделі (постійна швидкість, постійне прискорення, скоординований розворот).

Поля класифікації: середовище (повітря, поверхня, підводне, наземне, космос), категорія (військова платформа, цивільне судно, невідоме), тип (конкретний клас платформи, якщо розпізнано) та достовірність на кожному рівні класифікації.

Поля походження: список UUID спостережень-учасників, рівень класифікації та теги можливості розповсюдження, що походять від усіх джерел-учасників, та ідентифікатор системи-оригінатора.

Темпоральні поля: час спостереження (коли базовий сенсор спостерігав явище), час звіту (коли звіт був згенерований) та час прийому (коли платформа злиття його отримала). Всі три необхідні; ототожнення їх викликає тонкі помилки у темпоральній злитті.

Поля життєвого циклу: стан треку (попередній, підтверджений, зрілий, згасаючий, втрачений), час останнього оновлення та оцінка достовірності, що знизилася з моменту останнього оновлення.

Ця схема зберігається в пам'яті для гарячого стану, зберігається в PostGIS для геопросторових запитів та публікується на шину повідомлень як незмінна подія при кожному оновленні. Споживачі нижнього рівня — дисплей COP, аналітичні робочі станції, двигун аналізу патернів поведінки — підписуються на потік подій та підтримують власні представлення.

Кореляція трек-трек: стробування, призначення та неоднозначність

Кореляція трек-трек — це алгоритмічно щільне ядро будь-якого двигуна злиття. Вхідне спостереження повинно бути призначено до існуючого треку, використано для створення нового треку або позначено як шум. Проблема призначення масштабується з кількістю треків та спостережень за цикл сканування.

Стробування відстані Махаланобіса. Перший крок — грубе фільтрування. Для кожного вхідного спостереження обчисліть відстань Махаланобіса між позицією спостереження та прогнозованою позицією кожного кандидата-треку. Відстань Махаланобіса нормалізується спільною матрицею коваріації невизначеності прогнозу та невизначеності вимірювання — трек з високою невизначеністю позиції має ширший строб. Спостереження за межами строба не є кандидатами для цього треку. Це зменшує комбінаторну проблему від N×M до розрідженого графу реальних призначень.

Призначення за алгоритмом Угорщини. Для однозначних сценаріїв — добре розділені треки, низька щільність, один сенсор — алгоритм Угорщини знаходить глобально оптимальне взаємно однозначне призначення між спостереженнями та треками за час O(n³). Він мінімізує загальну вартість призначення, яка зазвичай обчислюється як зважена сума відстаней Махаланобіса. Алгоритм Угорщини є швидким, детермінованим та легким для відлагодження. Це правильний вибір для 80% сценаріїв, які не є заперечуваними.

JPDA для щільних середовищ. У середовищах з високою щільністю — зайнята морська протока, перевантажений сектор повітряного простору — кілька спостережень одночасно потрапляють у кілька стробів треків. Призначення найближчого сусіда та призначення за алгоритмом Угорщини виробляють систематичні помилки: два треки, що перетинаються, обмінюються ідентифікаторами, або повільно рухомий контакт у щільному кластері накопичує спостереження, призначені для його сусідів. Спільна імовірнісна асоціація даних (JPDA) вирішує це, обчислюючи ймовірність того, що кожне спостереження належить до кожного треку-кандидата, враховуючи повну спільну правдоподібність у вікні стробування. Стан треку оновлюється зваженою комбінацією всіх стробованих спостережень, зважених за ймовірностями асоціації. JPDA є дорожчою, але виробляє помітно кращу безперервність треків через перекриття та перетин.

Багатогіпотезне відстеження. MHT відкладає жорсткі рішення про призначення, підтримуючи паралельно кілька гіпотез треків — трек A є продовженням спостереження 1, або трек A є новим контактом, а спостереження 1 належить треку B. Гіпотези оцінюються та відсікаються в міру надходження нових спостережень; дерево гіпотез згортається до високодостовірного призначення, як тільки неоднозначність вирішується. MHT дає найкращі результати в умовах протидії, але вимагає дисциплінованого управління гіпотезами для запобігання експоненціального зростання дерева. Відсікання за N сканів — відкидання гіпотез, старіших за N сканів — є стандартним підходом.

На практиці виробничі двигуни злиття використовують гібрид: кореляцію найближчого сусіда на основі правил для добре розділених треків з високою достовірністю; JPDA для заперечуваної підмножини; та MHT для сценаріїв, де система спеціально налаштована для обробки неоднозначності з великими наслідками (наприклад, відстеження кількох контактів у вузькому місці).

Зважування якості сенсорів: динамічне оцінювання достовірності

Не всі звіти сенсорів заслуговують однакової ваги при оновленні злиття. Радар, що працює на межі свого діапазону виявлення при сильному морському засміченні, має вищу невизначеність вимірювань, ніж той самий радар в ідеальних умовах. Сенсор EO/IR, що звітує крізь тонкий хмарний покрив, має знижену точність геолокації. Звіт AIS від судна, позначеного за історичні розбіжності між звітованими та спостережуваними радаром позиціями, повинен мати знижену вагу позиції.

Динамічне оцінювання достовірності призначає вагу кожному звіту при прийомі на основі трьох факторів:

Стан здоров'я сенсора. Кожен інтерфейс сенсора в платформі злиття публікує повідомлення про стан поряд з даними. Поля стану включають відношення сигнал/шум, статус калібрування, результат вбудованого тесту (BIT) та час роботи з моменту останнього обслуговування. Звіти від сенсорів у деградованому стані отримують знижену вагу. Сенсор у стані ВІДМОВА виключається з оновлень, але може все ще вносити внесок у попереднє створення треків, якщо інше джерело недоступне.

Умови навколишнього середовища. Платформа злиття приймає метеорологічні та екологічні дані — стан моря, опади, індекс атмосферного дуктингу, час доби (релевантний для контрастності EO/IR) — та застосовує моделі продуктивності, специфічні для сенсора, для оцінки поточної точності вимірювань. Ці моделі отримані з даних виробника сенсора та перевірені в ході оперативних калібрувальних пробігів. Оцінка точності безпосередньо надходить у коваріацію шуму вимірювань, що використовується у кроці оновлення фільтра Калмана.

Історична точність. Для кожного сенсора платформа відстежує розподіл залишків — різниць між прогнозованими та спостережуваними позиціями для добре встановлених треків — протягом ковзного вікна. Сенсор з постійно великими залишками має збільшену коваріацію; сенсор, що відстежує точніше, ніж його опублікована специфікація, має знижену коваріацію. Цей механізм самокалібрування фіксує дрейф сенсора та помилки калібрування, які телеметрія стану не повідомляє безпосередньо.

Темпоральна злиття: вирівнювання сенсорів, що розходяться у часі

Платформи мультисенсорної злиття обробляють дані від джерел з принципово різними темпоральними характеристиками. Радар може оновлюватися з частотою 4 Гц, сенсор EO/IR — 1 Гц, AIS — один звіт на судно за 10 секунд, а SIGINT — з нерегулярними інтервалами, зумовленими активністю випромінювача. Наївне злиття цих даних — розгляд кожного звіту як сучасного — вводить систематичні помилки, пропорційні швидкості платформи та різниці затримок.

Правильним шаблоном є екстраполяція до спільного опорного часу. Для кожного вхідного спостереження двигун злиття екстраполює існуючий стан треку вперед (або назад) від його останнього оновлення до часу спостереження, використовуючи кінематичну модель треку. Крок прогнозування фільтра Калмана обчислює очікувану позицію та її невизначеність у цільовий час; крок оновлення вимірювань потім коригує цей прогноз новим спостереженням.

Позачергові вимірювання — спостереження, що надходять після того, як новіше спостереження від іншого сенсора вже оновило трек — вимагають ретроспективного згладжування або спеціального алгоритму OOSM (позачергове вимірювання). Практичний підхід для помірних затримок поза порядком (менше одного циклу сканування) — застосувати затримане спостереження як віртуальне вимірювання у правильний час і повторно екстраполювати вперед. Для більших затримок спостереження або відкидається, або зберігається та застосовується під час наступного проходу пакетного згладжування.

Управління застарілими даними однаково важливе. Трек, який не отримав підтверджуючого спостереження від жодного сенсора протягом налаштованого вікна, починає спад достовірності: еліпс невизначеності зростає з кожним кроком прогнозування без оновлення, а оцінка достовірності треку зменшується. Система відображення показує треки, що деградують, з візуальним старінням — знижена непрозорість, пунктирна рамка символу, індикатор минулого часу. Треки, достовірність яких падає нижче порогу видалення, архівуються до сховища подій, а не видаляються; вони можуть бути відновлені, якщо нове спостереження потрапляє в їх (тепер великий) строб.

Просторова реєстрація: вирівнювання сенсорів, що розходяться у просторі

Кожен сенсор звітує позиції у власній системі координат з власними систематичними зміщеннями. Корабельний радар звітує відносно своєї позиції, отриманої з GPS, плюс власні помилки орієнтування та зміщення кронштейна. Сенсор EO/IR на БПЛА звітує відносно позиції та орієнтації, отриманих з INS платформи, з помилками геолокації, що накопичуються при кількох геометричних перетвореннях. Транспондер AIS використовує GPS і зазвичай добре відкалібрований, але має квантування від кодування NMEA.

Просторова реєстрація виправляє ці систематичні зміщення до злиття. Стандартний підхід — порівнювати, протягом навчального періоду, позиції об'єктів, що одночасно спостерігаються кількома сенсорами, та оцінювати зміщення для кожного сенсора за допомогою мінімізації методу найменших квадратів. Опорні цілі геодезичного класу — буї у відомих позиціях, наземні контрольні точки — забезпечують правду для калібрування; перехресна узгодженість сенсорів на добре встановлених треках забезпечує поточне самокалібрування в операціях.

Помилки реєстрації маскуються під розщеплення треків. Якщо сенсор A має зміщення на північ 50 метрів, а сенсор B не має, спостереження того самого судна виробляють два суміжних треки. Оператори розпізнають це як відому патологію та вручну об'єднують треки, що є оперативно дорогим та схильним до помилок. Автоматична просторова реєстрація, що безперервно виконується та оновлює оцінки зміщень, зменшує хибні розщеплення без втручання оператора.

Нормалізація системи координат є пов'язаним питанням. Канонічна схема треку зберігає позиції в десяткових градусах WGS84; кожен адаптер перетворює з власного формату при прийомі. Посилання MGRS, UTM та національні сіткові посилання повинні перетворюватися послідовно — округлення повинне застосовуватися в одній точці (вихід адаптера), а не розкидано по ланцюгах перетворень, де накопичена помилка може досягати десятків метрів.

Ідентифікаційна злиття: поєднання SIGINT, AIS, ЕПР радару та форми EO

Кінематична злиття — отримання хорошої оцінки позиції — є необхідним фундаментом. Ідентифікаційна злиття — визначення того, що є контактом — це те, що дає COP оперативну цінність.

Кожен тип сенсора надає різний фрагмент ідентифікаційного доказу:

Ефективна площа розсіювання радару (ЕПР) обмежує фізичний розмір та матеріальний склад цілі. Великий контакт ЕПР у секторі повітряного простору відповідає широкофюзеляжному транспортнику або великому бойовому кораблю, а не легкому літаку або малому судну. ЕПР є грубим дискримінатором — атмосферні ефекти та варіація кута огляду вносять значний шум — але він дешево усуває великі частини простору гіпотез.

Класифікація форми EO/IR звужує ідентифікацію далі. Конволюційний класифікатор, що працює проти виявлення EO/IR, виробляє розподіли ймовірностей по класах транспортних засобів: військова вантажівка, танк, гелікоптер, надводне судно, цивільний автомобіль. На великій висоті роздільна здатність обмежує якість класифікації; поблизу вона може розрізняти конкретні моделі транспортних засобів. Двигун злиття поєднує вихід класифікації форм з простором гіпотез, обмеженим ЕПР, за допомогою комбінації Демпстера-Шефера або байєсівського оновлення.

MMSI AIS надає явну, структуровану ідентифікацію для кооперативних суден. MMSI розпізнається в записі судна в базі даних МСЕ: назва, тип, прапор, валова тоннажність, позивний та зареєстрований власник. Це остаточна ідентифікація для кооперативних цілей; двигун злиття підвищує складову ідентифікацію до ВІДОМИЙ з високою достовірністю, коли кореляція AIS успішна. Запис складового треку пов'язує MMSI та запис судна як походження.

Ідентифікація випромінювача SIGINT зіставляє спостережувані параметри випромінювача — частоту, інтервал повторення імпульсів, модуляцію — з бібліотекою електронного реєстру бойового порядку (EOB) для ідентифікації типу випромінювача і, де EOB підтримує, конкретної платформи. Тип радіовипромінювання, унікально пов'язаний з конкретним класом бойових кораблів, звужує ідентифікацію до цього класу. У поєднанні з AIS (яка дає назву та MMSI для того самого судна, якщо воно транслює), двигун злиття може виробити ідентифікацію конкретного судна з високою достовірністю.

Вихід ідентифікаційної злиття — це ранжований список гіпотез ідентифікації з ймовірностями, а не примусова одинична класифікація. COP відображає гіпотезу з найвищою достовірністю разом з оцінкою ймовірності; аналітик може розгорнути список гіпотез для неоднозначних треків. Цей дизайн запобігає передачі хибної впевненості через інтерфейс — критична вимога в операційних середовищах з великими наслідками.

Архітектурні шаблони: централізована vs. федеративна злиття

Вибір між централізованою та федеративною топологією злиття має наслідки для живучості, затримки, пропускної здатності мережі та оперативної концепції.

Централізований сервер злиття. Всі адаптери сенсорів передають необроблені спостереження на єдиний сервер злиття. Сервер підтримує повну базу даних треків та виконує всю кореляцію та управління треками. Ця архітектура проста для розуміння: є одна база даних треків, один двигун кореляції та одне джерело правди для COP. Глобально оптимальні асоціації можливі, оскільки двигун бачить усі спостереження одночасно. Режим відмови очевидний: сервер злиття є єдиною точкою відмови, а розділення мережі між сенсорами та сервером деградує COP до того, що сервер знав останнє. Централізовані архітектури підходять для стаціонарних установок з надійною мережевою інфраструктурою — національні розвідувальні центри, центри морського патрулювання.

Федеративні вузли злиття. Сенсори групуються в кластери, кожен обслуговується локальним вузлом злиття. Кожен вузол виробляє треки від сенсорів свого кластера. Вузол вищого рівня приймає треки (а не необроблені спостереження) від усіх локальних вузлів та виконує кореляцію між вузлами — зіставляючи треки, що представляють одну сутність, але виходять з різних кластерів сенсорів. Федеративні архітектури краще переносять розділення мережі: кожен локальний вузол продовжує роботу зі своїми локальними сенсорами; вузол вищого рівня ресинхронізується при відновленні з'єднання. Вони є природним рішенням для розгорнутих військових формувань, де радари та системи EO/IR розподілені по полю бою, а мережа є заперечуваною.

Модель JDL природно відображається на цю архітектуру. Локальні вузли злиття реалізують рівень 1 JDL (уточнення об'єктів) з даних кластера своїх сенсорів. Вузол вищого рівня реалізує рівень 1 між вузлами (злиття трек-трек виходів вузлів) та рівень 2 (оцінка ситуації — виявлення конвоїв, розпізнавання формацій, зіставлення загроза-ціль) з об'єднаної картини треків. Рівень 3 (оцінка впливу) зазвичай виконується на аналітичній робочій станції або окремому сервері оцінки, що запитує вихід рівня 2.

У будь-якій топології шина повідомлень — Kafka, Pulsar або NATS JetStream — несе всі міжкомпонентні комунікації. Адаптери сенсорів публікують спостереження у вхідні теми; вузли злиття підписуються та публікують свої виходи у вихідні теми; COP підписується на тему фінальних злитих треків. Шина роз'єднує виробників від споживачів, буферизує сплески та забезпечує можливість відтворення, необхідну для аналізу після дій та тестування алгоритмів. Детальний аналіз компромісів між субстратами повідомлень див. у статті Черги повідомлень для оборонних конвеєрів даних.

Пов'язані матеріали

Архітектура мультисенсорної злиття — це один шар у більшому стеку оборонної розвідки. Наведені нижче статті детально розглядають пов'язані компоненти.

Основи злиття: Повний посібник з оборонного злиття даних, Пояснення військового злиття даних, Модель злиття даних JDL, Алгоритми кореляції треків.

Специфічна інтеграція сенсорів: Інтеграція AIS та ADS-B у військову картину, Побудова оборонного конвеєра злиття: джерела та схеми.

Інженерія даних: Черги повідомлень для оборонних конвеєрів даних, Event Sourcing для оборонних журналів аудиту, PostGIS для оборонних геопросторових даних, Геопросторова індексація для оборони.

Інтеграція COP та C2: Спільна оперативна картина: як вона будується, Повний посібник з систем C2.