Мультимодальний ШІ для ISR: злиття EO, IR, SAR та SIGINT

Жоден окремий сенсор ISR не бачить усього поля бою. Електрооптична камера є сліпою вночі та марною крізь хмари. Інфрачервоний сенсор бачить тепло, але втрачає контраст на розігрітому сонцем фоні. Радар із синтезованою апертурою проникає крізь погоду та темряву, але виробляє зображення зі спеклом, яке важко класифікувати. SIGINT визначає місцезнаходження випромінювача, який не має жодної візуальної ознаки, і нічого не каже про вантажівку, припарковану поруч із ним. Мультимодальний ШІ існує для того, щоб ці режими відмов взаємно компенсувались, а не накопичувались: щоб об'єднати EO, IR, SAR та SIGINT в єдине геопривʼязане виявлення, яке виживає в умовах, де будь-яка окрема модальність зазнала б невдачі. Ця стаття розглядає інженерію такого злиття — часове та просторове вирівнювання, архітектури крос-модальних моделей, обробку достовірності при відмові сенсорів та дисципліну, необхідну для виведення злитих виявлень оператору без руйнування його довіри.

Навіщо взагалі зливати: аргумент взаємодоповнення

Аргумент на користь мультимодального злиття полягає не в тому, що більше даних завжди краще — а в тому, що модальності є взаємодоповнюючими саме в тих вимірах, що мають оперативне значення. EO та IR забезпечують високу просторову роздільну здатність та зображення, зрозумілі людині, але блокуються погодою та обмежені освітленням. SAR забезпечує всепогодне, цілодобове покриття та особливо добре виявляє металеві об'єкти і зміни на поверхні, але його геометрія та спекл ускладнюють тонку класифікацію. SIGINT надає підказки щодо ідентичності та намірів — що таке випромінювач і іноді що він робить — але з грубою та невизначеною геолокацією. Інформація, якої бракує кожній модальності, зручно є тією інформацією, яку постачає інша.

Система злиття перетворює цю взаємодоповнюваність на кількісно вимірний виграш. Виявлення, помічене в EO, підтверджене в IR за відповідним тепловим підписом, підкріплене поверненням SAR на тій самій наземній позиції та пов'язане з лінією пеленгу SIGINT, що проходить через ту точку, є принципово іншим розвідувальним продуктом, ніж будь-яке з цих спостережень окремо. Воно має вищу достовірність, точнішу геолокацію та — що критично — гіпотезу ідентичності, яку жоден окремий сенсор не міг стверджувати. Це та ж логіка кореляції, що лежить в основі традиційної архітектури злиття даних з багатьох сенсорів, але мультимодальний підхід на основі ШІ навчає крос-модальні асоціації з даних, а не кодує їх у вигляді налаштованих вручну правил.

Вирівнювання: передумова, яку інженери злиття недооцінюють

Перш ніж будь-яка модель зможе зливати модальності, ці модальності повинні описувати одну й ту саму реальність. Вирівнювання має три осі, і відмова на будь-якій з них призводить до злитих треків, які дрейфують, розщеплюються або «галюцинують».

Часове вирівнювання

Чотири модальності працюють на зовсім різних годинниках. EO та IR передають дані зі швидкістю 30–60 Гц. SAR виробляє зображення за прохід — з частотою від секунд до хвилин залежно від платформи та режиму. SIGINT надходить як нерегулярні події перехоплення кожного разу, коли передає випромінювач. Злиття кадру EO в момент часу t із перехопленням SIGINT з t − 4 с так, ніби вони одночасні, приписує випромінювання тому місцю, куди ціль EO вже перемістилась. Дисципліна полягає в тому, щоб проставляти мітку часу на кожному зразку на боці сенсора за допомогою дисциплінованого годинника (GPS або PTP), а не на стороні споживача, та передискретизовувати кожен потік до загального опорного часу за допомогою інтерполяції з компенсацією руху. Кожне злите спостереження також повинне нести справжній вік своїх зразків-учасників, щоб модель могла знижувати вагу застарілих доказів, а не сліпо довіряти їм.

Просторове вирівнювання

Кожна модальність повинна бути виражена в одній загальній географічній системі відліку, перш ніж асоціація набуде змісту. Виявлення EO/IR геоприв'язуються шляхом проведення промення від сенсора крізь піксель площини зображення та його перетину з моделлю рельєфу (DTED). Зображення SAR геокодується через його геометрію дальність-Доплер. Лінії пеленгу SIGINT перетворюються на еліпси геолокації в тій же системі відліку. На виході цього етапу кожне спостереження виражається як позиція плюс регіон невизначеності в WGS84. Невизначеність має таке ж значення, як і позиція: еліпс SIGINT може охоплювати кілометри, тоді як геолокація EO вимірюється метрами, і логіка асоціації повинна зважувати їх відповідно, а не трактувати центроїд як абсолютну істину.

Представницьке вирівнювання

Нарешті, модальності повинні стати порівнюваними для моделі. Необроблені пікселі EO, радіометрія IR, комплексні повернення SAR та вектори ознак SIGINT не мають нічого спільного в числовому відношенні. Кожна модальність кодується магістраллю, налаштованою на її статистику, у вектори ознак, що мають спільний вимір вкладень, щоб подальший шар уваги міг аналізувати їх разом. Саме цей представницький крок відрізняє мультимодальний ШІ від класичного злиття: спільне вкладення навчається, а не задається.

Архітектури злиття: раннє, пізнє та проміжне

Існує три структурних варіанти місця злиття в конвеєрі, і цей вибір є єдиним найважливішим архітектурним рішенням.

Раннє злиття конкатенує необроблені або слабко оброблені входи — наприклад, складаючи зареєстровані за пікселями EO та IR в багатоканальний тензор — і подає результат в одну модель. Це найпростіше у реалізації й може використовувати крос-модальні кореляції низького рівня, але нестабільне: воно передбачає майже ідеальну просторову реєстрацію та деградує при відсутності або некоректній реєстрації модальності. Раннє злиття працює лише тоді, коли модальності справді спільно зареєстровані та надійно присутні, що на практиці означає EO+IR зі спільного кардана, а не повний набір із чотирьох джерел.

Пізнє злиття запускає незалежний детектор на кожну модальність і об'єднує їхні виходи на рівні рішень — за правилом, байєсівським оновленням або навченим комбайнером поверх виявлень від кожної модальності. Воно природно стійке до відсутньої модальності (інші просто продовжують роботу), і його найлегше сертифікувати, оскільки кожен детектор є незалежно тестованим. Його слабкість полягає в тому, що до моменту злиття кожна модальність вже відкинула підказки низького рівня, які міг би використати партнер; слабка ціль EO нижче порогу виявлення одним сенсором втрачається до того, як повернення SAR, яке могло б її підтвердити, отримає голос.

Проміжне (на рівні ознак) злиття кодує кожну модальність окремо, а потім об'єднує навчені ознаки — зазвичай за допомогою трансформера крос-уваги — перед спільною головою виявлення. Воно захоплює крос-модальні підказки, які пізнє злиття відкидає, зберігаючи при цьому значну частину його робастності, оскільки енкодери кожної модальності функціонують при відсутності партнера. Для ISR проміжне злиття є виробничим стандартом. Шар крос-уваги дозволяє ознакам SAR звертати увагу на ознаки EO і навпаки, щоб слабкий сигнал в одній модальності міг бути посилений підтверджуючою структурою в іншій — саме це підпорогове підтвердження, якого пізнє злиття не може досягти.

Проектування крос-модальних моделей

Практична модель проміжного злиття для ISR складається з чотирьох частин. По-перше, набір енкодерів кожної модальності: трансформер бачення або CNN для EO/IR, SAR-специфічний енкодер, що толерує спекл та нетипову статистику радарного зображення, та послідовний енкодер для ознак перехоплення SIGINT (частота, модуляція, характеристики імпульсу, пеленг). По-друге, проекція, що відображає вихід кожного енкодера у спільний вимір вкладень. По-третє, блок крос-уваги, що звертає увагу між токенами модальностей, з маскуванням за маскою доступності, щоб відсутні модальності не вносили нічого, а не нулі, які модель розглядала б як докази. По-четверте, спільна голова, що видає геопривʼязані виявлення, гіпотези класів та злиту достовірність.

Головний ризик проектування — спільна адаптація: модель, навчена на даних, де всі чотири модальності зазвичай присутні, навчається спиратися на найбільш інформативну і катастрофічно деградує, коли та модальність зникає в польових умовах. Контрзаходом є dropout модальностей під час навчання — випадкове обнуління цілих модальностей (з відповідним налаштуванням масок доступності), щоб мережа була змушена витягувати цінність з кожної підмножини. Модель, навчена таким чином, виробляє придатне виявлення лише з EO, покращує його при наявності IR та досягає повної достовірності лише при підтвердженні від SAR та SIGINT. Ті самі обмеження граничного розгортання, що регулюють мonomодальне бачення, застосовуються тут; мультимодальна голова важча, і методи, розглянуті в статті про комп'ютерний зір для ISR-дронів — квантизація, обрізка та ретельне бюджетування затримки — застосовуються безпосередньо.

Достовірність, невизначеність та коректна деградація

Злита оцінка достовірності є найважливішим виходом всього конвеєра, оскільки саме на ній діють оператор та будь-яка подальша автоматизація. Необроблена ймовірність softmax від голови виявлення не є каліброваною достовірністю — нейронні мережі є загальновідомо надмірно впевненими, — тому оцінка повинна бути відкалібрована за допомогою температурного масштабування або навченого комбайнера на відкладених даних так, щоб заявлені 0.9 відповідали справжній надійності 90%.

Одного калібрування недостатньо. Злита достовірність повинна відображати, які модальності сприяли та наскільки гарною була кожна в той момент. Виявлення, підтверджене чотирма модальностями, не повинне мати ту саму достовірність, що й та сама номінальна оцінка, отримана лише з EO у затуманеній атмосфері. Тому конвеєр зважує внесок кожної модальності за оцінкою якості кожної модальності — освітлення та контраст для EO, тепловий контраст для IR, сила повернення та геометрія для SAR, відношення сигнал-шум перехоплення для SIGINT — і поширює це зважування у злиту оцінку. Коли модальність повністю зникає, маска доступності виключає її з уваги, а її вага стає нулем; система продовжує роботу на решті модальностей зі чесно зниженою достовірністю, а не відмовляє або, що гірше, мовчазно вигадує.

Виведення злитих виявлень оператору

Злиття має цінність лише тоді, коли його вихід доходить до оператора у формі, якій вони довіряють і на якій можуть діяти. Злиті виявлення асоціюються в часі у стійкі треки зі стабільними ідентифікаторами та публікуються на загальну оперативну картину, зазвичай як події Cursor on Target на TAK Server, щоб кожен підключений клієнт бачив той самий маркер, що рухається, а не мерехтіння незалежних подій. Логіка сортування, що вирішує, які злиті треки привертають увагу оператора, дотримується тієї самої дисципліни пріоритизації, описаної в статті про автоматизоване сортування даних ISR за допомогою ШІ — шар злиття зменшує обсяг, але ранжування та фільтрація все одно вирішують, що аналітик бачить першим.

Вирішальний вибір дизайну — провенанс. Єдиний впевнений маркер без вказівки на його походження завойовує довіру до першої помилки, після якої оператори ігнорують систему. Виведення кожного окремого сенсорного виявлення на карту переповнює картину та знецінює саму мету злиття. Правильна поведінка — єдиний злитий трек, який наочно кодує, які модальності сприяли (підтвердження EO+IR+SAR+SIGINT відображається інакше, ніж підказка лише на основі EO), калібровану достовірність та деталізацію до доказів кожної модальності на вимогу. Завдання шару злиття — стиснути багато сенсорних спостережень в один надійний трек, зберігаючи при цьому журнал аудиту, що дозволяє людині його перевірити.

Оперативні реалії

Три польові реалії формують будь-яке розгортання. По-перше, модальності рідко надходять до одного вузла — EO/IR на БПЛА, SAR на іншій платформі, SIGINT від наземного масиву, — тому злиття є розподіленою проблемою, і мережева затримка між колекторами часто домінує над часовим горизонтом більше, ніж вартість виведення. По-друге, перехресне наведення є настільки ж цінним, як і виявлення: перехоплення SIGINT може направити сенсор EO на заданий пеленг — замкнутий контур, що сам по собі є формою злиття, яка передує будь-якій спільній моделі. По-третє, проблема навчальних даних є гострою — мічені, часово та просторово вирівняні набори даних з чотирьох джерел є рідкісними, тому dropout модальностей, синтетичні дані та самоконтрольоване передавчасне навчання на немічених одномодальних даних є практичним шляхом до моделі, що працює.

Для більш широкої архітектури, в яку вбудовується мультимодальна модель — кореляція треків, злиття ідентичності та сама оперативна картина — супровідна стаття про архітектуру злиття даних з багатьох сенсорів детально висвітлює навколишній конвеєр.