Оборонний ШІ від сенсора до ефектора, частина 2: ШІ на сенсорі — виявлення та тріаж на edge

ШІ на сенсорі — це find-стадія ШІ в циклі від сенсора до ефектора. Він працює на корисних навантаженнях UAV, наземних машинах, носимих пристроях бійця, процесорах наземних РЛС та на тактичних edge-серверах. Стиснення, яке він забезпечує — перетворення сирого виходу сенсора на ранжовані кандидати-детекції за мілісекунди — є найбільш операційно перевіреною спроможністю ШІ в обороні станом на 2026 рік. Частина 2 розглядає інженерію цього рівня: вибір обладнання, розгортання моделей, дата-пайплайн та режими відмов, які виникають у польових умовах.

Архітектурне обрамлення викладено в Частині 1: Цикл, а ширша дисципліна ШІ — у Повному посібнику зі ШІ в оборонному ПЗ. Ця частина переходить в операційну площину.

Чому інференс має бути на edge

Аргумент на користь периферійного інференсу складається з чотирьох пунктів і має чіткі межі.

Затримка. Детекція з UAV, яка займає 100 мс на edge, може займати 1–5 секунд у двосторонньому обміні з централізованим інференс-сервісом по контрольованому каналу. Для тактичних сценаріїв, де цикл замикається за секунди, ця різниця є вирішальною.

Пропускна здатність. 4K-відеопотік full-motion video з UAV — це мегабайти на секунду. Вихід детекції — кілька bounding-box із класифікаціями та довірчими оцінками — це байти на детекцію. Передача лише результату інференсу і вибірково тих video chip, що його спричинили, зменшує навантаження на канал на порядки.

Стійкість. UAV, який втратив зв'язок, продовжує детектувати, класифікувати та зберігати. Коли зв'язок повертається, буферизовані детекції передаються назад. Платформа, якій для роботи потрібен центральний інференс, стає непридатною під час неминучих обривів зв'язку.

Безпека. Менше сирих даних, що залишають захищений пристрій, означає меншу поверхню атаки, простіше поводження з класифікацією та менше точок виходу, які треба перевіряти. Для чутливих сенсорів, що працюють на високих рівнях секретності, периферійний інференс також зберігає модель власною — ваги залишаються на пристрої.

Ширший ландшафт сценаріїв застосування edge AI розглянуто в Edge AI у військових системах: кейси використання.

Обладнання: що працює і де

Вибір обладнання для edge-AI в обороні обмежений споживанням, тепловим конвертом, міркуваннями ITAR та фізичною платформою, що хостить інференс.

Корисні навантаження UAV. Сімейство NVIDIA Jetson Orin домінує для тактичних та оперативних UAV. Висока продуктивність інференсу на ват, зріла інтеграція з TensorRT, добре розуміється інтеграторами. Позиціювання поза ITAR має значення в європейських програмах — див. ITAR-Free Defence Software. Менші UAV дедалі частіше використовують SoC класу Qualcomm QCS або спеціалізовані NPU (Hailo, Ambarella) для кращої продуктивності на ват при малих бюджетах.

Наземні машини. Більший енергетичний і тепловий запас, ніж у UAV, дозволяє ставити захищені серверні GPU (NVIDIA L4, RTX A-серія) або багатовузлові кластери Jetson. Обчислювальний конверт машини обмежений генератором і системою охолодження, а не самими компонентами.

Носимі пристрої бійця. Жорсткі обмеження по енергоспоживанню і теплу штовхають до спеціалізованих NPU, часто інтегрованих у головний SoC пристрою (індустріальні варіанти Qualcomm, MediaTek). Затримка інференсу обмежена розміром моделі, яка туди вміщається.

Тактичні edge-сервери. Захищені 1U- або 2U-шасі на ротних або батальйонних пунктах управління. Кілька GPU, кілька ТБ сховища, паралельне виконання кількох екземплярів моделей. Те саме шасі є цільовим розгортанням для злиття даних, бекендів COP та центральних інференс-сервісів, які менші edge-пристрої запустити не можуть.

Деталізоване порівняння обладнання та критерії вибору наведено в Edge AI для оборони: Jetson vs Hailo vs Movidius.

Пайплайн моделі: тренувати централізовано, інференс — на edge

Шаблон послідовний по всьому edge AI в обороні. Тренувати в високій точності у захищеному дата-центрі на агрегованих мультиджерельних даних. Квантизувати і конвертувати під цільовий інференс-рантайм. Валідувати на даних деплой-середовища. Розгортати як підписані артефакти на edge-платформи.

Етапи, в інженерних деталях:

Підготовка тренувальних даних. Оборонні тренувальні дані обмежені, засекречені, упереджені тим, що випадково потрапило в доступні сенсори, і нерівномірно розмічені. Інвестиції в розмітку, відстеження походження та балансування класів — структурні; без них наступні твердження про точність нічого не варті. Синтетичні дані заповнюють прогалини; ніколи самі по собі. Див. Синтетичні дані для оборонного ШІ.

Тренування. Конвенційне тренування на PyTorch або TensorFlow у захищеному середовищі. Моделі — vision-трансформери, детектори сімейства YOLO або спеціалізовані архітектури залежно від модальності сенсора. Гіперпараметри й архітектурні рішення відстежуються разом з вагами моделі для відтворюваності.

Квантизація. Тренування у FP32, розгортання в INT8 або INT4. Квантизація з урахуванням під час тренування — там, де деградація точності неприйнятна. Дельта точності між тренувальною й деплойною точностями вимірюється на валідаційному наборі, що відповідає деплой-середовищу, а не на тренувальному, який занижуватиме регресію.

Конвертація. ONNX як проміжний формат обміну. TensorRT для NVIDIA-таргетів, вендорські рантайми в інших випадках (Qualcomm SNPE, рантайм Hailo тощо). Конвертаційний пайплайн повністю автоматизований; ручна конвертація не переживає першого оновлення моделі. Шаблон описано в Оптимізація моделей з ONNX та TensorRT.

Валідація. Сконвертована та квантизована модель валідується на репрезентативному валідаційному наборі, що відповідає деплой-середовищу. Модель, яка добре працює на лабораторно підібраних даних і погано — на операційних, операційно непридатна, і це майже гарантовано, якщо валідаційний набір не відображає реальність.

Розгортання. Підписані артефакти розгортаються на edge-платформи через ланцюг постачання C2-ПЗ. Каденс оновлень узгоджений з операційним ритмом і вікнами обслуговування платформи. Шляхи відкату протестовані, а не припущені.

Edge-пайплайн даних

Edge AI не працює ізольовано. Він — частина дата-пайплайну, що замикає цикл з центральним тренуванням.

Вихідний потік з edge. Події детекції надходять до C2-двигуна злиття як кандидатські треки. Шаблон адаптера «детекція → трек» — той, що описано в Building a C2 System, Part 2: The Fusion Engine.

Вибіркове повернення повних даних. Коли пропускна здатність дозволяє, video chip, аудіосегменти або семпли сигналу, що спричинили детекції з високою впевненістю, передаються централізовано. Вони стають майбутніми тренувальними даними. Вибірковість керується політикою — частота підтверджень оператором, виявлення новизни, цілеспрямоване семплування важких прикладів.

Зворотний зв'язок active learning. Там, де оператори виправляють мітки детекції — позначають false positives, додають пропущені об'єкти — корекції повертаються до сховища тренувальних даних з простежуваним походженням. Це замикає цикл між операціями і покращенням моделі.

Drift monitoring. Платформа відстежує продуктивність моделі в часі. Розподіли впевненості, розподіли класифікацій і частота операторських корекцій виявляють drift до того, як він стане проблемою деплойменту. Виявлення drift запускає переучування, а не тиху деградацію.

Модальності сенсорів: різні сенсори — різний ШІ

Той самий архітектурний шаблон інстанціюється по-різному в різних сенсорних модальностях.

Електрооптика (EO) та інфрачервоне (IR) зображення з UAV. Канонічне застосування edge AI. Виявлення об'єктів, класифікація, трекінг по відео. Інженерію розглянуто у Комп'ютерний зір у системах оборони.

Радар з синтезованою апертурою (SAR). Виявлення на SAR-зображеннях швидко дозріло. Глибинні детектори, навчені на SAR-специфічних ознаках (speckle-патерни, скатеринг-сигнатури), переважають класичні методи в задачах індикатора рухомих цілей (GMTI) та виявлення змін.

SIGINT та ELINT. Класифікація сигналів, розпізнавання модуляції, фінгерпринтинг емітерів. Глибинне навчання витіснило або доповнило класичну інженерію ознак для багатьох з цих задач. Див. Компоненти SIGINT-платформи.

Акустика. Виявлення пострілів, класифікація транспорту, виявлення UAV за акустичною сигнатурою. Розгортається на edge з малим енергобюджетом — акустичне ML обчислювально легше за зорове.

AIS і ADS-B. Виявлення аномалій у цивільних broadcast-треках. Виявлення підроблених AIS, ідентифікація поведінкових аномалій. Шаблон у Інтеграція AIS та ADS-B у військову картину.

Режими відмов в операціях

Edge AI-моделі відмовляють в операціях за повторюваними патернами. Інженерія платформи так, щоб ці відмови ставали видимими, а не маскувалися, — це половина операційної дисципліни.

Зсув розподілу. Операційні сенсори бачать те, чого не було в тренувальних даних — нові типи техніки, нові камуфляжі, незвичні погодні умови. Модель повертає впевнено-але-неправильні класифікації. Мітигація: drift monitoring, виявлення поза-розподільних входів, консервативна калібрація впевненості, швидке переучування при виявленні drift.

Змагальні входи. Свідома маніпуляція входом сенсора, щоб ввести класифікатор в оману. Adversarial patches, спуфінг сенсорів, deepfake-зображення. Мітигація: adversarial training, ансамблеві методи, sanity-перевірки відносно фізичних апріорі. Дисципліна стійкості має закладатися від першого спринту; ретрофіт ненадійний.

Деградація сенсора. Глушилки, туман, бруд на лінзі, переривчасте живлення. Модель отримує деградований вхід і видає деградований вихід, часто з некаліброваною впевненістю. Мітигація: явне виявлення деградованого входу, калібрація впевненості на деградованих прикладах у тренуванні, шляхи плавної деградації до перегляду оператором.

Апаратна відмова. Jetson перегрівається. NPU втрачає синхронізацію. Інференс повертає нісенітницю або нуль. Мітигація: моніторинг здоров'я, вотчдоги, відкат до інференсу нижчої точності, швидкий failover на інші вузли.

Застаріння моделі. Розгорнута модель — піврічної давнини; картина загроз змінилася. Мітигація: планове переучування і пере-розгортання, операційно-обумовлений каденс оновлень, деплой-пайплайн, що доставляє нову модель у поле за дні, а не місяці.

Коли федеративне навчання допомагає

Федеративне навчання — правильна техніка тоді, коли тренувальні дані існують на кількох майданчиках, які не можуть ними обмінюватися. В обороні канонічний випадок — мультинаціональні коаліційні дані: радарні треки, що спостерігаються союзними націями, сенсорні входи від партнерських сил — які не можна централізувати з юридичних причин, через рівень секретності або суверенітет.

Шаблон: кожен майданчик тренує локально на власних даних; майданчик залишають лише градієнти моделі або оновлення ваг. Координатор агрегує оновлення в глобальну модель. Засекречені дані ніколи не рухаються. Інженерний шаблон, включно з secure aggregation і міркуваннями byzantine-стійкості, описано в Федеративне навчання для військових сенсорів.

Федеративне навчання операційно складне. Час налаштування великий; довіра між майданчиками-учасниками — фундаментальна; акредитація координатора нетривіальна. Техніку розгортають тоді, коли альтернатива з централізацією неможлива або політично заблокована. Це не той інструмент для однонаціональних тренувальних пайплайнів, хоч би якою привабливою архітектура виглядала на слайді.

Що далі

Частина 2 покрила find-стадію ШІ. Сенсори виробляють детекції, периферійний інференс фільтрує та ранжує їх, дата-пайплайн замикає цикл з центральним тренуванням. Платформа тепер має достовірних кандидатів, що повертаються до операторів.

Частина 3 бере цих кандидатів і переходить в операційну площину на target-стадії. ШІ підтримки рішень, рекомендовані списки ураження, аналіз варіантів дій, LLM-доповнені інструменти брифінгу — і структурні шаблони, що тримають людину в циклі, поки ШІ стискає когніцію.