Програмне забезпечення для розвідки БПЛА: від сенсора до рішення оператора

БПЛА несе сенсори. Сенсор виробляє дані. Дані стають інформацією, коли вони поєднуються з контекстом і потрапляють до оператора, який може діяти на їх основі. Відстань між цими двома точками — захопленням сенсором і рішенням оператора — це цикл від сенсора до рішення, і програмне забезпечення для розвідки БПЛА керує його затримкою, точністю та надійністю. У цій статті розглядається повний конвеєр: від конфігурації бортового сенсора через канал передачі до наземної станції, крізь конвеєр відеоаналітики і до загальної оперативної картини, що відображається офіцерам S2 та S6 у полі.

Цикл від сенсора до рішення: огляд архітектури

Цикл має п'ять окремих етапів, кожен з яких вносить затримку та є потенційною точкою відмови:

1. Бортовий сенсор і кодування. Електрооптичні (EO), інфрачервоні (IR), радіолокаційні з синтетичною апертурою (SAR) та SIGINT-корисні навантаження виробляють необроблені дані, які потрібно стиснути та мультиплексувати для передачі. Для відеокорисних навантажень кодування H.264 або H.265 відбувається на бортовій платі відеокодера БПЛА. Метадані MISB KLV — положення платформи, орієнтація, поле зору сенсора — вбудовуються в транспортний потік на цьому етапі. Затримка кодування на здатному апаратному забезпеченні зазвичай становить 30–80 мс.

2. Канал зв'язку. Закодований транспортний потік передається по повітрю через канал C2 (висхідний канал командування та управління) та окремий, більш широкосмуговий розвідувальний низхідний канал. Поширені типи низхідних каналів включають Tactical Common Data Link (TCDL) у діапазоні C або Ku для платформ MALE і HALE, а також двоточкові канали 2,4 ГГц або 5,8 ГГц для тактичних БАС. Затримка каналу для добре спроектованої системи прямої видимості становить 10–50 мс; супутникова ретрансляція додає 500–600 мс в один бік (геостаціонарна орбіта) або 20–80 мс (низька навколоземна орбіта), що суттєво змінює бюджет затримки для ураження цілей, чутливих до часу.

3. Приймання та декодування на наземній станції. Наземний термінал даних (GDT) приймає радіосигнал і виводить транспортний потік MPEG-2 STANAG 4609 через Ethernet або послідовний інтерфейс. Програмне забезпечення наземної станції декодує потік, демультиплексує метадані KLV з елементарного відеопотоку та передає обидва нижнім за ієрархією споживачам. Добре реалізований стек приймання додає менше 100 мс затримки обробки на цьому етапі.

4. Аналітика та геолокація. Декодовані кадри передаються до конвеєра відеоаналітики — виявлення, класифікація та відстеження — тоді як одночасно витягнуті метадані KLV живлять механізм геолокації. Результатом цього етапу є набір геолоційованих, класифікованих виявлень, опублікованих як події в тактичну мережу. Затримка аналітики залежить від складності моделі та апаратного забезпечення; модель розміру YOLOv8 на робочій станції з GPU обробляє кадри 1080p швидше реального часу — менше 20 мс на кадр. На периферійному апаратному забезпеченні лише з CPU та ж модель може потребувати 80–150 мс на кадр.

5. Відображення оператору та прийняття рішення. Оператор переглядає відеоканал, накладку відбитка сенсора на карті та маркери аналітичних виявлень у загальній оперативній картині. Затримка рішення — час від відображення до команди або звіту — є людським фактором, яким жодне програмне забезпечення не може повністю керувати, але зменшення затримки відображення та підвищення щільності інформації безпосередньо знижує когнітивне навантаження та скорочує цикл прийняття рішень.

STANAG 4609 та MISB KLV: контракт даних

STANAG 4609 є основним контрактом даних для відеозображень БПЛА в рамках стандартів сумісності. Він передбачає, що відео БПЛА передається як транспортний потік MPEG-2 з вбудованими метаданими MISB Local Set (LS) 0601. LS 0601 визначає приблизно 140 тегованих елементів даних, що охоплюють усі параметри, необхідні аналітику або автоматизованій системі для геолокації вмісту зображення: положення сенсора, курс платформи, тангаж, крен, кути поля зору сенсора, похила дальність, кут нахилу та інші.

Кодування KLV (Key-Length-Value), яке використовує MISB, є компактним бінарним форматом. Кожен елемент метаданих ідентифікується 1-байтовим або 2-байтовим ключем, за яким слідує поле довжини, а потім значення у стандартизованому кодуванні з плаваючою точкою або цілочисельному кодуванні. Мінімальний сумісний пакет KLV для відеокадру може становити 80–120 байт. При 30 кадрах на секунду це додає приблизно 3–4 кбіт/с накладних витрат до транспортного потоку — незначно для будь-якого тактичного каналу зв'язку.

Для інтеграторів критичним моментом реалізації є те, що метадані KLV повинні витягуватися синхронно з відеокадрами, які вони описують. Пакети KLV вбудовані в транспортний потік як PID приватних даних поряд з відео PID. Аналізатор, що обробляє два PID асинхронно — або що затримує відображення відео без затримки застосування метаданих — виробить похибки геолокації, що зростають зі швидкістю платформи та швидкістю повороту гімбала. При наземній швидкості 60 вузлів та запізненні метаданих 1 секунда похибка геолокації може перевищити 30 метрів.

Обов'язкові поля LS 0601 для геолокації

Не всі 140+ полів LS 0601 є обов'язковими для базової геолокації. Мінімальний набір, необхідний для обчислення того, де піксель на зображенні знаходиться на землі, включає: широту сенсора (тег 13), довготу сенсора (тег 14), справжню висоту сенсора (тег 15), кут курсу платформи (тег 5), кут тангажу платформи (тег 6), кут крену платформи (тег 7), горизонтальне поле зору сенсора (тег 16), вертикальне поле зору сенсора (тег 17), відносний кут азимуту сенсора (тег 18), відносний кут місця сенсора (тег 19), відносний кут крену сенсора (тег 20) та похилу дальність (тег 21). Усі інші поля є додатковими — корисними для аналізу, але не обов'язковими для обчислення геолокації в реальному часі.

Конвеєр відеоаналітики: виявлення та класифікація

Автоматизоване виявлення об'єктів є етапом, що найбільше залежить від доменно-специфічної інженерії. Моделі виявлення загального призначення, навчені на цивільних зображеннях, погано працюють на військових зображеннях з перспективи БПЛА — кут огляду, масштаб, камуфляж та різноманітність цілей — усе це інше. Модель, що використовується у виробництві, має бути доналаштована на маркованому наборі даних, репрезентативному для операційного середовища: типи цілей (техніка, особовий склад, укріплення), діапазон висот, тип сенсора (EO проти IR) та фонові класи (міський, сільський, лісовий, змішаний).

Стандартна архітектура для аналітики відео БПЛА в реальному часі використовує двоетапний конвеєр: швидкий одноетапний детектор (YOLOv8 або еквівалент), що працює на повній частоті кадрів для виявлення та грубої класифікації, та подає виявлення до повільнішої, але точнішої класифікаційної моделі, яка підтверджує клас і призначає достовірність. Швидкий детектор пріоритизує повноту — виявляє всі потенційні цілі навіть ціною хибнопозитивних результатів. Класифікатор фільтрує список виявлень і призначає остаточну мітку. Це розділення дозволяє системі працювати зі швидкістю відеокадрів, застосовуючи більше обчислень до підтверджених виявлень.

Геолокація виявлень

Кожен обмежувальний прямокутник виявлення потрібно перетворити на наземну координату WGS84 перед публікацією як геопросторову подію. Обчислення використовує піксельні координати центроїда виявлення, геометрію сенсора з метаданих KLV та модель висот рельєфу (DTED рівня 1 або 2). Стандартний підхід — проведення променя від сенсора крізь піксель у площині зображення та його перетин з поверхнею рельєфу. Без ЦМР наближення плаского Землі з використанням похилої дальності вносить залежні від висоти похибки, що стають суттєвими над пагористою або гірською місцевістю.

Для відстеження виявлень — пов'язування виявлень між кадрами для отримання постійних треків — фільтр Калмана або алгоритм SORT (Simple Online and Realtime Tracking) є виробничим стандартом. Постійні треки зменшують когнітивне навантаження оператора порівняно з виявленнями по кадрах: замість карти, що миготить з новими маркерами кожен кадр, оператор бачить невелику кількість стабільних, рухомих маркерів з історією достовірності.

Інтеграція наземної станції та архітектура каналу C2

Наземна станція є вузлом циклу від сенсора до рішення. Виробнича наземна станція для тактичної програми БАС зазвичай запускає кілька програмних компонентів паралельно: приймач транспортного потоку та демультиплексор, застосунок відеовідображення (із записом місії), витягувач метаданих KLV, конвеєр аналітики та видавець CoT/тактичної мережі.

Висхідний канал C2 — команди від оператора до БПЛА — і розвідувальний низхідний канал логічно окремі, але часто спільно використовують одну і ту ж радіосистему. Цілісність каналу C2 складніше захистити, ніж низхідний канал: командні повідомлення малі, але повинні надходити з дуже низькою затримкою та високою надійністю. Стандартна архітектура для цілісності каналу C2 використовує виділений вузькосмуговий висхідний канал на окремій частоті від широкосмугового розвідувального низхідного каналу, з шифруванням AES-256 та FHSS (розширення спектра зі стрибкоподібною зміною частоти) для захисту від радіоелектронного придушення. Програмне забезпечення на наземній станції повинно контролювати метрики якості каналу C2 — частоту бітових помилок, затримку підтвердження команди в обидві сторони — і попереджати оператора до того, як деградація каналу призведе до втрати управління повітряним судном.

Шаблон плагіна ATAK для каналів БПЛА

Інтеграція каналу БПЛА до ATAK — стандартного застосунку тактичної ситуаційної обізнаності — слідує добре відпрацьованій архітектурі плагінів. Плагін інтеграції БПЛА має три функціональні компоненти, що працюють одночасно.

Компонент відеопанелі. Панель на основі SurfaceView всередині вікна плагіна ATAK відтворює декодований відеопотік. Відеодекодер працює у фоновому потоці, передаючи кадри до поверхні з нативною частотою кадрів потоку. Панель має включати анотації накладки (прямокутники цілей з конвеєра аналітики), відтворені через Canvas на прозорому шарі над відеоповерхнею, синхронізовані з відображуваним кадром.

Компонент накладки відбитка. Чотири кутові координати відбитка сенсора — обчислені з полів геометрії MISB та моделі рельєфу — публікуються як подія многокутника CoT і відображаються на карті ATAK як напівпрозора трапеція. Многокутник відбитка оновлюється з частотою метаданих KLV (зазвичай 1–10 Гц для більшості систем). При нижчих частотах оновлення відбиток може здаватися таким, що відстає від відеовідображення під час швидких поворотів гімбала; виправлення — екстраполяція положення відбитка за допомогою швидкості зміни орієнтації платформи між оновленнями метаданих.

Компонент видавця виявлень. Геолоційовані виявлення з конвеєра аналітики публікуються як події точок CoT до TAK Server з відповідними кодами типу CoT. Треки виявлень зі стійкою ідентичністю публікуються з послідовним UID між оновленнями, тому клієнти ATAK відображають їх як рухомі маркери, а не послідовність незалежних подій. Плагін має дозволяти оператору підтвердити або відхилити виявлення — підтверджені виявлення переводяться до типу CoT з вищою достовірністю; відхилені виявлення видаляються з картини.

Бюджети затримок для цілей, чутливих до часу

Ураження цілей, чутливих до часу — процес виявлення, ідентифікації та ураження цілі, що з'являється на короткий проміжок — накладає найсуворіші вимоги до затримок на стек програмного забезпечення для розвідки БПЛА. Відповідна військова доктрина визначає цикл цілевизначення менше 30 хвилин для навмисного цілевизначення; для цілей, чутливих до часу, це стискається до хвилин або секунд залежно від типу загрози.

У межах програмного конвеєра найважливіші розподіли бюджету затримок такі:

Затримка відображення відео: менше 500 мс загалом від захоплення сенсором до відображення оператору. Це означає кодування (80 мс) + канал (50 мс, пряма видимість) + декодування (30 мс) + конвеєр відображення (20 мс) = приблизно 180 мс для добре оптимізованої системи. Буферизація для адаптивного потокового передавання бітрейту або компенсації джитера часто додає ще 200–500 мс — агресивні налаштування буфера є найпоширенішим джерелом неприпустимої затримки відображення.

Затримка від виявлення до CoT: менше 3 секунд від виявлення в конвеєрі аналітики до події CoT, видимої на підключених клієнтах ATAK. Цей бюджет охоплює виведення виявлення (20–150 мс), обчислення геолокації (10 мс), побудову та публікацію події CoT (5 мс), ретрансляцію TAK Server (50–200 мс залежно від кількості переходів федерації) та оновлення клієнта ATAK (100–500 мс залежно від інтервалу опитування оновлень).

Затримка від оператора до C2: менше 2 секунд від позначення оператором цілі в плагіні ATAK до надходження команди до оператора БПЛА або елемента вогневого управління. Це переважно затримка мережі та системи C2 — внесок плагіна інтеграції БПЛА незначний, якщо він публікує CoT негайно при дії оператора.

Для глибшого розгляду архітектури комп'ютерного зору, що використовується в конвеєрі аналітики, дивіться статтю про комп'ютерний зір для ISR-дронів.