Сучасні системи ІСР (розвідки, спостереження та рекогносцировки) генерують обсяги даних, що принципово перевищують можливості людського опрацювання. Один БПЛА середньої висоти з корисним навантаженням відеоспостереження повного руху генерує приблизно 2–4 ТБ сирого відео на день при стандартній роздільній здатності плюс супутні журнали сенсорів та метадані. Розгорнута система збору SIGINT може виробляти терабайти IQ-даних на день у моніторованому спектрі. Вузьким місцем у сучасному ІСР є не збір — а обробка та аналіз.

Традиційна відповідь на це вузьке місце — пропускна здатність каналу: передавати сирі дані на наземну станцію та застосовувати там аналітичну працю. Цей підхід стикається з трьома структурними обмеженнями в сучасних операційних середовищах. По-перше, бюджет каналу зв'язку — супутникові та тактичні радіоканали просто не можуть безперервно переносити відео повної роздільної здатності від великого парку БПЛА. По-друге, нестача аналітиків — недостатньо кваліфікованих аналітиків зображень для покадрового перегляду всіх зібраних відеозаписів. По-третє, часова цінність розвідки — на момент, коли сире відео потрапляє на наземну станцію, ставиться в чергу та отримує увагу аналітика, вікно дій для чутливих до часу цілей може вже закритися.

ШІ-тріаж на периферії вирішує всі три обмеження одночасно. Конвеєр ШІ працює на платформі збору — самому БПЛА або вузлі сенсора — і автоматично фільтрує потік даних, зберігаючи та передаючи лише ті частини, що містять об'єкти інтересу, відкидаючи або сильно стискаючи фон з порожньою місцевістю, небом і водою, що становить більшість сирого збору ІСР.

Проблема перевантаження даними ІСР

Масштаб проблеми перевантаження даними вимагає точного формулювання. Розглянемо розгорнутий розвідувальний БПЛА ЗСУ, що виконує корисне навантаження з двосенсорною системою EO/IR при роздільній здатності 1080p, 30 кадрів/с, впродовж 16 годин на день. При стандартному стисненні H.264 це генерує приблизно 50 ГБ відео на виліт. Якщо лише 3% зібраних відеозаписів містять об'єкти інтересу (щедра оцінка для місій широкозонного покриття), то 97% бюджету пропускної здатності та зберігання витрачається на дані, які ніколи не стануть придатними до дії. Тріаж периферійного ШІ принципово змінює співвідношення: виявляючи та позначаючи лише кадри з виявленнями, вимога до пропускної здатності передачі падає з 50 ГБ приблизно до 1,5 ГБ на льотний день — у межах діапазону супутникового каналу зв'язку, що працює при скромних швидкостях передачі даних.

Збір SIGINT стикається з аналогічною проблемою. Широкосмугова система збору SDR, що моніторить 200-МГц зріз спектру, генерує кілька сотень гігабайт IQ-даних на годину. Лише мала частина моніторованого спектру активна будь-якої миті, і лише частина активних сигналів становить аналітичний інтерес. Автоматизоване сканування спектру та класифікація сигналів на периферії зменшує навантаження на подальшу обробку з повної зібраної смуги пропускання до лише класифікованих сигналів інтересу — скорочення на два-три порядки величини.

Конвеєр периферійного тріажу: від сирого входу сенсора до пріоритетного балу

Конвеєр периферійного тріажу для обробки відео БПЛА проходить через чотири етапи:

1. Вхід сирого сенсора. Відеокадри від сенсора EO та/або IR надходять на периферійне обчислювальне обладнання. Для вимоги обробки в реальному часі при 30 кадрах/с конвеєр обчислень повинен завершити один повний цикл інференсу — попередня обробка, інференс моделі виявлення, постобробка та генерація метаданих — протягом 33 мс.

2. Виявлення об'єктів. Кожен кадр обробляється через полегшену модель виявлення об'єктів (YOLOv8-nano або YOLOv8-small, квантована до INT8), що ідентифікує наявність та розташування об'єктів інтересу — транспортні засоби, особи, споруди або специфічні для сенсора цілі. Вихід виявлення — набір обмежувальних рамок з мітками класів та балами впевненості.

3. Класифікація та збагачення контексту. Кадри, що містять виявлення вище порогу впевненості, передаються на вторинний етап класифікації. Цей етап застосовує більш ресурсоємний аналіз до виявлених об'єктів: класифікація типу транспортного засобу (колісний проти гусеничного, цивільний проти військового профілю), класифікація діяльності (нерухомий, рухається, згрупований) та геопросторова анотація (координати GPS виявлених об'єктів з використанням геометрії гімбала та сенсора). Для виявлень кількох об'єктів етап кластеризації ідентифікує, чи утворюють виявлені об'єкти групи, що відповідають конфігураціям колон або розосереджених патрулів.

4. Пріоритетний бал. Кожна анотована подія виявлення отримує бал оперативного пріоритету. Фактори оцінки включають: клас і тип об'єкта (військовий транспортний засіб отримує вищий бал, ніж цивільний); бал впевненості; близькість до раніше ідентифікованих місць інтересу (виявлення поблизу раніше позначеного об'єкта отримує вищий бал, ніж перше виявлення); індикатори діяльності (рухомі цілі зазвичай отримують вищий бал, ніж нерухомі); та часова щільність (кілька виявлень одного типу об'єкта за 10-хвилинне вікно збільшує пріоритет). Пріоритетний бал визначає, чи передається подія негайно, ставиться в чергу для пакетної передачі, чи архівується без передачі.

Обробка відео БПЛА: виявлення об'єктів у реальному часі при 30 кадрах/с

Досягнення стійкого виявлення об'єктів при 30 кадрах/с на вбудованому GPU вимагає ретельної інженерії конвеєра поза простим розгортанням швидкої моделі. Відеовхід повинен бути ефективно декодований та переданий до пам'яті GPU; для відеопотоків H.264/H.265 з камер гімбала апаратно-прискорене декодування (використання апаратного відеодекодера NVDEC Jetson замість програмного декодування CPU) є необхідним для уникнення витрати CPU-бюджету, потрібного для управління та зв'язку.

DeepStream SDK від NVIDIA забезпечує основану на GStreamer структуру конвеєра, оптимізовану для Jetson, що обробляє апаратно-прискорене декодування відео, підтримку кількох потоків та ефективне управління пам'яттю GPU для інференсу моделі виявлення. Конвеєр DeepStream з YOLOv8-small INT8 на Jetson Orin NX може обробляти чотири одночасних відеопотоки 1080p при 30 кадрах/с у межах бюджету потужності 15 Вт — дозволяючи конфігурації корисного навантаження з чотирма сенсорами на БПЛА середнього класу.

Часове згладжування є критичним компонентом надійності. Модель виявлення об'єктів на одному кадрі виробляє виявлення, що можуть мигтіти — об'єкт виявлений у кадрах 1 та 3, але не у кадрі 2 через варіацію порогу впевненості. Шар агрегації на основі треків (з використанням ByteTrack або аналогічного) призначає постійні ідентифікатори треків по кадрах і застосовує часову фільтрацію: лише треки, що зберігаються впродовж мінімальної кількості кадрів (зазвичай 3–5) і підтримують мінімальний середній бал впевненості, підвищуються до подій тріажу. Це усуває одно кадрові хибнопозитивні результати з виводу тріажу без введення значної затримки.

Людина в контурі: порогові значення ескалації ШІ

Конвеєр тріажу ШІ не призначений замінити судження аналітика — він призначений фокусувати увагу аналітика. Архітектура ескалації має три рівні:

Автоматична передача. Події, що набирають вище порогового значення високого пріоритету (зазвичай скоригована за впевненістю комбінація типу об'єкта, діяльності та часової щільності), передаються негайно через доступний канал зв'язку. Пакет метаданих — координати GPS, клас об'єкта, бал впевненості, часова мітка та репрезентативний мініатюрний знімок — становить приблизно 50 КБ на подію. Система, що генерує 200 подій високого пріоритету за льотний день, потребує приблизно 10 МБ пропускної здатності передачі лише для метаданих — добре в межах типової пропускної здатності супутникового каналу.

Черга перегляду аналітика. Події середнього рівня пріоритету буферизуються на борту та передаються у наступному доступному вікні передачі з високою пропускною здатністю (супутниковий контакт, повернення на базу). Черга перегляду аналітика включає як метадані, так і відеокліп (зазвичай 10–30 секунд навколо події виявлення зі зниженою роздільною здатністю) для контекстного перегляду.

Лише архівування. Події з низькою впевненістю та низьким пріоритетом архівуються на місцевому сховищі БПЛА. Якщо наступна подія високого пріоритету в тій самій зоні ініціює ретроспективний аналіз, заархівовані відеозаписи з часу до події високого пріоритету можуть бути переглянуті для аналізу попередніх шаблонів діяльності. Це особливо цінно для аналізу БПЛА ЗСУ в операційному середовищі, де рухи противника перед атакою часто містять характерні шаблони підготовки.

Ключовий висновок: Економія пропускної здатності від периферійного тріажу ШІ — це не лише логістична — вона оперативно уможливлює. БПЛА, що раніше потребував високошвидкісного супутникового каналу для підтримки безперервного розвідувального виходу, тепер може ефективно працювати на значно вужчому каналі, збільшуючи кількість платформ, що можуть підтримуватися в межах заданої архітектури зв'язку, на порядок величини.

Економія пропускної здатності: передача кліпів проти повних відеопотоків

Кількісне скорочення пропускної здатності від периферійного тріажу залежить від щільності цілей в операційній зоні та налаштувань чутливості моделі виявлення. На малоактивній місцевості (відкрита пустеля, ліс, океан), де цілі інтересу з'являються менш ніж в 1% кадрів, периферійний тріаж може досягти скорочення 100:1 у переданих даних. На висококонфліктній міській чи оспорюваній місцевості, де рух транспортних засобів безперервний, скорочення менше — можливо 10:1 — але все ще значне для управління бюджетом каналу.

Передача мініатюрного знімку з метаданими для виявленої події в середньому становить приблизно 50–100 КБ. 30-секундний відеокліп зі зниженою роздільною здатністю (480p, H.265) в середньому становить приблизно 5–10 МБ. Порівняно з передачею відео повної роздільної здатності у повному русі приблизно при 2 Мбіт/с (приблизно 900 МБ на годину), економія пропускної здатності для льотного дня з 200 подіями тріажу становить: 200 пакетів метаданих (20 МБ) плюс 50 кліпів середнього пріоритету (500 МБ) проти 14,4 ГБ повного відео — скорочення 20:1 для цього сценарію, що зменшує необхідну пропускну здатність супутникового каналу з приблизно 2 Мбіт/с безперервно до приблизно 200 кбіт/с в середньому.