Бортовий AI-інференс для БПЛА: граничне оброблення без зв'язку

БПЛА без каналу передачі даних не є сліпим, якщо його конвеєр інференсу працює на борту. Наземна обробка AI є поширеною архітектурою з міркувань вартості, але вона створює жорстку залежність: як тільки зв'язок обривається, виявлення зупиняється. У середовищах із радіоелектронною боротьбою, де засоби РЕБ регулярно погіршують або перривають канали передачі даних, така залежність є оперативно неприйнятною. Бортовий AI-інференс переміщує обчислення на борт літального апарату, обробляючи кадри від EO або IR сенсора безпосередньо на встановленому в корисному навантаженні акселераторі, зберігаючи анотовані виявлення локально та доставляючи структурований журнал виявлень до системи C2 в момент відновлення зв'язку. Ця стаття охоплює апаратні платформи, методи стиснення моделей, проектування конвеєра виявлення, обмеження за потужністю та тепловим режимом, а також шаблони інтеграції з C2, які роблять виявлення та відстеження об'єктів безпосередньо на пристрої можливим на малих тактичних БПЛА.

Чому інференс має виконуватися на борту БПЛА

Оперативний аргумент на користь бортового інференсу є однозначним: будь-яка місія, що потребує безперервності виявлення під час перебою зв'язку, не може покладатися на наземну обробку. БПЛА, що транслює необроблене відео на наземну станцію, потребує стабільного каналу з високою пропускною здатністю — зазвичай 2–10 Мбіт/с для стисненого HD-відео з прийнятною затримкою. Забезпечити таку пропускну здатність на тактичній дальності 10–30 км в умовах активного радіозаглушення не гарантовано. Коли відеопотік обривається, наземний оператор втрачає не лише ситуаційну обізнаність щодо позиції БПЛА, але й усі виявлення, які сенсор міг би сформувати під час відключення. Для місії розвідки, спостереження та рекогносцировки (ISR) тривалістю кілька годин 20-хвилинний розрив у зв'язку є неприйнятним пробілом у записі виявлень.

Бортовий інференс вирішує цю проблему шляхом інвертування потоку даних. Замість передачі необроблених сенсорних даних до наземного вузла обробки БПЛА передає лише виходи інференсу: записи виявлень, що на порядки менші за необроблені відеокадри. Запис виявлення — мітка класу, оцінка достовірності, координати обмежувального прямокутника, GPS-позиція та часова мітка — займає кілька сотень байт. Повнороздільний відеокадр при 10 Мбіт/с займає приблизно 1,25 МБ за секунду. Коли доступний резервний канал із малою пропускною здатністю (короткохвильова радіостанція передачі даних, MANET-мережа зі зниженим бітрейтом), записи виявлень проходять там, де необроблене відео не може. А коли зв'язок повністю відсутній, записи виявлень накопичуються в локальному сховищі до відновлення зв'язку.

Є також аргумент щодо затримки. Час мережевого обходу від БПЛА на висоті до наземної станції та назад може становити від 50 мс до кількох сотень мілісекунд залежно від якості каналу та маршрутизації. Для цілей, чутливих до часу — транспортний засіб, що виходить із укриття, група особового складу, що розосереджується, — ця затримка може перевищити вікно для корисного цілевказання. Бортовий інференс формує результат виявлення в межах часу обробки кадру локальним акселератором, зазвичай 30–100 мс від захоплення кадру до анотованого виходу, без мережевих переходів на критичному шляху.

Апаратні платформи: NVIDIA Jetson Orin проти Hailo-8 проти Intel Movidius для корисного навантаження БПЛА

Три сімейства мікросхем домінують у виробничих розгортаннях корисного навантаження БПЛА. Кожне представляє різну точку на кривій TOPS-на-ват, і правильний вибір визначається насамперед енергетичним бюджетом платформи та складністю задачі інференсу. Детальне порівняння цих варіантів також розглянуто в нашій статті про апаратне забезпечення edge AI для оборони.

NVIDIA Jetson Orin Nano забезпечує 40 TOPS при 7–15 Вт залежно від режиму живлення, налаштованого у фреймворку управління живленням NV. Він працює на повному стеку Linux, підтримує CUDA та TensorRT нативно і приймає будь-яку модель, експортовану через формат обміну ONNX — що робить його варіантом із найнижчим порогом входу для команд, чий навчальний конвеєр вже орієнтований на TensorRT. Форм-фактор Orin Nano (69,6 мм × 45 мм) підходить для відсіків корисного навантаження на БПЛА класу 5–15 кг, але його пікове теплоутворення потребує або активного охолодження, або ретельної інтеграції теплових розподільників з обшивкою планера. Jetson Orin NX, наступний рівень зі 100 TOPS та 15–25 Вт, доцільний, коли місія вимагає паралельного виконання кількох моделей (виявлення плюс класифікація плюс повторна ідентифікація) на одному вузлі інференсу.

Модуль Hailo-8 M.2 досягає 26 TOPS при споживанні менше 5 Вт завдяки високоефективній архітектурі потоку даних, яка розміщує граф мережі по масиву кластерів процесорів, а не виконує його послідовно на ядрі GPU. Компроміс полягає у специфічності інструментарію: моделі повинні компілюватися через Hailo Dataflow Compiler, який генерує бінарний файл Hailo Execution Format (HEF). Компілятор обробляє квантизацію INT4 та INT8 внутрішньо і виробляє високооптимізовані бінарні файли, але він вимагає, щоб топологія моделі була представимою у підтримуваному наборі операторів компілятора. Стандартні архітектури YOLOv5, YOLOv8 та RT-DETR входять до Hailo Model Zoo і компілюються без змін. Тепловий конверт Hailo-8 — 5 Вт піку від слота M.2 — робить його природним вибором для мультироторних платформ вагою до 5 кг із жорсткими бюджетами живлення корисного навантаження.

Intel Movidius Myriad X (ціль OpenVINO) забезпечує 4 TOPS при приблизно 1–2 Вт. Ця цифра є скромною порівняно з Hailo та Jetson, але щільність інтеграції Myriad X — він доступний у форм-факторах USB-накопичувача та M.2, які підключаються до будь-якого Linux-хоста через стандартні інтерфейси — робить його найпростішим варіантом для дуже малих БПЛА з нерухомим крилом або трубчастих пускових БПЛА, де спеціалізована несуча плата не може бути розміщена. Оптимізатор моделей OpenVINO обробляє шлях квантизації INT8 та оптимізації графу, а інструментарій добре задокументований. Для розгортань, де YOLOv8n, що працює зі швидкістю 5–10 кадрів/с, є достатнім — наприклад, повільна ISR-місія над нерухомою інфраструктурою — Myriad X є доцільним варіантом при значно нижчих витратах SWaP-C порівняно з Hailo або Jetson.

Стиснення моделей: квантизація, відсікання та дистиляція знань для вбудованого розгортання

Модель YOLOv8m у повній точності має приблизно 25 мільйонів параметрів і займає 50 МБ у сховищі FP32. На Hailo-8 із 8 МБ оперативної пам'яті на кристалі ця модель не може виконуватися безпосередньо — вона повинна бути стиснута до розміру, який може обробити ієрархія пам'яті акселератора без надмірного навантаження на пропускну здатність DRAM. Три методи стиснення використовуються в комбінації для виробничих розгортань на БПЛА, і їх взаємодія детально розглянута в нашій статті про оптимізацію моделей ONNX та TensorRT для тактичного граничного розгортання.

Пост-тренувальна квантизація (PTQ) перетворює ваги та активації FP32 на INT8 шляхом калібрування масштабних коефіцієнтів за допомогою репрезентативного набору даних. На обладнанні з тензорними блоками виконання INT8 — Jetson Orin, Hailo-8, Myriad X — інференс INT8 забезпечує покращення пропускної здатності в 2–4 рази порівняно з FP32 при еквівалентній потужності моделі. Втрата точності зазвичай становить 0,5–2 mAP на тестах виявлення об'єктів з повітря, коли калібрувальний набір даних відповідає домену розгортання. Калібрувальний набір даних повинен включати зразки від реального сенсора та висоти, на якій буде розгорнута модель; калібрування на загальнодоступних аеріальних наборах даних і розгортання на іншому сенсорі створює невідповідність домену, яка може погіршити квантизовану точність більше, ніж передбачають необроблені цифри.

Структурне відсікання видаляє цілі згорткові фільтри (вихідні канали), норма L1 яких нижча за порогове значення, виробляючи топологічно меншу модель, що виграє як від зменшеної кількості параметрів, так і від зменшеної пропускної здатності пам'яті. 30% структурне відсікання YOLOv8s видаляє приблизно 30% фільтрів по всій магістралі, скорочуючи затримку інференсу приблизно на 25% на обладнанні Jetson і покращуючи мінімальну точність INT8 після повторної квантизації (оскільки решта фільтрів є найбільш активованими). Порогове значення відсікання настроюється ітераційно: відсікання, дотренування на 10–20 епох на навчальному наборі, вимірювання точності на наборі для перевірки, і повтор до досягнення цільової затримки або розміру пам'яті без перевищення допустимого бюджету mAP.

Дистиляція знань вирішує випадок, коли відсікання повної моделі не може досягти цільової кількості параметрів без неприйнятної втрати точності. Компактна студентська модель — наприклад, YOLOv8n — навчається відтворювати логіт-виходи більшого вчителя (YOLOv8m або YOLOv8l) на навчальних даних. Студент навчається імітувати розподіл достовірності вчителя по класах, а не лише його жорсткі мітки, що передає інформацію про неоднозначність класів і схожість ознак, яку жорстко-мітки навчання не передають. Студентські моделі, навчені методом дистиляції, стабільно перевершують моделі однакового розміру, навчені з нуля, зазвичай на 1–3 mAP на тестах аеріального виявлення. Ця техніка особливо ефективна, коли навчальний набір даних невеликий — типова ситуація у оборонних розгортаннях, де розмічені аеріальні знімки конкретних класів цілей є дефіцитними.

Конвеєри виявлення цілей на граничних пристроях: варіанти YOLO та компроміси між частотою кадрів і точністю

Сімейство YOLO домінує у виробничих граничних розгортаннях виявлення на корисному навантаженні БПЛА з двох причин: архітектура є однострадійною (без мережі регіональних пропозицій), що забезпечує прогнозовану та обмежену затримку інференсу, а зоопарк моделей є широким — попередньо навчені ваги на кількох масштабах (n, s, m, l, x) дозволяють командам вибрати рівень потужності, що відповідає їхньому апаратному бюджету. YOLOv8 є поточним виробничим базовим рівнем для більшості оборонних інтеграторів, хоча RT-DETR (одностадійний детектор на основі трансформера) набирає популярності для випадків використання, де виявлення при малих масштабах об'єктів — наприклад, особовий склад на висоті 500 м — є критичним і де обчислювальне обладнання для інференсу може поглинути вищі обчислювальні витрати.

Частота кадрів і точність знаходяться в компромісному співвідношенні через три змінні, якими управляє інженер конвеєра: масштаб моделі, вхідне розрізнення та поріг достовірності. Зменшення вхідного розрізнення з 640×640 до 320×320 скорочує обчислення інференсу приблизно в 4 рази і подвоює досяжну частоту кадрів на фіксованому обладнанні, але пропорційно зменшує ефективну дальність виявлення для малих цілей. Для виявлення транспортних засобів на висоті 100–200 м 320×320 є загалом достатнім. Для виявлення особового складу на тій самій висоті 640×640 є практичним мінімумом. Зменшення порогу достовірності з 0,5 до 0,35 відновлює виявлення частково перекритих або далеких цілей, але збільшує кількість хибнопозитивних результатів, що підвищує навантаження на анотування для системи злиття даних нижче за потоком. Правильний поріг є специфічним для місії та повинен бути налаштований відповідно до даних достовірності від сенсора та висоти розгортання.

Багатостадійні конвеєри — легкий детектор для визначення регіонів інтересу з подальшим класифікатором більшої потужності для уточнення мітки — можуть підвищити точність при заданому обчислювальному бюджеті шляхом концентрації ресурсів на кандидатних регіонах. YOLOv8n, що працює зі швидкістю 30 кадрів/с, визначає обмежувальні прямокутники навколо об'єктів розміром із транспортний засіб; класифікатор MobileNetV3, що працює зі швидкістю 10 кадрів/с, обробляє лише обрізані регіони для розрізнення колісних і гусеничних, легких і важких машин. Ця каскадна архітектура добре підходить для моделі потоку даних Hailo-8, де дві мережі можуть бути скомпільовані в один HEF і виконуватися як конвеєрний граф, а не послідовно, приховуючи затримку другої стадії за інтервалом кадрів першої.

Обмеження енергетичного бюджету та управління тепловим режимом на малих БПЛА

Енергетичний бюджет для корисного навантаження БПЛА визначається не загальною енергетичною ємністю літального апарату, а розподілом струму відсіку корисного навантаження від блока розподілу живлення (PDU) та тепловою моделлю відсіку корисного навантаження в системі управління польотом. 5-кілограмовий мультироторний дрон із акумулятором 100 Вт·год і часом польоту 30 хвилин має середнє споживання потужності всіма системами приблизно 200 Вт. Система тяги споживає 80–90% цього бюджету в типових умовах висіння, залишаючи 20–40 Вт для авіоніки, корисного навантаження та сенсорів. Корисне навантаження, що споживає 15 Вт, залишає лише 5–25 Вт для всього іншого. На практиці розподіл живлення корисного навантаження на платформах вагою до 5 кг часто встановлюється виробником літального апарату на рівні 5–8 Вт, і перевищення цього значення вимірювально погіршує ресурс.

Управління тепловим режимом на малих БПЛА є складнішим, ніж на наземних транспортних засобах або стаціонарній інфраструктурі, оскільки відсік корисного навантаження є закритим, малим і може бути виготовлений із теплоізолюючих композитних матеріалів. Планер БПЛА забезпечує певне охолодження через теплопровідність шкіри та потік повітря над зовнішньою поверхнею, але ця перевага варіюється залежно від швидкості польоту та геометрії відсіку корисного навантаження. Стандартний підхід полягає в монтажі обчислювальної плати інференсу на теплоінтерфейсній прокладці до найтовстішого алюмінієвого силового елемента корпусу корисного навантаження, який виконує функцію теплового розподільника до планера. Для Jetson Orin Nano при 10 Вт стаціонарного режиму алюмінієва пластина товщиною 2 мм, приклеєна до нижньої поверхні фюзеляжу термопастою, може підтримувати температуру кристала нижче 75°C при температурі навколишнього середовища 40°C під час горизонтального польоту. Для Hailo-8 при 5 Вт простого радіатора, прикріпленого до роз'єму M.2 модуля, зазвичай достатньо.

Споживання потужності також залежить від програмної конфігурації. Утиліта nvpmodel платформи Jetson надає пресети режимів живлення, що обмежують тактову частоту CPU, тактову частоту GPU та пропускну здатність пам'яті. Встановлення Orin Nano в режим живлення 7 Вт зменшує пропускну здатність інференсу приблизно на 35% порівняно з максимальним режимом 15 Вт, але майже вдвічі скорочує тепловиділення — що може бути правильним компромісом, коли тепловий конверт відсіку корисного навантаження є обмежувальним фактором, а не затримка інференсу. Конфігурація, що дозволяє виконувати повний профіль місії літального апарату без теплового дроселювання, є більш надійною, ніж та, що досягає пікової продуктивності інференсу протягом 15 хвилин, а потім спрацьовує автоматичний тепловий захист чипа і непередбачувано знижує частоту кадрів.

Інтеграція з C2 через MANET після відновлення зв'язку

Журнал виявлень, накопичений під час відключення зв'язку, має обмежену цінність, якщо не може бути швидко та повністю доставлений до системи командування та управління після відновлення зв'язку. MANET (мобільні нерегламентовані мережі) — радіостанції, що використовуються в тактичних операціях БПЛА для забезпечення mesh-зв'язку між літальним апаратом, наземними транспортними засобами та піхотою — є основним транспортом як для потокового передавання виявлень у реальному часі, так і для синхронізації після відключення. Коли БПЛА потрапляє в зону покриття мережі, бортовий MANET-вузол відновлює маршрутизацію протягом секунд, і агент синхронізації починає передавати буферизовані записи виявлень.

Архітектура агента синхронізації повинна бути розроблена навколо двох режимів роботи. У підключеному режимі записи виявлень передаються майже в реальному часі у міру їх генерування конвеєром інференсу, серіалізуючись як CoT-події та публікуючись на TAK Server через MANET-мережу. У відключеному режимі записи накопичуються в локальній базі даних SQLite з прапорцем «синхронізовано». Після відновлення зв'язку агент робить запит несинхронізованих записів, впорядкованих за часовою міткою, та передає їх у хронологічному порядку з обмеженням швидкості, щоб не переповнити пропускну здатність MANET-радіостанції сплеском трафіку за рахунок інших учасників мережі. Після підтвердження кожного запису сервером він позначається як синхронізований. База даних забезпечує відновлення після збою: якщо БПЛА приземляється або служба інференсу перезапускається в середині синхронізації, наступний цикл синхронізації відновлюється з останнього несинхронізованого запису, а не повторно передає весь журнал.

Формування CoT-подій для AI-виявлень БПЛА відповідає стандартній схемі CoT, але несе специфічні для корисного навантаження розширення в блоці деталей. Клас виявлення та оцінка достовірності заповнюють спеціальні піделементи деталей CoT. GPS-позиція БПЛА у момент захоплення кадру використовується як точка CoT, а там, де конвеєр інференсу може обчислити проєктовану на землю позицію виявлення з поля зору сенсора, висоти над землею та кута карданного підвісу, ця проєктована координата використовується натомість — розміщуючи маркер виявлення на карті в реальній наземній позиції цілі, а не в позиції літального апарату. TAK Server доставляє ці CoT-події всім підключеним клієнтам ATAK, де вони відображаються як класифіковані маркери з метаданими про походження виявлення та достовірність, видимими у детальному вигляді події.

Закупівля: SWaP-C та екологічні рейтинги MIL-STD

Закупівля бортового корисного навантаження AI-інференсу для тактичної програми БПЛА вимагає оцінки обладнання за трьома обов'язковими осями: SWaP-C (розміри, маса, потужність і вартість), екологічні рейтинги та зрілість ланцюга постачання. SWaP-C визначає компроміс між платформами, описаний вище — TOPS на ват, фізичні розміри та ціна одиниці обмежують, яка мікросхема є доцільною. Екологічні рейтинги визначають, чи виживає обладнання в умовах розгортання. Вартість визначає доктрину витратності платформи: корисне навантаження, призначене для БПЛА ISR із можливістю відновлення, має іншу вартісну толерантність, ніж встановлене на однофункціональній дрон-камікадзе.

MIL-STD-810 визначає тести екологічного навантаження, що стосуються корисного навантаження БПЛА: термоциклювання (метод 501/502), вібрація (метод 514), вологість (метод 507), висота (метод 500) та удар (метод 516). Готові комерційні (COTS) модулі інференсу, такі як Jetson Orin Nano, мають робочий температурний діапазон 0–80°C для комерційного варіанту та -25 до 80°C для промислового. Відсіки корисного навантаження БПЛА в холодному кліматі або на висотних операціях можуть піддавати обчислювальну плату температурам нижче -25°C при запуску. Де це є проблемою, схема теплового попереднього кондиціонування — резистивний нагрівач під управлінням термостата, що розігріває відсік до подачі основного живлення на корисне навантаження — є більш простим і надійним рішенням, ніж вибір процесора з більш широким температурним діапазоном, який може не існувати на необхідному рівні можливостей.

Зрілість ланцюга постачання має непропорційне значення в оборонних програмах, оскільки тривалі серійні виробництва потребують стабільної доступності компонентів протягом багаторічних періодів. Цикл виробництва модуля Jetson Orin опублікований NVIDIA із зобов'язанням виробництва на 10 років для промислових варіантів, що відповідає більшості вимог до життєвого циклу оборонних програм. Hailo-8 є новішим учасником із коротшою виробничою історією, і відділи закупівель, що оцінюють його для програм великого обсягу, повинні вимагати договірних зобов'язань щодо безперервності постачання. Для платформ, де чип інференсу буде вбудований у спеціальну несучу плату, розроблену за специфікацію програми, конструкція несучої плати повинна включати посадочні місця принаймні для одного альтернативного модуля акселератора, щоб зміна циклу чипа в середині програми не потребувала доробки несучої плати.