Оцінка пози людини для військового спостереження: розгортання на межі та оперативна інтеграція

Людина, що піднімає зброю, займає положення лежачи для стрільби або рухається до периметральної огорожі з ненормальною швидкістю — усі ці дії мають характерні пози, які система штучного інтелекту на основі камери здатна виявити задовго до того, як оператор, що переглядає відеостіну, це помітить. Оцінка пози людини — процес локалізації анатомічних ключових точок на виявлених особах та з'єднання їх у скелетний граф — забезпечує той шар представлення, що робить такий вид поведінкового спостереження практичним на межі. Замість того щоб змушувати оператора одночасно аналізувати необроблене відео з десятків камер, система виявлення на основі пози абстрагує кожну особу в кадрі до скелета, пропускає цей скелет через класифікатор розпізнавання дій і формує тривогу лише після підтвердження характерної поведінкової загрози. У цій статті розглядаються архітектури моделей, оперативні обмеження, стратегії обробки перекриттів та патерни інтеграції комп'ютерного зору, що роблять оцінку пози, розгорнуту на межі, придатною для застосувань військового спостереження.

Оперативні передумови оцінки пози у військовому спостереженні

Обсяг завдань спостереження на великому військовому об'єкті — периметральне огородження, пункти пропуску транспортних засобів, злітно-посадкові смуги, склади боєприпасів та командні будівлі — легко перевищує можливості будь-якої реалістичної моделі чергових операторів при безпосередньому відеоспостереженні. Об'єкт із 100 камерами, що виробляє 24 години безперервної відеозаписі, генерує обсяг даних, який жодна чергова група не здатна переглянути в реальному часі. Оперативна вимога полягає не в більшій кількості камер, а в шарі виявлення, що зводить потік необробленого відео до пріоритизованої черги подій, які заслуговують на увагу людини. Оцінка пози задовольняє цю вимогу саме для класу загроз, що проявляються як поведінкові сигнатури людей: несанкціонований доступ, поводження зі зброєю в обмежених зонах, ворожі наближення та тактичні індикатори, такі як положення лежачи або скупчення груп.

Спостереження на основі пози також усуває обмеження простого виявлення об'єктів. Людина, виявлена в обмеженій зоні, сама по собі не є загрозою; людина в тій самій зоні, що піднімає предмет до плеча в положенні для прицілювання, — якісно інша подія, що вимагає негайної реакції. Моделі виявлення об'єктів класифікують те, що присутнє; розпізнавання дій на основі пози класифікує те, що відбувається. Поєднання двох шарів — клас об'єкта плюс поведінковий стан — забезпечує специфічність сповіщень, якої жоден шар не досягає окремо, і робить це без необхідності передавати необроблене відео за межі об'єкта, що є критичним для операцій ISR із обмеженою пропускною здатністю каналів, де пропускна здатність ліній має бути зарезервована для критично важливих даних місії.

Є також практичний аргумент на користь скелетного представлення з точки зору узагальненості моделі. Класифікатори на основі необробленого зовнішнього вигляду, навчені на відео осіб в одній формі, за одних умов освітлення та одного кута камери, часто зазнають невдачі, коли будь-яка з цих змінних змінюється. Скелетні представлення абстрагуються від одягу, кольору шкіри, кута камери та освітлення — усіх джерел хибної варіативності — залишаючи лише геометричну структуру пози тіла, що є стабільною в різних середовищах розгортання. Модель, навчена на скелетних даних з одного театру воєнних дій, переноситься на нову установку надійніше, ніж модель на основі зовнішнього вигляду, зменшуючи навантаження на розмічені дані для адаптації до нових розгортань.

Скелетні моделі: OpenPose, MediaPipe та ViTPose на межі

Три сімейства моделей домінують у придатних для виробничого використання оцінках пози для граничних оборонних застосувань. OpenPose — оригінальний точний багатоперсонний оцінювач пози — використовує висхідну архітектуру, яка спочатку виявляє всі ключові точки на зображенні, а потім збирає їх в окремі скелети через крок зіставлення полів спорідненості частин. Висхідний підхід добре підходить для сцен із багатьма одночасно присутніми особами, але повна модель OpenPose при роздільній здатності 368x368 вимагає приблизно 200 мс на кадр на CPU середнього класу, що робить її непрактичною для спостереження в реальному часі без виділеного GPU або NPU. Квантовані та спрощені варіанти значно скорочують цей час, і на NVIDIA Jetson Orin Nano повний конвеєр працює зі швидкістю 15–25 FPS, що є оперативно достатнім для спостереження, де субсекундна затримка не є обов'язковою.

MediaPipe Pose займає протилежний кінець спектра обчислення-точність. Це однограничникова модель, що виявляє 33 ключові точки за допомогою легкого основного модуля BlazePose, розробленого спеціально для мобільного та вбудованого розгортання. На Raspberry Pi 4 MediaPipe Pose працює зі швидкістю понад 30 FPS із розміром моделі менше 10 МБ і споживанням енергії нижче 5 Вт. Обмеження на одну особу є реальним оперативним недоліком для камер спостереження, що охоплюють точки доступу або контрольно-пропускні пункти, де одночасно можуть бути присутні кілька осіб, але для спеціалізованих камер точкового спостереження — одна камера для конкретних воріт або дверей — ефективність MediaPipe робить її практичним вибором за замовчуванням. Для сценаріїв із кількома особами на обмеженому апаратному забезпеченні поєднання детектора особи класу YOLO з окремим екземпляром MediaPipe для кожної особи забезпечує прийнятну пропускну здатність для кількох осіб у межах бюджету споживання.

ViTPose представляє сучасний стан мистецтва, застосовуючи основи на трансформері зображень (ViT) до парадигми оцінки пози «зверху вниз». Варіанти ViTPose-S і ViTPose-B досягають значно вищої середньої точності ключових точок (mAP), ніж альтернативи на основі CNN, при цьому ViTPose-S працює зі швидкістю 12–20 FPS на Jetson Orin Nano з квантуванням INT8. Архітектура трансформера більш чутлива до квантування, ніж CNN: INT8 ViTPose, як правило, втрачає 3–5 пунктів mAP порівняно з FP32 проти 1–2 пунктів для моделей на основі MobileNetV2, тому квантування потрібно ретельно перевіряти відповідно до мінімальної вимоги до якості ключових точок перед розгортанням.

Розпізнавання дій для індикаторів загроз: підняті види зброї, пози лежачи, динаміка натовпу

Оцінка пози формує координати скелета для одного кадру; розпізнавання дій виводить поведінковий сенс із часової еволюції цих скелетів. Найбільш оперативно значущими класами дій для військового спостереження є підняття зброї (ключові точки зап'ястя піднімаються вище лінії плечей із кутом передпліччя до плеча, характерним для прицілювання), поза лежачи (ключові точки стегна та плеча на майже однаковій висоті в межах 40 см від розрахункової площини землі), несанкціоноване наближення (вектор швидкості треку особи, спрямований до межі захищеної зони зі швидкістю, що перевищує нормальну ходьбу), і скупчення натовпу (кілька скелетних треків, що сходяться до спільної точки зі зменшенням міжособистісної відстані з часом).

Просторово-часові граф-згорткові мережі (ST-GCN та їх наступники, включаючи AGCN та MS-G3D) є стандартною архітектурою для розпізнавання дій на основі скелетів. Ці моделі розглядають скелет як граф, де ключові точки є вузлами, а з'єднання кінцівок — ребрами, і обробляють часові послідовності графів через шари граф-згортки, що навчаються спільно розпізнавати просторові та часові патерни. Буфер з 16 кадрів при 15 FPS охоплює приблизно одну секунду руху, що достатньо для розрізнення піднятої руки від статичної пози та виявлення кінематичної сигнатури людини, що переходить зі стоячого положення в лежаче. Для поведінки тривалого характеру, наприклад нишпорення або поступового несанкціонованого наближення, буфер з 64 кадрів при 5 FPS забезпечує контекстне вікно у 12 секунд із меншим обсягом пам'яті, ніж короткий буфер із високою частотою кадрів.

Виявлення динаміки натовпу потребує агрегування скелетних даних між кількома відстежуваними особами, а не класифікації послідовностей окремих осіб. Простий, але ефективний підхід обчислює швидкість зміни площі опуклої оболонки, що охоплює всі відстежувані скелети в полі зору камери: оболонка, що стискається з надпороговою швидкістю, вказує на конвергенцію, характерну для скупчення натовпу. Складніші підходи використовують граф-мережі над міжособистісним просторовим графом для виявлення змін формацій, що вказують на скоординований рух. Обидва підходи сумісні з конвеєром звітування CoT: подія натовпу є єдиним маркером CoT у центроїді групи, що сходиться, а не окремими треками осіб, що робить відображення загальної оперативної картини оператора зручним під час подій із високою щільністю.

Обробка перекриттів та часткової видимості в польових умовах спостереження

Реальні середовища військового спостереження створюють умови перекриття, які лабораторні еталонні набори даних систематично недооцінюють. Периметральні камери на польових об'єктах зустрічають осіб, частково закритих рослинністю, загородженнями, транспортними засобами або іншими особами. Скелет, де понад 30 відсотків ключових точок нижче порогу довіри моделі, надає недостатньо структурної інформації для надійної класифікації дій. Оперативно доцільна реакція полягає не в повному придушенні виявлення, а в маршрутизації частково видимих скелетів до варіанта розпізнавання дій лише для верхньої частини тіла, що працює лише з ключовими точками плечей, ліктів, зап'ясть і голови, які надійніше видно, коли нижня частина тіла перекрита загородженням або площиною землі.

Часове перекриття — людина, що рухається за перешкодою протягом кількох кадрів — потребує продовження треку, а не його завершення. Якщо трек особи зникає менш ніж на 10 кадрів (приблизно 0,7 секунди при 15 FPS), трекер повинен підтримувати ідентичність треку, використовуючи останній відомий вектор швидкості для проєктування очікуваного місця появи, а не завершувати трек та ініціалізувати новий. Завершення та повторна ініціалізація треку під час коротких перекриттів призводить до скидання буфера розпізнавання дій, втрати часового контексту, накопиченого до перекриття, і погіршення точності розпізнавання поведінки, що охоплює подію перекриття. Відкалібрована політика продовження треку значно зменшує рівень хибнонегативних результатів для поведінки, що включає транзит через частково перекриті зони.

Нічні та слабоосвітлені умови становлять окремий виклик. Стандартні моделі оцінки пози, навчені на денному RGB-відео, значно погіршуються під штучним ІЧ-освітленням або при застосуванні до виводу теплових камер, де статистика зовнішнього вигляду фундаментально відрізняється від розподілу навчального RGB-набору. Доступні два практичних пом'якшення: адаптація домену шляхом тонкого налаштування на невеликому розміченому наборі даних конкретного типу камери, що, як показано, відновлює більшу частину втраченої точності вартістю приблизно 200–500 розмічених прикладів; і використання нормалізації скелетного входу, що перетворює абсолютні координати ключових точок у відносні координати, нормовані за довжиною кінцівок, що зменшує вплив зміненої статистики зовнішнього вигляду на геометричне представлення, що споживається розпізнавачем дій.

Обмеження конфіденційності та правил ведення бою для систем спостереження зі штучним інтелектом

Навіть у військовому оперативному середовищі системи оцінки пози, що обробляють зображення осіб, функціонують у правовому та етичному контексті, що обмежує як зібрані дані, так і дозволені автоматизовані дії. На внутрішніх військових об'єктах, що підпадають під національне законодавство, вимоги щодо мінімізації даних, як правило, забороняють невизначене зберігання необробленого відео або біометрично ідентифікуючих зображень. Скелетне представлення оцінки пози пропонує значущий технічний засіб захисту конфіденційності: скелет зберігає поведінкову інформацію, відкидаючи дані про зовнішній вигляд (обличчя, одяг, текстуру ходи), що вимагаються для біометричної ідентифікації. Це не є абсолютною гарантією конфіденційності — скелетні послідовності у деяких випадках можуть ідентифікувати осіб через стабільну кінематику ходи — але це задовольняє наміри щодо мінімізації даних більшості застосовних правових рамок і суттєво знижує правовий ризик системи спостереження порівняно зі зберіганням необробленого відео.

Правила ведення бою накладають окреме обмеження на автоматизовану реакцію. У більшості оперативних рамок автоматизоване поведінкове виявлення не дозволяє автоматизовану дію у відповідь; воно дозволяє ескалацію уваги людини. Роль системи полягає в тому, щоб подати пріоритизовану тривогу оператору, який потім застосовує власне судження щодо відповідних дій з огляду на весь оперативний контекст. Ця вимога має пряме значення для проєктування системи: виявлення має бути пояснюваним у термінах, які оператор може оцінити. Тривога, що відображає лише показник довіри, є оперативно недостатньою. Тривога повинна показувати послідовність скелетів, що спровокувала класифікацію, клас дії та довіру, а також відповідне правило, щоб оператор міг оцінити правильність автоматичної класифікації перед прийняттям рішення про реакцію. Архітектури пояснюваного штучного інтелекту для оборони задовольняють цю вимогу через візуалізацію уваги та відтворення скелета, що роблять міркування моделі прозорими для оператора, який переглядає тривогу.

Політика управління даними повинна охоплювати сам граничний вузол, а не лише серверний рівень зберігання. Граничний вузол камери, що зберігає поточний буфер необроблених відеокадрів для налагодження, створює ризик конфіденційності, навіть якщо серверний рівень зберігає лише скелети. Добре спроєктована система реалізує окремі політики зберігання на кожному етапі обробки: необроблене відео може зберігатися 24–72 години для налагодження, скелетні послідовності — 30 діб для аудиту та вдосконалення моделі, а події тривог із пов'язаними скелетними кліпами — 90 діб для правового та оперативного огляду. Ці часові рамки зберігання мають автоматично застосовуватися граничним програмним забезпеченням, а не залежати від ручних процедур видалення.

Граничне розгортання: компроміс між розміром моделі та точністю на вбудованому камерному обладнанні

Обмеження обчислень і споживання енергії вбудованого в камеру граничного обладнання вимушують явних компромісів між точністю моделі, частотою кадрів і споживанням енергії, яких не виникає при серверному розгортанні. Нейронний процесор Hailo-8, вбудований у модуль інтелектуальної камери, забезпечує приблизно 26 TOPS виводу INT8 при споживанні менше 5 Вт — достатньо для запуску квантованого ViTPose-S зі швидкістю понад 20 FPS на відео 640x480 із залишком ресурсів для класифікатора розпізнавання дій та стека публікації CoT. NVIDIA Jetson Orin Nano при 10 Вт забезпечує 40 TOPS пропускної здатності INT8 і обробляє входи вищої роздільної здатності або складніші варіанти моделей. На найнижчому рівні споживання Raspberry Pi CM4 з акселератором Coral M.2 (4 TOPS при 2 Вт) може запускати MediaPipe Pose плюс легкий розпізнавач дій ST-GCN у межах загального бюджету 6 Вт, що робить його придатним для периметральних камер на сонячних батареях або акумуляторному живленні з вимогами багатоденної витривалості.

Техніки стиснення моделей, що виходять за рамки базового квантування INT8, часто необхідні для досягнення цільових показників точності-на-ват у вбудованих розгортаннях камер. Дистиляція знань — навчання меншої моделі-учня для відтворення вихідних розподілів більшої моделі-вчителя — стабільно перевершує пряме навчання малої моделі при еквівалентній кількості параметрів, зазвичай відновлюючи 1–3 пункти mAP порівняно з наївно навченою малою моделлю того самого розміру. Структурне відсікання основи моделі пози, що видаляє цілі голови уваги або згорткові фільтри з низькою величиною активації, пропорційно зменшує кількість параметрів і час виводу, зберігаючи більшу частину точності, особливо в поєднанні з тонким налаштуванням на цільовому наборі даних домену. Поєднання дистиляції та структурного відсікання, як показано, дозволяє скоротити ViTPose-S приблизно до 40 відсотків від початкової кількості параметрів із деградацією mAP менше 4 пунктів на стандартних еталонних тестах.

Управління тепловим режимом є недооціненим обмеженням у вбудованих граничних розгортаннях камер. Обчислювальний модуль, що виконує безперервний нейронний вивід при 10–15 Вт у герметичному всепогодному корпусі камери, досягне температур теплового дроселювання протягом 15–30 хвилин під прямим літнім сонцем, знижуючи ефективну пропускну здатність виводу на 20–40 відсотків відносно номінального значення. Граничні системи спостереження слід проєктувати з урахуванням цього: або через конструкцію корпусу з достатнім пасивним тепловідведенням, або через схеми чергового режиму, що знижують навантаження виводу в періоди високої температури навколишнього середовища, або через динамічне масштабування роздільної здатності, що зменшує вхідну роздільну здатність (і, відповідно, обчислення виводу) при виявленні теплового дроселювання. Патерни тріажу даних ISR, що використовуються в бортовому граничному штучному інтелекті, застосовуються безпосередньо тут — система повинна деградувати коректно при обмежених обчисленнях, підтримуючи виявлення з високим пріоритетом за рахунок обробки з низьким пріоритетом.

Інтеграція виявлень у загальну оперативну картину через CoT

Поведінкове виявлення, що залишається на граничному вузлі, не має жодної оперативної цінності. Шлях інтеграції до загальної оперативної картини слідує тому самому патерну Cursor on Target (CoT), що використовується для акустичних і оптичних виявлень у ширшій екосистемі граничних датчиків. Кожна підтверджена подія поведінкового виявлення пакується як повідомлення CoT XML, що містить клас дії, показник довіри, географічне положення, отримане з відомої геометрії монтажу камери та проєкції особи на площину землі, а також мітку часу момента виявлення. Код типу CoT відображає характер події: тип звіту про спостереження для загальних поведінкових аномалій або відповідний тип ворожого індикатора, коли правила ведення бою дозволяють автоматичну класифікацію виявленої поведінки як індикатора загрози. Час застарівання CoT встановлюється виходячи з очікуваної тривалості та критичності поведінки — тривога підняття зброї має застаріти протягом 30 секунд без поновлення, тоді як виявлення нишпорення може мати 5-хвилинне вікно застарівання.

Коли кілька камер охоплюють поля зору, що перекриваються, — типова конфігурація в пунктах контролю доступу, де потрібні резервування та усунення сліпих зон — та сама особа може генерувати одночасні виявлення від двох чи більше камер. Серверна служба злиття збирає поведінкові виявлення CoT у межах налаштованого часово-просторового вікна (за замовчуванням 5 секунд, радіус 2 метри) та об'єднує дублікати звітів в єдиний зведений трек із класифікацією від камери з найвищою довірою. Географічне положення зведеного треку є зваженим центроїдом позицій від камер-учасниць, де ваги пропорційні довірі ключових точок кожної камери для цього виявлення. Цей крок злиття еквівалентний перетину пеленгаційних ліній від кількох вузлів, що використовується в акустичних сенсорних мережах — обидва підходи перетворюють кілька обмежених спостережень на єдину найкращу розрахункову географічну подію для споживання оператором.

Поведінкові треки тривалого характеру — людина, що нишпорить поблизу обмеженої зони, або група, що поступово сходиться до вузького місця протягом кількох хвилин, — виграють від моделі анотації рівня треку, що зберігає поведінковий стан між кількома подіями CoT. Замість генерації нового маркера карти для кожного оновлення виявлення, сервер агрегує поведінкову історію в трек, що оператор бачить як єдину анотовану іконку особи, мітка якої розвивається в міру розвитку поведінки. Коли поведінкова класифікація треку досягає налаштованого порогу тривоги, клієнт ATAK генерує звукову та візуальну тривогу, привертаючи увагу оператора до конкретного треку на загальній оперативній картині без необхідності ручного перегляду відеопотоків. Corvus SENSE реалізує це агрегування рівня треку в нативному режимі, з'єднуючи граничні вузли оцінки пози з повною екосистемою TAK із публікацією CoT, злиттям від кількох камер та управлінням тривогами операторів, вбудованими в платформу.