Estymacja pozy człowieka w wojskowym nadzorze: wdrożenie na urządzeniach brzegowych i integracja operacyjna

Osoba unosząca broń, przyjmująca pozycję strzelecką leżącą lub zbliżająca się do ogrodzenia perymetrycznego w nienormalnym tempie wykazuje wyraźne sygnatury postawy, które kamerowy system AI może wykryć na długo przed tym, zanim ludzki operator przeglądający ścianę monitorów zdąży to zauważyć. Estymacja pozy człowieka – proces lokalizowania anatomicznych punktów kluczowych na wykrytych osobach i łączenia ich w graf szkieletowy – zapewnia warstwę reprezentacyjną, która czyni tego rodzaju nadzór behawioralny praktycznym na urządzeniach brzegowych. Zamiast prosić operatora o jednoczesne analizowanie surowego wideo z dziesiątek kamer, system detekcji oparty na pozie abstrahuje każdą osobę w kadrze do szkieletu, przepuszcza go przez klasyfikator rozpoznawania działań i generuje alarm dopiero po potwierdzeniu wzorca zachowania istotnego dla zagrożenia. Niniejszy artykuł analizuje architektury modeli, ograniczenia operacyjne, strategie obsługi okluzji oraz wzorce integracji widzenia maszynowego, które czynią estymację pozy wdrożoną na urządzeniach brzegowych praktyczną w wojskowych zastosowaniach nadzorczych.

Operacyjne przesłanki zastosowania estymacji pozy w wojskowym nadzorze

Obciążenie nadzorcze na dużej instalacji wojskowej – ogrodzenia perymetryczne, punkty dostępu pojazdów, linie lotnicze, składy amunicji i budynki dowodzenia – z łatwością przekracza możliwości jakiegokolwiek realistycznego modelu obsady operatorów w zakresie bezpośredniej obserwacji wideo. Instalacja z 100 kamerami produkująca 24 godziny ciągłego nagrania generuje wolumen danych, którego żaden zespół dyżurny nie jest w stanie przeglądać w czasie rzeczywistym. Wymóg operacyjny dotyczy zatem nie większej liczby kamer, lecz warstwy detekcji redukującej strumień surowego wideo do priorytetowej kolejki zdarzeń wartych ludzkiej uwagi. Estymacja pozy spełnia ten wymóg specyficznie dla klasy zagrożeń manifestujących się jako sygnatury behawioralne człowieka: nieautoryzowany dostęp, posługiwanie się bronią w strefach zastrzeżonych, wrogie zbliżenia oraz taktyczne wskaźniki takie jak pozycja leżąca czy grupowanie się ludzi.

Nadzór oparty na pozie rozwiązuje również ograniczenie prostej detekcji obiektów. Osoba wykryta w strefie zastrzeżonej nie jest sama w sobie zagrożeniem; ta sama osoba w tym miejscu unosząca przedmiot do ramienia w uchwycie strzeleckim to jakościowo odmienne zdarzenie wymagające natychmiastowej reakcji. Modele detekcji obiektów klasyfikują, co jest obecne; rozpoznawanie działań oparte na pozie klasyfikuje, co się dzieje. Połączenie obu warstw – klasy obiektu i stanu behawioralnego – produkuje specyficzność alarmową, której żadna z warstw nie osiąga samodzielnie, i robi to bez konieczności przesyłania surowego wideo poza instalację, co jest krytyczne w operacjach ISR z ograniczoną przepustowością łącza, gdzie pojemność łącza musi być zarezerwowana dla danych kluczowych dla misji.

Istnieje również praktyczny argument za reprezentacją szkieletową w zakresie generalizacji modelu. Klasyfikatory oparte na surowym wyglądzie, trenowane na wideo osób w jednym mundurze, jednych warunkach oświetleniowych i jednym kącie kamery, często zawodzą, gdy którakolwiek z tych zmiennych ulega zmianie. Reprezentacje szkieletowe abstrahują od ubrania, odcienia skóry, kąta kamery i oświetlenia – wszystkich źródeł pozornej zmienności – pozostawiając jedynie geometryczną strukturę postawy ciała spójną w różnych środowiskach wdrożenia. Model wytrenowany na danych szkieletowych z jednego teatru działań przenosi się bardziej niezawodnie do nowej instalacji niż model oparty na wyglądzie, redukując obciążenie związane z oznakowanymi danymi do adaptacji na potrzeby nowych wdrożeń.

Modele szkieletowe: OpenPose, MediaPipe i ViTPose na urządzeniach brzegowych

Trzy rodziny modeli dominują w produkcyjnie użytecznej estymacji pozy dla obronnych zastosowań brzegowych. OpenPose, oryginalny estymator pozy wielu osób o wysokiej dokładności, używa architektury oddolnej, która najpierw wykrywa wszystkie punkty kluczowe na obrazie, a następnie składa je w indywidualne szkielety poprzez krok dopasowania pól powinowactwa części. Podejście oddolne dobrze sprawdza się w scenach z wieloma jednocześnie obecnymi osobami, jednak pełny model OpenPose przy rozdzielczości 368x368 wymaga około 200 ms na klatkę na procesorze CPU klasy średniej, co czyni go niepraktycznym do nadzoru w czasie rzeczywistym bez dedykowanego GPU lub NPU. Skwantyzowane i przerzedzone warianty znacznie skracają ten czas, a na NVIDIA Jetson Orin Nano pełny potok działa z prędkością 15-25 FPS, co jest operacyjnie wystarczające dla nadzoru, gdzie opóźnienie poniżej sekundy nie jest wymagane.

MediaPipe Pose zajmuje przeciwległy koniec spektrum kompromisu obliczenia-dokładność. Jest to model jednoosobowy wykrywający 33 punkty kluczowe za pomocą lekkiego szkieletu BlazePose zaprojektowanego specjalnie do wdrożeń mobilnych i wbudowanych. Na Raspberry Pi 4 MediaPipe Pose działa z prędkością ponad 30 FPS przy rozmiarze modelu poniżej 10 MB i poborze mocy poniżej 5 W. Ograniczenie do jednej osoby stanowi realne ograniczenie operacyjne dla kamer obserwacyjnych obejmujących punkty dostępu lub punkty kontrolne, gdzie jednocześnie może przebywać wiele osób, ale dla dedykowanych kamer punktowego nadzoru – pojedynczej kamery obejmującej konkretną bramę lub wejście – wydajność MediaPipe czyni go praktycznym wyborem domyślnym. W przypadku scenariuszy wieloosobowych na ograniczonym sprzęcie, połączenie detektora osób klasy YOLO z instancją MediaPipe dla każdej osoby zapewnia rozsądną przepustowość wieloosobową w ramach budżetu energetycznego.

ViTPose reprezentuje aktualny stan wiedzy, stosując szkielety transformera wizyjnego (ViT) do paradygmatu estymacji pozy odgórnej. Warianty ViTPose-S i ViTPose-B osiągają znacznie wyższą średnią precyzję punktów kluczowych (mAP) niż alternatywy oparte na CNN w standardowych testach porównawczych, przy czym ViTPose-S działa z prędkością 12-20 FPS na Jetson Orin Nano z kwantyzacją INT8. Architektura transformera jest bardziej wrażliwa na kwantyzację niż CNN – INT8 ViTPose traci zazwyczaj 3-5 punktów mAP w porównaniu z FP32, w porównaniu do 1-2 punktów dla modeli opartych na MobileNetV2 – dlatego kwantyzacja musi być starannie zweryfikowana względem operacyjnego minimalnego wymagania jakości punktów kluczowych przed wdrożeniem.

Rozpoznawanie działań dla wskaźników zagrożeń: uniesiona broń, pozycje leżące, dynamika tłumu

Estymacja pozy produkuje współrzędne szkieletu dla każdej klatki; rozpoznawanie działań wyprowadza behawioralne znaczenie z czasowej ewolucji tych szkieletów. Najbardziej operacyjnie istotne klasy działań dla wojskowego nadzoru to: uniesienie broni (punkty kluczowe nadgarstków unoszące się powyżej linii ramion z kątem przedramię-ramię spójnym z celowaniem), postawa leżąca (punkty kluczowe bioder i ramion na niemal równej wysokości w odległości 40 cm od szacowanej płaszczyzny gruntu), nieautoryzowane zbliżenie (wektor prędkości ścieżki osoby skierowany ku granicy chronionej strefy z prędkością powyżej normalnego chodu) oraz skupianie się tłumu (wiele ścieżek szkieletowych zbiegających się ku wspólnemu punktowi ze zmniejszającą się z czasem odległością między osobami).

Przestrzenno-czasowe grafowe sieci splotowe (ST-GCN i jej następcy, w tym AGCN i MS-G3D) są standardową architekturą do rozpoznawania działań opartego na szkieletach. Modele te traktują szkielet jako graf, gdzie punkty kluczowe są węzłami, a połączenia kończyn są krawędziami, i przetwarzają czasowe sekwencje grafów przez warstwy splotów grafowych uczące się wzorców przestrzennych i czasowych łącznie. Bufor 16-klatkowy przy 15 FPS obejmuje około jednej sekundy ruchu, co jest wystarczające do odróżnienia uniesionego ramienia od statycznej postawy i wykrycia kinetycznej sygnatury osoby przechodzącej ze stojącej do leżącej. W przypadku zachowań trwających dłużej, takich jak wałęsanie lub stopniowe nieautoryzowane zbliżenie, bufor 64-klatkowy przy 5 FPS zapewnia okno kontekstu 12 sekund przy mniejszym zużyciu pamięci niż krótkie okno z wysoką prędkością klatek.

Detekcja dynamiki tłumu wymaga agregowania danych szkieletowych wielu śledzonych osób, a nie klasyfikowania sekwencji pojedynczych osób. Proste, ale skuteczne podejście oblicza stopę zmian pola wypukłej otoczki obejmującej wszystkie śledzone szkielety w polu widzenia kamery: kurczącą się otoczka z prędkością powyżej progu wskazuje na zbieżność spójną z grupowaniem tłumu. Bardziej zaawansowane podejścia używają sieci grafowych na przestrzennym grafie między osobami do wykrywania zmian formacji wskazujących na skoordynowany ruch. Oba podejścia są zgodne z potokiem raportowania CoT – zdarzenie tłumu to pojedynczy znacznik CoT w centroidzie zbiegającej się grupy, a nie indywidualne ścieżki osób, co utrzymuje wyświetlanie obrazu sytuacyjnego operatora w zarządzalnym stanie podczas zdarzeń wysokiej gęstości.

Obsługa okluzji i częściowej widoczności w polowych warunkach nadzoru

Rzeczywiste wojskowe środowiska nadzoru narzucają warunki okluzji, które laboratoryjne zbiory danych benchmarkowych systematycznie niedostatecznie reprezentują. Kamery perymetryczne na instalacjach polowych napotykają osoby częściowo zasłonięte przez roślinność, bariery, pojazdy lub inne osoby. Szkielet z ponad 30 procentami punktów kluczowych poniżej progu pewności modelu dostarcza niewystarczających informacji strukturalnych do niezawodnej klasyfikacji działań. Operacyjnie właściwą odpowiedzią nie jest całkowite pominięcie detekcji, ale skierowanie częściowo widocznych szkieletów do wariantu rozpoznawania działań tylko górnej części ciała, operującego wyłącznie na punktach kluczowych barków, łokci, nadgarstków i głowy, które są bardziej niezawodnie widoczne, gdy dolna część ciała jest zasłonięta przez barierę lub płaszczyznę gruntu.

Okluzja czasowa – osoba poruszająca się za przeszkodą przez kilka klatek – wymaga mostkowania ścieżek zamiast ich kończenia. Jeśli ścieżka osoby znika na mniej niż 10 klatek (około 0,7 sekundy przy 15 FPS), śledzący powinien utrzymywać tożsamość ścieżki używając ostatniego znanego wektora prędkości do projekcji oczekiwanej lokalizacji ponownego pojawienia się, zamiast kończyć ścieżkę i inicjalizować nową. Kończenie i reinicjalizacja ścieżki podczas krótkich okluzji powoduje reset bufora rozpoznawania działań, utratę kontekstu czasowego zgromadzonego przed okluzją i pogorszenie dokładności rozpoznawania zachowań obejmujących zdarzenie okluzji. Skalibrowana polityka mostkowania ścieżek znacznie zmniejsza wskaźnik fałszywych negatywów dla zachowań obejmujących tranzyt przez częściowo zasłonięte strefy.

Warunki nocne i słabego oświetlenia stanowią odrębne wyzwanie. Standardowe modele estymacji pozy trenowane na dziennym wideo RGB znacznie degradują się pod sztucznym oświetleniem IR lub gdy są stosowane do wyjść kamery termicznej, gdzie statystyki wyglądu różnią się zasadniczo od rozkładu treningowego RGB. Dostępne są dwa praktyczne środki zaradcze: dostrajanie adaptacji domenowej na małym oznakowanym zbiorze danych ze specyficznego typu kamery, co wykazano jako przywracające większość utraty dokładności przy koszcie około 200-500 oznakowanych przykładów; oraz użycie normalizacji wejścia szkieletowego przeliczającej bezwzględne współrzędne punktów kluczowych na współrzędne względne znormalizowane do długości kończyn, co zmniejsza wpływ zmienionych statystyk wyglądu na reprezentację geometryczną, którą konsumuje rozpoznawacz działań.

Ograniczenia prywatności i zasad zaangażowania w odniesieniu do AI nadzoru

Nawet w wojskowych środowiskach operacyjnych systemy estymacji pozy przetwarzające obrazy osób działają w ramach prawnych i etycznych, które ograniczają zarówno zbierane dane, jak i dozwolone zautomatyzowane działania. Na krajowych instalacjach wojskowych podlegających prawu krajowemu wymagania minimalizacji danych zazwyczaj zakazują bezterminowego przechowywania surowego wideo lub biometrycznie identyfikowalnych obrazów. Reprezentacja szkieletowa estymacji pozy oferuje znaczące techniczne narzędzie ochrony prywatności: szkielet zachowuje informacje behawioralne, jednocześnie odrzucając dane wyglądu (twarz, ubranie, tekstura chodu) wymagane do identyfikacji biometrycznej. Nie jest to absolutna gwarancja prywatności – sekwencje szkieletowe mogą w niektórych przypadkach ponownie identyfikować osoby poprzez spójną kinematykę chodu – ale spełnia intencję minimalizacji danych większości stosowanych ram prawnych i znacznie zmniejsza profil prawnego ryzyka systemu nadzoru w porównaniu z przechowywaniem surowego wideo.

Zasady zaangażowania narzucają odrębne ograniczenie na zautomatyzowane reakcje. W większości ram operacyjnych zautomatyzowana detekcja behawioralna nie upoważnia do zautomatyzowanego działania reakcyjnego; upoważnia do eskalowanej ludzkiej uwagi. Rolą systemu jest przedstawienie priorytetowego alarmu ludzkiemu operatorowi, który następnie osądza, jaka reakcja jest uzasadniona w pełnym kontekście operacyjnym. Wymóg ten ma bezpośrednie implikacje dla projektowania systemu: detekcja musi być wyjaśnialna w kategoriach, które operator może ocenić. Alarm wyświetlający jedynie wynik pewności jest operacyjnie niewystarczający. Alarm powinien pokazywać sekwencję szkieletu, która wywołała klasyfikację, klasę działania i pewność oraz dopasowaną regułę, aby operator mógł ocenić, czy zautomatyzowana klasyfikacja jest prawidłowa przed podjęciem działania. Architektury wyjaśnialnej AI dla obronności spełniają ten wymóg poprzez wizualizację uwagi i odtwarzanie szkieletu, które czynią rozumowanie modelu przejrzystym dla weryfikującego operatora.

Polityki zarządzania danymi muszą obejmować sam węzeł brzegowy, a nie tylko warstwę przechowywania po stronie serwera. Węzeł kamery brzegowej przechowujący kroczący bufor surowych klatek wideo do celów diagnostycznych stwarza ryzyko dla prywatności nawet jeśli warstwa serwera przechowuje jedynie szkielety. Dobrze zaprojektowany system implementuje odrębne polityki przechowywania na każdym etapie przetwarzania: surowe wideo może być przechowywane przez 24-72 godziny do celów diagnostycznych, sekwencje szkieletowe przez 30 dni do audytu i doskonalenia modelu, a zdarzenia alarmowe z powiązanymi klipami szkieletowymi przez 90 dni do przeglądu prawnego i operacyjnego. Te okna przechowywania powinny być egzekwowane automatycznie przez oprogramowanie brzegowe, a nie zależeć od ręcznych procedur usuwania.

Wdrożenie na urządzeniach brzegowych: kompromisy między rozmiarem modelu a dokładnością na sprzęcie wbudowanym w kamery

Ograniczenia obliczeniowe i energetyczne sprzętu wbudowanego w kamery brzegowe wymuszają jawne kompromisy między dokładnością modelu, prędkością klatek i poborem mocy, które nie pojawiają się przy wdrożeniu po stronie serwera. Jednostka przetwarzania neuronowego Hailo-8 wbudowana w moduł inteligentnej kamery zapewnia około 26 TOPS wnioskowania INT8 przy poborze poniżej 5 W – wystarczająco, by uruchomić skwantyzowany ViTPose-S z prędkością ponad 20 FPS na wideo 640x480, pozostawiając margines dla klasyfikatora rozpoznawania działań i stosu publikowania CoT. NVIDIA Jetson Orin Nano przy 10 W zapewnia 40 TOPS przepustowości INT8 i obsługuje wejścia o wyższej rozdzielczości lub bardziej złożone warianty modeli. Na najniższym poziomie energetycznym, Raspberry Pi CM4 z akceleratorem Coral M.2 (4 TOPS przy 2 W) może uruchomić MediaPipe Pose wraz z lekkim klasyfikatorem ST-GCN w całkowitym budżecie 6 W, co czyni go odpowiednim dla kamer perymetrycznych zasilanych energią słoneczną lub bateryjnych z wymaganiami wielodniowej wytrzymałości.

Techniki kompresji modeli wykraczające poza podstawową kwantyzację INT8 są często niezbędne do osiągnięcia celów dokładności na wat w wdrożeniach wbudowanych w kamery. Destylacja wiedzy – trenowanie mniejszego modelu ucznia do replikowania rozkładów wyjściowych większego modelu nauczyciela – konsekwentnie przewyższa bezpośrednie trenowanie małego modelu przy równoważnych liczbach parametrów, zazwyczaj odzyskując 1-3 punkty mAP względem naiwnie wytrenowanego małego modelu tego samego rozmiaru. Strukturalne przycinanie szkieletu modelu pozy, usuwanie całych głowic uwagi lub filtrów splotowych o niskiej wielkości aktywacji, proporcjonalnie zmniejsza liczbę parametrów i czas wnioskowania, zachowując większość dokładności, szczególnie w połączeniu z dostrajaniem na zbiorze danych domeny docelowej. Wykazano, że połączenie destylacji i strukturalnego przycinania redukuje ViTPose-S do około 40 procent pierwotnej liczby parametrów z degradacją mAP mniejszą niż 4 punkty w standardowych testach porównawczych.

Zarządzanie cieplne jest niedocenianym ograniczeniem w wdrożeniach brzegowych wbudowanych w kamery. Moduł obliczeniowy prowadzący ciągłe wnioskowanie neuronowe przy 10-15 W w uszczelnionej, wodoszczelnej obudowie kamery osiągnie temperatury dławienia termicznego w ciągu 15-30 minut w bezpośrednim letnim świetle słonecznym, zmniejszając efektywną przepustowość wnioskowania o 20-40 procent względem wartości nominalnej. Systemy nadzoru na urządzeniach brzegowych muszą być projektowane z uwzględnieniem tego faktu: poprzez obudowy z odpowiednią pasywną dyssypacją ciepła, schematy cykliczne zmniejszające obciążenie wnioskowania w okresach wysokiej temperatury otoczenia, lub dynamiczne skalowanie rozdzielczości zmniejszające rozdzielczość wejścia (a tym samym obliczenia wnioskowania) po wykryciu dławienia termicznego. Wzorce triaży danych ISR stosowane w pokładowym AI lotniczym mają tu bezpośrednie zastosowanie – system musi degradować się płynnie, gdy zasoby obliczeniowe są ograniczone, utrzymując detekcje o wysokim priorytecie kosztem przetwarzania o niższym priorytecie.

Integracja detekcji z obrazem sytuacyjnym przez CoT

Detekcja behawioralna pozostająca na węźle brzegowym nie ma żadnej wartości operacyjnej. Ścieżka integracji z obrazem sytuacyjnym podąża tym samym wzorcem Cursor on Target (CoT), co akustyczne i optyczne detekcje w szerszym ekosystemie czujników brzegowych. Każde potwierdzone zdarzenie detekcji behawioralnej jest pakowane jako wiadomość XML CoT zawierająca klasę działania, wynik pewności detekcji, pozycję geograficzną wyprowadzoną ze znanych parametrów montażu kamery i projekcji wykrytej osoby na płaszczyznę gruntu oraz znacznik czasu klatki detekcji. Kod typu CoT odzwierciedla charakter zdarzenia: typ raportu obserwacji dla ogólnych anomalii behawioralnych lub odpowiedni typ wskaźnika wrogiego, gdy zasady zaangażowania pozwalają na zautomatyzowaną klasyfikację wykrytego zachowania jako wskaźnika zagrożenia. Czas przeterminowania CoT jest ustawiany na podstawie oczekiwanego czasu trwania i krytyczności zachowania – alarm uniesienia broni powinien przeterminować się w ciągu 30 sekund, jeśli nie zostanie odświeżony, podczas gdy detekcja wałęsania może mieć okno przeterminowania 5 minut.

Gdy wiele kamer obejmuje nakładające się pola widzenia – częsta konfiguracja w punktach kontroli dostępu, gdzie wymagana jest redundancja i eliminacja martwych punktów – ta sama osoba może generować jednoczesne detekcje z dwóch lub więcej kamer. Usługa fuzji po stronie serwera zbiera behawioralne detekcje CoT w konfigurowalnym oknie czasowo-przestrzennym (domyślnie 5 sekund, promień 2 metrów) i łączy duplikaty raportów w jedną zlokalizowaną ścieżkę niosącą klasyfikację z kamery o najwyższej pewności. Geograficzna pozycja zlokalizowanej ścieżki to ważony centroid pozycji kamer wnoszących, z wagami proporcjonalnymi do pewności punktów kluczowych każdej kamery dla tej detekcji. Ten krok fuzji jest odpowiednikiem przecięcia linii namiarowych wielu węzłów stosowanego w sieciach czujników akustycznych – oba przekładają wiele ograniczonych obserwacji na jedno najlepsze szacunkowe zdarzenie geograficzne dla operatora.

Dłuższe ścieżki behawioralne – osoba wałęsająca się w pobliżu strefy zastrzeżonej lub grupa stopniowo zbiegająca się do punktu wąskiego gardła przez kilka minut – korzystają z modelu adnotacji na poziomie ścieżki, który utrzymuje stan behawioralny przez wiele zdarzeń CoT. Zamiast generować nowy znacznik na mapie dla każdej aktualizacji detekcji, serwer agreguje historię behawioralną w ścieżkę, którą operator widzi jako pojedynczą ikonę osoby z adnotacją, której etykieta ewoluuje w miarę rozwoju zachowania. Gdy klasyfikacja behawioralna ścieżki osiągnie skonfigurowany próg alarmowy, klient ATAK generuje dźwiękowy i wizualny alarm, przyciągając uwagę operatora do tej konkretnej ścieżki na obrazie sytuacyjnym bez konieczności ręcznego przeglądania podstawowych obrazów z kamer. Corvus SENSE implementuje tę agregację na poziomie ścieżki natywnie, łącząc węzły estymacji pozy wdrożone na urządzeniach brzegowych z pełnym ekosystemem TAK poprzez wbudowane publikowanie CoT, fuzję wielokamerową i zarządzanie alarmami operatora.