Menselijke pose-estimatie voor militaire surveillance: edge-inzet en operationele integratie

Een persoon die een wapen heft, een liggende schietpositie inneemt of zich met een abnormale snelheid naar een perimeterhek beweegt, vertoont allemaal duidelijke houdingskenmerken die een op camera gebaseerd AI-systeem kan detecteren ruim voordat een menselijke operator die een videomuur bewaakt ze zou opmerken. Menselijke pose-estimatie - het proces waarbij anatomische sleutelpunten op gedetecteerde personen worden gelokaliseerd en verbonden tot een skeletgraph - levert de representatielaag die dit soort gedragssurveillance praktisch uitvoerbaar maakt aan de edge. In plaats van een operator te vragen om tegelijkertijd onbewerkte video van tientallen camera's te analyseren, abstraheert een op pose gebaseerd detectiesysteem elke persoon in beeld terug tot een skelet, stuurt dat skelet door een actieherkenningsclassificeerder en activeert pas een alarm wanneer een dreigingsrelevant gedragspatroon wordt bevestigd. Dit artikel onderzoekt de modelarchitecturen, operationele beperkingen, occlusiebeheersstrategieën en computervisie-integratiepatronen die edge-ingezette pose-estimatie haalbaar maken voor militaire surveillancetoepassingen.

Operationele drijfveren voor pose-estimatie bij militaire surveillance

De surveillancewerkbelasting op een grote militaire installatie - perimeterheining, voertuigtoegangsposten, vliegvelden, munitieopslaggebieden en commandogebouwen - overstijgt gemakkelijk wat een realistisch personeelsmodel kan bijhouden via directe videoobservatie. Een installatie met 100 camera's die 24 uur continu beelden prodiceert, genereert een gegevensvolume dat geen enkel wachtploegteam in realtime kan screenen. De operationele vereiste is dus niet meer camera's, maar een detectielaag die de stroom onbewerkte video terugbrengt tot een geprioriteerde wachtrij van gebeurtenissen die menselijke aandacht verdienen. Pose-estimatie voldoet aan deze vereiste specifiek voor de klasse dreigingen die zich manifesteren als menselijke gedragskenmerken: onbevoegde toegang, wapenhantering in beperkte gebieden, vijandelijke benaderingen en tactische indicatoren zoals liggende positionering of groepsopeenhoping.

Op pose gebaseerde surveillance pakt ook een beperking van eenvoudige objectdetectie aan. Een persoon die in een beperkt gebied wordt gedetecteerd, is op zichzelf geen dreiging; een persoon in datzelfde gebied die een voorwerp naar zijn schouder heft in een schietgreep is een kwalitatief andere gebeurtenis die onmiddellijke reactie vereist. Objectdetectiemodellen classificeren wat aanwezig is; op pose gebaseerde actieherkenning classificeert wat er gebeurt. De combinatie van beide lagen - objectklasse plus gedragsstatus - produceert alarmspecificiteit die geen van beide lagen afzonderlijk bereikt, en doet dit zonder dat het cameranetwerk onbewerkte video buiten de site hoeft te versturen, wat cruciaal is voor bandbreedtebeperkte ISR-operaties waarbij linkcapaciteit gereserveerd moet worden voor missiekritische gegevens.

Er is ook een praktisch argument voor skeletgebaseerde representatie vanuit het oogpunt van modelgeneralisatie. Op onbewerkte verschijning gebaseerde classificeerders die zijn getraind op video van personen in één uniform, één lichtomstandigheid en één camerahoek, falen vaak wanneer een van die variabelen verandert. Skeletrepresentaties abstraheren kleding, huidskleur, camerahoek en verlichting weg - allemaal bronnen van spurieuze variatie - en laten alleen de geometrische structuur van lichaamshouding over die consistent is over inzetomgevingen. Een model getraind op skeletgegevens uit één operatiegebied generaliseert betrouwbaarder naar een nieuwe installatie dan een op verschijning gebaseerd model, wat de gelabelde gegevenslast voor aanpassing aan nieuwe inzetten vermindert.

Skeletmodellen: OpenPose, MediaPipe en ViTPose aan de edge

Drie modelfamilies domineren productie-geschikte pose-estimatie voor defensie-edge-toepassingen. OpenPose, de oorspronkelijke hoge-nauwkeurigheids-meerpersoons-pose-estimator, gebruikt een bottom-up architectuur die eerst alle sleutelpunten in het beeld detecteert en ze vervolgens via een part-affiniteitsveldsynchronisatiestap in individuele skeletten samenvoegt. De bottom-up benadering is goed geschikt voor scènes met veel gelijktijdige personen, maar het volledige OpenPose-model bij 368x368 resolutie vereist ongeveer 200 ms per frame op een middenhoge CPU, waardoor het onpraktisch is voor realtime surveillance zonder een toegewijd GPU of NPU. Gekwantiseerde en gesnoerde varianten verminderen dit aanzienlijk, en op een NVIDIA Jetson Orin Nano draait de volledige pijplijn op 15-25 FPS, wat operationeel voldoende is voor surveillance waarbij sub-seconde latentie niet vereist is.

MediaPipe Pose bevindt zich aan het tegenovergestelde einde van het rekenkrachts-nauwkeurigheidsspectrum. Het is een enkelpersoons-model dat 33 sleutelpunten detecteert met behulp van een lichtgewicht BlazePose-ruggengraat die expliciet is ontworpen voor mobiele en ingebedde inzet. Op een Raspberry Pi 4 draait MediaPipe Pose op 30+ FPS met een modelgrootte onder 10 MB en een stroomverbruik onder 5 W. De enkelpersoons-beperking is een echte operationele beperking voor surveillancecamera's die toegangspunten of controleposten bestrijken waar meerdere personen tegelijk aanwezig kunnen zijn, maar voor speciale punt-surveillancecamera's - één camera die een specifieke poort of deuropening bewaakt - maakt de efficiëntie van MediaPipe het de praktische standaard. Voor meerpersoons-scenario's op beperkte hardware bereikt het koppelen van een YOLO-klasse-persoondetector met een per-persoon MediaPipe-instantie een redelijke meerpersoons-doorvoer binnen het stroombudget.

ViTPose vertegenwoordigt de huidige stand van de techniek, waarbij vision transformer (ViT)-ruggengraten worden toegepast op het top-down pose-estimatieparadigma. ViTPose-S- en ViTPose-B-varianten bereiken aanzienlijk hogere sleutelpunt-mAP dan CNN-gebaseerde alternatieven op standaardbenchmarks, waarbij ViTPose-S op 12-20 FPS draait op een Jetson Orin Nano met INT8-kwantisatie. De transformerarchitectuur is gevoeliger voor kwantisatie dan CNN's - INT8 ViTPose verliest doorgaans 3-5 mAP-punten ten opzichte van FP32, vergeleken met 1-2 punten voor MobileNetV2-gebaseerde modellen - dus kwantisatie moet zorgvuldig worden gevalideerd aan de hand van de operationele minimumkwaliteitsvereiste voor sleutelpunten vóór inzet.

Actieherkenning voor dreigingsindicatoren: geheven wapens, liggende houdingen, menigtedynamiek

Pose-estimatie produceert sleutelpuntcoördinaten per frame; actieherkenning leidt gedragsbetekenis af uit de temporele evolutie van die skeletten. De meest operationeel relevante actieklassen voor militaire surveillance zijn: wapen heffen (polssleutelpunten die boven de schouderlijn stijgen met een onderarm-naar-bovenarm-hoek consistent met het richten), liggende houding (heup- en schoudersleutelpunten op vrijwel gelijke hoogte binnen 40 cm van het geschatte grondvlak), onbevoegde benadering (snelheidsvector van persoontrack gericht naar een beschermde zonegrens op boven-normale loopsnelheid) en menigte-opeenhoping (meerdere skeletracks die convergeren naar een gemeenschappelijk punt met afnemende interpersoonlijke afstand in de tijd).

Ruimtelijk-temporele grafische convolutienetwerken (ST-GCN en zijn opvolgers, inclusief AGCN en MS-G3D) zijn de standaardarchitectuur voor skelet-gebaseerde actieherkenning. Deze modellen behandelen het skelet als een graph waarbij sleutelpunten knooppunten zijn en ledemaat-verbindingen randen, en verwerken temporele reeksen van graphs door grafische convolutielagen die ruimtelijke en temporele patronen gezamenlijk leren. Een buffer van 16 frames bij 15 FPS omvat ongeveer één seconde beweging, wat voldoende is om een geheven arm te onderscheiden van een statische houding en om de kinematische signatuur te detecteren van een persoon die overgaat van staand naar liggend. Voor gedragingen van langere duur zoals rondhangen of geleidelijke onbevoegde benadering biedt een buffer van 64 frames bij 5 FPS een contextvenster van 12 seconden met een lagere geheugenoverhead dan een hoge-framesnelheid kort venster.

Detectie van menigtedynamiek vereist het aggregeren van skeletgegevens over meerdere gevolgde individuen in plaats van enkelpersoons-reeksen te classificeren. Een eenvoudige maar effectieve aanpak berekent de veranderingssnelheid van de convexe romp die alle gevolgde skeletten in het gezichtsveld van de camera omsluit: een krimpende convexe romp boven een drempelsnelheid wijst op convergentie consistent met menigte-opeenhoping. Meer geavanceerde benaderingen gebruiken grafische netwerken over de interpersoonlijke ruimtelijke graph om formatieveranderingen te detecteren die gecoördineerde beweging aanduiden. Beide benaderingen zijn compatibel met de CoT-rapportagepijplijn - de menigte-gebeurtenis is één enkele CoT-markering op het zwaartepunt van de convergerende groep in plaats van individuele persoonsporen, waardoor de weergave op het operationeel beeld van de operator beheersbaar blijft tijdens grootschalige gebeurtenissen.

Occlusie en gedeeltelijke zichtbaarheid verwerken bij veldsurveillancocondities

Militaire surveillanceomgevingen in de praktijk leggen occlusiecondities op die laboratoriumbenchmarkdatasets systematisch ondervertegenwoordigen. Perimeteramera's op veldinstallaties komen personen tegen die gedeeltelijk verborgen zijn achter begroeiing, barrières, voertuigen of andere personen. Een skelet waarbij meer dan 30 procent van de sleutelpunten onder de betrouwbaarheidsdrempel van het model valt, biedt onvoldoende structurele informatie voor betrouwbare actieclassificatie. De operationeel passende reactie is niet de detectie volledig te onderdrukken, maar gedeeltelijk zichtbare skeletten te routeren naar een actieherkenningsvariant voor alleen het bovenlichaam die werkt op alleen de schouder-, elleboog-, pols- en hoofd-sleutelpunten, die betrouwbaarder zichtbaar zijn wanneer het onderlichaam verborgen is achter een barrière of het grondvlak.

Temporele occlusie - een persoon die gedurende meerdere frames achter een obstakel beweegt - vereist trackoverbrugging in plaats van trackbeëindiging. Als een persoontrack gedurende minder dan 10 frames (ongeveer 0,7 seconden bij 15 FPS) verdwijnt, moet de tracker de trackidentiteit bewaren door de laatste bekende snelheidsvector te gebruiken om de verwachte verschijningslocatie te projecteren, in plaats van de track te beëindigen en een nieuwe te initialiseren. Het beëindigen en opnieuw initialiseren van tracks tijdens korte occlusies zorgt ervoor dat de actieherkenningsbuffer wordt gereset, waardoor de temporele context verloren gaat die vóór de occlusie was opgebouwd en de herkenningsnauwkeurigheid voor gedragingen die de occlusiegebeurtenis overspannen verslechtert. Een gekalibreerd trackoverbrugbeleid vermindert de fout-negatieve frequentie aanzienlijk voor gedragingen die transit door gedeeltelijk verborgen zones omvatten.

Nacht- en weinig-lichtomstandigheden vormen een aparte uitdaging. Standaard pose-estimatiemodellen getraind op daglicht-RGB-video verslechteren aanzienlijk onder kunstmatige IR-verlichting of wanneer ze worden toegepast op thermische camera-uitvoer, waarbij de verschijningsstatistieken fundamenteel afwijken van de RGB-trainingsverdeling. Twee praktische mitigaties zijn beschikbaar: domeinadaptatie-fine-tuning op een kleine gelabelde dataset van het specifieke cameratype, waarvan is aangetoond dat het het grootste deel van het nauwkeurigheidsverlies herstelt tegen de kostprijs van ongeveer 200-500 gelabelde voorbeelden; en het gebruik van skeletinvoernormalisatie die absolute sleutelpuntcoördinaten omzet naar relatieve coördinaten genormaliseerd op ledemaat-lengte, wat het effect van de gewijzigde verschijningsstatistieken op de geometrische representatie die de actieherkenner verwerkt vermindert.

Privacy- en gedragsregelbeperkingen voor surveillance-AI

Zelfs in militaire operationele omgevingen werken pose-estimatiesystemen die beeldmateriaal van personen verwerken binnen een juridisch en ethisch kader dat zowel de verzamelde gegevens als de toegestane geautomatiseerde acties beperkt. Op binnenlandse militaire installaties die onder nationaal recht vallen, verbieden vereisten voor dataminimalisatie doorgaans de onbepaalde bewaring van onbewerkte video of biometrisch identificeerbaar beeldmateriaal. De skeletrepresentatie van pose-estimatie biedt een zinvolle technische privacycontrole: het skelet behoudt gedragsinformatie terwijl de verschijningsdata (gezicht, kleding, gangpatroon) die nodig zou zijn voor biometrische identificatie wordt verwijderd. Dit is geen absolute privacygarantie - skeletreeksen kunnen in sommige gevallen individuen heridentificeren via consistente gangkinematica - maar het voldoet aan de dataminimalisatie-intentie van de meeste toepasselijke juridische kaders en vermindert het juridische risicoprofiel van het surveillancesysteem aanzienlijk ten opzichte van retentie van onbewerkte video.

Gedragsregels leggen een aparte beperking op voor geautomatiseerde reactie. In de meeste operationele kaders autoriseert een geautomatiseerde gedragsdetectie geen geautomatiseerde responsactie; het autoriseert verhoogde menselijke aandacht. De rol van het systeem is het aan de oppervlakte brengen van een geprioriteerd alarm aan een menselijke operator, die vervolgens zijn oordeel uitoefent over welke reactie gerechtvaardigd is gezien de volledige operationele context. Deze vereiste heeft een directe implicatie voor systeemontwerp: de detectie moet verklaarbaar zijn in termen die de operator kan evalueren. Een alarm dat alleen een betrouwbaarheidsscore weergeeft, is operationeel onvoldoende. Het alarm dient de skeletrijs te tonen die de classificatie activeerde, de actieklasse en betrouwbaarheid, en de regel die werd gekoppeld, zodat de operator kan beoordelen of de geautomatiseerde classificatie correct is voordat hij inzet op een reactie. Verklaarbare AI-architecturen voor defensie pakken deze vereiste aan via aandachtsvisualisatie en skeletweergave die het redeneren van het model transparant maken voor de beoordelende operator.

Gegevensbeheerbeleid moet zich uitstrekken tot de edge-node zelf, niet alleen tot de serveropslaglaag. Een edge-cameranode die een doorlopende buffer van onbewerkte videoframes bewaart voor debugdoeleinden, creëert een privacyrisico zelfs als de serverlaag alleen skeletten opslaat. Een goed ontworpen systeem implementeert afzonderlijk bewaarbeleid op elke verwerkingsfase: onbewerkte video mag 24-72 uur worden bewaard voor debugdoeleinden, skeletreeksen 30 dagen voor audit en modelverbetering, en alarmgebeurtenissen met bijbehorende skeletclips 90 dagen voor juridische en operationele review. Deze bewaarvensters dienen automatisch te worden afgedwongen door de edge-software in plaats van afhankelijk te zijn van handmatige verwijderingsprocedures.

Edge-inzet: afwegingen tussen modelgrootte en nauwkeurigheid op camera-ingebedde hardware

De reken- en stroomvermogenbeperkingen van camera-ingebedde edge-hardware dwingen expliciete afwegingen af tussen modelnauwkeurigheid, framesnelheid en stroomverbruik die bij server-side inzet niet voorkomen. Een Hailo-8 neurale verwerkingseenheid ingebed in een slimme cameramodule biedt ongeveer 26 TOPS van INT8-inferentie bij onder 5 W - genoeg om een gekwantiseerde ViTPose-S te draaien op 20+ FPS op 640x480 video terwijl er ruimte overblijft voor de actieherkenningsclassificeerder en de CoT-publicatiestack. Een NVIDIA Jetson Orin Nano bij 10 W biedt 40 TOPS INT8-doorvoer en verwerkt invoer met hogere resolutie of complexere modelvarianten. Op de laagste stroomcategorie kan een Raspberry Pi CM4 met een Coral M.2-accelerator (4 TOPS bij 2 W) MediaPipe Pose plus een lichtgewicht ST-GCN actieherkenner draaien binnen een totaal budget van 6 W, waardoor het geschikt is voor zonne-energiebediende of op batterij werkende perimeteramera's met meerdere dagen uithoudingsvermogen.

Modelcompressietechnieken voorbij basis INT8-kwantisatie zijn vaak noodzakelijk om de nauwkeurigheid-per-watt-doelen te halen bij camera-ingebedde inzetten. Kennisdistillatie - een kleiner leerlingmodel trainen om de uitvoerverdelingen van een groter docentmodel te repliceren - presteert consistent beter dan direct trainen van het kleine model bij equivalente parameteraantallen, en herstelt doorgaans 1-3 mAP-punten ten opzichte van een naïef getraind klein model van dezelfde grootte. Gestructureerd snoeien van de ruggengraat van het pose-model, waarbij volledige aandachtshoofden of convolutiefilters met een lage activatiemagnitude worden verwijderd, vermindert het parameteraantal en de inferentietijd evenredig terwijl het grootste deel van de nauwkeurigheid behouden blijft, met name in combinatie met fine-tuning op de doeldomain-dataset. De combinatie van distillatie en gestructureerd snoeien heeft ViTPose-S teruggebracht tot ongeveer 40 procent van het oorspronkelijke parameteraantal met minder dan 4 mAP-degradatie op standaardbenchmarks.

Thermisch beheer is een onderschatte beperking bij camera-ingebedde edge-inzetten. Een rekenmodule die continu neurale inferentie uitvoert op 10-15 W in een verzegelde weerbestendige camerabehuizing bereikt thermische-vertragingstemperaturen binnen 15-30 minuten in direct zomers zonlicht, wat de effectieve inferentiedoorvoer met 20-40 procent vermindert ten opzichte van de nominale waarde. Edge-surveillancesystemen moeten hiermee worden ontworpen: hetzij door behuizingsontwerpen met voldoende passieve thermische dissipatie, duty-cycling-schema's die de inferentielast verminderen tijdens perioden met hoge omgevingstemperatuur, of dynamische resolutieschaling die de invoerresolutie (en daarmee de inferentieberekening) verlaagt wanneer thermische vertraging wordt gedetecteerd. De ISR-gegevenstriage-patronen die worden gebruikt in luchtvaart-edge-AI zijn hier direct van toepassing - het systeem moet sierlijk degraderen wanneer de rekenkracht beperkt is, waarbij detecties met hoge prioriteit behouden blijven ten koste van verwerking met lagere prioriteit.

Detecties integreren in het gemeenschappelijk operationeel beeld via CoT

Een gedragsdetectie die op de edge-node blijft heeft geen operationele waarde. Het integratiepad naar het gemeenschappelijk operationeel beeld volgt hetzelfde Cursor on Target (CoT)-patroon dat wordt gebruikt voor akoestische en optische detecties in het bredere edge-sensorecosysteem. Elke bevestigde gedragsdetectiegebeurtenis wordt verpakt als een CoT XML-bericht met de actieklasse, de detectiebetrouwbaarheidsscore, een geografische positie afgeleid van de bekende montagegeometrie van de camera en de grondvlaakprojectie van de gedetecteerde persoon, en een tijdstempel bij het detectieframe. De CoT-typecode weerspiegelt de aard van de gebeurtenis: een observatierapporttype voor algemene gedragsafwijkingen, of een geschikt vijandig-indicator-type wanneer de gedragsregels geautomatiseerde classificatie van een gedetecteerd gedrag als dreigingsindicator toestaan. De CoT-veroudertijd wordt ingesteld op basis van de verwachte duur en kritikaliteit van het gedrag - een wapen-hef-alarm dient binnen 30 seconden te verlopen als het niet wordt vernieuwd, terwijl een loerdetectie een veroudertijd van 5 minuten kan hebben.

Wanneer meerdere camera's overlappende gezichtsvelden bestrijken - een veelgebruikte configuratie op toegangscontrolepunten waarbij redundantie en eliminatie van blinde vlekken vereist zijn - kan dezelfde persoon gelijktijdige detecties van twee of meer camera's genereren. Een server-side fusieservice verzamelt CoT-gedragsdetecties binnen een configureerbaar tijdruimtelijk venster (standaard 5 seconden, straal van 2 meter) en voegt dubbele rapporten samen in één enkele gefuste track die de classificatie draagt van de camera met de hoogste betrouwbaarheid. De geografische positie van de gefuste track is het gewogen zwaartepunt van de bijdragende cameraposities, met gewichten evenredig aan de sleutelpuntbetrouwbaarheid van elke camera voor die detectie. Deze fusiestap is equivalent aan de meervoudige peilingssnijding die wordt gebruikt in akoestische sensornetwerken - beide vertalen meerdere beperkte observaties in één beste-schatting geografische gebeurtenis voor operatorverbruik.

Gedragssporen van langere duur - een persoon die rondzwerft bij een beperkt gebied, of een groep die geleidelijk convergeert op een knelpunt over meerdere minuten - profiteren van een annotatieopmodel op trackniveau dat de gedragsstatus over meerdere CoT-gebeurtenissen bewaart. In plaats van een nieuw kaartpunt te genereren voor elke detectie-update, aggregeert de server de gedragsgeschiedenis in een track die de operator ziet als één geannoteerd persoonpictogram waarvan het label evolueert naarmate het gedrag zich ontwikkelt. Wanneer de gedragsclassificatie van de track een geconfigureerde alarmdrempel bereikt, genereert de ATAK-client een hoorbaar en visueel alarm, waarmee de aandacht van de operator wordt getrokken naar die specifieke track op het operationeel beeld zonder handmatige review van de onderliggende camerafeeds te vereisen. Corvus SENSE implementeert deze trackniveau-aggregatie natively, waarbij edge-ingezette pose-estimatienodes worden verbonden met het volledige TAK-ecosysteem met CoT-publicatie, meercamera-fusie en operatoralarmmanagement ingebouwd in het platform.