Estimation de posture humaine pour la surveillance militaire : déploiement en périphérie et intégration opérationnelle

Une personne levant une arme, adoptant une position de tir allongée ou s'approchant d'une clôture périmétrique à une allure anormale présente des signatures posturales distinctes qu'un système d'IA basé sur des caméras peut détecter bien avant qu'un opérateur humain surveillant un mur d'écrans ne le remarque. L'estimation de posture humaine – le processus de localisation des points clés anatomiques sur les personnes détectées et de leur connexion en un graphe squelettique – fournit la couche de représentation qui rend ce type de surveillance comportementale pratique en périphérie. Plutôt que de demander à un opérateur d'analyser simultanément la vidéo brute de dizaines de caméras, un système de détection basé sur la posture réduit chaque personne dans le champ à un squelette, fait passer ce squelette par un classificateur de reconnaissance d'action et déclenche une alerte uniquement lorsqu'un schéma comportemental pertinent pour la menace est confirmé. Cet article examine les architectures de modèles, les contraintes opérationnelles, les stratégies de gestion de l'occultation et les modèles d'intégration de vision par ordinateur qui rendent l'estimation de posture déployée en périphérie viable pour les applications de surveillance militaire.

Facteurs opérationnels de l'estimation de posture en surveillance militaire

La charge de surveillance d'une grande installation militaire – clôtures périmètriques, points d'accès des véhicules, pistes d'aviation, zones de stockage de munitions et bâtiments de commandement – dépasse facilement ce que tout modèle réaliste d'effectifs d'opérateurs peut couvrir par observation vidéo directe. Une installation de 100 caméras produisant 24 heures de séquences continues génère un volume de données qu'aucune équipe de quart ne peut traiter en temps réel. L'exigence opérationnelle n'est donc pas d'avoir plus de caméras, mais d'une couche de détection qui réduit le flux de vidéos brutes à une file d'attente priorisée d'événements méritant l'attention humaine. L'estimation de posture satisfait cette exigence spécifiquement pour la classe de menaces qui se manifestent comme des signatures comportementales humaines : accès non autorisé, manipulation d'armes dans des zones restreintes, approches hostiles et indicateurs tactiques tels que le positionnement allongé ou le regroupement de masse.

La surveillance basée sur la posture aborde également une limitation de la simple détection d'objets. Une personne détectée dans une zone restreinte n'est pas intrinsèquement une menace ; cette même personne dans la même zone levant un objet vers son épaule en position de tir est un événement qualitativement différent qui justifie une réponse immédiate. Les modèles de détection d'objets classifient ce qui est présent ; la reconnaissance d'action basée sur la posture classifie ce qui se passe. La combinaison des deux couches – classe d'objet plus état comportemental – produit une spécificité d'alerte qu'aucune des deux couches n'atteint seule, et ce sans nécessiter que le réseau de caméras transmette la vidéo brute hors site, ce qui est essentiel pour les opérations ISR à bande passante limitée où la capacité de liaison doit être réservée aux données critiques pour la mission.

Il existe également un argument pratique en faveur de la représentation squelettique en termes de généralisation du modèle. Les classificateurs d'apparence bruts entraînés sur des vidéos de personnes dans un uniforme, une condition d'éclairage et un angle de caméra donnés échouent souvent lorsque l'une de ces variables change. Les représentations squelettiques font abstraction des vêtements, du teint, de l'angle de caméra et de l'éclairage – toutes sources de variation parasite – ne laissant que la structure géométrique de la posture corporelle qui est cohérente entre les environnements de déploiement. Un modèle entraîné sur des données squelettiques d'un théâtre se transfère plus fiablement à une nouvelle installation qu'un modèle basé sur l'apparence, réduisant la charge de données étiquetées pour l'adaptation à de nouveaux déploiements.

Modèles squelettiques : OpenPose, MediaPipe et ViTPose en périphérie

Trois familles de modèles dominent l'estimation de posture viable en production pour les applications de défense en périphérie. OpenPose, l'estimateur de posture multipersonnes de haute précision original, utilise une architecture ascendante qui détecte d'abord tous les points clés dans l'image puis les assemble en squelettes individuels via une étape de mise en correspondance par champ d'affinité des parties. L'approche ascendante est bien adaptée aux scènes avec de nombreuses personnes simultanées, mais le modèle OpenPose complet à une résolution de 368x368 nécessite environ 200 ms par image sur un CPU de gamme intermédiaire, le rendant impraticable pour la surveillance en temps réel sans GPU ou NPU dédié. Des variantes quantifiées et élaguées réduisent cela significativement, et sur un NVIDIA Jetson Orin Nano, le pipeline complet tourne à 15-25 FPS, ce qui est adéquat sur le plan opérationnel pour la surveillance où une latence inférieure à la seconde n'est pas requise.

MediaPipe Pose occupe l'extrémité opposée du spectre calcul-précision. C'est un modèle monopersonne qui détecte 33 points clés en utilisant une dorsale BlazePose légère conçue explicitement pour le déploiement mobile et embarqué. Sur un Raspberry Pi 4, MediaPipe Pose tourne à plus de 30 FPS avec une taille de modèle inférieure à 10 Mo et une consommation électrique inférieure à 5 W. La contrainte monopersonne est une limitation opérationnelle réelle pour les caméras de surveillance couvrant des points d'accès ou des postes de contrôle où plusieurs personnes peuvent être simultanément présentes, mais pour les caméras de surveillance ponctuelle dédiées – une seule caméra couvrant un portail ou une porte spécifique – l'efficacité de MediaPipe en fait le choix pratique par défaut. Pour les scénarios multipersonnes sur du matériel contraint, associer un détecteur de personnes de classe YOLO à une instance MediaPipe par personne permet d'atteindre un débit multipersonnes raisonnable dans le budget de puissance.

ViTPose représente l'état de l'art actuel, appliquant des dorsales à transformeur de vision (ViT) au paradigme d'estimation de posture top-down. Les variantes ViTPose-S et ViTPose-B atteignent une précision moyenne des points clés (mAP) nettement supérieure aux alternatives basées sur CNN sur les benchmarks standards, ViTPose-S tournant à 12-20 FPS sur un Jetson Orin Nano avec quantification INT8. L'architecture transformeur est plus sensible à la quantification que les CNN – ViTPose en INT8 perd typiquement 3 à 5 points mAP par rapport au FP32, contre 1 à 2 points pour les modèles basés sur MobileNetV2 – de sorte que la quantification doit être validée soigneusement par rapport à l'exigence minimale opérationnelle de qualité des points clés avant le déploiement.

Reconnaissance d'action pour les indicateurs de menace : armes levées, postures allongées, dynamiques de foule

L'estimation de posture produit des coordonnées squelettiques par image ; la reconnaissance d'action en dérive la signification comportementale à partir de l'évolution temporelle de ces squelettes. Les classes d'action les plus pertinentes sur le plan opérationnel pour la surveillance militaire sont : le levé d'arme (points clés des poignets s'élevant au-dessus de la ligne des épaules avec un angle avant-bras/bras supérieur cohérent avec la visée), la posture allongée (points clés de la hanche et de l'épaule à élévation quasi-égale à moins de 40 cm du plan au sol estimé), l'approche non autorisée (vecteur vitesse de la piste de personne dirigé vers la frontière d'une zone protégée à une vitesse supérieure à la marche normale) et le regroupement de masse (plusieurs pistes squelettiques convergeant vers un point commun avec une distance interpersonnelle décroissante dans le temps).

Les réseaux de convolution sur graphe spatio-temporels (ST-GCN et ses successeurs, dont AGCN et MS-G3D) sont l'architecture standard pour la reconnaissance d'action basée sur le squelette. Ces modèles traitent le squelette comme un graphe où les points clés sont des nœuds et les connexions des membres sont des arêtes, et traitent des séquences temporelles de graphes à travers des couches de convolution sur graphe qui apprennent conjointement les schémas spatiaux et temporels. Un tampon de 16 images à 15 FPS couvre environ une seconde de mouvement, ce qui est suffisant pour distinguer un bras levé d'une posture statique et pour détecter la signature cinématique d'une personne passant de la position debout à allongée. Pour les comportements de plus longue durée tels que le rôdage ou l'approche non autorisée progressive, un tampon de 64 images à 5 FPS fournit une fenêtre contextuelle de 12 secondes avec une surcharge mémoire inférieure à une fenêtre courte à haute cadence d'images.

La détection de dynamiques de foule nécessite l'agrégation de données squelettiques sur plusieurs individus suivis plutôt que la classification de séquences monopersonne. Une approche simple mais efficace calcule le taux de variation de l'aire de l'enveloppe convexe entourant tous les squelettes suivis dans le champ de vision de la caméra : une enveloppe convexe qui se rétrécit à un taux supérieur au seuil indique une convergence cohérente avec un regroupement de masse. Des approches plus sophistiquées utilisent des réseaux sur graphe sur le graphe spatial interpersonnel pour détecter les changements de formation indiquant un mouvement coordonné. Les deux approches sont compatibles avec le pipeline de rapport CoT – l'événement de foule est un marqueur CoT unique au centroïde du groupe convergent plutôt que des pistes de personnes individuelles, maintenant l'affichage de l'image opérationnelle commune de l'opérateur gérable lors d'événements à haute densité.

Gestion de l'occultation et de la visibilité partielle dans les conditions de surveillance sur le terrain

Les environnements de surveillance militaire réels imposent des conditions d'occultation que les ensembles de données de référence de laboratoire sous-représentent systématiquement. Les caméras périmètriques sur les installations de campagne rencontrent des personnes partiellement obscurcies par la végétation, des barrières, des véhicules ou d'autres personnes. Un squelette dont plus de 30 % des points clés sont inférieurs au seuil de confiance du modèle ne fournit pas suffisamment d'informations structurelles pour une classification d'action fiable. La réponse opérationnellement appropriée n'est pas de supprimer entièrement la détection, mais d'acheminer les squelettes partiellement visibles vers une variante de reconnaissance d'action du haut du corps uniquement qui opère sur les points clés des épaules, coudes, poignets et de la tête, qui sont plus fiablement visibles lorsque le bas du corps est occulté par une barrière ou le plan au sol.

L'occultation temporelle – une personne se déplaçant derrière un obstacle pendant plusieurs images – nécessite un comblement de piste plutôt qu'une terminaison de piste. Si une piste de personne disparaît pendant moins de 10 images (environ 0,7 seconde à 15 FPS), le tracker doit maintenir l'identité de la piste en utilisant le dernier vecteur de vitesse connu pour projeter l'emplacement de réapparition attendu, plutôt que de terminer la piste et d'en initialiser une nouvelle. La terminaison et la réinitialisation de piste lors de brèves occultations provoquent la réinitialisation du tampon de reconnaissance d'action, faisant perdre le contexte temporel accumulé avant l'occultation et dégradant la précision de reconnaissance pour les comportements qui s'étendent sur l'événement d'occultation. Une politique de comblement de piste calibrée réduit significativement le taux de faux négatifs pour les comportements qui incluent un transit à travers des zones partiellement occultées.

Les conditions de nuit et de faible luminosité présentent un défi distinct. Les modèles d'estimation de posture standard entraînés sur des vidéos RGB en lumière du jour se dégradent significativement sous illumination IR artificielle ou lorsqu'ils sont appliqués aux sorties de caméras thermiques, où les statistiques d'apparence diffèrent fondamentalement de la distribution d'entraînement RGB. Deux mesures correctives pratiques sont disponibles : l'adaptation de domaine par affinage sur un petit ensemble de données étiqueté provenant du type de caméra spécifique, qui s'est révélée récupérer la plupart de la perte de précision au coût d'environ 200 à 500 exemples étiquetés ; et l'utilisation d'une normalisation des entrées squelettiques qui convertit les coordonnées absolues des points clés en coordonnées relatives normalisées par la longueur des membres, ce qui réduit l'effet des statistiques d'apparence modifiées sur la représentation géométrique que le reconnaisseur d'action consomme.

Contraintes de confidentialité et de règles d'engagement sur l'IA de surveillance

Même dans les environnements opérationnels militaires, les systèmes d'estimation de posture qui traitent des images de personnes opèrent dans un cadre juridique et éthique qui contraint à la fois les données collectées et les actions automatisées autorisées. Sur les installations militaires nationales soumises au droit national, les exigences de minimisation des données interdisent généralement la conservation indéfinie de vidéos brutes ou d'images identifiables de manière biométrique. La représentation squelettique de l'estimation de posture offre un contrôle technique significatif de la vie privée : le squelette conserve l'information comportementale tout en supprimant les données d'apparence (visage, vêtements, texture de démarche) qui seraient nécessaires à l'identification biométrique. Ce n'est pas une garantie absolue de confidentialité – les séquences squelettiques peuvent dans certains cas réidentifier des individus par des cinématiques de démarche cohérentes – mais cela satisfait l'intention de minimisation des données de la plupart des cadres juridiques applicables et réduit substantiellement le profil de risque juridique du système de surveillance par rapport à la conservation de vidéos brutes.

Les règles d'engagement imposent une contrainte distincte sur la réponse automatisée. Dans la plupart des cadres opérationnels, une détection comportementale automatisée n'autorise pas une action de réponse automatisée ; elle autorise une attention humaine accrue. Le rôle du système est de présenter une alerte priorisée à un opérateur humain, qui exerce ensuite son jugement sur la réponse appropriée compte tenu du contexte opérationnel complet. Cette exigence a une implication directe sur la conception du système : la détection doit être explicable en termes que l'opérateur peut évaluer. Une alerte qui affiche uniquement un score de confiance est insuffisante sur le plan opérationnel. L'alerte doit montrer la séquence squelettique qui a déclenché la classification, la classe d'action et la confiance, ainsi que la règle qui a été déclenchée, afin que l'opérateur puisse évaluer si la classification automatisée est correcte avant de s'engager dans une réponse. Les architectures d'IA explicable pour la défense répondent à cette exigence par la visualisation d'attention et la relecture squelettique qui rendent le raisonnement du modèle transparent pour l'opérateur examinateur.

Les politiques de gouvernance des données doivent s'étendre au nœud périphérique lui-même, pas seulement à la couche de stockage côté serveur. Un nœud de caméra en périphérie qui conserve un tampon roulant d'images vidéo brutes à des fins de débogage crée un risque de confidentialité même si la couche serveur ne stocke que des squelettes. Un système bien conçu met en œuvre des politiques de rétention distinctes à chaque étape de traitement : la vidéo brute peut être conservée 24 à 72 heures à des fins de débogage, les séquences squelettiques pendant 30 jours pour l'audit et l'amélioration du modèle, et les événements d'alerte avec les clips squelettiques associés pendant 90 jours pour l'examen juridique et opérationnel. Ces fenêtres de rétention devraient être appliquées automatiquement par le logiciel périphérique plutôt que de dépendre de procédures de suppression manuelle.

Déploiement en périphérie : compromis taille du modèle vs précision sur du matériel embarqué dans les caméras

Les contraintes de calcul et de puissance du matériel périphérique embarqué dans les caméras imposent des compromis explicites entre la précision du modèle, la cadence d'images et la consommation d'énergie qui ne se posent pas dans le déploiement côté serveur. Une unité de traitement neuronal Hailo-8 embarquée dans un module de caméra intelligente fournit environ 26 TOPS d'inférence INT8 à moins de 5 W – suffisant pour faire tourner ViTPose-S quantifié à plus de 20 FPS sur une vidéo 640x480 tout en laissant de la marge pour le classificateur de reconnaissance d'action et la pile de publication CoT. Un NVIDIA Jetson Orin Nano à 10 W fournit 40 TOPS de débit INT8 et gère des entrées en plus haute résolution ou des variantes de modèles plus complexes. Au niveau de puissance le plus bas, un Raspberry Pi CM4 avec un accélérateur Coral M.2 (4 TOPS à 2 W) peut faire tourner MediaPipe Pose plus un reconnaisseur d'action ST-GCN léger dans un budget total de 6 W, le rendant adapté aux caméras périmètriques alimentées par panneaux solaires ou sur batterie avec des exigences d'endurance de plusieurs jours.

Les techniques de compression de modèles au-delà de la quantification INT8 de base sont souvent nécessaires pour atteindre les objectifs de précision par watt dans les déploiements embarqués dans les caméras. La distillation de connaissances – entraîner un modèle étudiant plus petit à reproduire les distributions de sortie d'un modèle enseignant plus grand – surpasse systématiquement l'entraînement direct du petit modèle à des comptes de paramètres équivalents, récupérant typiquement 1 à 3 points mAP par rapport à un petit modèle naïvement entraîné de même taille. L'élagage structuré de la dorsale du modèle de posture, supprimant des têtes d'attention ou des filtres convolutifs entiers à faible magnitude d'activation, réduit proportionnellement le nombre de paramètres et le temps d'inférence tout en maintenant la majeure partie de la précision, particulièrement lorsqu'il est combiné à un affinage sur l'ensemble de données du domaine cible. La combinaison de distillation et d'élagage structuré a montré qu'elle réduit ViTPose-S à environ 40 % de son nombre de paramètres d'origine avec moins de 4 points mAP de dégradation sur les benchmarks standards.

La gestion thermique est une contrainte sous-estimée dans les déploiements périphériques embarqués dans les caméras. Un module de calcul exécutant une inférence neuronale continue à 10-15 W dans un boîtier de caméra étanche scellé atteindra des températures de limitation thermique en 15 à 30 minutes sous le soleil d'été direct, réduisant le débit d'inférence effectif de 20 à 40 % par rapport à la valeur nominale. Les systèmes de surveillance périphérique doivent être conçus en tenant compte de cela : soit via des conceptions de boîtier avec une dissipation thermique passive adéquate, des schémas de cycle de service qui réduisent la charge d'inférence pendant les périodes de haute température ambiante, soit via une mise à l'échelle dynamique de la résolution qui réduit la résolution d'entrée (et donc le calcul d'inférence) lorsqu'une limitation thermique est détectée. Les modèles de triage de données ISR utilisés dans l'IA aéroportée en périphérie s'appliquent directement ici – le système doit se dégrader gracieusement lorsque le calcul est limité, maintenant les détections de haute priorité au détriment du traitement de basse priorité.

Intégration des détections dans l'image opérationnelle commune via CoT

Une détection comportementale qui reste sur le nœud périphérique n'a aucune valeur opérationnelle. Le chemin d'intégration vers l'image opérationnelle commune suit le même modèle Cursor on Target (CoT) utilisé pour les détections acoustiques et optiques dans l'écosystème plus large de capteurs périphériques. Chaque événement de détection comportementale confirmé est conditionné sous forme de message XML CoT contenant la classe d'action, le score de confiance de détection, une position géographique dérivée de la géométrie de montage connue de la caméra et la projection au sol de la personne détectée, ainsi qu'un horodatage à l'image de détection. Le code de type CoT reflète la nature de l'événement : un type de rapport d'observation pour les anomalies comportementales générales, ou un type d'indicateur hostile approprié lorsque les règles d'engagement permettent la classification automatisée d'un comportement détecté comme indicateur de menace. Le délai d'expiration CoT est défini en fonction de la durée et de la criticité attendues du comportement – une alerte de levé d'arme devrait expirer en 30 secondes si non actualisée, tandis qu'une détection de rôdage peut porter une fenêtre d'expiration de 5 minutes.

Lorsque plusieurs caméras couvrent des champs de vision se chevauchant – une configuration courante aux points de contrôle d'accès où la redondance et l'élimination des angles morts sont requises – la même personne peut générer des détections simultanées de deux caméras ou plus. Un service de fusion côté serveur collecte les détections comportementales CoT dans une fenêtre espace-temps configurable (5 secondes, rayon de 2 mètres par défaut) et fusionne les rapports en double en une piste fusionnée unique portant la classification de la caméra à la confiance la plus élevée. La position géographique de la piste fusionnée est le centroïde pondéré des positions des caméras contributrices, avec des poids proportionnels à la confiance des points clés de chaque caméra pour cette détection. Cette étape de fusion est équivalente à l'intersection des lignes de relèvement multi-nœuds utilisée dans les réseaux de capteurs acoustiques – les deux traduisent de multiples observations contraintes en un événement géographique de meilleure estimation unique pour la consommation par l'opérateur.

Les pistes comportementales de longue durée – une personne rôdant près d'une zone restreinte, ou un groupe convergeant progressivement vers un goulet d'étranglement sur plusieurs minutes – bénéficient d'un modèle d'annotation au niveau de la piste qui maintient l'état comportemental sur plusieurs événements CoT. Plutôt que de générer un nouveau marqueur cartographique pour chaque mise à jour de détection, le serveur agrège l'historique comportemental en une piste que l'opérateur voit comme une icône de personne annotée unique dont le libellé évolue à mesure que le comportement se développe. Lorsque la classification comportementale de la piste atteint un seuil d'alerte configuré, le client ATAK génère une alerte auditive et visuelle, attirant l'attention de l'opérateur sur cette piste spécifique sur l'image opérationnelle commune sans nécessiter un examen manuel des flux de caméras sous-jacents. Corvus SENSE implémente nativement cette agrégation au niveau de la piste, connectant les nœuds d'estimation de posture déployés en périphérie à l'écosystème TAK complet avec la publication CoT, la fusion multi-caméras et la gestion des alertes opérateur intégrées dans la plateforme.