Classification d'imagerie thermique en périphérie : traitement des capteurs IR pour la défense

L'imagerie infrarouge thermique offre aux opérateurs ce que les caméras en lumière visible ne peuvent pas fournir : une capacité de détection persistante à travers l'obscurité, la fumée, la poussière et le camouflage léger. Un moteur de véhicule réchauffé par une utilisation récente rayonne contre un champ froid à 3 heures du matin. Un combattant à pied traversant un terrain découvert émet une silhouette nette à 2 km dans des conditions qui aveuglent toute caméra EO. La physique de l'émission thermique est intrinsèquement discriminante -- les cibles qui génèrent ou retiennent de la chaleur se démarquent de leur environnement d'une manière qu'aucun camouflage optique ne peut totalement supprimer. Déployer un modèle de classification pour traiter ces images en périphérie, sur la plateforme du capteur plutôt que sur un serveur distant, transforme une caméra thermique en couche de détection autonome. Cet article couvre la physique des capteurs, les exigences de prétraitement, les adaptations CNN pour l'entrée thermique monocanal, les défis spécifiques de la détection de petites cibles, la fusion multi-capteurs, les contraintes de quantification et les cadres d'évaluation utilisés pour valider l'IA thermique militaire.

Physique des capteurs thermiques et différences entre l'IR et l'imagerie en lumière visible

Les caméras thermiques infrarouges ne capturent pas la lumière ambiante réfléchie. Elles mesurent le rayonnement infrarouge à grande longueur d'onde (LWIR, 8–14 µm) ou à longueur d'onde moyenne (MWIR, 3–5 µm) que les objets émettent en fonction de leur température de surface et de leur émissivité. La loi de Stefan-Boltzmann régit la puissance rayonnée totale, mais en pratique la grandeur pertinente pour la détection de cibles est la radiance différentielle entre la cible et le fond local -- le contraste de température apparent. Un corps humain à 37°C rayonne en permanence environ 100 W de puissance infrarouge. Le compartiment moteur d'un char après 30 minutes de fonctionnement peut maintenir un contraste de 20 à 40 K au-dessus de la température ambiante. Ces signatures thermiques existent quelle que soit la condition d'éclairage, faisant des capteurs LWIR et MWIR la modalité de détection passive primaire pour l'ISR militaire nocturne.

La nature monocanal de l'imagerie thermique est la différence la plus déterminante par rapport à l'entrée en lumière visible pour la conception de pipelines d'IA. Une caméra RGB produit trois canaux corrélés qui encodent la couleur, et la grande majorité des poids CNN préentraînés -- ResNet, MobileNet, EfficientNet et leurs dérivés -- ont été entraînés sur des données ImageNet à trois canaux. Appliquer ces modèles directement à une trame thermique monocanal en la traitant simplement comme l'un des trois plans d'entrée identiques produit des résultats sous-optimaux : les filtres appris de la première couche convolutive sont conçus pour extraire des contours de couleur et des gradients chromatiques qui n'ont aucune signification dans les données thermiques. Le modèle doit être adapté ou réentraîné pour extraire les caractéristiques pertinentes de l'imagerie thermique, qui sont principalement les gradients de contraste thermique, les frontières d'émissivité entre matériaux et les changements de radiance temporels causés par le mouvement ou le transfert de chaleur.

Les détecteurs microbolomètres non refroidis, utilisés dans la plupart des capteurs thermiques périphériques tactiques et aéroportés, fonctionnent à température ambiante et mesurent la variation de résistance électrique de chaque pixel lorsqu'il absorbe le rayonnement infrarouge. Ils sont significativement moins sensibles que les réseaux de détecteurs à photons refroidis (InSb ou HgCdTe), avec des valeurs de différence de température équivalente au bruit (NETD) de 30 à 80 mK contre 5 à 20 mK pour les capteurs refroidis, mais leur faible consommation d'énergie (moins de 2 W pour le seul détecteur), l'absence de système de refroidissement cryogénique et un coût de module inférieur à 3 000 dollars en font la plateforme dominante pour les déploiements d'IA périphérique sur UAS et véhicules terrestres. La NETD plus élevée fixe directement le contraste de température minimal détectable, qui à son tour fixe la portée de détection maximale pour un type de cible et des conditions atmosphériques donnés.

Prétraitement : correction de non-uniformité, remplacement de pixels défectueux et amélioration du contraste

La sortie brute du microbolomètre ne peut pas être directement injectée dans un modèle de classification. Trois étapes de prétraitement sont obligatoires pour des performances cohérentes du modèle : la correction de non-uniformité (NUC), le remplacement de pixels défectueux (BPR) et l'amélioration adaptative du contraste. Chaque étape compense une catégorie différente d'artefacts de capteur.

La correction de non-uniformité traite le bruit à motif fixe inhérent à tous les plans focaux. Chaque pixel du FPA présente une caractéristique de gain et d'offset légèrement différente en raison des variations de fabrication, et ces caractéristiques dérivent lentement avec la température du détecteur. Sans NUC, l'image brute contient un motif de bruit spatialement structuré -- souvent décrit comme un artefact « gaufre » ou « plaid » -- suffisamment stable pour être partiellement appris par un modèle de classification comme caractéristique parasite, augmentant les taux de faux positifs pour les objets dont les contours s'alignent avec le motif d'artefact NUC. La procédure d'étalonnage standard en usine applique la NUC à deux points en imageant deux sources de corps noir à température uniforme et en calculant les coefficients de correction de gain et d'offset par pixel. En opération sur le terrain, la NUC basée sur la scène complète l'étalonnage d'usine : lorsque le capteur effectue un balayage ou que la scène contient de grandes régions uniformes, une estimation courante du décalage à champ plat est accumulée et soustraite des trames suivantes, corrigeant la dérive thermique qui se développe sur des dizaines de minutes d'opération.

Le remplacement de pixels défectueux traite les éléments détecteurs qui répondent incorrectement -- bloqués en permanence à une valeur fixe, excessivement bruités ou insensibles aux variations de température. Le fabricant fournit une carte de pixels défectueux avec chaque module de capteur. Avant tout autre traitement, les valeurs des pixels défectueux sont remplacées par interpolation bilinéaire depuis les voisins immédiats. Pour un FPA non refroidi 640x512 typique, des comptages de pixels défectueux de 0,1 à 0,5 % (320 à 1 600 pixels) sont dans les spécifications et ne dégradent pas matériellement les performances de détection après BPR. L'amélioration du contraste par égalisation adaptative d'histogramme à contraste limité (CLAHE) est la dernière étape de prétraitement : elle renforce le contraste local dans des régions de tuiles spatialement limitées (typiquement des tuiles 8x8 pixels) sans amplifier le bruit globalement, rendant les gradients thermiques subtils aux frontières des cibles visibles à la fois pour les opérateurs humains et les extracteurs de caractéristiques convolutifs.

Architectures CNN pour la classification thermique : adaptations monocanal

L'adaptation d'un CNN préentraîné pour l'entrée thermique monocanal est un problème bien étudié avec trois approches établies, chacune présentant un compromis différent entre précision et coût d'entraînement. L'approche la plus simple réplique le canal thermique unique en trois plans identiques, permettant d'utiliser le modèle préentraîné sans modification architecturale. Cela fonctionne modérément bien pour les tâches de classification grossière, mais donne de mauvais résultats lorsque les caractéristiques de texture spécifiques au thermique sont importantes, car les filtres de la première couche sont contraints d'extraire des représentations redondantes sur trois plans identiques plutôt que de se spécialiser dans le contraste thermique.

La deuxième approche, généralement préférée, remplace la première couche convolutive par une nouvelle couche monocanal tout en conservant tous les poids préentraînés suivants. La nouvelle première couche est initialisée à partir de la moyenne des trois poids de canaux d'entrée préentraînés, ce qui fournit un prior sensé pour les réponses des filtres de la première couche et réduit significativement la quantité de données d'entraînement dans le domaine thermique nécessaires pour affiner jusqu'à une précision acceptable. Les expériences sur des jeux de données thermiques militaires montrent systématiquement une amélioration de précision de 2 à 5 % par rapport à l'approche de réplication de canaux lorsqu'elles sont affinées sur le même jeu de données. La troisième approche consiste à entraîner entièrement à partir de zéro sur un jeu de données spécifique au thermique, ce qui atteint la plus haute précision spécifique au domaine mais nécessite beaucoup plus de données thermiques étiquetées (généralement 50 000 exemples annotés ou plus pour toutes les classes cibles) pour éviter le sous-apprentissage. Pour la classification thermique militaire, où les données étiquetées sont coûteuses à acquérir et souvent soumises à contrôle à l'exportation, l'apprentissage par transfert selon la deuxième approche est la norme pratique.

L'échelle de l'architecture a une importance significative pour le déploiement en périphérie. Un ResNet-50 complet adapté pour l'entrée thermique atteint une haute précision de classification, mais nécessite 25 Mo de poids de modèle et 4 GFLOPS par passe d'inférence à résolution 640x512 -- infaisable pour un pipeline 30 Hz en temps réel sur un Jetson Orin Nano à moins de 15 W. MobileNetV3-Small adapté pour l'entrée monocanal réduit cela à 2,5 Mo et 56 MFLOPS, s'intégrant confortablement dans le budget de calcul tout en maintenant une précision compétitive sur les benchmarks de classification thermique standard. Les mêmes contraintes architecturales qui gouvernent la reconnaissance automatique de cibles en périphérie s'appliquent ici : la sélection du modèle est une optimisation conjointe sur la précision, la latence, l'empreinte mémoire et la consommation d'énergie plutôt que sur la précision seule.

Détection de petites cibles en imagerie thermique : défis liés aux environnements à faible rapport signal/bruit

Lorsqu'une personne ou un véhicule est observé à longue portée -- au-delà de 2 km pour un capteur non refroidi typique avec une longueur focale moyenne -- la cible n'occupe que 2 à 8 pixels dans le FPA. À cette échelle, les cadres de détection d'objets standard qui s'appuient sur des hiérarchies de caractéristiques spatiales (détecteurs de la famille YOLO, Faster R-CNN) cessent de fonctionner de manière fiable. Le champ récepteur des couches convolutives plus profondes s'étend sur des centaines de pixels ; une cible de 4 pixels contribue presque aucun signal discriminant à ces couches. La détection efficace de petites cibles requiert une stratégie de détection entièrement différente qui opère à l'échelle du pixel et du patch avant tout sous-échantillonnage spatial.

L'approche dominante pour la détection de petites cibles en imagerie LWIR est le pipeline de recherche et poursuite infrarouge (IRST), qui combine la suppression du fond avec l'accumulation temporelle. La suppression du fond utilise une transformée morphologique chapeau haut-de-forme avec un élément structurant légèrement plus grand que l'empreinte de cible attendue pour soustraire la structure d'arrière-plan étendue tout en préservant les cibles ponctuelles ou à petite empreinte. Le résidu après soustraction du fond contient des blobs de cibles candidates à des rapports signal/clutter aussi faibles que 1,5 dB, en dessous desquels la détection fiable sur une seule trame est physiquement impossible compte tenu de la NETD du capteur. L'accumulation temporelle -- intégrant les preuves sur 5 à 20 trames le long de la trajectoire prédite -- étend le seuil de détection effectif en exploitant la cohérence du mouvement de la cible, permettant la détection de cibles qui seraient invisibles dans toute trame individuelle. Les cadres de détection avant pistage (track-before-detect) formalisent cette accumulation : ils maintiennent un ensemble d'hypothèses de pistes candidates et évaluent chaque hypothèse par rapport aux données de trames entrantes sans jamais déclarer une détection sur une seule trame, ne s'engageant dans une piste confirmée que lorsque les preuves accumulées dépassent un seuil.

Fusion des détections thermiques avec les données de pistes EO et radar

Aucune modalité de capteur unique n'est suffisante pour une classification et un suivi fiables dans toutes les conditions opérationnelles. Les capteurs thermiques se dégradent sous la pluie et le brouillard dense (la vapeur d'eau absorbe efficacement le LWIR), perdent le contraste de cible lorsque les températures du fond et de la cible s'égalisent (croisement thermique en milieu de journée) et ne peuvent pas résoudre les caractéristiques visuelles fines qui permettent l'identification du type de plateforme. Les capteurs EO en lumière visible échouent la nuit et dans la fumée. Le radar assure la détection à longue portée et la mesure de vitesse, mais manque de résolution spatiale pour classifier le type de cible aux portées tactiques pertinentes sans données de référence supplémentaires. La fusion multi-capteurs au niveau des pistes combine les forces complémentaires de chaque modalité en une piste plus robuste et informative qu'aucun capteur ne peut fournir seul.

La fusion au niveau des pistes, plutôt que la fusion d'images au niveau pixel, est l'architecture utilisée dans les systèmes ISR militaires déployés car elle est computationnellement tractable sur du matériel périphérique et robuste aux interruptions de disponibilité des capteurs. Chaque capteur produit un flux de détections indépendant converti en une représentation de piste commune : un vecteur d'état (position, vitesse, cap), une matrice de covariance encodant l'incertitude d'estimation, une étiquette de classe avec confiance et un tag de type de capteur. Une porte d'association multi-capteurs met en correspondance les nouvelles détections de chaque capteur avec les pistes existantes en utilisant la distance de Mahalanobis, excluant les détections statistiquement incohérentes avec tout état de piste existant. Lorsqu'une détection thermique et une détection EO sont associées à la même piste dans la même fenêtre temporelle, l'état fusionné applique une combinaison pondérée par la covariance : le capteur avec une incertitude de position plus faible contribue proportionnellement davantage à l'estimation fusionnée. La fusion des étiquettes de classe utilise une combinaison de Bayes naïf des probabilités de classe par capteur, conditionnelle à l'indépendance entre les modalités de capteur -- une hypothèse qui tient suffisamment bien en pratique lorsque les capteurs diffèrent dans leur principe de mesure physique. Le résultat est décrit en détail dans notre couverture de la fusion d'IA multimodale pour les flux de capteurs ISR.

Le radar contribue le plus à l'architecture de fusion par sa précision de mesure de vitesse : les radars à capacité Doppler peuvent résoudre la vitesse radiale de la cible à moins de 0,1 m/s, ce qui est bien plus précis que l'estimation de vitesse dérivable du déplacement de pistes thermiques entre trames. Ce prior de vitesse améliore substantiellement l'association de pistes lors des périodes d'occultation où ni le capteur thermique ni le capteur EO n'ont de détection valide, en permettant au tracker de prédire la prochaine position de détection à partir de la vitesse dérivée par radar. Sur les plateformes où un radar n'est pas disponible, la prédiction de piste assistée par IMU utilisant la compensation du mouvement de la plateforme depuis le système de navigation inertielle du porteur se substitue partiellement à la mesure de vitesse externe lorsque la cinématique des cibles est relativement prévisible.

Déploiement en périphérie : contraintes de quantification sur les modèles thermiques

Déployer un modèle de classification thermique sur une charge utile UAV ou une carte de calcul périphérique montée sur véhicule impose des contraintes strictes sur la taille du modèle, la latence d'inférence et la consommation d'énergie qui ne s'appliquent pas dans les environnements cloud ou serveur. Le chemin de déploiement standard est la quantification post-entraînement INT8 suivie de la compilation vers un runtime d'inférence optimisé pour le matériel tel que TensorRT (pour NVIDIA Jetson), ARMNN (pour les processeurs de classe Cortex-A) ou TFLite avec XNNPACK (pour le matériel ARM général). La quantification INT8 remplace les poids et activations en virgule flottante 32 bits par des entiers 8 bits, réduisant la taille du modèle de 4x et le temps d'inférence de 2 à 4x sur le matériel avec support d'accélérateur INT8, avec une pénalité de précision typique de 1 à 3 % sur les métriques de précision de classification.

Les modèles thermiques sont quelque peu plus tolérants à la quantification que les modèles RGB parce que la plage dynamique d'entrée est plus étroite : après prétraitement, une trame thermique occupe une plage de valeurs de pixels comparativement uniforme sans les valeurs extrêmes que les images RGB peuvent présenter (réflexions spéculaires directes, hautes lumières saturées). Cette distribution d'entrée plus étroite signifie que les facteurs d'échelle de quantification calculés lors de l'étalonnage sont plus précis, et la perte de précision due à la quantification INT8 pour la classification thermique est souvent à l'extrémité basse de la plage typique. Pour les modèles qui utilisent des mécanismes d'attention -- tels que les petites variantes de Vision Transformer -- la quantification INT8 dégrade les opérations softmax et de normalisation plus sévèrement qu'elle n'affecte les convolutions, nécessitant une quantification en précision mixte (INT8 pour les convolutions, FP16 pour les couches d'attention) pour maintenir la précision à moins de 2 % de la référence en pleine précision. Le même workflow de quantification utilisé pour les charges utiles de drones ISR avec caméra EO s'applique aux charges utiles thermiques avec l'étape de prétraitement adaptée pour la sortie NUC monocanal.

La bande passante mémoire est un goulot d'étranglement fréquemment sous-estimé pour le déploiement thermique en périphérie. Une trame thermique 640x512 en profondeur 16 bits représente 655 Ko par trame. À 30 Hz, le débit de données brutes est d'environ 20 Mo/s. Sur un Jetson Orin Nano avec une architecture à mémoire unifiée, les demandes concurrentes du pilote de capture, du pipeline de prétraitement, de l'inférence du modèle et de la gestion des pistes peuvent saturer la bande passante mémoire disponible avant que la capacité de calcul soit épuisée. Le profilage de l'utilisation de la bande passante mémoire, et pas seulement de l'occupation GPU, est nécessaire pour identifier le vrai plafond de débit et déterminer si la réduction de la cadence de trames, le sous-échantillonnage spatial ou le staging asynchrone du pipeline est l'atténuation appropriée.

Jeux de données d'évaluation et métriques de performance pour l'IA thermique militaire

La validation d'un modèle de classification thermique pour usage militaire requiert des jeux de données et des métriques qui reflètent les conditions opérationnelles plutôt que les environnements de laboratoire contrôlés courants dans les benchmarks académiques. Les dimensions de performance pertinentes sont la probabilité de détection (Pd) à un taux de fausse alarme (FAR) cible, et non la précision top-1 familière de l'évaluation ImageNet. Un modèle qui atteint 95 % de précision top-1 sur un jeu de test équilibré peut encore avoir un FAR de 10 par heure sur un flux thermique en direct si le jeu d'entraînement sous-représente la diversité des conditions réelles de clutter de fond.

Les jeux de données publiquement disponibles pour l'IA thermique militaire incluent le jeu de données pédestres multispectraux KAIST (paires LWIR et RGB, 95 000 trames annotées, centré sur les piétons), le jeu de données FLIR ADAS (scénarios de conduite, non optimisé pour les cibles militaires) et le jeu de données LITIV (séquences multi-modales intérieures et extérieures). Pour la classification de véhicules et d'armes spécifiquement, les jeux de données militaires opérationnels sont classifiés et non publiquement disponibles ; les groupes de recherche utilisent généralement des images thermiques synthétiquement générées à partir d'outils de simulation basés sur la physique (DI-Guy, CAMEO-SIM ou VIRSuite) pour augmenter les collections de données réelles limitées. La fidélité du transfert simulation-vers-réel -- le degré auquel les modèles entraînés sur des données thermiques synthétiques se généralisent à la sortie de capteurs réels -- est un domaine de recherche actif ; la meilleure pratique actuelle combine le pré-entraînement synthétique avec l'affinage sur un jeu de données réel plus petit en utilisant des techniques d'adaptation de domaine telles que l'alignement de caractéristiques adversarial.

Les métriques de reporting standard pour les systèmes de détection thermique militaires sont la courbe caractéristique de fonctionnement du récepteur (ROC) avec Pd tracé par rapport au FAR exprimé en fausses alarmes par unité de temps sur un flux en direct, le score F2 (qui pondère le rappel deux fois plus que la précision, approprié pour la détection de menaces où les détections manquées sont plus coûteuses que les fausses alarmes) et les courbes Pd dépendantes de la portée qui caractérisent la probabilité de détection en fonction de la portée cible-capteur. Pour les systèmes de fusion au niveau des pistes, les métriques supplémentaires suivent la latence d'initiation des pistes (trames depuis la première apparition de la cible jusqu'à la piste confirmée), la continuité des pistes sous occultation et la précision des estimations de position fusionnées comparées à la vérité terrain des véhicules de test instrumentés GPS.