IA multimodale pour l'ISR : fusion EO, IR, SAR et SIGINT

Aucun capteur ISR ne voit l'ensemble du champ de bataille à lui seul. Une caméra électro-optique est aveugle la nuit et inutile à travers les nuages. Un capteur infrarouge détecte la chaleur, mais perd en contraste sur un fond chauffé par le soleil. Le radar à synthèse d'ouverture pénètre les intempéries et l'obscurité, mais produit des images parsemées de speckle difficiles à classifier. Le renseignement sur les signaux localise un émetteur sans signature visuelle — et ne dit rien du camion garé à côté. L'IA multimodale existe précisément pour que ces modes de défaillance s'annulent plutôt qu'ils ne se cumulent : pour fusionner EO, IR, SAR et SIGINT en une unique détection géolocalisée qui survit aux conditions dans lesquelles l'une quelconque des modalités échouerait. Cet article présente l'ingénierie de cette fusion — alignement temporel et spatial, architectures de modèles cross-modaux, gestion de la confiance lorsque des capteurs tombent, et la discipline nécessaire pour remonter des détections fusionnées à un opérateur sans détruire sa confiance.

Pourquoi fusionner : l'argument de la complémentarité

L'argument en faveur de la fusion multimodale n'est pas que plus de données est toujours mieux — c'est que les modalités sont complémentaires précisément dans les dimensions qui comptent opérationnellement. EO et IR offrent une résolution spatiale élevée et une imagerie interprétable par l'homme, mais sont bloqués par les conditions météorologiques et limités par l'éclairage. Le SAR assure une couverture par tous temps, jour et nuit, et est particulièrement efficace pour détecter les objets métalliques et les changements au sol, mais sa géométrie et son speckle rendent la classification fine difficile. Le SIGINT fournit des indices d'identité et d'intention — ce qu'est un émetteur et parfois ce qu'il fait — avec une géolocalisation grossière et incertaine. L'information que chaque modalité ne possède pas est, commodément, celle qu'une autre fournit.

Un système de fusion transforme cette complémentarité en un gain quantifiable. Une détection observée en EO, confirmée en IR par une signature thermique correspondante, corroborée par un retour SAR à la même position au sol, et associée à une ligne de relèvement d'émetteur SIGINT passant par ce point est un produit de renseignement fondamentalement différent de n'importe laquelle de ces observations prise isolément. Elle porte une confiance plus élevée, une géolocalisation plus précise, et — de façon critique — une hypothèse d'identité qu'aucun capteur seul ne pourrait affirmer. C'est la même logique de corrélation qui sous-tend l'architecture de fusion multi-capteurs traditionnelle, mais une approche par IA multimodale apprend les associations cross-modales à partir des données plutôt que de les encoder comme des règles ajustées manuellement.

Alignement : la condition préalable que les ingénieurs de fusion sous-estiment

Avant qu'un modèle puisse fusionner des modalités, celles-ci doivent décrire la même réalité. L'alignement comporte trois axes, et un échec sur l'un d'eux produit des pistes fusionnées qui dérivent, se fragmentent ou hallucinent.

Alignement temporel

Les quatre modalités fonctionnent sur des horloges très différentes. EO et IR diffusent à 30–60 Hz. Le SAR produit une image par passage — une cadence mesurée en secondes à minutes selon la plateforme et le mode. Le SIGINT arrive sous forme d'événements d'interception irréguliers chaque fois qu'un émetteur transmet. Fusionner une trame EO à l'instant t avec une interception SIGINT de t − 4 s comme si elles étaient simultanées attribue l'émission à l'endroit où la cible EO s'est entre-temps déplacée. La discipline consiste à horodater chaque échantillon au niveau du capteur à l'aide d'une horloge disciplinée (GPS ou PTP), jamais côté consommateur, et à rééchantillonner chaque flux vers un temps de référence commun via une interpolation compensée en mouvement. Chaque observation fusionnée doit également porter le véritable âge de ses échantillons contributeurs, afin que le modèle puisse sous-pondérer les preuves obsolètes plutôt que d'y faire aveuglément confiance.

Alignement spatial

Chaque modalité doit être exprimée dans un référentiel géographique commun avant que l'association soit significative. Les détections EO/IR sont géoréférencées en lançant un rayon depuis le capteur à travers le pixel du plan image et en l'intersectant avec un modèle d'élévation de terrain (DTED). L'imagerie SAR est géocodée grâce à sa géométrie range-Doppler. Les lignes de relèvement SIGINT deviennent des ellipses de géolocalisation dans le même datum. Le résultat est l'expression de chaque observation sous la forme d'une position plus une région d'incertitude en WGS84. L'incertitude est aussi importante que la position : une ellipse SIGINT peut couvrir plusieurs kilomètres tandis qu'une géolocalisation EO est à l'échelle du mètre, et la logique d'association doit les pondérer en conséquence plutôt que de traiter un centroïde comme une vérité terrain.

Alignement représentationnel

Enfin, les modalités doivent être rendues comparables pour un modèle. Les pixels EO bruts, la radiance IR, les retours complexes SAR et les vecteurs de caractéristiques SIGINT n'ont rien en commun numériquement. Chaque modalité est encodée par un réseau de base adapté à ses statistiques en vecteurs de caractéristiques partageant une dimension d'intégration commune, permettant à une couche d'attention en aval de raisonner à leur sujet. Cette étape représentationnelle est là où l'IA multimodale s'écarte de la fusion classique : l'intégration partagée est apprise, non spécifiée.

Architectures de fusion : précoce, tardive et intermédiaire

Il existe trois choix structurels pour déterminer où dans le pipeline la fusion intervient, et ce choix est la décision architecturale la plus déterminante.

La fusion précoce concatène des entrées brutes ou légèrement traitées — par exemple, l'empilement d'EO et d'IR à enregistrement de pixels en un tenseur multi-canaux — et fournit le résultat à un seul modèle. C'est la plus simple à mettre en œuvre et peut exploiter les corrélations cross-modales de bas niveau, mais elle est fragile : elle suppose un enregistrement spatial quasi parfait et s'effondre lorsqu'une modalité est absente ou mal enregistrée. La fusion précoce ne fonctionne que lorsque les modalités sont véritablement co-enregistrées et fiablement présentes, ce qui signifie en pratique EO+IR d'un cardan commun, et non l'ensemble des quatre INT.

La fusion tardive fait fonctionner un détecteur indépendant par modalité et combine leurs résultats au niveau décisionnel — par règle, par mise à jour bayésienne, ou par un combinateur appris sur les détections par modalité. Elle est naturellement robuste à une modalité manquante (les autres continuent simplement) et est la plus facile à certifier car chaque détecteur est testable indépendamment. Sa faiblesse est que, au moment où la fusion intervient, chaque modalité a déjà abandonné les indices de bas niveau qu'un partenaire aurait pu utiliser ; une cible EO faible en dessous du seuil de détection à capteur unique est perdue avant que le retour SAR qui l'aurait confirmée ait jamais eu voix au chapitre.

La fusion intermédiaire (au niveau des caractéristiques) encode chaque modalité séparément, puis fusionne les caractéristiques apprises — généralement avec un transformateur à attention croisée — avant une tête de détection commune. Elle capture les indices cross-modaux que la fusion tardive rejette tout en conservant une grande partie de sa robustesse, car les encodeurs par modalité fonctionnent toujours lorsqu'un partenaire est absent. Pour l'ISR, la fusion intermédiaire est la configuration de production par défaut. Une couche d'attention croisée permet aux caractéristiques SAR d'être attentives aux caractéristiques EO et vice versa, de sorte qu'un signal faible dans une modalité peut être amplifié par une structure corroborante dans une autre — exactement la confirmation sous le seuil que la fusion tardive ne peut pas réaliser.

Conception du modèle cross-modal

Un modèle de fusion intermédiaire pratique pour l'ISR comporte quatre parties. Premièrement, un ensemble d'encodeurs par modalité : un transformateur de vision ou CNN pour EO/IR, un encodeur spécifique SAR tolérant le speckle et les statistiques non optiques de l'imagerie radar, et un encodeur de séquence pour les caractéristiques d'interception SIGINT (fréquence, modulation, caractéristiques d'impulsion, relèvement). Deuxièmement, une projection qui mappe la sortie de chaque encodeur dans une dimension d'intégration commune. Troisièmement, un bloc de fusion à attention croisée qui prête attention à travers les tokens de modalité, contrôlé par un masque de disponibilité par échantillon afin que les modalités absentes ne contribuent rien plutôt que des zéros que le modèle interpréterait à tort comme des preuves. Quatrièmement, une tête commune qui émet des détections géolocalisées, des hypothèses de classe et une confiance fusionnée.

Le principal risque de conception est la co-adaptation : un modèle entraîné sur des données où les quatre modalités sont généralement présentes apprend à s'appuyer sur la plus informative et se dégrade catastrophiquement lorsque cette modalité disparaît sur le terrain. La contre-mesure est l'abandon de modalité pendant l'entraînement — mise à zéro aléatoire de modalités entières (avec leurs masques de disponibilité réglés en conséquence) afin que le réseau soit forcé d'extraire de la valeur de chaque sous-ensemble. Un modèle entraîné de cette façon produit une détection utilisable à partir de l'EO seul, l'améliore lorsque l'IR est présent, et n'atteint la pleine confiance que lorsque SAR et SIGINT corroborent. Les mêmes contraintes de déploiement en périphérie qui gouvernent la vision monomodale s'appliquent ici ; la tête multimodale est plus lourde, et les techniques couvertes dans la vision par ordinateur pour les drones ISR — quantification, élagage et budgétisation minutieuse de la latence — s'appliquent directement.

Confiance, incertitude et dégradation gracieuse

Le score de confiance fusionné est la sortie la plus importante de l'ensemble du pipeline, car c'est ce sur quoi l'opérateur et toute automatisation en aval agissent réellement. Une probabilité softmax brute provenant de la tête de détection n'est pas une confiance calibrée — les réseaux de neurones sont notoirement trop confiants — donc le score doit être calibré, par mise à l'échelle de la température ou par un combinateur appris, sur des données de test distinctes, afin qu'une valeur déclarée de 0,9 corresponde à une fiabilité réelle de 90 %.

La calibration seule ne suffit pas. La confiance fusionnée doit refléter quelles modalités ont contribué et dans quelle mesure chacune était bonne à ce moment-là. Une détection confirmée par quatre modalités ne devrait pas porter la même confiance que le même score nominal dérivé de l'EO seul à travers une atmosphère brumeuse. Le pipeline pondère donc la contribution de chaque modalité par une estimation de qualité par modalité — illumination et contraste pour EO, contraste thermique pour IR, puissance de retour et géométrie pour SAR, rapport signal/bruit d'interception pour SIGINT — et propage cette pondération dans le score fusionné. Lorsqu'une modalité disparaît entièrement, le masque de disponibilité la retire de l'attention et son poids passe à zéro ; le système continue sur les modalités restantes avec une confiance honnêtement réduite plutôt que d'échouer ou, pire, de fabriquer silencieusement.

Remontée des détections fusionnées à l'opérateur

La fusion ne délivre de la valeur que si son résultat parvient à l'opérateur dans une forme en laquelle il peut avoir confiance et sur laquelle il peut agir. Les détections fusionnées sont associées dans le temps en pistes persistantes avec des identifiants stables et publiées dans l'image opérationnelle commune, généralement sous forme d'événements Cursor on Target vers un TAK Server, afin que chaque client connecté voie le même marqueur en mouvement plutôt qu'un clignotement d'événements indépendants. La logique de triage qui décide quelles pistes fusionnées remontent à l'attention de l'opérateur suit la même discipline de priorisation décrite dans le triage de données ISR assisté par IA — la couche de fusion réduit le volume, mais le classement et le filtrage décident toujours ce qu'un analyste voit en premier.

Le choix de conception décisif est la provenance. Un seul marqueur confiant sans indication de son origine gagne la confiance jusqu'au premier faux positif, après quoi les opérateurs ignorent le système. Déverser chaque détection par capteur sur la carte inonde l'image et anéantit l'intérêt de la fusion. Le comportement correct est une piste fusionnée unique qui encode visiblement quelles modalités ont contribué (une confirmation EO+IR+SAR+SIGINT rendue de manière distincte d'une indication EO uniquement), la confiance calibrée, et un accès détaillé aux preuves par modalité à la demande. La mission de la couche de fusion est de condenser de nombreuses observations de capteurs en une seule piste fiable tout en préservant la piste d'audit qui permet à un humain de la vérifier.

Réalités opérationnelles

Trois réalités terrain façonnent tout déploiement. Premièrement, les modalités arrivent rarement sur un seul nœud — EO/IR sur un UAV, SAR sur une autre plateforme, SIGINT depuis un réseau au sol — ce qui fait de la fusion un problème distribué, et la latence réseau entre les collecteurs domine souvent la chronologie bien plus que le coût d'inférence. Deuxièmement, le cross-cueing est aussi précieux que la détection : une interception SIGINT peut tasker un capteur EO pour se tourner vers un relèvement, une boucle fermée qui est elle-même une forme de fusion précédant tout modèle conjoint. Troisièmement, le problème des données d'entraînement est aigu — les jeux de données quatre-INT étiquetés, alignés dans le temps et l'espace, sont rares, ce qui explique pourquoi l'abandon de modalité, les données synthétiques et le pré-entraînement auto-supervisé sur des données monomodales non étiquetées sont la voie pratique vers un modèle opérationnel.

Pour l'architecture plus large dans laquelle un modèle multimodal s'insère — corrélation de pistes, fusion d'identités et l'image opérationnelle elle-même — l'article complémentaire sur l'architecture de fusion multi-capteurs couvre le pipeline environnant en profondeur.