Architecture de fusion multi-capteurs : Combinaison du radar, de l'EO/IR, de l'AIS et du SIGINT en une seule image opérationnelle

Chaque capteur dans un inventaire de défense répond à une question différente sur la même réalité physique. Le radar voit le métal — il renvoie une portée et une vitesse précises, mais ne peut pas dire si le contact est hostile ou civil, militaire ou commercial. Les caméras électro-optiques et infrarouges voient la signature thermique et la forme — utiles pour la classification, mais leur précision de géolocalisation diminue avec l'altitude, et elles produisent des images à des intervalles de revisite, pas en continu. Les transmissions AIS vous donnent une identité et un pavillon explicites pour les cibles maritimes coopératives, mais un navire peut éteindre son transpondeur, signaler une fausse position ou être usurpé. Les récepteurs SIGINT vous donnent l'identité et le relèvement de l'émetteur, mais souvent pas une position précise sans triangulation depuis plusieurs stations.

Aucun de ces capteurs, seul, ne donne une image complète. L'architecture de fusion multi-capteurs est la discipline d'ingénierie qui combine les quatre — et tous les flux supplémentaires — en une seule base de données de pistes plus précise, plus complète et plus fiable que n'importe quelle source individuelle. Cet article décrit comment la construire : le modèle de données, les algorithmes de corrélation, la mécanique d'alignement temporel et spatial, ainsi que les modèles architecturaux qui s'échelonnent d'un COP au niveau de la brigade à un centre national de surveillance maritime.

Le défi multi-INT : capteurs différents, sémantiques incompatibles

La difficulté fondamentale de la fusion multi-capteurs n'est pas computationnelle. Elle est sémantique. Chaque type de capteur porte un modèle différent de la réalité, et ces modèles ne se mappent pas clairement les uns sur les autres.

Une piste radar est un objet cinématique : estimations de position, de vitesse et d'accélération mises à jour au taux de balayage du radar, avec des ellipses d'incertitude associées reflétant le bruit de mesure. Le radar attribue un numéro de piste système et le maintient entre les balayages par corrélation. L'identité est une sortie de classificateur — grand contact de surface, petit contact aérien, hélicoptère — pas une étiquette définitive.

Un rapport EO/IR est un événement de détection : un cadre de délimitation dans un cadre d'image, avec un score de confiance pour chaque classe dans la taxonomie du capteur. La géolocalisation de ce cadre de délimitation nécessite de connaître la position et l'attitude de la plateforme capteur, l'angle de pointage du capteur et un modèle de terrain — chacun contribuant sa propre erreur. Le taux de mise à jour est limité par la latence de traitement, pas par la physique.

Un rapport AIS est un message autodéclaré : le MMSI du navire, son nom, son type et sa position dérivée GPS au moment du rapport, diffusé sur VHF. Il est coopératif, structuré et explicite — ce qui le rend aussi trivialement falsifiable. Un récepteur AIS produit des rapports à raison d'un par navire et par période ; un navire peut les supprimer, les falsifier ou les rejouer.

Une collecte SIGINT produit des lignes de relèvement — ou, avec plusieurs récepteurs, une fixation de position triangulée avec une ellipse d'incertitude caractéristique allongée le long de la ligne de base. L'identité de l'émetteur provient d'une comparaison bibliothèque avec des paramètres d'émetteurs connus : fréquence, modulation, caractéristiques d'impulsion. Cette comparaison produit une distribution de probabilité sur les types d'émetteurs, pas une identification définitive.

Le moteur de fusion doit combler tous ces modèles sémantiques. Il ne peut pas les réduire à un seul score de confiance sans détruire les différences qualitatives qui comptent opérationnellement. Une piste confirmée par le SIGINT et l'AIS est qualitativement différente d'une piste confirmée par deux balayages radar, même si leurs valeurs de confiance numériques sont identiques.

Unification du modèle de données : le schéma canonique de piste

Le schéma canonique de piste est le contrat entre chaque composant du système de fusion. Définissez-le tôt, faites-le versionner de manière additive seulement, et résistez à la tentation de le rendre spécifique au capteur.

Un schéma minimal de classe production pour une piste multi-capteurs comprend les champs suivants :

Champs d'identité : un UUID de piste attribué par le système, une estimation d'identité composite (distribution de probabilité sur les types d'entités), une étiquette lisible par l'homme et un masque de bits source indiquant quelles disciplines de capteurs ont contribué des preuves (bit 0 = radar, bit 1 = EO/IR, bit 2 = AIS, bit 3 = SIGINT, bit 4 = HUMINT, etc.).

Champs cinématiques : latitude, longitude et altitude WGS84 ; vitesse nord, est et verticale ; accélération ; une matrice de covariance de position 3×3 capturant l'incertitude dans les trois dimensions spatiales ; et un identifiant de modèle cinématique (vitesse constante, accélération constante, virage coordonné).

Champs de classification : environnement (air, surface, sous-surface, sol, espace), catégorie (plateforme militaire, navire civil, inconnu), type (classe de plateforme spécifique si résolue) et confiance par niveau de classification.

Champs de provenance : une liste d'UUID d'observations contributrices, le niveau de classification et les balises de diffusabilité dérivées de toutes les sources contributrices, et l'identifiant du système d'origine.

Champs temporels : temps d'observation (quand le capteur sous-jacent a observé le phénomène), temps de rapport (quand le rapport a été généré) et temps d'ingestion (quand la plateforme de fusion l'a reçu). Les trois sont nécessaires ; les confondre produit des bogues subtils dans la fusion temporelle.

Champs de cycle de vie : état de la piste (provisoire, confirmé, mature, déclinant, perdu), temps de dernière mise à jour et score de confiance décliné depuis la dernière mise à jour.

Ce schéma est stocké en mémoire pour l'état chaud, persisté dans PostGIS pour les requêtes géospatiales et publié sur le bus de messagerie en tant qu'événement immuable à chaque mise à jour. Les consommateurs en aval — affichage COP, stations de travail d'analystes, moteur d'analyse des modes de vie — s'abonnent au flux d'événements et maintiennent leurs propres vues.

Corrélation piste à piste : délimitation, affectation et ambiguïté

La corrélation piste à piste est le cœur algorithmiquement dense de tout moteur de fusion. Une observation entrante doit être affectée à une piste existante, utilisée pour créer une nouvelle piste ou marquée comme bruit. Le problème d'affectation s'échelonne avec le nombre de pistes et d'observations par cycle de balayage.

Délimitation par distance de Mahalanobis. La première étape est le filtrage grossier. Pour chaque observation entrante, calculez la distance de Mahalanobis entre la position d'observation et la position prédite de chaque piste candidate. La distance de Mahalanobis normalise par la matrice de covariance jointe de l'incertitude de prédiction et de l'incertitude de mesure — une piste avec une incertitude de position élevée a une porte plus large. Les observations en dehors de la porte ne sont pas des candidates pour cette piste. Cela réduit le problème combinatoire de N×M à un graphe épars d'affectations réalisables.

Affectation par l'algorithme hongrois. Pour les scénarios non ambigus — pistes bien séparées, faible densité, capteur unique — l'algorithme hongrois trouve l'affectation biunivoque globalement optimale entre observations et pistes en temps O(n³). Il minimise le coût total d'affectation, typiquement calculé comme la somme pondérée des distances de Mahalanobis. L'algorithme hongrois est rapide, déterministe et facile à déboguer. C'est le bon choix pour les 80 % des scénarios qui ne sont pas contestés.

JPDA pour les environnements denses. Dans les environnements à haute densité — un détroit maritime animé, un secteur d'espace aérien encombré — plusieurs observations tombent simultanément dans plusieurs portes de piste. Les affectations par voisin le plus proche et hongroises produisent des erreurs systématiques : deux pistes qui se croisent échangent leurs identités, ou un contact à déplacement lent dans un cluster dense accumule des observations destinées à ses voisins. L'Association Probabiliste Conjointe des Données (JPDA) résout cela en calculant la probabilité que chaque observation appartienne à chaque piste candidate, compte tenu de la vraisemblance jointe complète dans la fenêtre de délimitation. L'état de la piste est mis à jour avec une combinaison pondérée de toutes les observations délimitées, pondérées par leurs probabilités d'association. La JPDA est plus coûteuse mais produit une meilleure continuité de piste mesurable à travers les occultations et les événements de croisement.

Suivi à hypothèses multiples. MHT reporte les décisions d'affectation fermes en maintenant plusieurs hypothèses de piste en parallèle — la piste A est la continuation de l'observation 1, ou la piste A est un nouveau contact et l'observation 1 appartient à la piste B. Les hypothèses sont notées et élaguées au fur et à mesure que de nouvelles observations arrivent ; l'arbre d'hypothèses s'effondre vers une affectation à haute confiance une fois que l'ambiguïté est résolue. MHT produit les meilleurs résultats dans des conditions adversariales mais nécessite une gestion disciplinée des hypothèses pour éviter une croissance exponentielle de l'arbre. L'élagage à N balayages — élimination des hypothèses plus vieilles que N balayages — est l'approche standard.

En pratique, les moteurs de fusion de production utilisent un hybride : corrélation du voisin le plus proche basée sur des règles pour les pistes bien séparées à haute confiance ; JPDA pour le sous-ensemble contesté ; et MHT pour les scénarios où le système a été spécifiquement configuré pour gérer une ambiguïté à haute conséquence (p. ex., suivi de plusieurs contacts dans un point d'étranglement).

Pondération de la qualité des capteurs : notation dynamique de crédibilité

Tous les rapports de capteurs ne méritent pas un poids égal dans la mise à jour de fusion. Un radar fonctionnant à la limite de sa portée de détection dans un fort encombrement maritime a une incertitude de mesure plus élevée que le même radar dans des conditions idéales. Un capteur EO/IR rapportant à travers une mince couverture nuageuse a une précision de géolocalisation dégradée. Un rapport AIS d'un navire marqué pour des divergences historiques entre les positions rapportées et observées par radar devrait avoir un poids de position réduit.

La notation dynamique de crédibilité attribue un poids à chaque rapport lors de l'ingestion sur la base de trois facteurs :

État de santé du capteur. Chaque interface de capteur dans la plateforme de fusion publie un message de santé aux côtés de ses données. Les champs de santé comprennent le rapport signal/bruit, l'état de calibration, le résultat du BIT (test intégré) et le temps de fonctionnement depuis la dernière maintenance. Les rapports des capteurs dans des états de santé dégradés reçoivent un poids réduit. Un capteur en état ÉCHEC est exclu des mises à jour mais peut encore contribuer à la création de pistes provisoires si aucune autre source n'est disponible.

Conditions environnementales. La plateforme de fusion ingère des données météorologiques et environnementales — état de la mer, précipitations, indice de ducting atmosphérique, heure du jour (pertinent pour le contraste EO/IR) — et applique des modèles de performance spécifiques aux capteurs pour estimer la précision de mesure actuelle. Ces modèles sont dérivés des données du fabricant du capteur et validés par rapport à des passages de calibration opérationnels. L'estimation de précision alimente directement la covariance du bruit de mesure utilisée dans l'étape de mise à jour du filtre de Kalman.

Précision historique. Pour chaque capteur, la plateforme suit la distribution des résidus — les différences entre les positions prédites et observées pour les pistes bien établies — sur une fenêtre glissante. Un capteur avec des résidus constamment importants a sa covariance gonflée ; un capteur suivant plus étroitement que sa spécification publiée a sa covariance réduite. Ce mécanisme d'auto-calibration détecte la dérive des capteurs et les erreurs de calibration que la télémétrie d'état ne rapporte pas directement.

Fusion temporelle : alignement des capteurs qui ne s'accordent pas sur le temps

Les plateformes de fusion multi-capteurs traitent des données provenant de sources aux caractéristiques temporelles fondamentalement différentes. Un radar peut se mettre à jour à 4 Hz, un capteur EO/IR à 1 Hz, l'AIS à un rapport par navire toutes les 10 secondes, et le SIGINT à des intervalles irréguliers dictés par l'activité de l'émetteur. Fusionner ces données naïvement — traiter chaque rapport comme contemporain — introduit des erreurs systématiques proportionnelles à la vitesse de la plateforme et à la différence de latence.

Le bon modèle est la propagation vers un temps de référence commun. Pour chaque observation entrante, le moteur de fusion propage l'état de piste existant en avant (ou en arrière) depuis sa dernière mise à jour jusqu'au temps d'observation en utilisant le modèle cinématique de la piste. L'étape de prédiction du filtre de Kalman calcule la position attendue et son incertitude au temps cible ; l'étape de mise à jour de mesure corrige alors cette prédiction avec la nouvelle observation.

Les mesures hors séquence — observations qui arrivent après qu'une observation plus récente d'un autre capteur a déjà mis à jour la piste — nécessitent un lissage rétroactif ou un algorithme OOSM dédié (mesure hors séquence). L'approche pratique pour des retards hors ordre modérés (moins d'un cycle de balayage) est d'appliquer l'observation retardée comme mesure virtuelle au bon moment et de re-propager en avant. Pour des retards plus importants, l'observation est soit rejetée soit stockée et appliquée lors du prochain passage de lissage par lots.

La gestion des données périmées est tout aussi importante. Une piste qui n'a pas reçu d'observation de confirmation d'un capteur quelconque dans une fenêtre configurable commence une décroissance de confiance : l'ellipse d'incertitude croît à chaque étape de prédiction sans mise à jour, et le score de confiance de la piste diminue. Le système d'affichage montre les pistes en déclin avec un vieillissement visuel — opacité réduite, bordure de symbole en pointillé, indicateur de temps écoulé. Les pistes dont la confiance tombe en dessous du seuil de suppression sont archivées dans le magasin d'événements plutôt que supprimées ; elles peuvent être ressuscitées si une nouvelle observation tombe dans leur porte (maintenant grande).

Enregistrement spatial : alignement des capteurs qui ne s'accordent pas sur l'espace

Chaque capteur signale des positions dans son propre référentiel de coordonnées avec ses propres biais systématiques. Un radar monté sur navire rapporte relativement à sa position dérivée GPS plus ses propres erreurs de pointage et décalages de bras de levier. Un capteur EO/IR monté sur UAV rapporte relativement à la position et l'attitude dérivées INS de la plateforme, avec des erreurs de géolocalisation qui se cumulent à travers de multiples transformations géométriques. Un transpondeur AIS utilise le GPS et est généralement bien calibré mais a une quantification due à l'encodage NMEA.

L'enregistrement spatial corrige ces décalages systématiques avant la fusion. L'approche standard consiste à comparer, sur une période d'entraînement, les positions d'objets observés simultanément par plusieurs capteurs et à estimer le biais par capteur en utilisant la minimisation des moindres carrés. Les cibles de référence de qualité géodésique — bouées à des positions connues, points de contrôle au sol — fournissent la vérité pour la calibration ; la cohérence inter-capteurs sur les pistes bien établies fournit une auto-calibration continue en opérations.

Les erreurs d'enregistrement se déguisent en scission de piste. Si le capteur A a un biais nord de 50 mètres et le capteur B aucun, les observations du même navire produisent deux pistes adjacentes. Les opérateurs reconnaissent cela comme une pathologie connue et fusionnent manuellement les pistes, ce qui est opérationnellement coûteux et sujet aux erreurs. L'enregistrement spatial automatique qui s'exécute en continu et met à jour les estimations de biais réduit les fausses scissions sans intervention de l'opérateur.

La normalisation du système de coordonnées est un problème connexe. Le schéma canonique de piste stocke les positions en degrés décimaux WGS84 ; chaque adaptateur convertit depuis son format natif lors de l'ingestion. Les références MGRS, UTM et de grille nationale doivent être converties de manière cohérente — l'arrondi doit être appliqué en un seul point (la sortie de l'adaptateur), pas dispersé à travers des chaînes de transformation où l'erreur accumulée peut atteindre des dizaines de mètres.

Fusion d'identité : combinaison du SIGINT, de l'AIS, de la section efficace radar et de la forme EO

La fusion cinématique — obtenir une bonne estimation de position — est le fondement nécessaire. La fusion d'identité — déterminer ce qu'est le contact — est ce qui donne au COP sa valeur opérationnelle.

Chaque type de capteur contribue une tranche différente de preuves d'identité :

La section efficace radar (SER) contraint la taille physique et la composition matérielle de la cible. Un grand contact SER dans un secteur d'espace aérien est cohérent avec un avion de transport à fuselage large ou un grand navire de guerre, pas avec un avion léger ou un petit bateau. La SER est un discriminateur grossier — les effets atmosphériques et la variation de l'angle d'aspect introduisent un bruit important — mais elle élimine bon marché de grandes fractions de l'espace des hypothèses.

La classification de forme EO/IR affine l'identité davantage. Un classificateur convolutif fonctionnant contre la détection EO/IR produit des distributions de probabilité sur les classes de véhicules : camion militaire, char, hélicoptère, navire de surface, voiture civile. En altitude, la résolution limite la qualité de la classification ; de près, elle peut distinguer des modèles de véhicules spécifiques. Le moteur de fusion combine la sortie de classification de forme avec l'espace d'hypothèses contraint par la SER en utilisant la combinaison de Dempster-Shafer ou une mise à jour bayésienne.

AIS MMSI fournit une identité explicite et structurée pour les navires coopératifs. Le MMSI se résout en un enregistrement de navire dans la base de données de l'UIT : nom, type, pavillon, jauge brute, indicatif d'appel et propriétaire enregistré. C'est l'identité définitive pour les cibles coopératives ; le moteur de fusion élève l'identité composite à CONNU avec une haute confiance lorsque la corrélation AIS réussit. L'enregistrement de piste composite lie le MMSI et l'enregistrement de navire comme provenance.

L'identité d'émetteur SIGINT fait correspondre les paramètres d'émetteur observés — fréquence, intervalle de répétition d'impulsion, modulation — avec la bibliothèque de l'ordre électronique de bataille (EOB) pour identifier le type d'émetteur et, là où l'EOB le supporte, la plateforme spécifique. Un type d'émission radar uniquement associé à une classe spécifique de navires de guerre restreint l'identité à cette classe. Combiné avec l'AIS (qui donne le nom et le MMSI pour le même navire s'il émet), le moteur de fusion peut produire une identité de navire spécifique à haute confiance.

La sortie de fusion d'identité est une liste classée d'hypothèses d'identité avec des probabilités, pas une classification unique forcée. Le COP affiche l'hypothèse de plus haute confiance avec le score de probabilité ; l'analyste peut développer la liste d'hypothèses pour les pistes ambiguës. Cette conception empêche l'interface utilisateur de communiquer une fausse certitude — une exigence critique dans les environnements opérationnels à haute conséquence.

Modèles architecturaux : fusion centralisée vs. fédérée

Le choix entre une topologie de fusion centralisée et fédérée a des implications pour la survie, la latence, la bande passante réseau et le concept opérationnel.

Serveur de fusion centralisé. Tous les adaptateurs de capteurs transmettent des observations brutes à un seul serveur de fusion. Le serveur maintient la base de données de pistes complète et effectue toute la corrélation et la gestion des pistes. Cette architecture est simple à raisonner : il y a une base de données de pistes, un moteur de corrélation et une seule source de vérité pour le COP. Des associations globalement optimales sont possibles car le moteur voit toutes les observations simultanément. Le mode de défaillance est évident : le serveur de fusion est un point de défaillance unique, et une partition réseau entre les capteurs et le serveur dégrade le COP à ce que le serveur savait en dernier. Les architectures centralisées conviennent aux installations fixes avec une infrastructure réseau fiable — centres de renseignement nationaux, centres de patrouille maritime.

Nœuds de fusion fédérés. Les capteurs sont regroupés en clusters, chacun desservi par un nœud de fusion local. Chaque nœud produit des pistes à partir des capteurs de son cluster. Un nœud de niveau supérieur ingère des pistes (pas des observations brutes) de tous les nœuds locaux et effectue une corrélation inter-nœuds — faisant correspondre les pistes représentant la même entité mais originaires de différents clusters de capteurs. Les architectures fédérées tolèrent mieux les partitions réseau : chaque nœud local continue de fonctionner avec ses capteurs locaux ; le nœud de niveau supérieur se resynchronise lorsque la connectivité est rétablie. Elles conviennent naturellement aux formations militaires déployées, où les radars et les systèmes EO/IR sont distribués sur un champ de bataille et le réseau est contesté.

Le modèle JDL se mappe naturellement sur cette architecture. Les nœuds de fusion locaux implémentent le niveau 1 JDL (raffinement d'objet) à partir des données du cluster de capteurs. Le nœud de niveau supérieur implémente le niveau 1 entre les nœuds (fusion piste à piste des sorties de nœuds) et le niveau 2 (évaluation de situation — détection de convois, reconnaissance de formations, appariement menace-cible) à partir de l'image de piste fusionnée. Le niveau 3 (évaluation d'impact) s'exécute généralement sur une station de travail d'analyste ou un serveur d'évaluation séparé qui interroge la sortie du niveau 2.

Dans l'une ou l'autre topologie, le bus de messagerie — Kafka, Pulsar ou NATS JetStream — porte toutes les communications inter-composants. Les adaptateurs de capteurs publient des observations sur des sujets d'entrée ; les nœuds de fusion s'abonnent et publient leurs sorties sur des sujets de sortie ; le COP s'abonne au sujet de piste fusionnée finale. Le bus découple les producteurs des consommateurs, met en mémoire tampon les rafales et fournit la capacité de relecture requise pour la revue après action et les tests d'algorithmes. Pour l'analyse détaillée des compromis entre les substrats de messagerie, voir Files d'attente de messages pour les pipelines de données de défense.

Lectures connexes

L'architecture de fusion multi-capteurs est une couche dans une pile de renseignement de défense plus large. Les articles ci-dessous traitent des composants connexes en profondeur.

Fondements de la fusion : Guide complet de la fusion de données de défense, La fusion de données militaires expliquée, Modèle de fusion de données JDL, Algorithmes de corrélation de pistes.

Intégration spécifique aux capteurs : Intégration d'AIS et ADS-B dans une image militaire, Construction d'un pipeline de fusion de défense : sources et schémas.

Ingénierie des données : Files d'attente de messages pour les pipelines de données de défense, Event Sourcing pour les pistes d'audit de défense, PostGIS pour les données géospatiales de défense, Indexation géospatiale pour la défense.

Intégration COP et C2 : Image Opérationnelle Commune : comment elle est construite, Guide complet des systèmes C2.