Multimodale KI für ISR: Fusion von EO, IR, SAR und SIGINT

Kein einzelner ISR-Sensor sieht das gesamte Gefechtsfeld. Eine elektro-optische Kamera ist nachts blind und bei Bewölkung nutzlos. Ein Infrarotsensor erkennt Wärme, verliert aber den Kontrast gegenüber einem sonnenerwärmten Hintergrund. Synthetik-Apertur-Radar durchdringt Wetter und Dunkelheit, erzeugt jedoch speckle-behaftete Bilder, die schwer zu klassifizieren sind. Signalaufklärung lokalisiert einen Sender ohne visuelle Signatur – und sagt nichts über den daneben geparkten Lastwagen. Multimodale KI existiert, damit sich diese Ausfallmodi gegenseitig aufheben statt zu potenzieren: um EO, IR, SAR und SIGINT zu einer einzigen geolokalizierten Detektion zu fusionieren, die unter den Bedingungen standhält, unter denen eine einzelne Modalität versagen würde. Dieser Artikel erläutert die Technik dieser Fusion – zeitliche und räumliche Ausrichtung, kreuzmodale Modellarchitekturen, Konfidenzbehandlung beim Ausfall von Sensoren und die Disziplin, die erforderlich ist, um fusionierte Detektionen einem Operator zu präsentieren, ohne sein Vertrauen zu untergraben.

Warum fusionieren: das Komplementaritätsargument

Das Argument für multimodale Fusion lautet nicht, dass mehr Daten immer besser sind – sondern dass die Modalitäten sich genau in den operativ relevanten Dimensionen ergänzen. EO und IR bieten hohe räumliche Auflösung und für Menschen interpretierbare Bilder, werden aber durch Wetter blockiert und sind durch Beleuchtung begrenzt. SAR liefert wetter- und lichtunabhängige Abdeckung und erkennt besonders zuverlässig metallische Objekte und Bodenveränderungen, doch seine Geometrie und Speckle erschweren die Feinklassifikation. SIGINT liefert Identitäts- und Absichtshinweise – was ein Sender ist und manchmal was er tut – bei grober und unsicherer Geolokalisierung. Die Informationen, die einer Modalität fehlen, liefert praktischerweise eine andere.

Ein Fusionssystem verwandelt diese Komplementarität in einen quantifizierbaren Gewinn. Eine Detektion, die in EO gesehen, in IR durch eine passende thermische Signatur bestätigt, durch einen SAR-Rückgabe an derselben Bodenposition korroboriert und mit einer SIGINT-Peillinie assoziiert wird, die durch diesen Punkt verläuft, ist ein grundlegend anderes Geheimdienstprodukt als jede dieser Beobachtungen allein. Sie trägt eine höhere Konfidenz, eine präzisere Geolokalisierung und – entscheidend – eine Identitätshypothese, die kein einzelner Sensor aufstellen könnte. Dies ist dieselbe Korrelationslogik, die der traditionellen Multisensor-Fusionsarchitektur zugrunde liegt, aber ein multimodaler KI-Ansatz erlernt die kreuzmodalen Assoziationen aus Daten, anstatt sie als handkalibrierte Regeln zu kodieren.

Ausrichtung: die von Fusion-Ingenieuren unterschätzte Voraussetzung

Bevor ein Modell Modalitäten fusionieren kann, müssen die Modalitäten dieselbe Realität beschreiben. Die Ausrichtung hat drei Achsen, und ein Fehler auf einer von ihnen erzeugt fusionierte Tracks, die driften, sich aufspalten oder halluzinieren.

Zeitliche Ausrichtung

Die vier Modalitäten arbeiten auf sehr unterschiedlichen Uhren. EO und IR streamen mit 30–60 Hz. SAR erzeugt ein Bild pro Überflug – ein Rhythmus, der je nach Plattform und Modus in Sekunden bis Minuten gemessen wird. SIGINT trifft als unregelmäßige Abfangereignisse ein, wann immer ein Sender sendet. Einen EO-Frame zum Zeitpunkt t mit einem SIGINT-Abfang von t − 4 s zu fusionieren, als wären sie gleichzeitig, schreibt die Emission dem Ort zu, an den sich das EO-Ziel inzwischen bewegt hat. Die Disziplin besteht darin, jede Probe am Sensor mit einer disziplinierten Uhr (GPS oder PTP) zu zeitstempeln, niemals beim Verbraucher, und jeden Datenstrom mit bewegungskompensieter Interpolation auf eine gemeinsame Referenzzeit zu resampeln. Jede fusionierte Beobachtung muss auch das wahre Alter ihrer beitragenden Proben tragen, damit das Modell veraltete Belege herabgewichten kann, anstatt ihnen blind zu vertrauen.

Räumliche Ausrichtung

Jede Modalität muss in einem gemeinsamen geografischen Rahmen ausgedrückt werden, bevor eine Assoziation sinnvoll ist. EO/IR-Detektionen werden georeferenziert, indem ein Strahl vom Sensor durch das Bildebenen-Pixel auf ein Geländehöhenmodell (DTED) geworfen wird. SAR-Bilder werden durch ihre Entfernungs-Doppler-Geometrie geokodiert. SIGINT-Peillinien werden zu Geolokalisierungsellipsen im selben Datum. Das Ergebnis ist jede Beobachtung als Position plus Unsicherheitsregion in WGS84. Die Unsicherheit ist genauso wichtig wie die Position: Eine SIGINT-Ellipse kann mehrere Kilometer groß sein, während eine EO-Geolokalisierung Meter aufweist, und die Assoziationslogik muss sie entsprechend gewichten, anstatt einen Zentroid als Grundwahrheit zu behandeln.

Repräsentationale Ausrichtung

Schließlich müssen die Modalitäten einem Modell vergleichbar gemacht werden. Rohe EO-Pixel, IR-Strahldichte, SAR-Komplexrückgaben und SIGINT-Merkmalsvektoren haben numerisch nichts gemein. Jede Modalität wird durch ein auf ihre Statistiken abgestimmtes Backbone in Merkmalsvektoren kodiert, die eine gemeinsame Einbettungsdimension teilen, damit eine nachgelagerte Attention-Schicht über sie hinweg urteilen kann. Dieser repräsentationale Schritt ist der Punkt, an dem sich multimodale KI von klassischer Fusion unterscheidet: Die gemeinsame Einbettung wird erlernt, nicht spezifiziert.

Fusionsarchitekturen: früh, spät und mittlere

Es gibt drei strukturelle Optionen dafür, wo in der Pipeline die Fusion stattfindet, und die Wahl ist die folgenreichste Architekturentscheidung.

Frühe Fusion verkettet rohe oder leicht verarbeitete Eingaben – zum Beispiel das Stapeln von pixel-registrierten EO und IR in einen Mehrkanal-Tensor – und speist das Ergebnis in ein Modell. Sie ist am einfachsten zu implementieren und kann Kreuzmodalkorrelationen auf niedriger Ebene ausnutzen, ist aber spröde: Sie setzt eine nahezu perfekte räumliche Registrierung voraus und bricht zusammen, wenn eine Modalität fehlt oder falsch registriert ist. Frühe Fusion funktioniert nur, wenn die Modalitäten wirklich ko-registriert und zuverlässig vorhanden sind – in der Praxis also EO+IR von einem gemeinsamen Gimbal, nicht das volle Vier-INT-Set.

Späte Fusion betreibt einen unabhängigen Detektor pro Modalität und kombiniert deren Ausgaben auf Entscheidungsebene – per Regel, Bayes'schem Update oder einem erlernten Kombinator über die modalitätsspezifischen Detektionen. Sie ist von Natur aus robust gegenüber einer fehlenden Modalität (die anderen machen einfach weiter) und am einfachsten zu zertifizieren, weil jeder Detektor unabhängig testbar ist. Ihre Schwäche ist, dass zum Zeitpunkt der Fusion jede Modalität bereits die niedrigschwelligen Hinweise verworfen hat, die ein Partner hätte nutzen können; ein schwaches EO-Ziel unterhalb der Einzelsensor-Erkennungsschwelle ist verloren, bevor der SAR-Rückgabe, der es bestätigt hätte, je eine Stimme bekommt.

Mittlere (Feature-Level-)Fusion kodiert jede Modalität separat und fusioniert dann die erlernten Merkmale – typischerweise mit einem Cross-Attention-Transformer – vor einem gemeinsamen Detektionskopf. Sie erfasst die kreuzmodalen Hinweise, die späte Fusion verwirft, und behält dabei einen Großteil der Robustheit der späten Fusion, weil modale Encoder weiterhin funktionieren, wenn ein Partner fehlt. Für ISR ist mittlere Fusion der Produktionsstandard. Eine Cross-Attention-Schicht lässt SAR-Merkmale auf EO-Merkmale achten und umgekehrt, sodass ein schwaches Signal in einer Modalität durch korroborative Struktur in einer anderen verstärkt werden kann – genau die unterschwellige Bestätigung, die späte Fusion nicht erreichen kann.

Kreuzmodale Modellgestaltung

Ein praktisches Intermediate-Fusion-Modell für ISR besteht aus vier Teilen. Erstens eine Reihe von modalitätsspezifischen Encodern: ein Vision Transformer oder CNN für EO/IR, ein SAR-spezifischer Encoder, der Speckle und die nicht-optische Statistik von Radardaten toleriert, und ein Sequenz-Encoder für SIGINT-Abfangmerkmale (Frequenz, Modulation, Pulscharakteristiken, Peilung). Zweitens eine Projektion, die die Ausgabe jedes Encoders in eine gemeinsame Einbettungsdimension abbildet. Drittens ein Cross-Attention-Fusionsblock, der über die Modalitäts-Token hinweg arbeitet und durch eine Verfügbarkeitsmaske gesteuert wird, damit fehlende Modalitäten nichts beitragen – statt Nullen, die das Modell als Belege missdeuten würde. Viertens ein gemeinsamer Kopf, der geolokalisierte Detektionen, Klassenhypothesen und eine fusionierte Konfidenz ausgibt.

Das dominante Designrisiko ist Co-Adaptation: Ein Modell, das mit Daten trainiert wurde, bei denen alle vier Modalitäten meist vorhanden sind, lernt, sich auf die informativste zu stützen, und degradiert katastrophal, wenn diese Modalität im Feld ausfällt. Die Gegenmaßnahme ist Modalitäts-Dropout beim Training – das zufällige Nullsetzen ganzer Modalitäten (mit entsprechend gesetzten Verfügbarkeitsmasken), damit das Netz gezwungen ist, aus jeder Teilmenge Nutzen zu ziehen. Ein so trainiertes Modell liefert eine verwertbare Detektion allein aus EO, verbessert sie, wenn IR vorhanden ist, und erreicht volle Konfidenz erst, wenn SAR und SIGINT korroborieren. Dieselben Edge-Deployment-Einschränkungen, die für einzelmodale Vision gelten, greifen auch hier; der multimodale Kopf ist schwerer, und die in Computer Vision für ISR-Drohnen behandelten Techniken – Quantisierung, Pruning und sorgfältige Latenzplanung – übertragen sich direkt.

Konfidenz, Unsicherheit und graceful Degradation

Der fusionierte Konfidenz-Score ist die wichtigste Ausgabe der gesamten Pipeline, denn er ist das, wonach der Operator und jede nachgelagerte Automatisierung tatsächlich handeln. Eine rohe Softmax-Wahrscheinlichkeit des Detektionskopfes ist keine kalibrierte Konfidenz – neuronale Netze sind notorisch überkonfident –, daher muss der Score anhand von Haltedaten mit Temperaturskalierung oder einem erlernten Kombinator kalibriert werden, sodass eine angegebene 0,9 einer echten Zuverlässigkeit von 90 % entspricht.

Kalibrierung allein reicht nicht. Die fusionierte Konfidenz muss widerspiegeln, welche Modalitäten beigetragen haben und wie gut jede zum jeweiligen Zeitpunkt war. Eine durch vier Modalitäten bestätigte Detektion darf nicht dieselbe Konfidenz tragen wie derselbe nominale Score, der allein aus EO durch eine trübe Atmosphäre abgeleitet wurde. Die Pipeline gewichtet daher den Beitrag jeder Modalität durch eine modalitätsspezifische Qualitätsschätzung – Beleuchtung und Kontrast für EO, thermischer Kontrast für IR, Rückgabestärke und Geometrie für SAR, Abfang-Signal-Rausch-Verhältnis für SIGINT – und überträgt diese Gewichtung in den fusionierten Score. Wenn eine Modalität ganz ausfällt, entfernt die Verfügbarkeitsmaske sie aus der Attention und ihr Gewicht geht auf null; das System arbeitet mit den verbleibenden Modalitäten bei ehrlich reduzierter Konfidenz weiter, anstatt zu versagen oder – schlimmer – stillschweigend zu fabrizieren.

Fusionierte Detektionen an den Operator übermitteln

Fusion liefert nur dann Mehrwert, wenn ihre Ausgabe den Operator in einer Form erreicht, der er vertraut und auf die er handeln kann. Die fusionierten Detektionen werden über die Zeit zu persistenten Tracks mit stabilen Identifikatoren assoziiert und im gemeinsamen Lagebild veröffentlicht, typischerweise als Cursor-on-Target-Ereignisse an einen TAK-Server, sodass jeder verbundene Client denselben sich bewegenden Marker sieht und nicht ein Flackern unabhängiger Ereignisse. Die Triagelogik, die entscheidet, welche fusionierten Tracks die Aufmerksamkeit des Operators auf sich ziehen, folgt derselben Priorisierungsdisziplin, die in KI-gestützte ISR-Datentriage beschrieben wird – die Fusionsschicht reduziert das Volumen, aber Ranking und Filterung entscheiden weiterhin, was ein Analyst zuerst sieht.

Die entscheidende Designentscheidung ist Provenienz. Ein einzelner konfidenter Marker ohne Hinweis auf seine Herkunft erwirbt Vertrauen, bis er zum ersten Mal falsch liegt – danach ignorieren Operatoren das System. Jede Einzelsensor-Detektion auf der Karte zu zeigen, überflutet das Lagebild und verfehlt den Sinn der Fusion. Das korrekte Verhalten ist ein einzelner fusionierter Track, der sichtbar kodiert, welche Modalitäten beigetragen haben (eine EO+IR+SAR+SIGINT-Bestätigung deutlich von einem EO-Einzelhinweis unterschieden), die kalibrierte Konfidenz und auf Wunsch einen Drill-Down zu den modalitätsspezifischen Belegen. Die Aufgabe der Fusionsschicht besteht darin, viele Sensorbeobachtungen zu einem vertrauenswürdigen Track zu kollabieren und dabei den Revisionspfad zu bewahren, der einem Menschen die Verifikation ermöglicht.

Operative Realitäten

Drei Feldrealitäten prägen jedes Deployment. Erstens treffen die Modalitäten selten an einem Knoten ein – EO/IR auf einer UAV, SAR auf einer anderen Plattform, SIGINT von einem Bodenarray –, sodass Fusion ein verteiltes Problem ist und die Netzlatenz zwischen den Erfassern die Timeline oft stärker dominiert als die Inferenzkosten. Zweitens ist Cross-Cueing genauso wertvoll wie Detektion: Ein SIGINT-Abfang kann einen EO-Sensor anweisen, zu einer Peilung zu schwenken – ein geschlossener Regelkreis, der selbst eine Form der Fusion vor jedem gemeinsamen Modell ist. Drittens ist das Trainingsdatenproblem akut – beschriftete, zeit- und raumausgerichtete Vier-INT-Datensätze sind knapp, weshalb Modalitäts-Dropout, synthetische Daten und selbstüberwachtes Pretraining auf unbeschrifteten Einzelmodalitätsdaten der praktische Weg zu einem funktionierenden Modell sind.

Für die übergeordnete Architektur, in die ein multimodales Modell eingebettet wird – Track-Korrelation, Identitätsfusion und das Lagebild selbst – behandelt der Begleitartikel zur Multisensor-Fusionsarchitektur die umgebende Pipeline in der Tiefe.