Thermalbild-Klassifikation am Edge: IR-Sensorverarbeitung für Verteidigung

Thermale Infrarotbildgebung gibt Operateuren, was sichtbandbasierte Kameras nicht können: dauerhafte Erkennungsfähigkeit durch Dunkelheit, Rauch, Staub und leichte Tarnung. Ein von kürzlichem Betrieb erhitzter Fahrzeugmotor leuchtet um 3 Uhr morgens vor einem kalten Feld. Ein Infanterist, der offenes Gelände überquert, strahlt bei 2 km Distanz eine klare Silhouette unter Bedingungen aus, die jede EO-Kamera blind machen. Die Physik der Thermalemission ist inhärent unterscheidungsfähig -- Ziele, die Wärme erzeugen oder speichern, heben sich von ihrer Umgebung in einer Weise ab, die keine optische Tarnung vollständig unterdrücken kann. Die Bereitstellung eines Klassifikationsmodells zur Verarbeitung dieser Bilder am Edge, auf der Sensorplattform statt auf einem Remoteserver, ist das, was eine Thermalkamera in eine autonome Erkennungsschicht verwandelt. Dieser Artikel behandelt die Sensorphysik, Vorverarbeitungsanforderungen, CNN-Anpassungen für Einkanal-Thermaleingaben, die spezifischen Herausforderungen der Kleinstzielerkennung, Multi-Sensor-Fusion, Quantisierungsbeschränkungen und die Bewertungsrahmen zur Validierung militärischer thermaler KI.

Thermalsensorphysik und warum IR sich von sichtbandbasierter Bildgebung unterscheidet

Thermale Infrarotkameras erfassen kein reflektiertes Umgebungslicht. Sie messen die langwellige Infrarotstrahlung (LWIR, 8–14 µm) oder mittelwellige Infrarotstrahlung (MWIR, 3–5 µm), die Objekte als Funktion ihrer Oberflächentemperatur und Emissivität emittieren. Das Stefan-Boltzmann-Gesetz regelt die gesamte abgestrahlte Leistung, aber in der Praxis ist die relevante Größe für die Zielerkennung die differentielle Strahldichte zwischen Ziel und lokalem Hintergrund -- der scheinbare Temperaturkontrast. Ein menschlicher Körper bei 37 °C strahlt kontinuierlich etwa 100 W Infrarotleistung ab. Ein Panzermotor kann nach 30 Minuten Betrieb einen Kontrast von 20–40 K über Umgebungstemperatur aufrechterhalten. Diese thermalen Signaturen existieren unabhängig von Beleuchtungsbedingungen und machen LWIR- und MWIR-Sensoren zur primären passiven Erkennungsmodalität für militärische ISR bei Nacht.

Die Einkanal-Natur der Thermalbildgebung ist der folgenreichste Unterschied zur sichtbandbasierten Eingabe für das KI-Pipeline-Design. Eine RGB-Kamera produziert drei korrelierte Kanäle, die Farbe kodieren, und die überwiegende Mehrheit vortrainierter CNN-Gewichte -- ResNet, MobileNet, EfficientNet und deren Ableitungen -- wurden auf dreikamaligen ImageNet-Daten trainiert. Die direkte Anwendung dieser Modelle auf einen einzelnen Thermal-Frame, indem er einfach als einer von drei identischen Eingangsebenen behandelt wird, liefert suboptimale Ergebnisse: die erlernten Filter der ersten Faltungsschicht sind dafür ausgelegt, Farbkanten und chromatische Gradienten zu extrahieren, die in thermalen Daten keine Bedeutung haben. Das Modell muss angepasst oder neu trainiert werden, um die relevanten Merkmale in Thermalbildern zu extrahieren, die primär thermale Kontrastgradienten, Emissivitätsgrenzen zwischen Materialien und durch Bewegung oder Wärmeübertragung verursachte zeitliche Strahlungsänderungen sind.

Ungekühlte Mikrobolometer-Detektoren, die in den meisten taktischen und luftgestützten Edge-Thermalsensoren verwendet werden, arbeiten bei Umgebungstemperatur und messen die Änderung des elektrischen Widerstands jedes Pixelelements, wenn es Infrarotstrahlung absorbiert. Sie sind deutlich weniger empfindlich als gekühlte Photonendetektor-Arrays (InSb oder HgCdTe), mit Rauschäquivalenter-Temperaturdifferenz (NETD)-Werten von 30–80 mK gegenüber 5–20 mK für gekühlte Sensoren, aber ihr geringer Stromverbrauch (unter 2 W für den Detektor allein), das Fehlen eines kryogenen Kühlsystems und Modulkosten unter 3.000 USD machen sie zur dominierenden Plattform für UAS- und bodenmontierte Edge-KI-Einsätze. Der niedrigere NETD legt direkt den minimal erkennbaren Temperaturkontrast fest, der wiederum die maximale Erkennungsreichweite für einen gegebenen Zieltyp und Atmosphärenzustand bestimmt.

Vorverarbeitung: Nicht-Gleichförmigkeitskorrektur, Defekt-Pixel-Ersatz und Kontrastverbesserung

Rohe Mikrobolometer-Ausgaben können nicht direkt in ein Klassifikationsmodell eingespeist werden. Drei Vorverarbeitungsstufen sind für konsistente Modellleistung zwingend erforderlich: Nicht-Gleichförmigkeitskorrektur (NUC), Defekt-Pixel-Ersatz (BPR) und adaptive Kontrastverbesserung. Jede Stufe kompensiert eine andere Kategorie von Sensorartefakten.

Die Nicht-Gleichförmigkeitskorrektur adressiert das Festmusterrauschen, das allen Focal-Plane-Arrays inhärent ist. Jedes Pixel im FPA hat aufgrund von Fertigungsvariationen leicht unterschiedliche Verstärkungs- und Offset-Charakteristiken, und diese Charakteristiken driften langsam mit der Detektortemperatur. Ohne NUC enthält das Rohbild ein räumlich strukturiertes Raushmuster -- oft als "Waffel"- oder "Plaid"-Artefakt beschrieben -- das stabil genug ist, um von einem Klassifikationsmodell teilweise als spuriöses Merkmal erlernt zu werden, was die Falsch-Positiv-Raten für Objekte erhöht, deren Umriss zufällig mit dem NUC-Artefaktmuster übereinstimmt. Das Standard-Werkskalibrierungsverfahren wendet Zwei-Punkt-NUC an, indem zwei Schwarzkörperquellen gleichmäßiger Temperatur abgebildet und pixel-spezifische Verstärkungs- und Offset-Korrekturkoeffizienten berechnet werden. Im Feldbetrieb ergänzt szenariobasierte NUC die Werkskalibrierung: wenn der Sensor schwenkt oder die Szene große gleichmäßige Regionen enthält, wird eine laufende Schätzung des Flachfeld-Offsets akkumuliert und von nachfolgenden Frames subtrahiert, um den thermalen Drift zu korrigieren, der sich über Betriebsminuten entwickelt.

Der Defekt-Pixel-Ersatz behandelt Detektorelemente, die falsch reagieren -- dauerhaft auf einem festen Wert feststeckend, übermäßig verrauscht oder nicht auf Temperaturänderungen reagierend. Der Hersteller liefert mit jedem Sensormodul eine Defekt-Pixel-Karte. Vor jeder anderen Verarbeitung werden Defekt-Pixel-Werte durch bilineare Interpolation von unmittelbaren Nachbarn ersetzt. Für ein typisches 640x512 ungekühltes FPA liegen Defekt-Pixel-Anzahlen von 0,1–0,5 % (320–1.600 Pixel) innerhalb der Spezifikation und beeinträchtigen die Erkennungsleistung nach BPR nicht wesentlich. Kontrastverbesserung mittels kontrasbeschränkter adaptiver Histogrammausgleichung (CLAHE) ist der abschließende Vorverarbeitungsschritt: Sie verstärkt lokalen Kontrast innerhalb räumlich begrenzter Kachelregionen (typischerweise 8x8-Pixel-Kacheln), ohne Rauschen global zu verstärken, und macht subtile thermale Gradienten an Zielgrenzen sowohl für menschliche Operateure als auch für konvolutionale Feature-Extraktoren sichtbar.

CNN-Architekturen für Thermalklassifikation: Einkanal-Anpassungen

Die Anpassung eines vortrainierten CNN für Einkanal-Thermaleingaben ist ein gut untersuchtes Problem mit drei etablierten Ansätzen, jeder mit einem anderen Genauigkeit-Trainingskosten-Kompromiss. Der einfachste Ansatz repliziert den einzelnen Thermalkanal in drei identische Ebenen, sodass das vortrainierte Modell ohne architektonische Modifikation verwendet werden kann. Dies funktioniert mäßig gut für grobe Klassifikationsaufgaben, liefert aber schlechte Leistung, wenn thermalspezifische Texturmerkmale relevant sind, da die Erstschicht-Filter darauf beschränkt sind, redundante Repräsentationen über drei identische Ebenen zu extrahieren, anstatt sich auf thermale Kontraste zu spezialisieren.

Der zweite und allgemein bevorzugte Ansatz ersetzt die erste Faltungsschicht durch eine neue Einkanal-Schicht, während alle nachfolgenden vortrainierten Gewichte beibehalten werden. Die neue erste Schicht wird aus dem Mittelwert der drei vortrainierten Eingabekanal-Gewichte initialisiert, was einen sinnvollen Prior für die Erstschicht-Filterantworten liefert und den Bedarf an thermalen Domänen-Trainingsdaten zur Feinabstimmung auf akzeptable Genauigkeit erheblich reduziert. Experimente an militärischen Thermal-Datensätzen zeigen konsistent 2–5 % Genauigkeitsverbesserung gegenüber dem Kanal-Replikationsansatz bei Feinabstimmung auf demselben Datensatz. Der dritte Ansatz trainiert vollständig neu auf einem thermalspezifischen Datensatz, was die höchste domänenspezifische Genauigkeit erreicht, aber erheblich mehr beschriftete Thermaldaten erfordert (typischerweise 50.000 oder mehr annotierte Beispiele über alle Zielklassen), um Unteranpassung zu vermeiden. Für militärische Thermalklassifikation, wo beschriftete Daten kostspielig zu erwerben und oft exportkontrolliert sind, ist Transfer-Learning nach dem zweiten Ansatz der praktische Standard.

Der Architekturmaßstab ist für den Edge-Einsatz von erheblicher Bedeutung. Ein vollständiges ResNet-50, für Thermaleingaben angepasst, erreicht hohe Klassifikationsgenauigkeit, erfordert aber 25 MB Modellgewichte und 4 GFLOPS pro Inferenz-Durchgang bei 640x512-Auflösung -- nicht realisierbar für eine Echtzeit-30-Hz-Pipeline auf einem Jetson Orin Nano unter 15 W. MobileNetV3-Small für Einkanal-Eingaben angepasst reduziert dies auf 2,5 MB und 56 MFLOPS, passt komfortabel in das Rechenbudget und behält dabei kompetitive Genauigkeit auf Standard-Thermal-Klassifikations-Benchmarks. Dieselben Architekturbeschränkungen, die die automatische Zielerkennung am Edge steuern, gelten hier: die Modellauswahl ist eine gemeinsame Optimierung über Genauigkeit, Latenz, Speicherplatzbedarf und Stromverbrauch statt alleiniger Genauigkeit.

Kleinstzielerkennung in Thermalbildern: Herausforderungen in Umgebungen mit niedrigem SNR

Wenn eine Person oder ein Fahrzeug auf große Distanz beobachtet wird -- über 2 km bei einem typischen ungekühlten Sensor mit mittlerer Brennweite -- nimmt das Ziel im FPA nur 2–8 Pixel ein. Bei dieser Größenordnung hören Standard-Objekterkennungs-Frameworks, die auf räumlichen Merkmalshierarchien beruhen (YOLO-Familien-Detektoren, Faster R-CNN), auf zuverlässig zu funktionieren. Das rezeptive Feld tieferer Faltungsschichten umfasst Hunderte von Pixeln; ein 4-Pixel-Ziel trägt fast kein diskriminierendes Signal zu diesen Schichten bei. Effektive Kleinstzielerkennung erfordert eine völlig andere Erkennungsstrategie, die auf Pixel- und Patch-Ebene vor jeglichem räumlichem Downsampling arbeitet.

Der dominante Ansatz für Kleinstzielerkennung in LWIR-Bildern ist die IRST-Pipeline, die Hintergrundunterdrückung mit zeitlicher Akkumulation kombiniert. Hintergrundunterdrückung verwendet eine Tophat-morphologische Transformation mit einem Strukturierungselement, das etwas größer ist als die erwartete Zielfläche, um ausgedehnte Hintergrundstruktur zu subtrahieren und gleichzeitig punkt-ähnliche oder kleinflächige Ziele zu erhalten. Das Residuum nach der Hintergrundsubtraktion enthält Kandidaten-Zielblobs bei Signal-Clutter-Verhältnissen von nur 1,5 dB, unterhalb dessen eine zuverlässige Einzelbild-Erkennung physikalisch unmöglich ist, gegeben den Sensor-NETD. Zeitliche Akkumulation -- Integration von Evidenz über 5–20 Frames entlang vorhergesagter Trajektorie -- erweitert die effektive Erkennungsschwelle durch Ausnutzung der Ziel-Bewegungskohärenz, was die Erkennung von Zielen ermöglicht, die in jedem einzelnen Frame unsichtbar wären. Track-Before-Detect-Frameworks formalisieren diese Akkumulation: Sie pflegen einen Satz von Kandidaten-Spurhypothesen und bewerten jede Hypothese gegen eingehende Frame-Daten, ohne jemals eine Einzelbild-Erkennung zu deklarieren, und bestätigen eine Spur erst, wenn akkumulierte Evidenz einen Schwellenwert überschreitet.

Fusion thermaler Detektionen mit EO- und Radar-Spurdaten

Keine einzelne Sensormodalität reicht für zuverlässige Klassifikation und Verfolgung unter allen operativen Bedingungen aus. Thermalsensoren degradieren bei Regen und dichtem Nebel (Wasserdampf absorbiert LWIR effizient), verlieren Zielkontrast, wenn sich Hintergrund- und Zieltemperaturen angleichen (thermaler Mittagsdurchgang), und können keine feinkörnigen visuellen Merkmale auflösen, die die Plattformtyp-Identifikation ermöglichen. Sichtband-EO-Sensoren versagen bei Nacht und in Rauch. Radar bietet Langstreckenerkennung und Geschwindigkeitsmessung, fehlt aber die räumliche Auflösung zur Klassifikation des Zieltyps auf relevanten taktischen Distanzen ohne zusätzliche Referenzdaten. Multi-Sensor-Fusion auf Spurenebene kombiniert die komplementären Stärken jeder Modalität zu einer robusteren und informativeren Spur, als jeder Sensor allein bereitstellt.

Spurenebenen-Fusion statt pixelbasierter Bildfusion ist die Architektur, die in eingesetzten militärischen ISR-Systemen verwendet wird, weil sie auf Edge-Hardware rechnerisch handhabbar und robust gegen Sensorverfügbarkeitslücken ist. Jeder Sensor produziert einen unabhängigen Detektions-Stream, der in eine gemeinsame Spurrepräsentation konvertiert wird: einen Zustandsvektor (Position, Geschwindigkeit, Kurs), eine Kovarianzmatrix zur Kodierung der Schätzunsicherheit, eine Klassenbezeichnung mit Konfidenz und ein Sensortyp-Tag. Ein Multi-Sensor-Assoziationsgate ordnet neue Detektionen von jedem Sensor bestehenden Spuren mittels Mahalanobis-Distanz zu und schließt Detektionen aus, die statistisch inkonsistent mit jedem bestehenden Spurzustand sind. Wenn eine thermale Erkennung und eine EO-Erkennung innerhalb desselben Zeitfensters der gleichen Spur zugeordnet werden, wendet die fusionierte Zustand eine kovarianzgewichtete Kombination an: der Sensor mit kleinerer Positionsunsicherheit trägt proportional mehr zur fusionierten Schätzung bei. Die Klassenbezeichnungs-Fusion verwendet eine naive Bayes-Kombination von per-Sensor-Klassenwahrscheinlichkeiten, bedingt auf Unabhängigkeit zwischen Sensormodalitäten -- eine Annahme, die in der Praxis gut genug gilt, wenn sich Sensoren im physikalischen Messprinzip unterscheiden. Das Ergebnis wird ausführlich in unserer Behandlung von multimodaler Fusions-KI für ISR-Sensorstreams beschrieben.

Radar trägt am meisten zur Fusionsarchitektur durch seine Geschwindigkeitsmessgenauigkeit bei: Doppler-fähige Radare können radiale Zielgeschwindigkeit auf 0,1 m/s auflösen, was weit präziser ist als die aus thermaler Spurverschiebung über Frames ableitbare Geschwindigkeitsschätzung. Dieser Geschwindigkeits-Prior verbessert die Spurassoziation während Okklusionsperioden erheblich, wenn weder der thermale noch der EO-Sensor eine gültige Erkennung hat, indem dem Tracker erlaubt wird, den nächsten Erkennungsort aus der radarabgeleiteten Geschwindigkeit vorherzusagen. Auf Plattformen ohne verfügbares Radar ersetzt IMU-gestützte Spurvorhersage unter Verwendung von Plattformbewegungskompensation aus dem Trägheitsnavigationssystem des Trägers teilweise externe Geschwindigkeitsmessung, wenn die Zielkinematik relativ vorhersehbar ist.

Edge-Einsatz: Quantisierungsbeschränkungen für thermale Modelle

Die Bereitstellung eines Thermalklassifikationsmodells auf einem UAV-Nutzlastmodul oder einem fahrzeugmontierten Edge-Compute-Board setzt harte Beschränkungen an Modellgröße, Inferenzlatenz und Stromverbrauch durch, die in Cloud- oder Serverumgebungen nicht gelten. Der Standard-Bereitstellungsweg ist INT8-Post-Training-Quantisierung, gefolgt von Kompilierung zu einem hardwareoptimalen Inferenz-Runtime wie TensorRT (für NVIDIA Jetson), ARMNN (für Cortex-A-Klasse-Prozessoren) oder TFLite mit XNNPACK (für allgemeine ARM-Hardware). INT8-Quantisierung ersetzt 32-Bit-Gleitkomma-Gewichte und -Aktivierungen durch 8-Bit-Ganzzahlen, reduziert die Modellgröße um den Faktor 4 und die Inferenzzeit um 2–4x auf Hardware mit INT8-Beschleuniger-Unterstützung, mit einer typischen Genauigkeitseinbuße von 1–3 % bei Klassifikationsgenauigkeitsmetriken.

Thermale Modelle sind etwas toleranter gegenüber Quantisierung als RGB-Modelle, weil der Eingabe-Dynamikbereich schmaler ist: nach der Vorverarbeitung belegt ein Thermal-Frame einen vergleichsweise einheitlichen Bereich von Pixelwerten ohne die extremen Ausreißerwerte, die RGB-Bilder aufweisen können (direkte Spiegelreflexionen, gesättigte Lichter). Diese engere Eingabeverteilung bedeutet, dass die während der Kalibrierung berechneten Quantisierungsskalierungsfaktoren genauer sind, und der Genauigkeitsverlust durch INT8-Quantisierung für Thermalklassifikation liegt oft am unteren Ende des typischen Bereichs. Für Modelle, die Aufmerksamkeitsmechanismen verwenden -- wie kleine Vision-Transformer-Varianten -- degradiert INT8-Quantisierung Softmax- und Normalisierungsoperationen stärker als Faltungen, was gemischte Präzisionsquantisierung erfordert (INT8 für Faltungen, FP16 für Aufmerksamkeitsschichten), um die Genauigkeit innerhalb von 2 % der Vollpräzisions-Basislinie zu erhalten. Derselbe Quantisierungsworkflow, der für EO-Kamera-ISR-Drohnen-Nutzlasten verwendet wird, gilt für thermale Nutzlasten mit der Vorverarbeitungsstufe, die für Einkanal-NUC-Ausgabe angepasst ist.

Speicherbandbreite ist ein häufig unterschätzter Flaschenhals für den thermalen Edge-Einsatz. Ein 640x512-Thermal-Frame bei 16-Bit-Tiefe beträgt 655 KB pro Frame. Bei 30 Hz beträgt die Rohdatenrate etwa 20 MB/s. Auf einem Jetson Orin Nano mit einheitlicher Speicherarchitektur können konkurrierende Anforderungen des Erfassungs-Treibers, der Vorverarbeitungspipeline, der Modellinferenz und des Spurenmanagements die verfügbare Speicherbandbreite erschöpfen, bevor die Rechenkapazität ausgeschöpft ist. Die Profilierung der Speicherbandbreitenauslastung, nicht nur der GPU-Auslastung, ist notwendig, um die tatsächliche Durchsatzgrenze zu identifizieren und zu bestimmen, ob Frame-Ratenreduzierung, räumliches Subsampling oder asynchrones Pipeline-Staging die geeignete Abhilfemaßnahme ist.

Evaluierungsdatensätze und Leistungsmetriken für militärische thermale KI

Die Validierung eines Thermalklassifikationsmodells für militärischen Einsatz erfordert Datensätze und Metriken, die operative Bedingungen widerspiegeln und nicht die kontrollierten Laborumgebungen, die in akademischen Benchmarks üblich sind. Die relevanten Leistungsdimensionen sind Erkennungswahrscheinlichkeit (Pd) bei einer Ziel-Falschalarmrate (FAR), nicht die Top-1-Genauigkeit, die von der ImageNet-Evaluierung bekannt ist. Ein Modell, das 95 % Top-1-Genauigkeit auf einem ausgeglichenen Testdatensatz erreicht, kann immer noch eine FAR von 10 pro Stunde auf einem Live-Thermal-Stream haben, wenn der Trainingsdatensatz die Vielfalt realer Hintergrundclutter-Bedingungen nicht ausreichend repräsentiert.

Öffentlich verfügbare Datensätze für militärische Thermal-KI umfassen den KAIST-Multispektral-Fußgänger-Datensatz (gepaarte LWIR und RGB, 95.000 annotierte Frames, fußgängerorientiert), den FLIR-ADAS-Datensatz (Fahrszenarien, nicht für militärische Ziele optimiert) und den LITIV-Datensatz (Indoor- und Outdoor-multimodale Sequenzen). Für Fahrzeug- und Waffen-Klassifikation speziell sind operative Militärdatensätze klassifiziert und nicht öffentlich verfügbar; Forschungsgruppen verwenden typischerweise synthetisch generierte Thermalbilder aus physikbasierten Simulationswerkzeugen (DI-Guy, CAMEO-SIM oder VIRSuite), um begrenzte Echtdaten-Sammlungen zu ergänzen. Die Simulations-zu-Real-Transfer-Treue -- das Ausmaß, in dem auf synthetischen Thermaldaten trainierte Modelle auf echte Sensorausgabe verallgemeinern -- ist ein aktiver Forschungsbereich; aktuelle Best Practices kombinieren synthetisches Vortraining mit Feinabstimmung auf einem kleineren Echtdaten-Satz unter Verwendung von Domain-Adaptationstechniken wie adversarieller Merkmalsausrichtung.

Die Standard-Berichtsmetriken für militärische Thermalerkennungssysteme sind die Receiver-Operating-Characteristic (ROC)-Kurve mit Pd aufgetragen gegen FAR ausgedrückt in Fehlalarmen pro Zeiteinheit auf einem Live-Stream, der F2-Score (der Recall doppelt so stark gewichtet wie Präzision, geeignet für die Bedrohungserkennung, wo verpasste Erkennungen kostspieliger sind als Fehlalarme) und distanzabhängige Pd-Kurven, die die Erkennungswahrscheinlichkeit als Funktion der Ziel-Sensor-Distanz charakterisieren. Für Spurenebenen-Fusionssysteme verfolgen zusätzliche Metriken die Spurinitiierungslatenz (Frames vom ersten Zielauftritt bis zur bestätigten Spur), Spurkontinuität unter Okklusion und die Genauigkeit fusionierter Positionsschätzungen im Vergleich zur Grundwahrheit von GPS-instrumentierten Testfahrzeugen.