Thermische beeldclassificatie aan de rand: IR-sensorverwerking voor defensie

Thermische infraroodbeeldvorming geeft operators wat zichtbaarband-camera's niet kunnen bieden: aanhoudende detectiecapaciteit door duisternis, rook, stof en lichte camouflage. Een voertuigmotor die warm is van recente werking gloeit tegen een koud veld om 3 uur 's nachts. Een te voet bewegend personeelslid dat open terrein oversteekt, zendt een duidelijk silhouet uit op 2 km in omstandigheden die elke EO-camera verblinden. De fysica van thermische emissie is van nature discriminerend -- doelen die warmte genereren of vasthouden vallen op tegen hun omgeving op manieren die geen optische camouflage volledig kan onderdrukken. Het inzetten van een classificatiemodel om dit beeldmateriaal aan de rand te verwerken, op het sensorplatform in plaats van op een externe server, is wat een thermische camera omzet in een autonome detectielaag. Dit artikel behandelt de sensorfysica, voorverwerkingsvereisten, CNN-aanpassingen voor enkelvoudige-kanaal thermische invoer, de specifieke uitdagingen van kleine-doeldetectie, multi-sensorfusie, kwantisatiebeperkingen en de evaluatiekaders die worden gebruikt om militaire thermische AI te valideren.

Thermische sensorfysica en waarom IR verschilt van zichtbaarband-beeldvorming

Thermische infraroodcamera's vangen geen gereflecteerd omgevingslicht op. Ze meten de langgolvige infraroodstraling (LWIR, 8–14 µm) of midgolvige infraroodstraling (MWIR, 3–5 µm) die objecten uitzenden als functie van hun oppervlaktetemperatuur en emissiviteit. De wet van Stefan-Boltzmann bepaalt het totale uitgestraalde vermogen, maar in de praktijk is het relevante kenmerk voor doeldetectie de differentiële radiantie tussen het doel en de lokale achtergrond -- het schijnbare temperatuurcontrast. Een menselijk lichaam op 37°C straalt continu ongeveer 100 W aan infraroodvermogen uit. Een tankmotorcompartiment na 30 minuten werking kan een contrast van 20–40 K boven de omgevingstemperatuur handhaven. Deze thermische handtekeningen bestaan ongeacht de lichtomstandigheden, waardoor LWIR- en MWIR-sensoren de primaire passieve detectiemodaliteit zijn voor militaire ISR 's nachts.

Het enkelvoudige-kanaalkarakter van thermische beeldvorming is het meest bepalende verschil van zichtbaarband-invoer voor het ontwerp van AI-pipelines. Een RGB-camera produceert drie gecorreleerde kanalen die kleur coderen, en de grote meerderheid van voorgetrainde CNN-gewichten -- ResNet, MobileNet, EfficientNet en hun afgeleiden -- zijn getraind op drie-kanaal ImageNet-gegevens. Het direct toepassen van deze modellen op een enkelvoudige-kanaal thermisch frame door het simpelweg te behandelen als een van drie identieke invoervlakken levert suboptimale resultaten op: de geleerde filters van de eerste convolutielaag zijn ontworpen om kleurkanten en chromatische gradiënten te extraheren die geen betekenis hebben in thermische gegevens. Het model moet worden aangepast of opnieuw getraind om de relevante kenmerken in thermische beeldvorming te extraheren, die primair thermische contrastgradiënten zijn, emissiviteitsgrenzen tussen materialen en temporele stralingsveranderingen veroorzaakt door beweging of warmteoverdracht.

Ongekoelde microbolometerdetectoren, gebruikt in de meeste tactische en luchtwaarts-gemonteerde edge-thermische sensoren, werken op omgevingstemperatuur en meten de verandering in elektrische weerstand van elk pixelelement terwijl het infraroodstraling absorbeert. Ze zijn aanzienlijk minder gevoelig dan gekoelde fotonendetectorarrays (InSb of HgCdTe), met equivalente ruistemperatuurverschillen (NETD) van 30–80 mK versus 5–20 mK voor gekoelde sensoren, maar hun laag stroomverbruik (onder 2 W voor de detector alleen), het ontbreken van een cryogeen koelsysteem en modulekosten onder de $3.000 maken ze het dominante platform voor UAS- en grondvoertuig-gemonteerde edge-AI-implementaties. De lagere NETD stelt direct het minimale detecteerbare temperatuurcontrast in, wat op zijn beurt het maximale detectiebereik bepaalt voor een gegeven doeltype en atmosferische conditie.

Voorverwerking: niet-uniformiteitscorrectie, slechte-pixelvervanging en contrastverbetering

Ruwe microbolometer-uitvoer kan niet direct in een classificatiemodel worden ingevoerd. Drie voorverwerkingsfasen zijn verplicht voor consistente modelprestaties: niet-uniformiteitscorrectie (NUC), slechte-pixelvervanging (BPR) en adaptieve contrastverbetering. Elke fase compenseert voor een andere categorie sensorartefact.

Niet-uniformiteitscorrectie pakt de vaste-patroonruis aan die inherent is aan alle brandvlakarrays. Elk pixel in de FPA heeft een enigszins andere versterking en offsetkarakteristiek vanwege fabricagevariaties, en deze kenmerken driften langzaam met de detectortemperatuur. Zonder NUC bevat het ruwe beeld een ruimtelijk gestructureerd ruispatroon -- vaak beschreven als een "wafel"- of "plaid"-artefact -- dat stabiel genoeg is om gedeeltelijk te worden geleerd door een classificatiemodel als een valse eigenschap, waardoor het fout-positiefpercentage stijgt voor objecten waarvan de omtrek toevallig uitlijnt met het NUC-artefactpatroon. De standaard fabriekskalibrateprocedure past tweepunt-NUC toe door twee uniformtemperatuur zwartlichaambronnen te beelden en per-pixel versterkings- en offsetcorrectiecoëfficiënten te berekenen. In veldoperaties vult scènegebaseerde NUC de fabriekskalibratie aan: wanneer de sensor pantst of de scène grote uniforme gebieden bevat, wordt een lopende schatting van de vlak-veld-offset geaccumuleerd en afgetrokken van volgende frames, waardoor de thermische drift wordt gecorrigeerd die zich over tientallen minuten van gebruik ontwikkelt.

Slechte-pixelvervanging pakt detectorelementen aan die incorrect reageren -- permanent vastgekleefd op een vaste waarde, buitensporig ruis, of niet-reagerend op temperatuurveranderingen. De fabrikant levert een slechte-pixelkaart mee bij elke sensormodule. Vóór enige andere verwerking worden slechte-pixelwaarden vervangen met bilineaire interpolatie van directe buren. Voor een typische 640x512 ongekoelde FPA vallen slechte-pixelaantallen van 0,1–0,5% (320–1.600 pixels) binnen specificatie en degraderen de detectieprestaties na BPR niet materieel. Contrastverbetering met contrastbeperkte adaptieve histogramegalisatie (CLAHE) is de laatste voorverwerkingsstap: het versterkt lokaal contrast binnen ruimtelijk beperkte tegelgebieden (typisch 8x8 pixeltegels) zonder ruis globaal te versterken, waardoor subtiele thermische gradiënten aan doelgrenzen zichtbaar worden gemaakt voor zowel menselijke operators als convolutionele feature-extractors.

CNN-architecturen voor thermische classificatie: enkelvoudige-kanaaladaptaties

Het aanpassen van een voorgetraind CNN voor enkelvoudige-kanaal thermische invoer is een goed bestudeerd probleem met drie gevestigde benaderingen, elk met een andere nauwkeurigheid-trainingskosten-afweging. De eenvoudigste benadering repliceert het enkelvoudige thermische kanaal naar drie identieke vlakken, waardoor het voorgetrainde model kan worden gebruikt zonder enige architectuurwijziging. Dit werkt matig goed voor grove classificatietaken, maar presteert slecht wanneer thermisch-specifieke textuurkenmerken er toe doen, omdat de eerste-laagfilters beperkt zijn tot het extraheren van redundante representaties over drie identieke vlakken in plaats van te specialiseren naar thermisch contrast.

De tweede en algemeen aanbevolen benadering vervangt de eerste convolutielaag door een nieuwe enkelvoudige-kanaallaag terwijl alle volgende voorgetrainde gewichten worden behouden. De nieuwe eerste laag wordt geïnitialiseerd vanuit het gemiddelde van de drie voorgetrainde invoerkanaalgewichten, wat een redelijke prior biedt voor de eerste-laagfilterresponsen en de hoeveelheid thermisch-domein trainingsgegevens die nodig zijn voor fijnafstemming tot acceptabele nauwkeurigheid aanzienlijk vermindert. Experimenten op militaire thermische datasets tonen consistent 2–5% nauwkeurigheidsverbetering ten opzichte van de kanaalreplicatiebenadering bij fijnafstemming op dezelfde dataset. De derde benadering traint volledig opnieuw op een thermisch-specifieke dataset, wat de hoogste domeinspecifieke nauwkeurigheid bereikt maar aanzienlijk meer gelabelde thermische gegevens vereist (typisch 50.000 of meer geannoteerde voorbeelden over alle doelklassen) om onderpassende te vermijden. Voor militaire thermische classificatie, waarbij gelabelde gegevens duur zijn te verkrijgen en vaak exportgecontroleerd zijn, is transferleren van de tweede benadering de praktische standaard.

Architectuurschaal is van groot belang voor edge-implementatie. Een volledig voor thermische invoer aangepast ResNet-50 bereikt hoge classificatienauwkeurigheid maar vereist 25 MB modelgewichten en 4 GFLOPS per inferentiestap bij 640x512-resolutie -- onhaalbaar voor een realtime 30 Hz-pipeline op een Jetson Orin Nano bij onder 15 W. MobileNetV3-Small aangepast voor enkelvoudige-kanaalinvoer reduceert dit tot 2,5 MB en 56 MFLOPS, comfortabel passend binnen het rekenbudget terwijl competitieve nauwkeurigheid op standaard thermische classificatiebenchmarks wordt behouden. Dezelfde architectuurbeperkingen die automatische doelherkenning aan de rand bepalen zijn hier van toepassing: modelselectie is een gezamenlijke optimalisatie van nauwkeurigheid, latentie, geheugenvoetafdruk en energieverbruik in plaats van nauwkeurigheid alleen.

Kleine-doeldetectie in thermische beeldvorming: uitdagingen in een omgeving met lage SNR

Wanneer een persoon of voertuig op grote afstand wordt waargenomen -- buiten 2 km voor een typische ongekoelde sensor met een gemiddelde brandpuntsafstand -- beslaat het doel slechts 2–8 pixels in de FPA. Op deze schaal werken standaard objectdetectiekaders die afhankelijk zijn van ruimtelijke feature-hiërarchieën (YOLO-familie detectoren, Faster R-CNN) niet meer betrouwbaar. Het receptieve veld van diepere convolutielagen beslaat honderden pixels; een 4-pixel doel draagt bijna geen discriminerend signaal bij aan die lagen. Effectieve kleine-doeldetectie vereist een volledig andere detectiestrategie die werkt op pixel- en patchschaal vóór enige ruimtelijke downsampling.

De dominante benadering voor kleine-doeldetectie in LWIR-beeldvorming is de infraroodsearch-and-track (IRST) pipeline, die achtergrondonderdrukking combineert met temporele accumulatie. Achtergrondonderdrukking gebruikt een top-hat morfologische transformatie met een structurerend element iets groter dan de verwachte doelvoetafdruk om uitgebreide achtergrondstructuur af te trekken terwijl punt-achtige of kleine-voetafdruk-doelen worden bewaard. Het residu na achtergrondaftrekking bevat kandidaat-doelblobs bij signaal-clutter-verhoudingen tot slechts 1,5 dB, waarboven betrouwbare enkelvoudige-frame detectie fysiek onmogelijk is gegeven de sensor-NETD. Temporele accumulatie -- het integreren van bewijs over 5–20 frames langs een voorspelde baan -- verlengt de effectieve detectiedrempel door gebruik te maken van doelbeweging-coherentie, waardoor detectie van doelen mogelijk wordt die in elk afzonderlijk frame onzichtbaar zouden zijn. Track-before-detect-kaders formaliseren deze accumulatie: ze onderhouden een reeks kandidaat-trackhypothesen en scoren elke hypothese tegen inkomende framegegevens zonder ooit een enkelvoudige-frame detectie te declareren, en committeren pas aan een bevestigde track wanneer het geaccumuleerde bewijs een drempel overschrijdt.

Thermische detecties fuseren met EO- en radartracks

Geen enkele sensormodaliteit is voldoende voor betrouwbare classificatie en tracking onder alle operationele omstandigheden. Thermische sensoren degraderen bij regen en zware mist (waterdamp absorbeert LWIR efficiënt), verliezen doelcontrast wanneer achtergrond- en doeltemperaturen gelijkwaardig worden (thermische oversteek overdag), en kunnen geen fijnkorrelige visuele kenmerken oplossen die platformtype-identificatie mogelijk maken. Zichtbaarband-EO-sensoren falen 's nachts en in rook. Radar biedt langeafstandsdetectie en snelheidsmeting maar mist de ruimtelijke resolutie om doeltype te classificeren op relevante tactische afstanden zonder aanvullende referentiegegevens. Multi-sensorfusie op trackniveau combineert de complementaire sterke punten van elke modaliteit tot een robuustere en informatievere track dan welke sensor afzonderlijk biedt.

Tracknivaaufusie, in plaats van pixelniveau-beeldfusie, is de architectuur die wordt gebruikt in geïmplementeerde militaire ISR-systemen omdat het rekenkundig haalbaar is op edge-hardware en robuust is voor hiaten in sensorsbeschikbaarheid. Elke sensor produceert een onafhankelijke detectiestroom die wordt omgezet naar een gemeenschappelijke trackrepresentatie: een toestandsvector (positie, snelheid, koers), een covariantiematrix die schattingsonzekerheid codeert, een klasselabel met betrouwbaarheid en een sensor-type-tag. Een multi-sensorassociatiepoort koppelt nieuwe detecties van elke sensor aan bestaande tracks met behulp van Mahalanobis-afstand, waarbij detecties worden uitgesloten die statistisch inconsistent zijn met enige bestaande trackstatus. Wanneer een thermische detectie en een EO-detectie binnen hetzelfde tijdvenster aan dezelfde track worden geassocieerd, past de gefuseerde status een covariantiegewogen combinatie toe: de sensor met kleinere positieonzekerheid draagt proportioneel meer bij aan de gefuseerde schatting. De klasselabelfusie gebruikt een naïeve Bayes-combinatie van per-sensor klaskansen, conditioneel op onafhankelijkheid tussen sensormodaliteiten -- een aanname die in de praktijk goed genoeg geldt wanneer sensoren verschillen in fysisch meetprincipe. Het resultaat wordt in detail beschreven in onze behandeling van multimodale fusie AI voor ISR-sensorstromen.

Radar draagt het meest bij aan de fusie-architectuur door zijn snelheidsmetingsprecisie: Doppler-capabele radars kunnen de radiale doelsnelheid oplossen tot op 0,1 m/s, wat veel strakker is dan de snelheidsschatting die kan worden afgeleid uit thermische track-verplaatsing over frames. Deze snelheidsprior verbetert aanzienlijk de trackassociatie tijdens occlusieperioden wanneer noch de thermische noch de EO-sensor een geldige detectie heeft, door de tracker in staat te stellen de volgende detectielocatie te voorspellen op basis van de radar-afgeleide snelheid. Op platforms waar geen radar beschikbaar is, vervangt IMU-ondersteunde trackvoorspelling met behulp van platformbewegingscompensatie van de draagstels traagheidsnavi gatiesysteem de externe snelheidsmeting gedeeltelijk wanneer de doelkinematica relatief voorspelbaar is.

Edge-implementatie: kwantisatiebeperkingen voor thermische modellen

Het inzetten van een thermisch classificatiemodel op een UAV-payload of voertuiggemonteerd edge-rekenplatform legt harde beperkingen op aan modelgrootte, inferentielatentie en stroomverbruik die niet gelden in cloud- of serveromgevingen. Het standaard implementatiepad is INT8 post-training kwantisatie gevolgd door compilatie naar een hardware-geoptimaliseerde inferentieruntime zoals TensorRT (voor NVIDIA Jetson), ARMNN (voor Cortex-A klasse processors) of TFLite met XNNPACK (voor algemene ARM-hardware). INT8-kwantisatie vervangt 32-bits drijvende-komma-gewichten en activaties door 8-bits gehele getallen, wat modelgrootte met 4x verkleint en inferentietijd met 2–4x op hardware met INT8-acceleratorondersteuning, met een typische nauwkeurigheidsboete van 1–3% op classificatienauwkeurigheidsmetrieken.

Thermische modellen zijn enigszins toleranter voor kwantisatie dan RGB-modellen omdat het invoerdynamisch bereik smaller is: na voorverwerking beslaat een thermisch frame een relatief uniform bereik van pixelwaarden zonder de extreme uitbijterwaarden die RGB-beelden kunnen vertonen (directe speculaire reflecties, verzadigde hoogtepunten). Deze smallere invoerverdeling betekent dat de kwantisatieschaalfactoren berekend tijdens kalibratie nauwkeuriger zijn, en het nauwkeurigheidsverlies van INT8-kwantisatie voor thermische classificatie is vaak aan de lage kant van het typische bereik. Voor modellen die aandachtsmechanismen gebruiken -- zoals kleine Vision Transformer-varianten -- degradeert INT8-kwantisatie softmax- en normalisatiebewerkingen ernstiger dan convoluties, waardoor gemengde-precisiekwantisatie vereist is (INT8 voor convoluties, FP16 voor aandachtslagen) om nauwkeurigheid binnen 2% van de volledigeprexcisiebasislijn te behouden. Dezelfde kwantisatieworkflow die wordt gebruikt voor EO-camera ISR-drone-payloads is van toepassing op thermische payloads met de voorverwerkingsfase aangepast voor enkelvoudige-kanaal NUC-uitvoer.

Geheugenbandbreedte is een vaak onderschatte knelpunt voor thermische edge-implementatie. Een 640x512 thermisch frame bij 16-bits diepte is 655 KB per frame. Bij 30 Hz is de ruwe gegevenssnelheid ongeveer 20 MB/s. Op een Jetson Orin Nano met een uniforme geheugenarchitectuur kunnen concurrerende eisen van de vastlegstuurprogramma, voorverwerkingspipeline, modelinferentie en trackbeheer de beschikbare geheugenbandbreedte verzadigen voordat de rekencapaciteit is uitgeput. Het profileren van gebruik van geheugenbandbreedte, niet alleen GPU-bezetting, is noodzakelijk voor het identificeren van het werkelijke doorvoerplafond en het bepalen of framesnelheidsreductie, ruimtelijke subsampling of asynchrone pipeline-fasering de juiste beperking is.

Evaluatiedatasets en prestatiemetrieken voor militaire thermische AI

Het valideren van een thermisch classificatiemodel voor militair gebruik vereist datasets en metrieken die operationele omstandigheden weerspiegelen in plaats van de gecontroleerde laboratoriumomgevingen die gangbaar zijn in academische benchmarks. De relevante prestatiedimensies zijn detectiekans (Pd) bij een doelvals-alarmpercentage (FAR), niet de top-1-nauwkeurigheid die bekend is van ImageNet-evaluatie. Een model dat 95% top-1-nauwkeurigheid bereikt op een gebalanceerde testset kan nog steeds een FAR van 10 per uur hebben op een live thermische stroom als de trainingsset de diversiteit van echte achtergrondclutter-omstandigheden ondervertegenwoordigt.

Openbaar beschikbare datasets voor militaire thermische AI omvatten de KAIST multispectrale voetgangersgegevensset (gekoppeld LWIR en RGB, 95.000 geannoteerde frames, voetgangersgericht), de FLIR ADAS-gegevensset (rijscenario's, niet geoptimaliseerd voor militaire doelen) en de LITIV-gegevensset (binnen- en buitenshuis multimodale sequenties). Voor voertuig- en wapenclassificatie specifiek zijn operationele militaire datasets geclassificeerd en niet openbaar beschikbaar; onderzoeksgroepen gebruiken typisch synthetisch gegenereerde thermische beelden van op fysica gebaseerde simulatietools (DI-Guy, CAMEO-SIM of VIRSuite) om beperkte realgegevensverzamelingen aan te vullen. Simulatie-naar-realiteitoverdrachtsgetrouwheid -- de mate waarin modellen getraind op synthetische thermische gegevens generaliseren naar echte sensoruitvoer -- is een actief onderzoeksgebied; huidige beste praktijk combineert synthetisch voortrainen met fijnafstemming op een kleinere reelgegevensset met behulp van domeinadaptatietechnieken zoals adversariale feature-uitlijning.

De standaard rapportage-metrieken voor militaire thermische detectiesystemen zijn de ontvanger-werkende-karakteristiek (ROC) curve met Pd uitgezet tegen FAR uitgedrukt in valse alarmen per tijdseenheid op een live stroom, de F2-score (die recall twee keer zo zwaar weegt als precisie, passend voor dreigingsdetectie waarbij gemiste detecties kostbaarder zijn dan valse alarmen), en bereikafhankelijke Pd-curves die detectiekans karakteriseren als functie van doel-tot-sensorbereik. Voor tracknivaaufusiesystemen volgen aanvullende metrieken de trackinitiatielatentie (frames van eerste doelverschijning tot bevestigde track), trackcontinuïteit onder occlusie, en de nauwkeurigheid van gefuseerde positieschattingen vergeleken met grondwaarheid van GPS-geïnstrumenteerde testvoetrtuigen.