Clasificarea imaginilor termice la margine: procesarea senzorilor IR pentru apărare

Imagistica în infraroșu termic le oferă operatorilor ceea ce camerele în spectrul vizibil nu pot: capacitate de detecție persistentă prin întuneric, fum, praf și camuflaj ușor. Un motor de vehicul cald după o operațiune recentă strălucește pe un câmp rece la ora 3 dimineața. Un dismount care traversează un teren deschis radiază o siluetă clară la 2 km în condiții care orbesc orice cameră EO. Fizica emisiei termice este prin natura sa discriminatorie -- țintele care generează sau rețin căldura se evidențiază față de mediul înconjurător în moduri pe care nicio cantitate de camuflaj optic nu le poate suprima complet. Implementarea unui model de clasificare pentru a procesa aceste imagini la margine, pe platforma senzorului mai degrabă decât pe un server la distanță, este ceea ce transformă o cameră termică într-un strat de detecție autonom. Acest articol acoperă fizica senzorilor, cerințele de preprocesare, adaptările CNN pentru intrare termică pe un singur canal, provocările specifice ale detecției țintelor mici, fuziunea multi-senzor, constrângerile de cuantizare și cadrele de evaluare utilizate pentru validarea AI termic militar.

Fizica senzorilor termici și de ce IR diferă de imagistica în spectrul vizibil

Camerele termice în infraroșu nu captează lumina ambientală reflectată. Ele măsoară radiația în infraroșu cu undă lungă (LWIR, 8–14 µm) sau radiația în infraroșu cu undă medie (MWIR, 3–5 µm) pe care obiectele o emit în funcție de temperatura suprafeței și emisivitatatea lor. Legea Stefan-Boltzmann guvernează puterea totală radiată, dar în practică cantitatea relevantă pentru detecția țintelor este radianța diferențială dintre țintă și fundalul local -- contrastul aparent de temperatură. Un corp uman la 37°C radiază aproximativ 100 W de putere în infraroșu în mod continuu. Compartimentul motorului unui tanc după 30 de minute de funcționare poate susține un contrast de 20–40 K față de ambiant. Aceste semnături termice există indiferent de condițiile de iluminare, făcând din senzorii LWIR și MWIR modalitatea principală de detecție pasivă pentru ISR militar noaptea.

Natura pe un singur canal a imaginilor termice este cea mai importantă diferență față de intrarea în spectrul vizibil pentru proiectarea pipeline-ului AI. O cameră RGB produce trei canale corelate care codifică culoarea, iar marea majoritate a greutăților CNN preantrenate -- ResNet, MobileNet, EfficientNet și derivatele lor -- au fost antrenate pe date ImageNet cu trei canale. Aplicarea acestor modele direct la un cadru termic pe un singur canal, tratându-l pur și simplu ca pe unul din trei planuri de intrare identice, produce rezultate suboptime: filtrele primului strat convoluțional sunt proiectate să extragă margini de culoare și gradienți cromatici care nu au nicio semnificație în datele termice. Modelul trebuie adaptat sau reantenat pentru a extrage caracteristicile relevante din imagini termice, care sunt în primul rând gradienți de contrast termic, limite de emisivitatate între materiale și modificări de radianță temporală cauzate de mișcare sau transfer de căldură.

Detectoarele microbolometrice nerăcite, utilizate în cei mai mulți senzori termici tactici și aeropurtați de margine, funcționează la temperatura ambiantă și măsoară modificarea rezistenței electrice a fiecărui element de pixel pe măsură ce absoarbe radiația în infraroșu. Sunt semnificativ mai puțin sensibile decât matricele de detectoare de fotoni răcite (InSb sau HgCdTe), cu valori ale diferenței de temperatură echivalente cu zgomotul (NETD) de 30–80 mK față de 5–20 mK pentru senzorii răciți, dar consumul lor scăzut de energie (sub 2 W pentru detector singur), absența unui sistem de răcire criogenică și costul modulului sub 3.000 USD le fac platforma dominantă pentru implementările AI de margine montate pe UAS și vehicule terestre. NETD-ul mai scăzut setează direct contrastul de temperatură minim detectabil, care la rândul său setează distanța maximă de detecție pentru un tip de țintă și o condiție atmosferică date.

Preprocesare: corecția non-uniformității, înlocuirea pixelilor defecți și îmbunătățirea contrastului

Ieșirea brută a microbolometrului nu poate fi introdusă direct într-un model de clasificare. Trei etape de preprocesare sunt obligatorii pentru performanța consistentă a modelului: corecția non-uniformității (NUC), înlocuirea pixelilor defecți (BPR) și îmbunătățirea adaptivă a contrastului. Fiecare etapă compensează o categorie diferită de artefacte ale senzorului.

Corecția non-uniformității abordează zgomotul de tipar fix inerent tuturor matricelor de plan focal. Fiecare pixel din FPA are o caracteristică ușor diferită de câștig și offset din cauza variațiilor de fabricație, iar aceste caracteristici derivă lent cu temperatura detectorului. Fără NUC, imaginea brută conține un tipar de zgomot structurat spațial -- adesea descris ca un artefact de tip „vafă" sau „carouri" -- care este suficient de stabil pentru a fi parțial învățat de un model de clasificare ca o caracteristică falsă, crescând ratele de fals pozitiv pentru obiectele al căror contur se aliniază cu tiparul artefactului NUC. Procedura standard de calibrare din fabrică aplică NUC în două puncte prin imaginarea a două surse de corp negru cu temperatură uniformă și calcularea coeficienților de corecție a câștigului și offset-ului per pixel. În operațiunile pe teren, NUC bazată pe scenă completează calibrarea din fabrică: când senzorul execută o panoramă sau scena conține regiuni uniforme mari, o estimare rulantă a offset-ului câmpului plat este acumulată și scăzută din cadrele ulterioare, corectând deriva termică ce se dezvoltă în decursul zeci de minute de funcționare.

Înlocuirea pixelilor defecți gestionează elementele de detector care răspund incorect -- blocate permanent la o valoare fixă, excesiv de zgomotoase sau neresponsive la modificările de temperatură. Producătorul furnizează o hartă a pixelilor defecți cu fiecare modul de senzor. Înainte de orice altă procesare, valorile pixelilor defecți sunt înlocuite folosind interpolarea biliniară de la vecinii imediați. Pentru o FPA nerăcită tipică de 640x512, numărul de pixeli defecți de 0,1–0,5% (320–1.600 pixeli) se încadrează în specificații și nu degradează material performanța de detecție după BPR. Îmbunătățirea contrastului folosind egalizarea adaptivă a histogramei cu limitare a contrastului (CLAHE) este etapa finală de preprocesare: crește contrastul local în regiuni de dale spațial limitate (de obicei dale de 8x8 pixeli) fără a amplifica zgomotul global, făcând gradienții termici subtili la limitele țintei vizibili atât operatorilor umani, cât și extractorilor de caracteristici convoluționale.

Arhitecturi CNN pentru clasificarea termică: adaptări pentru un singur canal

Adaptarea unui CNN preantrenat pentru intrarea termică pe un singur canal este o problemă bine studiată cu trei abordări consacrate, fiecare cu un compromis diferit între acuratețe și costul de antrenare. Cea mai simplă abordare replică canalul termic unic în trei planuri identice, permițând utilizarea modelului preantrenat fără nicio modificare arhitecturală. Aceasta funcționează moderat bine pentru sarcinile de clasificare grosieră, dar performează slab când contează caracteristicile de textură specifice termic, deoarece filtrele primului strat sunt constrânse să extragă reprezentări redundante din trei planuri identice, nu să se specializeze pe contrast termic.

A doua abordare, în general preferată, înlocuiește primul strat convoluțional cu un strat nou pe un singur canal, menținând toate greutățile preantrenate ulterioare. Noul prim strat este inițializat din media greutăților celor trei canale de intrare preantrenate, ceea ce oferă un prior sensibil pentru răspunsurile filtrelor primului strat și reduce semnificativ cantitatea de date de antrenare din domeniu termic necesare pentru fine-tuning la o acuratețe acceptabilă. Experimentele pe seturi de date termice militare arată constant o îmbunătățire de 2–5% a acurateței față de abordarea prin replicarea canalelor când se face fine-tuning pe același set de date. A treia abordare antrenează complet de la zero pe un set de date specific termic, care atinge cea mai mare acuratețe specifică domeniului, dar necesită substanțial mai multe date termice etichetate (de obicei 50.000 sau mai multe exemple adnotate din toate clasele de ținte) pentru a evita underfitting-ul. Pentru clasificarea termică militară, unde datele etichetate sunt costisitoare de obținut și adesea supuse controlului exportului, transferul de cunoaștere din a doua abordare este standardul practic.

Scara arhitecturii contează semnificativ pentru implementarea la margine. Un ResNet-50 complet adaptat pentru intrarea termică atinge o acuratețe ridicată de clasificare, dar necesită 25 MB de greutăți ale modelului și 4 GFLOPS per trecere de inferență la rezoluție 640x512 -- infezabil pentru un pipeline în timp real la 30 Hz pe un Jetson Orin Nano la sub 15 W. MobileNetV3-Small adaptat pentru intrare pe un singur canal reduce aceasta la 2,5 MB și 56 MFLOPS, încadrându-se confortabil în bugetul de calcul, menținând în același timp o acuratețe competitivă pe reperele standard de clasificare termică. Aceleași constrângeri arhitecturale care guvernează recunoașterea automată a țintelor la margine se aplică și aici: selecția modelului este o optimizare comună a acurateței, latenței, amprentei de memorie și consumului de energie, nu a acurateței singure.

Detecția țintelor mici în imagini termice: provocările mediului cu SNR scăzut

Când o persoană sau un vehicul este observat la distanță mare -- dincolo de 2 km pentru un senzor nerăcit tipic cu o distanță focală medie -- ținta ocupă doar 2–8 pixeli în FPA. La această scară, cadrele standard de detecție a obiectelor care se bazează pe ierarhii de caracteristici spațiale (detectoare din familia YOLO, Faster R-CNN) încetează să funcționeze fiabil. Câmpul receptiv al straturilor convoluționale mai profunde acoperă sute de pixeli; o țintă de 4 pixeli contribuie cu aproape niciun semnal discriminant la acele straturi. Detecția eficientă a țintelor mici necesită o strategie de detecție complet diferită care operează la scara pixelilor și patch-urilor înainte de orice subsamplare spațială.

Abordarea dominantă pentru detecția țintelor mici în imagini LWIR este pipeline-ul de căutare și urmărire în infraroșu (IRST), care combină suprimarea fondului cu acumularea temporală. Suprimarea fondului folosește o transformare morfologică top-hat cu un element de structurare ușor mai mare decât amprenta așteptată a țintei pentru a scădea structura extinsă a fondului, menținând în același timp țintele punctiforme sau cu amprentă mică. Reziduul după scăderea fondului conține blob-uri candidate de ținte la raporturi semnal-bruiaj de până la 1,5 dB, sub care detecția fiabilă pe un singur cadru este fizic imposibilă dat NETD-ul senzorului. Acumularea temporală -- integrarea dovezilor pe 5–20 cadre de-a lungul traiectoriei prezise -- extinde pragul efectiv de detecție prin exploatarea coerenței mișcării țintei, permițând detecția țintelor care ar fi invizibile în orice cadru individual. Cadrele track-before-detect formalizează această acumulare: mențin un set de ipoteze de pistă candidate și scorează fiecare ipoteză față de datele cadrelor primite fără a declara niciodată o detecție pe un singur cadru, angajându-se la o pistă confirmată doar când dovezile acumulate depășesc un prag.

Fuzionarea detecțiilor termice cu datele de pistă EO și radar

Nicio modalitate singulară de senzor nu este suficientă pentru clasificare și urmărire fiabile în toate condițiile operaționale. Senzorii termici se degradează în ploaie și ceață densă (vaporii de apă absorb eficient LWIR), pierd contrastul țintei când temperaturile fondului și ale țintei se egalizează (crossover termic la mijlocul zilei) și nu pot rezolva caracteristici vizuale fine care permit identificarea tipului de platformă. Senzorii EO în spectrul vizibil eșuează noaptea și în fum. Radarul oferă detecție la distanță mare și măsurarea vitezei, dar îi lipsește rezoluția spațială pentru a clasifica tipul de țintă la distanțe tactice relevante fără date de referință suplimentare. Fuziunea multi-senzor la nivel de pistă combină punctele forte complementare ale fiecărei modalități într-o pistă mai robustă și informativă decât oricare senzor furnizează singur.

Fuziunea la nivel de pistă, mai degrabă decât fuziunea imaginilor la nivel de pixel, este arhitectura utilizată în sistemele ISR militare implementate deoarece este calculabilă pe hardware de margine și robustă la lacunele de disponibilitate ale senzorilor. Fiecare senzor produce un flux independent de detecții care este convertit la o reprezentare comună de pistă: un vector de stare (poziție, viteză, direcție), o matrice de covarianță care codifică incertitudinea estimării, o etichetă de clasă cu încredere și o etichetă de tip senzor. O poartă de asociere multi-senzor potrivește noile detecții de la fiecare senzor cu pistele existente folosind distanța Mahalanobis, eliminând detecțiile incompatibile statistic cu orice stare de pistă existentă. Când o detecție termică și o detecție EO sunt asociate cu aceeași pistă în același interval de timp, starea fuzionată aplică o combinație ponderată prin covarianță: senzorul cu incertitudine de poziție mai mică contribuie proporțional mai mult la estimarea fuzionată. Fuziunea etichetei de clasă folosește o combinație Bayes naivă a probabilităților de clasă per senzor, condiționate de independența între modalitățile senzorului -- o presupunere care se menține suficient de bine în practică când senzorii diferă prin principiul de măsurare fizică. Rezultatul este descris în detaliu în acoperirea noastră a fuziunii AI multimodale pentru fluxurile de senzori ISR.

Radarul contribuie cel mai mult la arhitectura de fuziune prin precizia sa de măsurare a vitezei: radarele capabile Doppler pot rezolva viteza radială a țintei la 0,1 m/s, ceea ce este mult mai precis decât estimarea de viteză derivabilă din deplasarea pistei termice între cadre. Acest prior de viteză îmbunătățește substanțial asocierea pistelor în perioadele de ocultare când nici senzorul termic, nici EO nu au o detecție validă, permițând tracker-ului să prezică locația următoarei detecții din viteza derivată prin radar. Pe platformele unde nu este disponibil un radar, predicția pistei asistată de IMU folosind compensarea mișcării platformei din sistemul de navigație inerțial al vehiculului înlocuiește parțial măsurarea vitezei externe când cinematica țintei este relativ predictibilă.

Implementarea la margine: constrângerile de cuantizare pe modelele termice

Implementarea unui model de clasificare termică pe o sarcină utilă UAV sau o placă de calcul de margine montată pe vehicul impune constrângeri stricte asupra dimensiunii modelului, latenței de inferență și consumului de energie care nu se aplică în mediile cloud sau de server. Calea standard de implementare este cuantizarea post-antrenare INT8 urmată de compilarea la un runtime de inferență optimizat hardware, cum ar fi TensorRT (pentru NVIDIA Jetson), ARMNN (pentru procesoare de clasă Cortex-A) sau TFLite cu XNNPACK (pentru hardware ARM general). Cuantizarea INT8 înlocuiește greutățile și activările în virgulă mobilă pe 32 de biți cu întregi pe 8 biți, reducând dimensiunea modelului de 4 ori și timpul de inferență de 2–4 ori pe hardware cu suport accelerator INT8, cu o penalitate tipică de acuratețe de 1–3% pe metricile de acuratețe a clasificării.

Modelele termice sunt oarecum mai tolerante la cuantizare decât modelele RGB deoarece intervalul dinamic de intrare este mai restrâns: după preprocesare, un cadru termic ocupă un interval relativ uniform de valori de pixeli fără valorile extreme aberante pe care le pot prezenta imaginile RGB (reflexii speculare directe, evidențieri saturate). Această distribuție mai restrânsă a intrării înseamnă că factorii de scală ai cuantizării calculați în timpul calibrării sunt mai preciși, iar pierderea de acuratețe din cuantizarea INT8 pentru clasificarea termică se situează adesea la capătul inferior al intervalului tipic. Pentru modelele care folosesc mecanisme de atenție -- cum ar fi variantele mici ale Vision Transformer -- cuantizarea INT8 degradează operațiunile softmax și de normalizare mai sever decât afectează convoluțiile, necesitând cuantizare cu precizie mixtă (INT8 pentru convoluții, FP16 pentru straturile de atenție) pentru a păstra acuratețea în limita a 2% față de valoarea de referință la precizie completă. Același flux de lucru de cuantizare utilizat pentru sarcinile utile de drone ISR cu cameră EO se aplică sarcinilor utile termice cu etapa de preprocesare adaptată pentru ieșirea NUC pe un singur canal.

Lățimea de bandă a memoriei este un blocaj frecvent subestimat pentru implementarea termică la margine. Un cadru termic de 640x512 la adâncime de 16 biți reprezintă 655 KB per cadru. La 30 Hz, rata datelor brute este de aproximativ 20 MB/s. Pe un Jetson Orin Nano cu o arhitectură de memorie unificată, cerințele concurente de la driverul de captură, pipeline-ul de preprocesare, inferența modelului și gestionarea pistelor pot satura lățimea de bandă a memoriei disponibile înainte ca capacitatea de calcul să fie epuizată. Profilarea utilizării lățimii de bandă a memoriei, nu doar a ocupării GPU, este necesară pentru identificarea plafonului real de throughput și determinarea dacă reducerea ratei de cadre, subsamplarea spațială sau etaparea asincronă a pipeline-ului este măsura de atenuare adecvată.

Seturi de date de evaluare și metrici de performanță pentru AI termic militar

Validarea unui model de clasificare termică pentru uz militar necesită seturi de date și metrici care reflectă condițiile operaționale, nu setările controlate de laborator comune în reperele academice. Dimensiunile de performanță relevante sunt probabilitatea de detecție (Pd) la o rată de alarme false (FAR) dată, nu acuratețea top-1 familiară din evaluarea ImageNet. Un model care atinge 95% acuratețe top-1 pe un set de test echilibrat poate totuși să aibă o FAR de 10 pe oră pe un flux termic live dacă setul de antrenare subreprezentat diversitatea condițiilor reale de bruiaj al fondului.

Seturile de date disponibile public pentru AI termic militar includ setul de date de pietoni multispectral KAIST (LWIR și RGB perechi, 95.000 cadre adnotate, orientat spre pietoni), setul de date FLIR ADAS (scenarii de conducere, neoptimizat pentru ținte militare) și setul de date LITIV (secvențe multimodale în interior și exterior). Pentru clasificarea vehiculelor și armelor în mod specific, seturile de date militare operaționale sunt clasificate și nu sunt disponibile public; grupurile de cercetare folosesc de obicei imagini termice generate sintetic din instrumente de simulare bazate pe fizică (DI-Guy, CAMEO-SIM sau VIRSuite) pentru a completa colecțiile limitate de date reale. Fidelitatea transferului de la simulare la real -- gradul în care modelele antrenate pe date termice sintetice se generalizează la ieșirea reală a senzorului -- este un domeniu de cercetare activ; practica actuală combină preantrenarea sintetică cu fine-tuning pe un set mai mic de date reale folosind tehnici de adaptare a domeniului, cum ar fi alinierea adversarială a caracteristicilor.

Metricile standard de raportare pentru sistemele militare de detecție termică sunt curba caracteristicii de operare a receptorului (ROC) cu Pd reprezentat față de FAR exprimat în alarme false pe unitate de timp pe un flux live, scorul F2 (care ponderează recall-ul de două ori mai mult decât precizia, adecvat pentru detecția amenințărilor unde detecțiile ratate sunt mai costisitoare decât alarmele false) și curbele Pd dependente de distanță care caracterizează probabilitatea de detecție în funcție de distanța țintă-senzor. Pentru sistemele de fuziune la nivel de pistă, metricile suplimentare urmăresc latența de inițiere a pistei (cadre de la prima apariție a țintei până la pistă confirmată), continuitatea pistei sub ocultare și acuratețea estimărilor de poziție fuzionate comparativ cu adevărul de fond de la vehiculele de test instrumentate GPS.