Terminen kuvantunnistus reunalaskennassa: IR-anturiprosessointi puolustuskäyttöön

Terminen infrapunakuvaus antaa operaattoreille sen, mitä näkyvän valon kamerat eivät voi tarjota: jatkuvan havaitsemiskyvyn pimeässä, savussa, pölyn seassa ja kevyen naamiointiverkon läpi. Äskettäin käytetty ajoneuvon moottori hehkuu kylmää peltoa vasten kello 3 yöllä. Avoimella maastolla liikkuva jalkaväkisotilas säteilee selkeän siluetin 2 km:n etäisyydeltä olosuhteissa, jotka sokeuttavat jokaisen EO-kameran. Termisen emission fysiikka on luonteeltaan erottelevaa -- kohteet, jotka tuottavat tai pidättävät lämpöä, erottuvat ympäristöstään tavalla, jota mikään optinen naamiointitoimenpide ei voi täysin tukahduttaa. Luokittelumallin sijoittaminen käsittelemään tätä kuvantamista reunaan, anturialustalle eikä etäpalvelimelle, on se, mikä tekee termisestä kamerasta autonomisen havaitsemiskerroksen. Tässä artikkelissa käsitellään anturifysiikkaa, esikäsittelyvaatimuksia, CNN-sovituksia yksikanavaiselle termiselle syötteelle, pienten kohteiden havaitsemisen erityishaasteita, monianturifuusiota, kvantisointirajoituksia ja sotilaallisen termisen tekoälyn validointiin käytettäviä arviointikehyksiä.

Termisen anturin fysiikka ja miksi IR eroaa näkyvän valon kuvantamisesta

Termiset infrapunakamerat eivät tallenna heijastunutta ympäristövalaistusta. Ne mittaavat pitkäaaltista infrapunasäteilyä (LWIR, 8–14 µm) tai keskiaaltoista infrapunasäteilyä (MWIR, 3–5 µm), jonka esineet emittoivat pintajallämpötilansa ja emissiviteettinsä funktiona. Stefan-Boltzmannin laki ohjaa kokonaissäteilyä, mutta käytännössä kohteentunnistuksen kannalta merkityksellinen suure on kohteen ja paikallisen taustan välinen diferentiaaliradiointi -- näennäinen lämpötilakontrasti. Ihmiskeho 37°C:ssa säteilee jatkuvasti noin 100 W infrapunasäteilyä. Panssarivaunun moottorilokero 30 minuutin käytön jälkeen voi ylläpitää 20–40 K:n kontrastin ympäristöön nähden. Nämä termiset signatuurit ovat olemassa valaistumisesta riippumatta, mikä tekee LWIR- ja MWIR-antureista ensisijaisen passiivisen havaitsemismodaliteetin sotilaalliseen ISR-käyttöön yöllä.

Termisen kuvantamisen yksikanavainen luonne on tärkein ero näkyvän valon syötteeseen verrattuna tekoälyputkiston suunnittelussa. RGB-kamera tuottaa kolme korreloitua kanavaa, jotka koodaavat värin, ja valtaosa esiopetelluista CNN-painoista -- ResNet, MobileNet, EfficientNet ja niiden johdannaiset -- on koulutettu kolmikanavaisella ImageNet-datalla. Näiden mallien soveltaminen suoraan yksikanavaiseen termiseen kehykseen käsittelemällä sitä yhtä kolmesta identtisestä syötetasosta tuottaa heikkoja tuloksia: ensimmäisen konvoluutiokerroksen opitut suodattimet on suunniteltu erottamaan värireunat ja kromaattiset gradientit, joilla ei ole merkitystä termisissä tiedoissa. Malli täytyy sovittaa tai kouluttaa uudelleen uudelleen termisestä kuvantamisesta relevanttien piirteiden erottamiseksi, joita ovat pääasiassa termiset kontradigradientit, emissiviteettirajat materiaalien välillä ja liikkeen tai lämmönsiirron aiheuttamat ajalliset radioinnin muutokset.

Jäähdyttämättömät mikrobolometrianturit, joita käytetään useimmissa taktisissa ja ilmailun reunalaskennan termisessä antureissa, toimivat ympäristölämpötilassa ja mittaavat jokaisen pikselielementin sähköisen vastuksen muutosta sen absorboitua infrapunasäteilyä. Ne ovat huomattavasti vähemmän herkkiä kuin jäähdytetyt fotonianturimatriisit (InSb tai HgCdTe), joiden kohinavastainen lämpötilaero (NETD) on 30–80 mK verrattuna 5–20 mK:iin jäähdytetyissä antureissa, mutta niiden alhainen virrankulutus (alle 2 W pelkälle anturille), kryogeenisen jäähdytysjärjestelmän puuttuminen ja alle 3 000 dollarin moduulikustannus tekevät niistä hallitsevan alustan UAS- ja maalla ajoneuvoon asennettavan reunalaskennan tekoälykäyttöönotoissa. Alhaisempi NETD asettaa suoraan vähimmäishavaittavan lämpötilaeron, joka puolestaan asettaa enimmäishavaitsemisetäisyyden tietylle kohdetyypille ja ilmakehäolosuhteelle.

Esikäsittely: epätasaisuuskorjaus, viallisten pikselien korvaus ja kontrastinparannus

Raakalähtö mikrobolometristä ei voida syöttää suoraan luokittelumalliin. Kolme esikäsittelyvaihetta on pakollisia johdonmukaisen mallisuorituskyvyn saavuttamiseksi: epätasaisuuskorjaus (NUC), viallisten pikselien korvaus (BPR) ja adaptiivinen kontrastinparannus. Jokainen vaihe kompensoi erilaista anturiartifaktaategoriaa.

Epätasaisuuskorjaus käsittelee kaikkiin polttotasoarrayihin luonnostaan kuuluvaa kiinteää kuviokohinaa. Jokaisella FPA:n pikselillä on hieman erilainen vahvistus- ja siirto-ominaisuus valmistusvaihteluiden vuoksi, ja nämä ominaisuudet ajautuvat hitaasti anturilämpötilan mukana. Ilman NUC:ia raakakuva sisältää alueellisesti rakenteisen kohinakuvion -- usein kuvattu "vohveliksi" tai "ruudukkoartefaktiksi" -- joka on riittävän vakaa, että luokittelumalli voi osittain oppia sen vääränä piirteenä nostaen virheellisten positiivisten havaintojen määrää esineille, joiden ääriviiva sattuu kohdistumaan NUC-artefaktakuvion kanssa. Vakiomuotoinen tehtaankalibrointimenetelmä soveltaa kaksipisteistä NUC:ia kuvaamalla kahta tasalämpötilaista mustakappaletta ja laskemalla pikselikohtaiset vahvistus- ja siirtokorjauskertoimet. Kenttäkäytössä kohtauspohjainen NUC täydentää tehtaankalibrointia: kun anturi panoroi tai kuvauskohde sisältää suuria yhtenäisiä alueita, laakean kentän siirron juokseva arvio kertyy ja vähennetään myöhemmistä kehyksistä korjaten kymmeniä minuutteja käytön aikana kehittyvän termisen ajautumisen.

Viallisten pikselien korvaus käsittelee anturielementtejä, jotka reagoivat virheellisesti -- pysyvästi juuttuneita kiinteään arvoon, liiallisen kohinaisia tai reagoimattomia lämpötilamuutoksiin. Valmistaja toimittaa viallisten pikselien kartan jokaisen anturimoduulin yhteydessä. Ennen muuta käsittelyä viallisten pikselien arvot korvataan bilineaarisella interpoloinnilla välittömistä naapureista. Tyypilliselle 640x512 jäähdyttämättömälle FPA:lle viallisten pikselien määrät 0,1–0,5% (320–1 600 pikseliä) ovat spesifikaation mukaisia eivätkä heikennä havaitsemissuorituskykyä olennaisesti BPR:n jälkeen. Kontrastinparannus käyttäen kontrastirajoitettua adaptiivista histogrammin tasausta (CLAHE) on viimeinen esikäsittelyvaihe: se vahvistaa paikallista kontrastia alueellisesti rajoitetuissa laattavyöhykkeissä (tyypillisesti 8x8 pikselilaattoja) ilman kohinan maailmanlaajuista vahvistamista, tehden hienovaraiset termiset gradientit kohteen rajoilla näkyviksi sekä ihmisoperaattoreille että konvolutiivisille piirteiden erottimille.

CNN-arkkitehtuurit termiseen luokitteluun: yksikanavaiset sovitukset

Esiopetelun CNN:n sovittaminen yksikanavaiselle termiselle syötteelle on hyvin tutkittu ongelma, johon on kolme vakiintunutta lähestymistapaa, joista jokaisella on erilainen tarkkuus-koulutuskustannus-kompromissi. Yksinkertaisin lähestymistapa monistaa yksittäisen termisen kanavan kolmeksi identtiseksi tasoksi, mikä mahdollistaa esiopetelun mallin käytön ilman arkkitehtuurimuutosta. Tämä toimii kohtuullisen hyvin karkeisiin luokittelutehtäviin, mutta suoriutuu heikosti kun termisillä tekstuuripiirteillä on merkitystä, koska ensimmäisen kerroksen suodattimet on rajoitettu ottamaan redundantteja esityksiä kolmesta identtisestä tasosta erikoistumisen sijaan termiseen kontrastiin.

Toinen ja yleisesti suositeltavampi lähestymistapa korvaa ensimmäisen konvoluutiokerroksen uudella yksikanavaisella kerroksella säilyttäen kaikki myöhemmät esiopetelut painot. Uusi ensimmäinen kerros alustetaan kolmen esiopetelun syötekanavan painojen keskiarvosta, mikä tarjoaa järkevän ennakkokäsityksen ensimmäisen kerroksen suodatinvasteille ja vähentää merkittävästi termisellä toimialalla tarvittavan koulutusaineiston määrää hyväksyttävän tarkkuuden saavuttamiseksi hienosäädöllä. Kokeet sotilaallisilla termisillä aineistoilla osoittavat johdonmukaisesti 2–5 prosenttiyksikön tarkkuusparannuksen kanavamonistamislähestymistapaan verrattuna samalla aineistolla hienosäädettynä. Kolmas lähestymistapa kouluttaa kokonaan alusta alkaen termisellä toimialakohtaisella aineistolla, mikä saavuttaa korkeimman toimialakohtaisen tarkkuuden, mutta vaatii huomattavasti enemmän merkittyjä termisiä tietoja (tyypillisesti 50 000 tai enemmän merkittyjä esimerkkejä kaikissa kohdekategorioissa) ali-sovittamisen välttämiseksi. Sotilaallisessa termisessä luokittelussa, jossa merkityn datan hankkiminen on kallista ja usein vientirajoitettu, siirtämisoppiminen toisesta lähestymistavasta on käytännön standardi.

Arkkitehtuurin mittakaava on merkittävästi tärkeää reunakäyttöönotolle. Täysimittainen ResNet-50 termiselle syötteelle sovitettuna saavuttaa korkean luokittelutarkkuuden, mutta vaatii 25 Mt:n mallipainot ja 4 GFLOPS:ia päättelypassia kohden 640x512-resoluutiolla -- mahdotonta reaaliaikaiseen 30 Hz -putkistoon Jetson Orin Nanolla alle 15 W:lla. MobileNetV3-Small sovitettuna yksikanavaiselle syötteelle pienentää tämän 2,5 Mt:iin ja 56 MFLOPS:iin, sopien mukavasti laskentabudjettiin säilyttäen kilpailukykyisen tarkkuuden vakiotermisillä luokitteluvertailumittauksilla. Samat arkkitehtuurirajoitukset, jotka ohjaavat automaattista kohteentunnistusta reunassa, pätevät tässä: mallin valinta on yhteinen optimointi tarkkuuden, viiveen, muistijalanjäljen ja virrankulutuksen yli tarkkuuden sijaan yksinään.

Pienten kohteiden havaitseminen termisestä kuvantamisesta: matalan SNR:n ympäristön haasteet

Kun henkilö tai ajoneuvo havaitaan pitkältä etäisyydeltä -- yli 2 km:n tyypillisellä jäähdyttämättömällä anturilla, jossa on keskipitkä polttopiste -- kohde täyttää vain 2–8 pikseliä FPA:ssa. Tässä mittakaavassa standardiobjektintunnistuskehykset, jotka perustuvat alueellisiin piirtehierarkioihin (YOLO-perheen havaitsijat, Faster R-CNN), lakkaavat toimimasta luotettavasti. Syvempien konvoluutiokerrosten vastaanottokenttä kattaa satoja pikseleitä; 4-pikselin kohde antaa lähes nolla erottavaa signaalia näille kerroksille. Tehokas pienten kohteiden havaitseminen vaatii täysin erilaisen havaitsemisstrategian, joka toimii pikseli- ja laattamittakaavassa ennen mitään alueellista alaspäin näytteistämistä.

LWIR-kuvantamisen pienten kohteiden havaitsemisen hallitseva lähestymistapa on infrapunahaku-ja-seuranta (IRST) -putkisto, joka yhdistää taustan vaimentamisen ajalliseen kertymiseen. Taustan vaimentaminen käyttää ylhäältä-hattu-morfologista muunnosta rakenneelementillä, joka on hieman suurempi kuin odotettu kohdejälki, laajennetun taustan rakenteen vähentämiseksi säilyttäen pisteenomaisia tai pienijälkisiä kohteita. Taustan vähentämisen jälkeen jäljelle jäävä sisältää ehdokasblobeja signaali-häiriösuhteilla jopa 1,5 dB:iin asti, joiden alapuolella luotettava yksikehyshavaitseminen on fyysisesti mahdotonta anturin NETD:n huomioon ottaen. Ajallinen kertyminen -- todisteiden integroiminen 5–20 kehyksen yli ennustettua liikerataa pitkin -- laajentaa tehokasta havaitsemiskynnystä hyödyntämällä kohteen liikekoherenssia, mahdollistaen kohteiden havaitsemisen, jotka olisivat näkymättömiä missä tahansa yksittäisessä kehyksessä. Rata-ennen-havaitseminen-kehykset muodollistavat tämän kertymisen: ne ylläpitävät joukon ehdokaratahypoteeseja ja pisteyttävät jokaisen hypoteesin saapuvaa kehysdataa vasten ilmoittamatta koskaan yksikehyshavaintoa, sitoutuen vahvistettuun rataan vasta kun kertynyt todistusaineisto ylittää kynnyksen.

Termisten havaintojen fuusio EO- ja tutkaratojen kanssa

Yksikään anturimodaliteetti ei riitä luotettavaan luokitteluun ja seurantaan kaikissa operatiivisissa olosuhteissa. Termiset anturit heikkenevät sateessa ja tiheässä sumussa (vesihöyry absorboi LWIR:ää tehokkaasti), menettävät kohteen kontrastin kun taustan ja kohteen lämpötilat tasaantuvat (päivälämmön tasauspiste), eivätkä pysty ratkaisemaan hienojakoisia visuaalisia piirteitä, jotka mahdollistavat alustyypin tunnistamisen. Näkyvän valon EO-anturit pettävät yöllä ja savussa. Tutka tarjoaa pitkän kantaman havaitsemisen ja nopeuden mittauksen, mutta siltä puuttuu alueellinen erotuskyky kohdetyypin luokittelemiseksi relevantilla taktisella kantamalla ilman lisäviitedata. Monianturifuusio ratatasolla yhdistää jokaisen modaliteetin toisiaan täydentävät vahvuudet robustimmaksi ja informatiivisemmaksi radaksi kuin mikä tahansa yksittäinen anturi tarjoaa yksinään.

Ratatasoinen fuusio pikselitason kuvafuusion sijaan on arkkitehtuuri, jota käytetään käyttöönotetuissa sotilaallisissa ISR-järjestelmissä, koska se on laskennallisesti toteutettavissa reunalaitteistolla ja kestää anturin saatavuuskatkoksia. Jokainen anturi tuottaa itsenäisen havaintovirran, joka muunnetaan yhteiseen rataesitykseen: tilavektori (sijainti, nopeus, suuntaus), kovarianssimatriisi koodaten estimoinnin epävarmuuden, luokkatunniste luottamuksen kanssa ja anturityyppitagi. Monianturiassosiaatioportti sovittaa uudet havainnot kustakin anturista olemassa oleviin ratoihin Mahalanobis-etäisyyttä käyttäen, sulkien pois havainnot, jotka ovat tilastollisesti epäjohdonmukaisia minkään olemassa olevan ratatilan kanssa. Kun terminen havainto ja EO-havainto liitetään samaan rataan saman aikavälin sisällä, fuusioitu tila soveltaa kovarianssi-painotettua yhdistelmää: anturi, jolla on pienempi sijaintiepävarmuus, vaikuttaa suhteellisesti enemmän fuusioituneeseen estimaattiin. Luokkatunnisteen fuusio käyttää naiivia Bayes-yhdistelmää per-anturiluokkatodennäköisyyksistä ehdollisena anturimodaliteettien riippumattomuudelle -- oletus, joka pitää riittävän hyvin käytännössä kun anturit eroavat fyysisessä mittausperiaatteessa. Tulosta on kuvattu yksityiskohtaisesti kattavuudessamme monimodaalisesta fuusio-tekoälystä ISR-anturivirroille.

Tutka vaikuttaa eniten fuusioarkkitehtuuriin nopeuden mittaustarkkuutensa kautta: Doppler-kykyiset tutkat voivat ratkaista kohteen radiaalisen nopeuden 0,1 m/s:n tarkkuudella, mikä on paljon tarkempaa kuin termisestä ratasijainninmuutoksesta kehysten välillä johdettava nopeusarvio. Tämä nopeuspriori parantaa merkittävästi rataassosiaatiota peittymisjaksojen aikana, kun kummallakaan termisellä eikä EO-anturilla ei ole kelvollista havaintoa, mahdollistamalla jäljittäjän seuraavan havaitsemissijaintiarvion ennustamisen tutkajohtoisesta nopeudesta. Alustoilla, joilla tutkaa ei ole saatavilla, IMU-avustettu rataennustus käyttäen alustaisen liikkeen kompensointia kantajan inertianavigointijärjestelmästä korvaa osittain ulkoista nopeuden mittausta, kun kohteen kinematiikka on suhteellisen ennustettavaa.

Reunakäyttöönotto: kvantisointirajoitukset termisille malleille

Termisen luokittelumallin käyttöönotto UAV-hyötykuormalla tai ajoneuvoon asennetulla reunalaskentakortilla asettaa kovat rajoitukset mallin koolle, päättelyviiveelle ja virrankulutukselle, joita ei esiinny pilvi- tai palvelinympäristöissä. Vakiokäyttöönottopolku on INT8 jälkikoulutuskvantisointia, jota seuraa kokoaminen laitteistoon optimoituun päättelykäyttöaikaan kuten TensorRT (NVIDIA Jetsonille), ARMNN (Cortex-A-luokan prosessoreille) tai TFLite XNNPACK:lla (yleiselle ARM-laitteistolle). INT8-kvantisointi korvaa 32-bittisen liukuluvun painot ja aktivaatiot 8-bittisillä kokonaisluvuilla, pienentäen mallinkokoa 4-kertaiseksi ja päättelyaikaa 2–4-kertaiseksi laitteistolla, jossa on INT8-kiihdytintuki, tyypillisellä tarkkuussakkona 1–3 prosenttiyksikköä luokittelutarkkuudessa.

Termiset mallit sietävät kvantisointia jonkin verran paremmin kuin RGB-mallit, koska syötteen dynaaminen alue on kapeampi: esikäsittelyn jälkeen terminen kehys kattaa suhteellisen yhtenäisen pikseliarvojen alueen ilman äärimmäisiä poikkeama-arvoja, joita RGB-kuvissa voi esiintyä (suorat spekulaariheijastukset, kyllästyneet kohoalueet). Tämä kapeampi syötejakauma tarkoittaa, että kalibroinnin aikana lasketut kvantisointiasteikkokertoimet ovat tarkempia, ja INT8-kvantisoinnin tarkkuushäviö termisessä luokittelussa on usein tyypillisen alueen alapäässä. Malleille, jotka käyttävät huomioitamekanismeja -- kuten pieniä Vision Transformer -variantteja -- INT8-kvantisointi heikentää softmax- ja normalisointitoimintoja vakavammin kuin konvoluutioita, vaatien sekapresiisiokvantisoinnin (INT8 konvoluutioille, FP16 huomioitakerroksille) tarkkuuden säilyttämiseksi 2 prosentin sisällä täystarkkuuden lähtötilanteesta. Sama kvantisointityökulku, jota käytetään EO-kameran ISR-droonin hyötykuormille, soveltuu termisiin hyötykuormiin esikäsittelyvaiheen sovituksella yksikanavaiselle NUC-lähdölle.

Muistinleveys on usein aliarvioitu pullonkaula termiselle reunakäyttöönotolle. 640x512 terminen kehys 16-bittisellä syvyydellä on 655 KB kehystä kohden. 30 Hz:ssä raakatietojen nopeus on noin 20 MB/s. Jetson Orin Nanolla yhtenäisellä muistiarkkitehtuurilla kilpailevat vaatimukset kaappausohjaimelta, esikäsittelyputkistolta, mallin päättelystä ja ratahallinnoinnista voivat kyllästää saatavilla olevan muistinleveyden ennen kuin laskentakapasiteetti on käytetty loppuun. Muistinleveyden käytön profilointi, ei vain GPU-käyttöaste, on tarpeen todellisen suorituskykykaton tunnistamiseksi ja sen määrittämiseksi, onko kehysnopeuden pienentäminen, alueellinen alisaampling tai asynkroninen putkistovaiheistus asianmukainen lievennys.

Arviointiaineistot ja suorituskykymittarit sotilaalliselle termiselle tekoälylle

Termisen luokittelumallin validointi sotilaalliseen käyttöön vaatii aineistoja ja mittareita, jotka heijastavat operatiivisia olosuhteita eikä akateemisissa vertailumittauksissa yleisiä hallittuja laboratorioolosuhteita. Olennaiset suorituskykydimensiot ovat havaitsemistodennäköisyys (Pd) tavoitteellisella väärän hälytyksen nopeudella (FAR), ei ImageNet-arvioinnista tuttu top-1-tarkkuus. Malli, joka saavuttaa 95 %:n top-1-tarkkuuden tasapainoisella testiaineistolla, voi silti osoittaa 10 väärää hälytyskertaa tunnissa reaaliaikaisessa termisessä virrassa, jos koulutusaineisto aliedustaa todellisten taustan häiriöolosuhteiden monimuotoisuutta.

Julkisesti saatavilla olevia aineistoja sotilaalliselle termiselle tekoälylle ovat KAIST-monispektrinen jalankulkija-aineisto (pariutettu LWIR ja RGB, 95 000 merkittyä kehystä, jalankulkijakeskeinen), FLIR ADAS -aineisto (ajoskenaariot, ei optimoitu sotilaallisille kohteille) ja LITIV-aineisto (sisä- ja ulkotilojen monimodaaliset sekvenssit). Ajoneuvo- ja asluokittelua varten operatiiviset sotilasaineistot ovat salattuja eivätkä ole julkisesti saatavilla; tutkimusryhmät käyttävät tyypillisesti fysiikkapohjaisista simulointityökaluista (DI-Guy, CAMEO-SIM tai VIRSuite) synteettisesti generoituja termisiä kuvia pienen todellisen datakokoelman täydentämiseksi. Simulaatiosta todellisuuteen -siirtofiksuus -- aste, jolla synteettisillä termisissä tiedoissa koulutetut mallit yleistyvät todelliseen anturilähtöön -- on aktiivinen tutkimusalue; nykyinen paras käytäntö yhdistää synteettisen esikoulutuksen hienosäätöön pienemmällä todellisella aineistolla käyttäen toimialasovitustekniikoita kuten adversariaalista piirteiden kohdistamista.

Vakiomittarit sotilaallisille termisille havaitsemisjärjestelmille ovat vastaanottimen toimintaominaisuus (ROC) -käyrä, jossa Pd on piirretty FAR:ia vastaan ilmaistuna vääreinä hälytyksinä aikayksikköä kohden reaaliaikaisessa virrassa, F2-pistemäärä (joka painottaa palautuvuutta kaksi kertaa enemmän kuin tarkkuutta, sopien uhkien havaitsemiseen, jossa havaitsematta jääneet tapaukset ovat kalliimpia kuin väärät hälytykset) ja etäisyysriippuvaiset Pd-käyrät, jotka karakterisoivat havaitsemistodennäköisyyden kohde-anturi-etäisyyden funktiona. Ratatasoisten fuusiojärjestelmien osalta lisämittarit seuraavat radan käynnistymisviivettä (kehykset ensimmäisestä kohdeilmestymisestä vahvistettuun rataan), ratayhtenäisyyttä peittymisessä ja fuusioitujen sijaintiarvioiden tarkkuutta GPS-instrumentoitujen testiajoneuvojen maatotuuteen verrattuna.