Hypersprektrikuvien käsittely taktisessa verkkoreunan järjestelmässä

Hyperspektrikuvantaminen ei ole uusi teknologia, mutta sen käyttö taktisessa verkkoreunan järjestelmässä — UAV-hyötykuormana, ajoneuvoon asennettuna modulina tai kannettavana sensorina — on suhteellisen uusi insinööritekninen haaste. Tavallinen RGB-kamera tuottaa kolme lukua pikseliä kohti; hyperspektrisensori tuottaa satoja, joista jokainen edustaa heijastunutta energiaa sähkömagneettisen spektrin kapealla viipaleella. Tämä tekee hyperspektrisistä tiedoista operatiivisesti arvokkaita sotilaallisissa ISR-sovelluksissa — ja samalla laskennallisesti erittäin vaativia taktisen reunan rajoitetun tehon ja kaistanleveyden puitteissa.

Mitä on hyperspektrikuvantaminen — verrattuna monispektriseen ja RGB:hen

RGB-kamerat sieppaavat kolme laajaa spektrikaistaa. Monispektriset kamerat laajentavat tämän 4–20 kaistaan. Hyperspektrisensorit eroavat periaatteellisesti: ne sieppaavat jatkuvia kaistoja 5–10 nm:n resoluutiolla VNIR-alueella (400–1000 nm) tai VNIR/SWIR-alueella (2500 nm:iin asti). VNIR-sensori, jonka resoluutio on 5 nm välillä 400–1520 nm, tuottaa 224 kaistaa pikseliä kohti.

Hyperspektrikaappauksen tulos on datakuutio: kolmiulotteinen matriisi kahdella spatiaalilla ja yhdellä spektrisellä akselilla. Klorofylli elävässä kasvillisuudessa tuottaa tyypillisen heijastushypyn noin 700–740 nm:n välillä — ns. punainen reuna. Synteettisellä naamiomaalilla ei ole tätä ominaisuutta. Häirityllä maaperällä on erilainen kosteuden absorptiomalli kuin häiritsemättömällä. Näistä eroista mikään ei ole näkyvissä RGB:ssä.

Rajoitus on datamäärä. RGB 640×480 kahdeksalla bitillä kanavaa kohti tuottaa ~0,9 Mt/ruutu; 224-kaistainen sensori 12 bitillä tuottaa noin 3,4 Mt/ruutu, mikä 30 fps:llä tarkoittaa yli 100 Mt/s.

Anturien ominaisuudet ja datamäärät

Ilmailuun tarkoitetut hyperspektrisensorit jaetaan kahteen arkkitehtuuriin: pushbroom (sieppaa yhden spatiaalisen rivin ruutua kohti, rakentaa kuvan alustan liikkuessa) ja snapshot (sieppaa koko näkökentän samanaikaisesti). Pushbroom on standardi ilmailun suuritarkkuustyöhön.

Tyypillinen taktinen BLOS-yhteys heikentyneessä ympäristössä voi ylläpitää 1–5 Mbps:n hyödyllistä läpäisyä tiedusteludatalle. Kuilu 100 Mt/s:n raakatiedon ja tämän yhteyden välillä — noin 100-kertainen — on perustavaa argumenttia reuna-käsittelylle: data täytyy pienentää raakanäyttötulosteesta pieneksi joukoksi geolokalisoituja havaintoja ennen kuin se koskettaa radiota.

Miksi käsitellä verkkoreunan järjestelmässä

Viive. Taktinen ISR-tehtävä vaatii usein toimintaa minuuteissa havainnosta. 100 Mt/s raakatiedon lähettäminen käsittelykeskukseen ja tulosten odottaminen lisää kymmeniä sekunteja — operatiivisella tempolla tämä tekee tiedusteludatasta merkityksettömän.

Toiminta viestiliikenteen kieltämisympäristössä. UAV kilpaillussa sähkömagneettisessa ympäristössä voi menettää tietolinkkinsä kokonaan. Reuna-käsittelyputkilinja jatkaa luokittelua ja tallentaa CoT-tapahtumat paikallisesti ja synkronoi yhteyden palautuessa.

Linkkibudjetin rajoitukset. Reunalla käsitellyt havainnot kuluttavat muutamia kilobittejä minuutissa megabittien sekunnissa sijaan, jättäen linkin käytettäväksi komentoliikenteelle, telemetrialle ja muille sensorivuoille.

Dimensionaalisuuden vähentäminen laitteella

Jokaisen hyperspektrisen reuna-putkilinjan ensimmäinen ja tärkein vaihe on dimensionaalisuuden vähentäminen: 224-kaistaisen spektrivektorin pienentäminen pikseliä kohti 8–16 komponenttiin, jotka säilyttävät erottelevat tiedot. Ilman tätä mikään nykyaikainen reunaprosessori ei pysty ylläpitämään reaaliaikaista toimintaa.

Pääkomponenttianalyysi (PCA) on laajimmin käytetty menetelmä. Muunnosmatriisi 224×12 (K=12:lle) painaa ~10,8 kt float32-muodossa. Soveltaminen vaatii vain matriisikertolaskun pikseliä kohti — ARM-prosessoreilla NEON SIMD:llä tämä toimii tehokkaasti tiukassa silmukassa.

Minimaalinen kohinaosa -muunnos (MNF) on kaksivaiheinen variantti, joka on kestävämpi spatiaalisen kohinan kanssa — yleistä pushbroom-sensoreissa.

Satunnaisprojektion — Gaussinen matriisi 224×K — ei vaadi harjoitusdataa ja sopii nopeaan käyttöönottoon, vaikka se tyypillisesti vaatii hieman suuremman K:n.

Vähentämisen jälkeen läpäisy putoaa ~3,4 Mt/ruudusta ~0,18 Mt/ruutuun (K=12:lle) — 18-kertainen vähennys, joka tuo datavuon alle 5,5 Mt/s 30 fps:llä.

Spektriluokittelumallit

Spektrinen kulmakartoitus (SAM) on klassinen fyysinen lähestymistapa. Vertaa pienennettyä vektoria vertailuspektrikirjastoon niiden välisen kulman kautta. Ei vaadi harjoitusdataa, laskennallisesti triviaali.

Tukivektorikoneet (SVM) RBF-ytimellä pienenetyille vektoreille — teollisuuden standardi koneoppimisessa kahden vuosikymmenen ajan. 8–16-ulotteisilla syötteillä luokittelevat miljoonia pikseleitä sekunnissa yhdellä CPU-ytimellä.

1D CNN:t spektrivektoreilla tarjoavat parhaan tarkkuuden suuremmilla laskentakustannuksilla. Pieni konvoluutioverkon 3–5 kerroksella ja 32–64 suodattimella. ONNX-vientiin ja kääntämisen (TensorRT Jetsonille) jälkeen INT8-kvantisointi 200–500 kalibrointinäytteellä luokkaa kohti vähentää kokoa ja päättelyaikaa 3–4-kertaisesti alle 2% tarkkuudella. Kenttätestattu tarkkuus: 92–96%.

Naamijoinnin havaitseminen ja materiaalien tunnistaminen

Klorofylli elävässä kasvillisuudessa tuottaa punaisen reunan 700–740 nm:n välillä. Synteettinen naamijointi osoittaa johdonmukaisesti puuttuvan tai vaimennetun punaisen reunan VNIR-datassa — naamioituja asemia voidaan erottaa ympäröivästä kasvillisuudesta jopa silloin, kun ne näyttävät visuaalisesti identtisiltä EO-kuvissa.

Ajoneuvojen jäljistä, kenttäasemista tai haudatuista miinoista peräisin oleva häiritty maaperä tuottaa tunnusomaisen muutoksen kosteuden absorptiomerkinnöissä SWIR-kaistoilla noin 1400 nm ja 1900 nm. Dieselpolttoaineen jäämillä (JP-8) on tunnusomaisia hiilivetyperäisiä absorptiokaistoja noin 1700 nm:ssä.

Integrointi ISR-kuvaan

CoT-tapahtumat (Cursor on Target) ovat ensisijainen integrointimuoto TAK-pohjaisille verkoille. Kiinnostavien alueiden tunnistamisen jälkeen reunasolmu laskee pikselien maantieteelliset koordinaatit, kokoaa vierekkäiset pikselit havaintomonikulmioksi ja luo CoT XML -tapahtuman luokalla, luottamuksella, sentroidilla WGS84:ssä tai MGRS:ssä ja sensorin tunnisteella. Tapahtumat ilmestyvät ATAK/WinTAK-asiakkaille muutamissa sekunneissa.

GeoTIFF-merkintäkerrokset palvelevat syväanalyysiä: luokiteltu kohtaus ladataan taktiseen pilvitallennukseen, jossa analyytikot voivat yhdistää sen muihin sensorikerroksiin.

Monisensorisulauttaminen korreloi hyperspektriset havainnot muiden järjestelmien ratojen kanssa — EO-kameroista, automaattisista maalintunnistusjärjestelmistä, tutkista — konfiguroitavassa spatio-temporaalisessa ikkunassa.