Verwerking van hyperspectrale beelden aan de tactische netwerkrand

Hyperspectrale beeldvorming is geen nieuwe technologie, maar de toepassing ervan aan de tactische netwerkrand — in een UAV-lading, een voertuigmontage-pod of een draagbare sensor — is een relatief recente technische uitdaging. Een standaard RGB-camera levert drie getallen per pixel; een hyperspectrale sensor levert er honderden, die elk de gereflecteerde energie in een smal stuk van het elektromagnetische spectrum vertegenwoordigen. Dat maakt hyperspectrale data operationeel waardevol voor militaire ISR-toepassingen — en tegelijkertijd rekenkundig buitengewoon veeleisend onder de vermogen- en bandbreedtebeperkingen van de tactische rand.

Wat is hyperspectrale beeldvorming — vergeleken met multispectral en RGB

RGB-camera's leggen drie brede spectrale banden vast. Multispectrale camera's breiden dit uit naar 4–20 banden. Hyperspectrale sensoren zijn fundamenteel anders: ze leggen aaneengesloten banden vast met een resolutie van 5–10 nm in het VNIR-bereik (400–1000 nm) of VNIR/SWIR (tot 2500 nm). Een VNIR-sensor met 5 nm resolutie over 400–1520 nm produceert 224 banden per pixel.

Het resultaat van een hyperspectrale opname is een datacubus: een driedimensionele array met twee ruimtelijke assen en één spectrale as. Chlorofyl in levende vegetatie produceert een kenmerkende reflectantiesprong tussen circa 700 en 740 nm — de rode rand. Synthetische camouflageverf mist dit kenmerk volledig. Verstoorde bodem heeft een andere vochtabsorptiesignatuur dan onverstoorde bodem. Geen van deze verschillen is zichtbaar in RGB.

De beperking is het volume. Een RGB 640×480 bij 8 bits/kanaal levert ~0,9 MB/frame; een 224-bands sensor bij 12 bits levert circa 3,4 MB/frame, wat bij 30 fps meer dan 100 MB/s oplevert.

Sensorkarakteristieken en datavolumes

Hyperspectrale sensoren voor luchtvaart-ISR worden ingedeeld in twee opnamearchitecturen: pushbroom (legt per frame één ruimtelijke regel vast, bouwt het beeld op naarmate het platform beweegt) en snapshot (legt het volledige gezichtsveld tegelijk vast). Pushbroom is de standaard voor luchtvaartwerk met hoge resolutie.

Een typische tactische BLOS-verbinding in een verslechterde omgeving kan 1–5 Mbps nuttige doorvoer voor inlichtingendata handhaven. De kloof tussen 100 MB/s ruwe data en deze verbinding — circa 100 keer — is het fundamentele argument voor edge-verwerking: de data moet worden gereduceerd van ruwe sensoroutput naar een kleine set geogelokaliseerde detecties voordat deze de radio bereikt.

Waarom verwerken aan de netwerkrand

Latentie. Tactische ISR-taken vereisen vaak actie binnen minuten na detectie. Het verzenden van 100 MB/s ruwe data naar een verwerkingscentrum en wachten op resultaten voegt tientallen seconden toe — bij operationeel tempo maakt dat de inlichtingen irrelevant.

Operaties in communicatieweigering. Een UAV in een betwist elektromagnetisch milieu kan zijn dataverbinding volledig verliezen. De edge-verwerkingspijplijn blijft classificeren en CoT-gebeurtenissen lokaal registreren en synchroniseert wanneer de verbinding herstelt.

Verbindingsbudgetbeperkingen. Edge-verwerkte detecties verbruiken enkele kilobits per minuut in plaats van megabits per seconde, zodat de verbinding beschikbaar blijft voor commandoverkeer, telemetrie en andere sensorstromen.

Dimensiereductie op het apparaat

De eerste en meest consequente fase van elke hyperspectrale edge-pijplijn is dimensiereductie: het comprimeren van de 224-bands spectrale vector per pixel naar 8–16 componenten die de discriminerende informatie behouden. Zonder dit kan geen moderne edge-processor realtime werking handhaven.

Principale Componentenanalyse (PCA) is de meest gebruikte methode. De transformatiematrix 224×12 (voor K=12) weegt ~10,8 KB in float32. Toepassing vereist slechts een matrixvermenigvuldiging per pixel — op ARM-processors met NEON SIMD loopt dit efficiënt in een strakke lus.

Minimum Noise Fraction (MNF) transformatie is een tweefasige variant, robuuster bij ruimtelijk gecorreleerde sensorruis — gebruikelijk in pushbroom-sensoren.

Willekeurige projecties — een Gaussische matrix 224×K — vereisen geen trainingsdata en zijn geschikt voor snelle implementatie, al vereisen ze doorgaans een iets grotere K.

Na reductie daalt de doorvoer van ~3,4 MB/frame naar ~0,18 MB/frame (voor K=12) — een 18-voudige reductie die de datastroom naar minder dan 5,5 MB/s bij 30 fps brengt.

Spectrale classificatiemodellen

Spectral Angle Mapper (SAM) is de klassieke fysische benadering. Vergelijkt de gereduceerde vector met een referentiespectralibrary via de hoek ertussen. Vereist geen trainingsdata, rekenkundig triviaal.

Support Vector Machines (SVM) met RBF-kernel op gereduceerde vectoren — industriestandaard van machine learning gedurende twee decennia. Op 8–16-dimensionale invoer classificeren ze miljoenen pixels per seconde op één CPU-kern.

1D CNN's op spectrale vectoren bieden de hoogste nauwkeurigheid bij hogere rekenkosten. Een klein convolutioneel netwerk met 3–5 lagen en 32–64 filters. Na export naar ONNX en compilatie (TensorRT voor Jetson) vermindert INT8-kwantisatie met 200–500 kalibratiemonsters per klasse de grootte en inferentietijd 3–4 keer bij minder dan 2% nauwkeurigheidsverlies. Veldgevalideerde nauwkeurigheid: 92–96%.

Camouflagedetectie en materiaalidentificatie

Chlorofyl in levende vegetatie produceert de rode rand tussen 700 en 740 nm. Synthetische camouflage vertoont consequent een ontbrekende of onderdrukte rode rand in VNIR-data — gecamoufleerde posities zijn te onderscheiden van omringende vegetatie, zelfs als ze visueel identiek lijken op EO-beelden.

Verstoorde bodem van voertuigsporen, veldstellingen of begraven mijnen produceert een kenmerkende verandering in vochtabsorptiesignaturen in SWIR-banden rond 1400 nm en 1900 nm. Dieselbrandstofresiduen (JP-8) hebben kenmerkende koolwaterstofabsorptiebanden rond 1700 nm.

Integratie in het ISR-beeld

CoT-gebeurtenissen (Cursor on Target) zijn het primaire integratieformaat voor TAK-gebaseerde netwerken. Na identificatie van een interessegebied berekent het edge-knooppunt geografische coördinaten van pixels, groepeert aangrenzende pixels tot detectiepolygonen en genereert een CoT XML-gebeurtenis met klasse, betrouwbaarheid, centroïd in WGS84 of MGRS en sensor-knooppunt-ID. Gebeurtenissen verschijnen binnen seconden op ATAK/WinTAK-clients.

GeoTIFF-annotatielagen dienen voor diepgaande analyse: de geclassificeerde scène wordt geüpload naar tactische cloudopslag waar analisten andere sensorlagen kunnen overlappen.

Multi-sensorfusie correleert hyperspectrale detecties met sporen van andere systemen — EO-camera's, automatische doelherkenningssystemen, radar — in een configureerbaar ruimtelijk-temporeel venster.