Inname-pijplijn voor satellietbeelden voor defensie: van ruwe scene naar getaskte analyse

Een satellietscene is geen inlichting. Het is ruwe data: een gecomprimeerde raster van pixelwaarden gecodeerd in een propriëtair formaat, gemarkeerd met een coördinatenreferentiesysteem, gekoppeld aan een sensortelemetriebestand en verpakt in een classificatiecontainer die bepaalt wie het mag aanraken. Tussen die ruwe levering en een doelwitanalist die een bruikbaar georthorectificeerd beeld op zijn werkstation ontvangt, bevindt zich een inname-pijplijn: een reeks geautomatiseerde verwerkingsfasen die de meeste GEOINT-programma's onderschatten totdat het om 02:00 uur faalt bij een urgente collectiebehoefte. Dit artikel ontleedt elke fase van een defensie inname-pijplijn voor satellietbeelden: hoe scene-tasking aansluit op de API's van satellietoperators en de aanvraagsystemen van national technical means (NTM), wat de voorbewerkingsstack doet met ruwe beelden voordat ze in de catalogus terechtkomen, waarom formaatkeuzes er operationeel toe doen, hoe ruimtelijke catalogi snel scenes kunnen ophalen uit miljoenen gearchiveerde scenes, en hoe routeringslogica nieuw ingenomen beelden verbindt met de exploitatietools en analistwachtrijen die ze nodig hebben.

De satellietbeeldpijplijn: scope en operationele eisen

Een defensie inname-pijplijn voor beelden omvat drie functionele domeinen: acquisitie (de scene van de satelliet of aanbieder naar de pijplijn halen), verwerking (de ruwe scene omzetten naar een gekalibreerd, gegeorefereerd, gecatalogiseerd product) en exploitatieroutering (de juiste scene op het juiste moment aan de juiste tool of analist leveren). Elk domein heeft afzonderlijke eisen op het gebied van latentie, doorvoer en betrouwbaarheid die de architectuurkeuzes vormgeven. Voor routinematige collectie ter ondersteuning van inlichtingenproductie met een lange cyclus is een end-to-end-latentie van enkele uren tussen scene-acquisitie en catalogusbeschikbaarheid acceptabel. Voor tijdkritische inlichtingenbehoeften (TSI), zoals battle damage assessment, force tracking of dynamic targeting, moet dezelfde pijplijn die latentie comprimeren tot onder 30 minuten, en in sommige architecturen tot onder 10.

Operationele eisen leggen beperkingen op waarmee commerciële beeldpijplijnen niet te maken hebben. Het hanteren van classificatie betekent dat scenes op verschillende beveiligingsniveaus niet zonder accreditatie dezelfde verwerkingsinfrastructuur kunnen delen, of in geïsoleerde enclaves moeten worden verwerkt met strikte controles op gegevensoverdracht tussen niveaus. Chain-of-custody-logging, het vastleggen van wie een collectie heeft besteld, welke verwerkingsalgoritmen zijn toegepast, welke analist het product heeft ontvangen en welke exploitatie-acties zijn ondernomen, is verplicht voor afgewerkte inlichtingen met juridische en operationele verantwoordingsplicht. De beschikbaarheidseisen voor beeldpijplijnen die actieve operaties ondersteunen, liggen doorgaans hoger dan voor productiesystemen in vredestijd, en vereisen redundante verwerkingsnodes, geautomatiseerde failover en plannen voor werking in gedegradeerde modus voor het geval het primaire commerciële downlinkpad of de cloudverwerkingsomgeving niet beschikbaar is.

De pijplijn moet ook van nature multi-source zijn. Een defensietheater vertrouwt niet op één enkele satellietconstellatie. Commerciële aanbieders (Maxar WorldView Legion, Planet SuperDoves, Airbus Pleiades Neo, Satellogic), aanbieders van synthetic aperture radar (SAR) (Capella Space, ICEYE, Umbra) en coalitie- of NTM-beelden komen allemaal binnen via verschillende leveringsmechanismen met verschillende formaatconventies, metadataschema's en licentiebeperkingen. De inname-pijplijn abstraheert deze verschillen achter een gemeenschappelijk intern schema, zodat downstream-verwerking, catalogisering en exploitatietools werken op een genormaliseerde representatie ongeacht de bron.

Het bestellen en tasken van scenes: integreren met de API's van satellietoperators en NTM-aanvraagsystemen

Satelliet-tasking begint met een behoefte: een geografisch interessegebied (AOI), een collectievenster, een resolutie-eis en een inlichtingenprioriteit. In een defensieorganisatie worden behoeften geformaliseerd als staande behoeften (STANREQs) of ad-hoc taakopdrachten die worden beheerd in een behoeftevolgsysteem. De taskingmodule van de inname-pijplijn leest actieve behoeften en vertaalt ze naar collectie-orders die bij elke relevante satellietoperator of NTM-broker worden ingediend. Voor commerciële aanbieders betekent dit het aanroepen van een REST-tasking-API: het indienen van een AOI-polygoon, een collectievenster, een specificatie van het productniveau en authenticatiegegevens. De Maxar SecureWatch API, de Planet Orders API en de Airbus Intelligence Access API volgen allemaal grotendeels vergelijkbare patronen: een order POST'en, op status pollen en het scenepakket downloaden vanaf een ondertekende URL wanneer de collectie is bevestigd.

NTM-integratie volgt een ander patroon dat wordt beheerst door geclassificeerde aanvraagprotocollen. In plaats van een commerciële REST-API stromen NTM-aanvragen door gecontroleerde disseminatiesystemen via berichtformaten zoals STANAG 4559 (NATO-standaard voor het aanvragen en leveren van beelden) of US IC-specifieke protocollen. De NTM-interfacemodule van de inname-pijplijn handelt de authenticatie tegen het relevante brokersysteem af, dient aanvragen in het vereiste schema in, bewaakt leveringsmeldingen en haalt scenepakketten op via het geautoriseerde overdrachtspad. Het belangrijkste architectuurprincipe is dat NTM- en commerciële tasking door afzonderlijke interfacemodules met geïsoleerde opslag van credentials moeten worden afgehandeld, zelfs als ze in dezelfde downstream-verwerkingswachtrij uitkomen, omdat hun eisen op het gebied van classificatie, hantering en audit verschillen.

Orderbeheer vereist een lokale toestandsmachine om de levenscyclus van elke collectie-aanvraag te volgen: ingediend, bevestigd door de aanbieder, verzameld (satellietpassage vond plaats), gedownlinkt, verwerkt door de aanbieder en geleverd aan het inname-eindpunt van de pijplijn. Verwerkingsfouten aan de kant van de aanbieder, bewolking op het collectiemoment en taskingconflicten tussen satellieten vereisen allemaal afhandelingslogica: herplannen, escaleren naar een alternatieve aanbieder met hogere prioriteit of de behoefte markeren als niet vervuld voor handmatige beoordeling. De taskingmodule moet een historisch overzicht van alle aanvragen en uitkomsten bijhouden ter ondersteuning van rapportage over collectie-effectiviteit en analyse van de prestaties van aanbieders.

Voorbewerking van ruwe beelden: orthorectificatie, atmosferische correctie en wolkenmaskering

Een scene die door een commerciële aanbieder op Level 1B wordt geleverd (radiometrisch gecorrigeerd, sensorgeometrie) is niet gereed voor exploitatie of catalogisering in een defensiebeeldsysteem. Voordat het in de ruimtelijke catalogus terechtkomt, moet het worden georthorectificeerd (geometrisch gecorrigeerd om standfouten van de sensor en terreinverplaatsing te verwijderen) en radiometrisch genormaliseerd naar een consistente oppervlaktereflectieschaal. Deze stappen zijn geen optionele verfijningen; ze zijn vereisten voor het overlappen van beelden met vectorkaarten, het uitvoeren van veranderdetectie tegen eerdere collecties en het nauwkeurig genoeg meten van objecten voor militaire inlichtingendoeleinden.

Orthorectificatie gebruikt de rational polynomial coefficients (RPC's) die bij de scene zijn gebundeld en een digitaal hoogtemodel (DEM) om elke pixel van sensorgeometrie naar een kaartprojectie te projecteren. SRTM 1-arc-second (ongeveer 30 m horizontale resolutie) is het baseline-DEM voor de meeste pijplijnen op theaterniveau; voor collecties met hoge resolutie (0,3-0,5 m ground sample distance) waarbij sub-meter geolocatienauwkeurigheid van belang is, is een theaterspecifiek DEM met hoge resolutie nodig, afgeleid uit stereo-satellietcollecties of luchtgedragen lidar. Het RPC-gebaseerde model bereikt 3-8 m circular error probable (CEP) zonder grondcontrole; het toevoegen van een spaarzame set GPS-ingemeten ground control points (GCP's) om de RPC-oplossing te verfijnen, verbetert de nauwkeurigheid tot 1-2 m CEP voor nabewerkte producten. Voor missies waarbij absolute geolocatienauwkeurigheid kritiek is, bijvoorbeeld het inmeten van doelcoördinaten, moet de pijplijn een GCP-database integreren en de RPC-verfijningsstap automatisch toepassen.

Atmosferische correctie zet radiantie aan de bovenkant van de atmosfeer (TOA) om naar oppervlaktereflectie en verwijdert de effecten van moleculaire verstrooiing, aerosolabsorptie en geometrie van zonbelichting. Deze stap is essentieel voor multispectrale veranderdetectie: twee scenes die onder verschillende atmosferische omstandigheden zijn verzameld, zullen in elke band schijnbare radiometrische verschillen vertonen, zelfs als het grondoppervlak niet is veranderd, wat valse alarmen veroorzaakt. Stralingsoverdrachtmodellen zoals MODTRAN of 6S berekenen correctiecoëfficiënten op basis van atmosferische parameters (aerosol optical depth, waterdamp, ozonkolom) verkregen uit gelijktijdige MODIS-retrievals of model-analysevelden. Maskering van wolken en wolkenschaduwen gebruikt een kwaliteitsbeoordelingsalgoritme (FMask, S2cloudless of een getraind CNN) om elke pixel te labelen als helder, wolk, schaduw of sneeuw/ijs. Het wolkenmasker wordt opgeslagen als een begeleidende band naast de verwerkte scene en plant zich voort door alle downstream-verwerking: veranderdetectie-algoritmen moeten bijvoorbeeld wolkengemaskeerde pixels uitsluiten van hun statistieken.

Formaatlandschap: NITF, GeoTIFF, JPEG 2000 en hun defensietoepassingen

Defensiebeeldpijplijnen moeten meerdere naast elkaar bestaande formaten beheren omdat geen enkel formaat alle gebruikssituaties binnen een defensieorganisatie ondersteunt. NITF 2.1 (National Imagery Transmission Format) is de gezaghebbende container voor inlichtingenbeelden in Amerikaanse en bondgenootschappelijke systemen. Het draagt de beeldgegevens naast gestructureerde metadatavelden die geen enkel ander formaat van nature ondersteunt: beveiligingsclassificatie- en hanteringsmarkeringen in de bestandsheader, PIAIMC (Profile for Imagery Access) technische extensierecords die sensorparameters en collectiegeometrie beschrijven, SENSRB (Sensor Data Records) voor precieze sensortelemetrie, en IGEOLO-hoekcoördinaten en kaartprojectie-informatie. De structuur van NITF staat ook meerdere beeldsegmenten binnen één bestand toe, waardoor een panchromatische band, een multispectrale stack en een pan-sharpened product in één container met een gedeelde metadataheader kunnen samengaan.

GeoTIFF, en specifiek Cloud-Optimized GeoTIFF (COG), is het werkpaardformaat voor webgebaseerde visualisatie, visualisatielagen van GEOINT-platforms en AI/ML-verwerkingsworkflows. COG-bestanden organiseren de interne tegel- en overzichtsstructuur zodanig dat HTTP-range-aanvragen alleen het deel van het beeld kunnen ophalen dat zichtbaar is bij het huidige kaartzoomniveau, waardoor een webkaartdienst beelden vanuit objectopslag kan streamen zonder vooraf tegelpiramides te genereren. Voor AI-modelinferentie (veranderdetectie, objectdetectie, kenmerkextractie) is GeoTIFF met GDAL-leesbare metadata het standaardinvoerformaat voor op Python gebaseerde geospatiale ML-frameworks. De pijplijn genereert COG-derivaten uit de NITF-master als parallelle outputstap en schrijft ze weg naar de objectopslaglaag die toegankelijk is voor webdiensten en ML-inferentienodes.

JPEG 2000 bezet een specifieke niche in defensiebeelden: het is het compressieformaat dat is ingebed in NITF-bestanden voor producten met hoge resolutie waarbij lossless of visueel lossless compressie in verhoudingen van 4:1 tot 8:1 vereist is, en het is het formaat dat in veel verouderde bondgenootschappelijke standaarden voor beelduitwisseling wordt gebruikt. De wavelet-gebaseerde compressie van JPEG 2000 presteert beter dan JPEG bij hoge compressieverhoudingen, terwijl de fijne-detailkenmerken die kritiek zijn voor exploitatie (voertuigidentificatie, faciliteitsanalyse, herkenning van activiteitspatronen) behouden blijven. De pijplijn moet JPEG 2000-streams kunnen lezen en schrijven, zowel als zelfstandige bestanden als beeldsegmentgegevens binnen NITF-containers, met een conforme bibliotheek zoals OpenJPEG of Kakadu. Voor defensie-datafusiepijplijnen die multi-source-beelden verwerken elimineert het normaliseren van alle bronnen naar een consistent intern formaat vóór catalogusindexering de formaatspecifieke afhandeling in downstream-tools.

Catalogusindexering: ruimtelijke en temporele indexering voor het snel ophalen van scenes

De ruimtelijke catalogus is het operationele geheugen van de beeldpijplijn. Elke verwerkte scene moet worden geïndexeerd voordat het bruikbaar is: een georthorectificeerde NITF die in objectopslag staat en waarvan geen catalogus weet, is in feite onzichtbaar voor analisten en exploitatietools. De SpatioTemporal Asset Catalog (STAC)-specificatie is het standaardschema geworden voor defensie- en commerciële beeldcatalogi omdat het een gemeenschappelijke JSON-structuur definieert voor scene-metadata (footprintgeometrie, acquisitietijdstip, sensor- en platformidentificatoren, bandbeschrijvingen, assetkoppelingen) die leesbaar is door een groeiend ecosysteem van catalogusclients, zoek-API's en visualisatietools zonder maatwerkintegratie.

Onder de STAC API slaat een door PostGIS ondersteunde PostgreSQL-database Item-records en hun GeoJSON-footprintgeometrieën op. Ruimtelijke query's, zoals "alle scenes die dit polygoon snijden, verzameld in de afgelopen 14 dagen, met minder dan 15% bewolking, op 0,5 m of betere resolutie", worden uitgevoerd als ruimtelijke PostGIS-intersectie-query's met samengestelde indexen op de footprintgeometriekolom, de acquisitietijdstipkolom en de numerieke velden voor bewolking en resolutie. Voor een catalogus die 10 miljoen scene-records bevat, geeft deze querystructuur resultaten in minder dan 500 ms als de indexen worden onderhouden en de queryplannen zijn geoptimaliseerd. De indexeringsstap van de pijplijn voegt elk nieuw STAC Item-record direct in nadat de NITF is geschreven en de metadata is gevalideerd, zodat de scene binnen enkele seconden na voltooiing van de verwerking opvraagbaar is.

Temporele indexering is voor veranderdetectie-workflows net zo belangrijk als ruimtelijke indexering. Analisten en geautomatiseerde diensten vragen vaak "alle eerdere collecties van dit AOI" op om baselinebeelden vast te stellen voor veranderdetectie of analyse van activiteitspatronen. Een index op de acquisitietijdstipkolom met een B-tree-structuur ondersteunt rangequery's (alle collecties tussen datum A en datum B) efficiënt, maar het meest bruikbare temporele toegangspatroon, "alle scenes die footprint X snijden, geordend op acquisitiedatum", vereist een gezamenlijke ruimtelijk-temporele query die baat heeft bij een dekkende index die de geometrie- en tijdstipkolommen combineert. Dezelfde ruimtelijke indexeringsprincipes die in pijplijnen voor sensordata-normalisatie worden gebruikt gelden hier: het schema moet worden ontworpen voor de querypatronen die de exploitatietools daadwerkelijk uitvoeren, niet alleen voor schemanormalisatie.

Routering naar exploitatie: beelden in de wachtrij zetten voor geschikte analysetools en analistwerkstations

Een nieuw gecatalogiseerde scene is een kandidaat voor levering aan meerdere downstream-consumenten tegelijk: een geautomatiseerde veranderdetectiedienst, een AI-gebaseerd objectdetectiemodel, een menselijke beeldanalist en een rapportgeneratiesysteem. De routeringsengine is de component die elke nieuwe scene afzet tegen geregistreerde behoeften en bepaalt welke consumenten het ontvangen, in welke prioriteitsvolgorde en via welk leveringsmechanisme. Het routeringsmodel dat in de meeste defensiebeeldsystemen wordt gebruikt, is gebaseerd op abonnementen op aangewezen interessegebieden (NAI) gecombineerd met staande behoeften (STANREQs) die filtercriteria specificeren (minimale resolutie, maximale bewolking, collectiedatumvenster, sensortype) en een bestemmingssysteem of analistwachtrij.

Wanneer de indexeringsstap een nieuw STAC Item schrijft, evalueert de routeringsengine het tegen alle actieve abonnementen. Abonnementen worden geïmplementeerd als ruimtelijke query's tegen de NAI-polygoonbibliotheek: als de scene-footprint een geregistreerd NAI snijdt, past de engine de filtercriteria van het abonnement toe. Een scene die aan alle criteria voldoet, genereert een leveringsmelding naar het aangewezen bestemmingssysteem. Voor AI-exploitatiediensten draagt de melding de NITF-opslag-URI van de scene mee en wordt gepubliceerd naar een werkwachtrij (RabbitMQ, AWS SQS of een gelijkwaardige message broker) die wordt geconsumeerd door de werkerprocessen van de dienst. Voor analistwerkstations werkt de melding de taakwachtrij van de analist in het beeldexploitatiesysteem (SOCET GXP, RemoteView of FADE/MIST) bij met een nieuwe taakrecord die naar de scene verwijst. Voor tijdkritische inlichtingenbehoeften past de routeringsengine een prioriteitsboost toe die items met lagere prioriteit die al in de exploitatiewachtrij staan voorrang ontneemt.

Cross-classificatieroutering vereist bijzondere zorg. Een scene die op een hoger classificatieniveau is verzameld dan de baseline-accreditatie van de analist, kan niet naar diens standaardwerkstationwachtrij worden gerouteerd; het moet worden gerouteerd naar een werkstation in de juist geaccrediteerde enclave. De routeringsengine moet het clearance- en accreditatierecord van de analist in het identiteitsbeheersysteem opvragen voordat een leveringsmelding wordt verstuurd. Geautomatiseerde AI-diensten die beelden op meerdere classificatieniveaus verwerken, moeten worden geaccrediteerd op het hoogste niveau van de data die ze verwerken, en hun outputproducten moeten de bronclassificatiemarkeringen dragen van de beelden die ze hebben geconsumeerd. Pijplijnontwerpers die deze controles uitstellen om "later toe te voegen" ontdekken steevast dat het achteraf inbouwen van classificatiebewuste routering in een bestaande message-passing-architectuur duurder en verstorender is dan het vanaf het begin in te bouwen.

Pijplijnprestaties: doorvoer, latentie en opslageisen op operationele schaal

Een middelgrote defensiebeeldpijplijn die één operatietheater ondersteunt, verwerkt doorgaans 50-150 satellietscenes per dag uit meerdere commerciële en overheidsbronnen. Bij een resolutie van 0,5 m dekt een standaard commerciële collectie-swath 15-30 km breed en 100-200 km lang, wat georthorectificeerde scenes van 1-4 GB elk als GeoTIFF en 2-8 GB als ongecomprimeerde NITF oplevert. Het dagelijkse inname-volume op deze schaal bedraagt 150-600 GB aan nieuwe scenegegevens, plus voorbewerkingstussenproducten die de werkende opslagbehoefte tijdens actieve verwerking kunnen verdubbelen of verdrievoudigen. Een volledige-theater-surge met hoge resolutie (uitgebreide dekking over een groot betwist gebied) kan de dagelijkse inname-volumes opdrijven tot meerdere terabytes, wat voorbewerkingsclusters vereist die horizontaal schalen om aan de latentie-SLA's te voldoen.

Verwerkingslatentie is de prestatiebeperking die de operationele bruikbaarheid het meest rechtstreeks beïnvloedt. Voor TSI-workflows is het doel onder 30 minuten van scenelevering tot catalogusbeschikbaarheid; voor routinematige productie is onder 4 uur acceptabel. De orthorectificatiestap is de meest rekenintensieve fase: een panchromatische scene met volledige resolutie van 0,3 m met RPC-verfijning en DEM-projectie duurt 5-20 minuten op één moderne compute-node. Het parallelliseren over scenetegels en het gelijktijdig draaien van meerdere scenes op een cluster van 8-16 nodes haalt TSI-latentiedoelen voor typische scenevolumes. Atmosferische correctie is rekentechnisch lichter (1-3 minuten per scene), maar vereist toegang tot gelijktijdige atmosferische-parametergegevens uit NWP-modelanalyses of satellietafgeleide aerosolproducten, wat een data-afhankelijkheid introduceert die de verwerking kan vertragen als de pijplijn voor hulpgegevens niet vooraf is gevuld.

De opslagarchitectuur volgt een gelaagd toegangsmodel dat is afgestemd op exploitatiepatronen. Actieve werkende opslag (NVMe-ondersteund blok of objectopslag met hoge prestaties) bevat de meest recente 30-60 dagen aan georthorectificeerde scenes op volledige resolutie en ondersteunt subsecond cataloguquery's en het snel ophalen van scenes voor actieve exploitatie. De 6-18 maanden actieve archieflaag gebruikt objectopslag (S3-compatibel) met een ophaallatentie van seconden tot minuten, adequaat voor historische analyse en baselines voor veranderdetectie. Langdurige bewaring na 18 maanden verschuift naar koude objectopslag of tape, met een ophaallatentie van uren, acceptabel voor verplichtingen tot historische archivering maar niet voor actieve exploitatie. De STAC-catalogusdatabase bevat altijd volledige metadata voor alle lagen; de opslag-URI in elk catalogusrecord verwijst naar de juiste laag, en de ophaallaag verzorgt laagtransparante toegang zodat exploitatietools niet hoeven te weten in welke opslaglaag een opgevraagde scene zich bevindt.