Een AI-datalabelingpijplijn bouwen voor defensiebeelden

Een defensie-AI-model is slechts zo goed als de gegevens waarop het is getraind. Die zin wordt zo vaak herhaald dat hij zijn operationele gewicht heeft verloren – maar in de praktijk zijn de meeste mislukte defensie-AI-implementaties niet terug te voeren op keuzes in de modelarchitectuur maar op labelingkwaliteitsproblemen die onzichtbaar waren tijdens de training en catastrofaal tijdens de inferentie. Het bouwen van een rigoureuze datalabelingpijplijn voor defensiebeelden is een systeemtechnisch probleem, geen gegevensinvoerprobleem. Het vereist annotatietools, classificatiebeheer, automatisering van kwaliteitscontrole, active-learninglussen en een datasetgovernancediscipline die personeelsverloop, classificatieaudits en iteratieve modelontwikkelingscycli kan overleven.

Dit artikel doorloopt elke fase van een productie-defensie-AI-labelingpijplijn: inlezen en triage, schemadefinitie, ontwerp van de annotatieworkflow, meting van inter-annotatoroverenstemming, integratie van active learning en de geautomatiseerde kwaliteitscontroles die als poort dienen voor een dataset voordat deze wordt goedgekeurd voor modeltraining. Waar relevant verbindt het zich met stroomopwaartse aspecten in het genereren van synthetische gegevens en stroomafwaartse aspecten in modelvalidatie – de labelingpijplijn is de brug tussen deze twee disciplines.

1. inlezen en triage van beelden

De pijplijn begint voordat een menselijke annotator een afbeelding ziet. Ruwe beelden komen binnen uit heterogene bronnen: ISR-sensorfeeds, simulatierenderers, veldverzamelingsgebeurtenissen en goedgekeurde luchtdatasets uit open domein die worden gebruikt om geclassificeerde verzamelingen aan te vullen. Elke bron heeft andere kwaliteitskenmerken, en ze uniform verwerken zonder een triagestap produceert een gelabelde dataset met verborgen kwaliteitsvariantie.

Geautomatiseerde triage dekt vier afwijzingscategorieën. Beschadigde of onleesbare bestanden – afbeeldingen die niet kunnen worden gedecodeerd, afgekapte bestanden of bestanden waarbij de metadata afmetingen rapporteert die inconsistent zijn met de pixelbuffer. Dubbele frames – exacte duplicaten geïdentificeerd door inhoudshash, en bijna-duplicaten geïdentificeerd door perceptuele hash (pHash met een configureerbare Hamming-afstandsdrempel). Duplicaten in een trainingsset blazen de schijnbare datasetgrootte op, brengen het model ertoe specifieke frames te memoriseren in plaats van te generaliseren, en introduceren datalekkage tussen trainings- en validatiesplitsingen als het duplicaat aan beide zijden van de splitsing verschijnt. Kwaliteitsfouten – afbeeldingen onder een minimale scherptescore (Laplace-variantie onder een drempel), afbeeldingen met extreme over- of onderbelichting (histogramclipping boven 5% van de pixels) en afbeeldingen met sensorartefacten (vastzittende pixels, banding, vignettering voorbij een gekalibreerde drempel). Off-topic of verkeerd gelabelde bronafbeeldingen – een filter dat een lichtgewicht binaire classificator toepast om afbeeldingen af te wijzen die duidelijk tot geen enkele doelklasse in het schema behoren (bijv. per ongeluk ingelezen foto's van grondstationapparatuur in een dataset voor voertuigdetectie vanuit UAV-perspectief).

De toewijzing van classificatiemarkeringen gebeurt bij het inlezen, niet op het moment van annoteren. Elke afbeelding die de pijplijn binnenkomt, moet een classificatieniveau krijgen toegewezen voordat deze een wachtrij binnenkomt. De pijplijn dwingt toegangscontrole af op dit niveau: annotatoren met een lagere autorisatie kunnen geen afbeeldingen boven hun autorisatieniveau toegewezen krijgen, en elke poging daartoe moet worden gelogd en gemeld. Dit is een harde systeembeperking, geen procedurele – het annotatieplatform moet deze afdwingen, niet vertrouwen op wachtrijbeheerders om dit handmatig te verifiëren.

2. ontwerp en versionering van het annotatieschema

Het annotatieschema is het contract tussen het labelingteam en de modeltrainingspijplijn. Een schema dat dubbelzinnig, onvoldoende gespecificeerd of halverwege het project gewijzigd is, produceert een dataset waarin verschillende batches onder verschillende regels werden gelabeld – een inconsistentie die de modelgeneralisatie verslechtert op manieren die achteraf vrijwel onmogelijk te diagnosticeren zijn.

Een annotatieschema van productiekwaliteit voor defensiebeelden specificeert:

Klassetaxonomie. Elke doelklasse, hiërarchisch georganiseerd als het model op meerdere niveaus van specificiteit zal worden gebruikt (bijv. voertuig → wielvoertuig → licht wielvoertuig → HMMWV-variant). Elke klasse heeft een definitie, een set positieve voorbeelden, een set harde-negatiefvoorbeelden (vergelijkbare objecten die dit label NIET zouden moeten krijgen) en expliciete regels voor dubbelzinnige gevallen. Dubbelzinnige gevallen zijn het belangrijkste deel van het schema – het zijn de gevallen waarin twee redelijke annotatoren het oneens zouden zijn, en die dubbelzinnigheid schriftelijk oplossen voordat de annotatie begint, is ordes van grootte goedkoper dan de resulterende onenigheden in de gelabelde gegevens arbitreren.

Geometrietype en beperkingen. Of elke klasse wordt gelabeld met asuitgelijnde begrenzingsvakken, geroteerde begrenzingsvakken (belangrijk voor luchtbeelden waar voertuigen niet altijd asuitgelijnd zijn), polygonen of sleutelpunten. Beperkingen op de minimale annotatiegrootte (bijv. geen begrenzingsvak kleiner dan 10×10 pixels wordt gelabeld, om te voorkomen dat sub-resolutiedoelen worden geannoteerd die een detector realistisch niet kan lokaliseren).

Attribuutvelden. Annotatieattributen naast het klasselabel: occlusieniveau (geen / gedeeltelijk / zwaar), afkapping (of het object is afgesneden aan de afbeeldingsrand), vertrouwen (door de annotator zelf ingeschatte zekerheid) en domeinspecifieke velden (oriëntatierichting van voertuig, camouflagetype, activiteitsstatus).

Schemaversies moeten worden bijgehouden in een documentrepository, waarbij elke gelabelde batch is gekoppeld aan de schemaversie waaronder hij is geproduceerd. Wanneer het schema verandert – een klasse splitst in tweeën, een dubbelzinnig geval wordt anders opgelost, een geometriebeperking wordt aangescherpt – is een schemaversieverhoging vereist, en alle eerder gelabelde batches die onder de gewijzigde regels vallen, moeten worden gemarkeerd voor heraudit. Het mengen van annotaties uit verschillende schemaversies in één trainingsdataset zonder expliciete verzoening is een van de meest voorkomende bronnen van labelruis in langlopende defensie-AI-programma's.

3. annotatieworkflow en inter-annotatoroverenstemming

De annotatieworkflow is een wachtrijbeheerprobleem. Afbeeldingen stromen van het triagesysteem naar een annotatiewachtrij, annotatoren trekken taken uit de wachtrij, voltooide annotaties worden naar de datasetopslag geschreven, en een subset van voltooide annotaties wordt doorgestuurd naar een tweede annotator voor meting van inter-annotatoroverenstemming (IAA).

De IAA-meting is het belangrijkste kwaliteitssignaal in de pijplijn. Voor classificatietaken is Cohens kappa de standaardmetriek – het meet overeenstemming boven toeval, dus het is ongevoelig voor klasseonevenwicht op een manier waarop ruwe percentageovereenstemming dat niet is. Voor begrenzingsvaktaken is de gemiddelde doorsnede over unie (mIoU) over annotatorparen op dezelfde afbeelding de standaard – een drempel van 0,7 mIoU is een redelijk minimum voor goed gedefinieerde objectklassen, maar klassen met inherent dubbelzinnige grenzen (gebladerte, gedeeltelijk gedeconstrueerde opstellingen) kunnen werken bij lagere drempels met expliciete rechtvaardiging.

De IAA-meting moet 10–15% van elke batch dekken, willekeurig geselecteerd. De resultaten moeten worden weergegeven in een dashboard dat de IAA per annotator, per klasse en per schemasectie toont. Een lage IAA voor een specifieke klasse is een signaal dat het schema voor die klasse verduidelijking behoeft, niet dat de annotatoren slecht presteren. Een lage IAA voor een specifieke annotator is een signaal voor gerichte kalibratie. De pijplijn moet automatisch een arbitragestap activeren wanneer de IAA voor een klasse onder de gedefinieerde drempel zakt: het oneens zijnde annotatiepaar wordt doorgestuurd naar een senior annotator die het gouden-standaardlabel produceert. Gearbitreerde afbeeldingen voeden vervolgens de annotatorkalibratieset die wordt gebruikt bij de onboarding voor volgende batches.

Tools voor defensieannotatieplatforms

Defensieannotatieplatforms hebben vereisten die consumentenlabelingtools niet aanpakken: on-premises of air-gapped implementatie (geen geclassificeerde beelden naar cloud-annotatiediensten sturen), toegangscontrole op classificatieniveau per datasetpartitie, auditlogging van elke annotatoractie en ITAR-/exportnaleving voor multinationale programma's. CVAT (Computer Vision Annotation Tool) is een breed ingezet opensourceplatform dat on-premises hosting ondersteunt en een actieve defensie-integratiegemeenschap heeft. Label Studio is een andere optie met een flexibelere plugin-architectuur. Voor programma's die formele certificering van de labelingomgeving vereisen, bestaan er speciaal gebouwde defensiegerichte platforms die beschikbaar zijn via defensiespecifieke inkoopkanalen.

4. integratie van active learning

Defensiedatasets zijn doorgaans groot in ruw afbeeldingsaantal maar duur om te labelen. Een veldverzamelingsgebeurtenis voor een ISR-programma kan honderdduizenden frames produceren, waarvan slechts een fractie de doelklassen van belang bevat. De hele pool uniform labelen is verspilling – een aanzienlijk deel van de beelden zal niet-informatief zijn voor training (lege achtergrondframes, dubbele scènes, omstandigheden die al goed vertegenwoordigd zijn in de bestaande gelabelde set). Active learning richt de inspanning van annotatoren op de afbeeldingen die het model het meest onzeker vindt, waardoor het totale annotatiebudget dat nodig is om een doelmodelprestatieniveau te bereiken wordt verlaagd.

De standaard active-learninglus voor een defensie-AI-labelingpijplijn verloopt als volgt. Een initiële seedset (doorgaans 1.000–5.000 gelabelde afbeeldingen, geselecteerd door gestratificeerde steekproeven over klassen en omstandigheden) wordt gebruikt om een basismodel te trainen. Het getrainde model wordt vervolgens in inferentiemodus uitgevoerd over de gehele ongelabelde pool. Elke ongelabelde afbeelding krijgt een onzekerheidsscore toegewezen: voor classificatiekoppen zijn voorspellingsentropie (de Shannon-entropie van de softmaxdistributie) of minste-vertrouwen (één min de waarschijnlijkheid van de meest voorspelde klasse) de meest gangbare keuzes. Voor detectiemodellen is een gangbare benadering om de vertrouwensscores per detectie over de afbeelding te aggregeren – afbeeldingen waarbij de detector veel detecties met laag vertrouwen of conflicterende detecties produceert, worden beschouwd als hoge onzekerheid.

De afbeeldingen met de hoogste onzekerheid – doorgaans de bovenste 5–10% van de ongelabelde pool op onzekerheidsscore – worden toegevoegd aan de volgende annotatiebatch. Na het labelen wordt het model hertraind op de uitgebreide gelabelde set en herhaalt de cyclus zich. Het volgen van de mAP-curve tegen het cumulatieve annotatieaantal over de cycli heen kwantificeert de efficiëntiewinst van active learning. In productie-defensieprogramma's met grote ongelabelde pools verlaagt active learning doorgaans het aantal annotaties dat nodig is om een doel-mAP te bereiken met 30–60% vergeleken met willekeurige steekproeven uit de ongelabelde pool.

Eén belangrijk voorbehoud: active learning optimaliseert voor modelonzekerheid, wat niet identiek is aan optimaliseren voor modelprestaties in de moeilijkste operationele gevallen. Zeldzame maar operationeel kritieke doelklassen (nieuwe voertuigtypes, ongebruikelijke configuraties, vijandelijke camouflage) kunnen een zeer lage vertegenwoordiging hebben in de pool met hoge onzekerheid als het model er nooit voorbeelden van heeft gezien. Active learning moet worden gecombineerd met gerichte verzameling – het bewust verwerven en labelen van voorbeelden van bekende modelfaalmodi – en niet worden gebruikt als volledige vervanging voor curatie van de labelingwachtrij door domeinexperts.

5. classificatiebeheer en datasetgovernance

In een defensiecontext heeft "classificatie" twee verschillende betekenissen die de pijplijn gelijktijdig moet hanteren: de machine-learningtaak van het toewijzen van een klasselabel aan een object, en de informatiebeveiligingsclassificatie van de beelden zelf. Het verwarren van deze twee betekenissen in het pijplijnontwerp produceert ofwel beveiligingsschendingen ofwel onnodig restrictieve labelingworkflows – beide zijn kostbaar.

De classificatiebeheerarchitectuur van de pijplijn moet deze zorgen expliciet scheiden. Informatiebeveiligingsclassificatie is een eigenschap van de afbeelding en wordt afgedwongen door de toegangscontrolelaag – annotatoren zien alleen afbeeldingen op of onder hun autorisatieniveau, en classificatiemarkeringen reizen met de afbeelding mee door elke pijplijnfase. De ML-klassetaxonomie is een eigenschap van het annotatieschema en wordt beheerd door de labelingworkflow. Deze twee classificatiesystemen werken op orthogonale assen: één afbeelding kan ONGECLASSIFICEERD (informatiebeveiliging) zijn terwijl deze een VIJANDIG-WIELVOERTUIG (ML-klasse) bevat, en een VERTROUWELIJKE afbeelding kan alleen achtergrond bevatten zonder geannoteerde objecten.

Datasetgovernance – de set beleidsregels die bepalen hoe een gelabelde dataset kan worden gebruikt, gedeeld en gewijzigd – moet worden gecodificeerd voordat de eerste annotatie wordt geproduceerd, niet erna. Een datasetkaart is het standaardartefact hiervoor: een gestructureerd document dat de schemaversie, het classificatieniveau, het aantal annotatoren en hun autorisatieniveaus, IAA-scores, klasseverdeling, QC-geslaagd/mislukt-status voor elke geautomatiseerde controle, de trainingsruns die de dataset verbruikten en alle bekende beperkingen of vertekeningen vastlegt. De datasetkaart reist met elke export van de dataset mee en wordt bijgewerkt wanneer de dataset wordt gewijzigd, geaugmenteerd of opnieuw gelabeld onder een nieuwe schemaversie.

6. geautomatiseerde kwaliteitscontroles vóór trainingsgoedkeuring

Geen enkele dataset mag worden goedgekeurd voor modeltraining zonder een suite van geautomatiseerde kwaliteitscontroles te doorstaan. Deze controles vangen systematische problemen op die menselijke review mist omdat reviewers individuele annotaties onderzoeken in plaats van statistieken op datasetniveau.

Klasseverdelingsaudit. Verifieer dat elke klasse een minimaal instantieaantaldrempel haalt. Klassen onder de drempel worden gemarkeerd – ofwel moet de verzamel- en labelinginspanning voor die klasse worden verhoogd, ofwel moet de klasse worden samengevoegd met een ouderklasse voor de huidige trainingsrun. Controleer ook de onevenwichtsverhouding tussen de meest en minst voorkomende klasse: extreem onevenwicht (meer dan 100:1) zonder compenserende strategieën (oversampling, verliesweging) is een betrouwbare voorspeller van slechte recall op minderheidsklassen.

Begrenzingsvakplausibiliteit. Markeer annotaties met nul of negatieve oppervlakte, annotaties die zich buiten de afbeeldingsgrens uitstrekken en annotaties met beeldverhoudingen buiten het fysiek plausibele bereik voor de geannoteerde klasse. Een begrenzingsvak rond een staande persoon met een breedte-hoogteverhouding van 3:1 is vrijwel zeker een fout. Deze controles vangen annotatorfouten op die individueel zeldzaam maar cumulatief significant zijn op datasetschaal.

Duplicaat- en lekkagedetectie. Voer de volledige duplicaatdetectiesuite (exacte hash + perceptuele hash) uit op de uiteindelijke gelabelde set vóór het splitsen in trainings-, validatie- en testpartities. Verifieer na het splitsen dat geen enkele afbeelding in meer dan één partitie voorkomt. Als de dataset werd geaugmenteerd (spiegelingen, rotaties, bijsnijdingen), voer dan bijna-duplicaatdetectie uit op de post-augmentatieset en zorg ervoor dat geaugmenteerde varianten van dezelfde bronafbeelding niet worden verdeeld over training en validatie.

Annotatiedekking. Verifieer dat elke afbeelding ofwel geannoteerd is ofwel expliciet als hard negatief is gemarkeerd (een bevestigde afbeelding die geen instanties van een doelklasse bevat). Afbeeldingen zonder annotatie en zonder harde-negatiefvlag zijn dubbelzinnig – het kunnen ongeannoteerde positieven (gemiste annotaties) of echte negatieven zijn. Beide toestanden zijn schadelijk: ongeannoteerde positieven produceren een vals-negatief trainingssignaal; ongeverifieerde achtergrondafbeeldingen voegen ruis toe aan de harde-negatiefset. De dekkingscontrole vangt afbeeldingen op die door de annotatiewachtrij vielen zonder correct te zijn afgehandeld.

Nadat alle controles zijn doorstaan, wordt de dataset geëxporteerd naar het doelformaat – COCO JSON voor multitaakpijplijnen, YOLO TXT voor detectorspecifieke training – met classificatiemarkeringen ingebed in de metadata van elk uitvoerbestand. De exportgebeurtenis wordt gelogd met de datasetkaartversie, het QC-rapport en de identiteit van de ingenieur die de export goedkeurde. Dit auditspoor is de laatste verdedigingslinie tegen het starten van een trainingsrun op een niet-goedgekeurde of verkeerd geversioneerde dataset.