Verklaarbare AI voor defensiebeslissingen: vertrouwen, bewijs, accreditatie

Een AI-model dat een handelwijze aanbeveelt in een defensiebeslissing is slechts zo nuttig als het vertrouwen dat een operator en een accreditatieraad bereid zijn erin te stellen. Een kaal label – "vijandig, 0,94" – is niet genoeg. De operator moet begrijpen waarom het model tot die uitvoer kwam, hoe zeker het werkelijk is, en of het geval binnen de envelop valt waarin het model is getest. De accreditator moet bewijs zien dat het gedrag van het model wordt begrepen, niet slechts gemeten. Dit artikel behandelt verklaarbare AI (XAI) voor defensiebeslissingsondersteuning: de attributiemethoden die laten zien wat een voorspelling dreef, de kalibratie die vertrouwen betekenisvol maakt, het audittrail dat een nabeschouwing doorstaat, en het geheel aan bewijs dat accreditatie-instanties vereisen voordat een model wordt ingezet.

Wat "verklaarbaar" moet betekenen in defensie

Consumenten-XAI bestaat vooral om ingenieurs te helpen modellen te debuggen. Defensie-XAI draagt een zwaardere last. Hetzelfde verklaringsartefact moet drie verschillende doelgroepen met conflicterende behoeften dienen, en een systeem dat voor één ontwerpt, laat de andere twee doorgaans verschralen.

De operator heeft een snelle, in één oogopslag leesbare motivering binnen de beslissingslus nodig. Hij gaat geen SHAP-tabel met 200 features lezen terwijl een track nadert; hij moet in de beschikbare tijd weten welke invoer de aanbeveling dreef en of het systeem op dit moment zeker genoeg is om te worden vertrouwd.

De accreditator heeft het tegenovergestelde nodig: aggregaat-bewijs over een achtergehouden testset, dat karakteriseert waar het model betrouwbaar is en waar het faalt. Eén verklaring per geval vertelt een accreditatieraad vrijwel niets over restrisico; zij willen attributiepatronen, kalibratiecurven en gedocumenteerde faalmodi die de voorwaarden voor veilig gebruik definiëren.

De beoordelaar – de nabeschouwingsanalist of het onderzoek – heeft een reproduceerbaar dossier nodig van wat het systeem aanbeveelde, waarom, onder welke modelbuild, en wat de mens ermee deed. Dit is nauw verbonden met vragen over menselijke controle en verantwoordelijkheid, waar de verklaring onderdeel wordt van de verantwoordingsketen in plaats van een debugginggemak.

Feature-attributie: welke invoer dreef de uitvoer

Attributie is de basis van modeltransparantie. Het beantwoordt de vraag "welke delen van de invoer waren verantwoordelijk voor deze voorspelling" en kent elke invoerfeature, token of pixel een bijdragescore toe voor de specifieke uitvoer. De methode moet aansluiten op de modelklasse.

Gradiëntgebaseerde methoden – Integrated Gradients, Grad-CAM en saliency-kaarten – zijn van toepassing op differentieerbare modellen (de convolutionele en transformer-detectoren die over visie- en sequentietaken worden gebruikt). Integrated Gradients integreert gradiënten langs een pad van een baseline-invoer naar de werkelijke invoer, en voldoet aan nuttige axioma's zoals volledigheid: de attributies sommeren tot het verschil in modeluitvoer tussen baseline en invoer. Grad-CAM produceert een grove heatmap over de laatste convolutionele laag en is goedkoop genoeg om inline te berekenen, daarom domineert het realtime visieverklaringen.

SHAP (Shapley additive explanations) is de standaard voor tabel- en boomgebaseerde modellen – de fusiescores, sensorbetrouwbaarheidsfeatures en gestructureerde track-attributen die vaak een defensiebeslissingsondersteuningsmodel voeden. SHAP attribueert een voorspelling aan zijn features met een speltheoretische toewijzing die consistent en lokaal nauwkeurig is. De zwakte is kosten: exacte SHAP is exponentieel in het aantal features, en zelfs de benaderingen (KernelSHAP, TreeSHAP) kunnen te traag zijn voor een krappe realtime lus op een groot model.

Attributie kan misleiden – valideer het

Een attributiekaart is zelf een modeluitvoer, en kan fout zijn. Een detector die een schijncorrelatie heeft geleerd – bijvoorbeeld een doelklasse associëren met een achtergrondtextuur die toevallig samen voorkwam in de training – zal zelfverzekerde attributies produceren die naar de achtergrond wijzen. De discipline is om attributie te valideren tegen synthetische controles: construeer invoer waar het werkelijke saillante gebied bekend is, bevestig dat de attributie het volgt, en behandel elke afwijking als een bevinding over het model, niet als ruis in de verklaring. Deze validatie is onderdeel van het modelvalidatiebewijs dat een accreditatiepakket nodig heeft.

Contrafeitelijke verklaringen: wat de beslissing zou veranderen

Attributie verklaart de beslissing zoals die werd genomen. Een contrafeitelijke verklaring verklaart de beslissingsgrens nabij het geval: het is de kleinste verandering in de invoer die de uitvoer zou laten omslaan – de kleinste verstoring die een classificatie van "vijandig" naar "onbekend" zou verplaatsen, bijvoorbeeld. Operators vinden contrafeitelijke verklaringen vaak bruikbaarder dan attributie, omdat een contrafeitelijke verklaring hun vertelt hoe broos de aanbeveling is. Als een verandering van één pixel of een marginale contrastverschuiving het label omslaat, weet de operator dat het systeem op een mesrand balanceert en dat hij de aanbeveling dienovereenkomstig moet wegen.

Contrafeitelijke zoektocht is duur – het is een optimalisatieprobleem in de invoerruimte – dus hoort het thuis in de asynchrone, accreditatiewaardige laag in plaats van de realtime lus. Maar het artefact dat het produceert is precies wat een accreditator wil bij het karakteriseren van de stabiliteit van een beslissingsgrens over een testset.

Onzekerheid eerlijk communiceren

De meest schadelijke fout in ingezette beslissingsondersteunings-AI is verkeerd gestelde vertrouwenswaarde. Een ruwe softmax-score is geen waarschijnlijkheid; moderne netwerken zijn systematisch overmoedig, en een invoer buiten de distributie kan een 99%-score produceren op iets wat het model nooit heeft gezien. De eerste keer dat een operator een "99% zekere" aanbeveling catastrofaal fout ziet gaan, stort het vertrouwen in het systeem in – en het komt niet terug.

Kalibratie is de oplossing. Een gekalibreerd model is er een waarvan het gestelde vertrouwen overeenkomt met zijn empirische nauwkeurigheid: van de gevallen die het op 80% rapporteert, is ongeveer 80% correct. Temperatuurschaling op een achtergehouden set is een goedkope, effectieve post-hoc kalibratie voor classificatoren; isotone regressie verwerkt multiklasse-gevallen. De interface moet deze gekalibreerde waarschijnlijkheid presenteren, niet de ruwe score.

Aleatorische versus epistemische onzekerheid. Een volwassen systeem onderscheidt onherleidbare sensorruis (aleatorisch – de invoer is werkelijk dubbelzinnig) van modelonwetendheid (epistemisch – de invoer valt buiten de trainingsdistributie). De twee vereisen verschillende reacties. Aleatorische onzekerheid betekent "verzamel meer of betere gegevens over dit doel"; epistemische onzekerheid betekent "het model mag hier helemaal niet worden vertrouwd." Een detector voor buiten de distributie verandert het tweede geval in een expliciet signaal, zodat het systeem zich kan onthouden en de beslissing naar een mens kan routeren in plaats van een zelfverzekerd ogende aanbeveling te presenteren die het niet kan onderbouwen. Dit onthoudingsgedrag staat centraal bij AI-beslissingsondersteuning in C2-systemen, waar de mens-machine-overdracht het hele punt is.

Het audittrail: verklaring als bewijs

In defensie heeft een verklaring die alleen op het moment van inferentie bestaat en daarna wordt weggegooid geen bewijswaarde. De accreditatieraad, de nabeschouwing en elk later onderzoek moeten allemaal een beslissing achteraf reconstrueren – en zij moeten het exact reconstrueren. Dat vereist dat voor elke beslissing een gestructureerd dossier wordt bewaard.

Een minimaal toereikend auditdossier legt vast: de modelidentiteit en versiehash; de exacte invoer, of een contenthash plus een verwijzing naar bewaarde brongegevens; de uitvoer en het gekalibreerde vertrouwen ervan; het verklaringsartefact dat voor dat geval is berekend; de data- en configuratieversies die op dat moment van kracht waren; en de actie van de operator – accepteren, afwijzen of overrulen – met een tijdstempel. Het vastpinnen van versies is niet optioneel. Een vandaag gelogde verklaring is alleen reproduceerbaar als de modelbuild en dataversie die het produceerden kunnen worden gereconstitueerd; zonder dat invalideert de volgende modelupdate stilzwijgend elke eerdere verklaring en verliest het audittrail zijn betekenis.

Gelaagde verklaring om aan het latentiebudget te voldoen

Rigoureuze verklaring en realtime respons staan in directe spanning. Exacte SHAP of contrafeitelijke zoektocht kan niet binnen een beslissingslus van minder dan een seconde draaien. De oplossing is een gelaagde pijplijn. Een goedkope inline-verklaring – gekalibreerd vertrouwen, een Grad-CAM saliency-kaart, de meest bijdragende tracks of features – wordt binnen het latentiebudget berekend en onmiddellijk aan de operator getoond. De dure accreditatiewaardige verklaring – volledige attributie, contrafeitelijke analyse – wordt in de wachtrij geplaatst voor een asynchrone worker en buiten de band aan het gelogde beslissingsdossier gekoppeld. De operator krijgt een snelle motivering; het audittrail krijgt de rigoureuze. Geen van beide doelgroepen wordt opgeofferd om de andere te dienen.

Het bewijs dat accreditatie-instanties vereisen

Accreditatie is fundamenteel een oefening in het begrenzen van restrisico. Een raad zet een systeem niet in omdat zijn aggregaat-nauwkeurigheid hoog is; het zet een systeem in omdat het begrijpt waar het systeem werkt, waar het faalt, en wat de gebruiksvoorwaarden moeten zijn. XAI is hoe een ontwikkelaar dat begrip levert.

Het bewijspakket dat een accreditator verwacht gaat veel verder dan een kopmetriek. Het omvat slice-gebaseerde prestaties – nauwkeurigheid uitgesplitst naar operationeel betekenisvolle condities (sensortype, afstandsband, weer, doelklasse) in plaats van één samengevoegd getal dat de gevaarlijke gevallen wegmiddelt. Het omvat kalibratiebewijs dat aantoont dat de vertrouwenswaarden kunnen worden vertrouwd. Het omvat geaggregeerde attributie die aantoont dat het model aandacht besteedt aan causaal relevante features in plaats van schijncorrelaten. En het omvat gedocumenteerde faalmodi: de bekende condities waaronder het model verslechtert, en de runtime-bewakingen (detectie buiten de distributie, onthoudingsbanden) die ze opvangen.

Raamwerken voor verantwoorde militaire AI – waaronder de NAVO-principes voor verantwoord gebruik en vergelijkbaar nationaal bestuur – maken traceerbaarheid en betrouwbaarheid tot expliciete eisen. XAI-artefacten zijn het mechanisme waarmee die abstracte principes een concreet, beoordeelbaar dossier worden. Dezelfde discipline geldt met extra kracht voor generatieve componenten, waar prompt-injectie en hallucinatie faalmodi creëren die klassieke detectoren niet hebben; de overwegingen daar worden behandeld in ons artikel over LLM-beveiliging voor defensie-AI-systemen.

Van verklaring naar ingezet vertrouwen

Verklaarbaarheid is geen functie die op een afgewerkt model wordt geschroefd; het is een eigenschap die in het systeem wordt ontworpen, van de datapijplijn tot aan de operatorinterface en de loglaag. Het model dat vertrouwen verdient in het veld is degene waarvan het vertrouwen is gekalibreerd, waarvan de attributies zijn gevalideerd tegen controles, waarvan de grenzen worden gedetecteerd en als onthouding worden getoond, en waarvan elke beslissing reproduceerbaar genoeg wordt vastgelegd om in een accreditatiebeoordeling te verdedigen. Krijg deze vier dingen goed en de verklaring houdt op een nalevingslast te zijn – het wordt de reden waarom een operator überhaupt bereid is naar de aanbeveling te handelen.