De AI-strategie van NATO, vastgesteld door de Geallieerde Defensieministers in oktober 2021, heeft het kader van het Bondgenootschap voor verantwoorde AI-adoptie over het volledige spectrum van militaire en civiele operaties vastgelegd. Hoewel de strategie zelf een beleidsdocument op hoog niveau is, heeft zij een reeks concrete vereisten en verwachtingen gegenereerd die rechtstreeks vertalen naar aanbestedingscriteria voor AI-gestuurde defensiesoftware. Het begrijpen van deze vereisten is niet optioneel voor softwareleveranciers die AI-mogelijkheden aan de NATO-markt willen verkopen — het is een basiskwalificatievereiste.
De strategie is sinds 2021 blijven evolueren. Het Strategisch Concept 2022 bevestigde AI als prioriteitstechnologiegebied. Het DIANA-programma (Defence Innovation Accelerator for the North Atlantic) heeft de principes van de strategie geïntegreerd in zijn evaluatiecriteria. En afzonderlijke NATO-lidstaten hebben de principes op Bondgenootschapsniveau vertaald naar nationale aanbestedingsvereisten die bepalen wat zij wel en niet kopen.
NATO AI-strategie: zes principes voor verantwoorde AI
De kern van de AI-strategie van NATO is een reeks van zes principes voor verantwoord gebruik van AI in defensie. Deze principes zijn ontwikkeld in afstemming met de OECD AI-principes en weerspiegelen de toewijding van het Bondgenootschap aan het handhaven van menselijk toezicht en ethische beperkingen op AI-systemen, zelfs onder operationele druk. De zes principes zijn:
Rechtmatigheid: AI-toepassingen moeten worden ontwikkeld en gebruikt in overeenstemming met nationaal en internationaal recht, inclusief internationaal humanitair recht en mensenrechtenrecht. Voor softwareleveranciers betekent dit dat AI-systemen bestemd voor operationeel militair gebruik moeten worden ontworpen met expliciete beperkingen die voorkomen dat zij onrechtmatige toepassingen mogelijk maken, en dat de leverancier deze beperkingen moet kunnen documenteren en aantonen.
Verantwoordelijkheid en aansprakelijkheid: Er moet duidelijke en ondubbelzinnige aansprakelijkheid zijn voor AI-systemen, zowel tijdens de ontwikkeling als bij operationeel gebruik. Dit beginsel heeft aanzienlijke gevolgen voor de architectuur van AI-systemen — het vereist duidelijke traceerbaarheid van AI-systeemuitvoer naar de menselijke besluitvormers die op die uitvoer handelen, en duidelijke documentatie van de verantwoordelijkheidsketen voor het gedrag van AI-systemen.
Verklaarbaarheid en traceerbaarheid: AI-toepassingen moeten begrijpelijk en traceerbaar zijn op een wijze die past bij de context van hun gebruik. Dit is een van de technisch meest veeleisende principes voor AI-leveranciers, omdat veel hoogpresterende AI-benaderingen (met name deep learning-modellen) inherent moeilijk te verklaren zijn. De verwachting van NATO is niet dat alle AI-systemen inherent interpreteerbare benaderingen moeten gebruiken, maar dat leveranciers contextgepaste verklaringen van systeemgedrag moeten kunnen bieden voor het niveau van beslissingsbevoegdheid waarop het systeem opereert.
Betrouwbaarheid: AI-toepassingen moeten betrouwbaar functioneren in overeenstemming met hun beoogde doel over het volledige scala aan operationele omstandigheden — niet alleen onder testomstandigheden. Dit weerklinkt rechtstreeks met het gevechtsbewezen versus laboratoriumgetest onderscheid: een systeem dat betrouwbaar presteert in een testomgeving maar onverwacht verslechtert onder operationele omstandigheden, voldoet niet aan het betrouwbaarheidsbeginsel.
Bestuurbaarheid: AI-systemen moeten worden ontworpen om passend menselijk toezicht en controle mogelijk te maken, met de mogelijkheid om AI-functies in te grijpen, aan te passen of uit te schakelen indien nodig. Dit beginsel vertaalt zich in concrete architectuurvereisten: AI-systemen moeten menselijke overschrijvingsinterfaces blootstellen, moeten voorspelbaar en onmiddellijk reageren op overschrijvingsopdrachten, en mogen geen emergent gedrag vertonen dat menselijke beheermechanismen omzeilt.
Biasbeperking: Er moeten inspanningen worden gedaan om onbedoelde bias in AI-toepassingen te minimaliseren die van invloed kunnen zijn op besluitvorming, met name in toepassingen die mensen betreffen. Voor inlichtingen-, surveillance- en doelaanslagstoepassingen vereist dit gedocumenteerde tests op prestatieverschillen over verschillende omgevingsomstandigheden, doeltypen en gegevensbronnen, met beperkingsmaatregelen waar discrepanties worden vastgesteld.
Vereisten voor AI-systemen: verklaarbaarheid, controleerbaarheid, robuustheid
Wanneer de zes principes worden vertaald naar aanbestedingsvereisten, zijn de meest consistent genoemde technische vereisten voor NATO AI-systemen verklaarbaarheid, controleerbaarheid en robuustheid. Deze drie vereisten zijn onderling verbonden en definiëren samen de praktische nalevingsnorm voor AI-defensiesoftware.
Verklaarbaarheid in een NATO-context betekent niet dat het AI-systeem een volledige technische uitleg van de modelinternals moet geven. Het betekent dat het systeem voor een gegeven uitvoer of aanbeveling een contextgepaste uitleg moet kunnen geven die de menselijke operator in staat stelt de aanbeveling te beoordelen en een weloverwogen beslissing te nemen om deze te accepteren of te verwerpen. Voor een beeldclassificatiesysteem dat wordt gebruikt bij inlichtingenanalyse kan dit betekenen dat de kenmerken in het beeld worden benadrukt die het sterkst hebben bijgedragen aan de classificatie. Voor een logistiek optimalisatiesysteem kan dit betekenen dat wordt getoond welke beperkingen de aanbevolen routeringsbeslissing hebben gedreven. Het vereiste niveau van verklaarbaarheid is afgestemd op het betrokken niveau van beslissingsbevoegdheid.
Controleerbaarheid vereist dat het gedrag van AI-systemen achteraf kan worden gereconstrueerd voor beoordeling, voor operationeel leren, onderzoek van fouten of juridische/beleidsmatige aansprakelijkheid. Dit betekent dat AI-systemen hun invoer, redeneerprocessen en uitvoer moeten loggen met voldoende detail om post-hoc analyse mogelijk te maken. De loggingvereisten voor geclassificeerde militaire systemen zijn streng en moeten vanaf het begin in de systeemarchitectuur worden overwogen — het achteraf toevoegen van auditlogging aan een bestaand systeem is aanzienlijk duurder dan er van meet af aan voor ontwerpen.
Robuustheid betreft de prestaties van het systeem bij distributieschuiving — wanneer operationele invoer verschilt van de verdeling van trainingsgegevens. Militaire omgevingen worden gekenmerkt door precies dit soort distributieschuiving: sensoren werken onder omstandigheden die niet in trainingsgegevens waren vertegenwoordigd, tegenstanders proberen actief invoer te creëren die AI-systemen misleidt, en operationeel tempo creëert kwaliteitsproblemen met gegevens. Robuuste AI-systemen zijn systemen waarvan de prestaties geleidelijk verslechteren bij distributieschuiving, in plaats van catastrofaal te falen. Het aantonen van robuustheid vereist systematisch adversarieel testen en prestatie-evaluatie onder diverse omgevingsomstandigheden.
Kernbevinding: De AI-vereisten van NATO zijn niet primair gericht op het beperken van AI-capaciteiten — zij zijn bedoeld om voldoende vertrouwen in AI-systemen te creëren voor operationele adoptie. Een leverancier die naleving van NATO AI-principes ziet als een belemmering, mist het punt. De principes bestaan omdat AI-systemen die niet kunnen worden verklaard, gecontroleerd of overschreven, door operationele militaire gebruikers niet zullen worden geadopteerd, ongeacht hun technische prestaties.
Implicaties voor defensiesoftwareleveranciers
Voor softwareleveranciers die AI-gestuurde defensieproducten ontwikkelen, heeft de NATO AI-strategie concrete implicaties voor productontwikkeling, documentatie en go-to-market-positionering. De belangrijkste zijn:
Ontwerp verklaarbaarheid vanaf het begin. Het kiezen van modelarchitecturen en trainingsbenaderingen die verklaarbaarheid ondersteunen, is aanzienlijk goedkoper dan het achteraf toevoegen van verklaarbaarheidsmanismen. Voor leveranciers die werken in computervisie moeten gradient-weighted Class Activation Mapping (Grad-CAM) en vergelijkbare attributiemethoden standaardkenmerken zijn. Voor NLP-gebaseerde systemen moeten aandachtsvisualisatie en feature-attributie zijn ingebouwd. Voor beslissingsondersteunende systemen moet het tonen van de belangrijkste factoren die aanbevelingen beïnvloeden een standaarduitvoerformaat zijn.
Documenteer uw trainingsgegevens en testmethodologie. NATO-aanbestedingsevaluatoren zullen vragen stellen over de herkomst van trainingsgegevens, labelmethodologie en testsetsamenstelling. Leveranciers die deze vragen niet in detail kunnen beantwoorden, wekken onmiddellijk zorgen over de vraag of de vermelde prestaties van het systeem een betrouwbare indicator zijn van operationele prestaties. Het bijhouden van een modelkaart voor elk AI-component — met documentatie van trainingsgegevens, prestatiebenchmarks, bekende beperkingen en geschikte gebruiksomstandigheden — is de minimale documentatienorm voor NATO-gealigneerde AI-producten.
Integreer menselijke overriding in de architectuur, niet als bijzaak. Het bestuurbaarheidsbeginsel betekent dat menselijke overriding een architecturaal kenmerk moet zijn in plaats van een procedurele noodoplossing. Systemen die een gebruiker door meerdere schermen laten navigeren om een AI-aanbeveling te overschrijven, of die geen duidelijk onderscheid maken tussen AI-aanbevelingen en gevalideerde menselijke beslissingen, zullen waarschijnlijk niet slagen voor NATO-aanbestedingsevaluatie.
AI-governancekaders: ALTAI en de EU AI Act
Naast NATO-specifieke vereisten moeten defensie-AI-leveranciers die in Europa actief zijn ook het EU-AI-governancekader navigeren. De EU AI Act, die in 2024 in werking trad, bevat een specifieke uitzondering voor AI-systemen die uitsluitend voor militaire en nationale veiligheidsdoeleinden worden gebruikt, wat betekent dat puur militaire AI-toepassingen niet onderworpen zijn aan de conformiteitsbeoordelingsvereisten van de wet. Dual-use-AI-systemen — systemen met zowel civiele als militaire toepassingen — kunnen echter onder de hoog-risico-AI-categorie van de wet vallen, wat vereisten voor conformiteitsbeoordeling, CE-markering en registratie in de EU AI-database activeert.
De Assessment List for Trustworthy AI (ALTAI), ontwikkeld door de High-Level Expert Group on AI van de EU, biedt een zelfbeoordelingstool die nauw aansluit bij zowel de zes principes van NATO als de vereisten van de EU AI Act. Het gebruik van ALTAI als ontwikkelingscontrolelijst creëert een gedocumenteerd spoor van verantwoorde AI-ontwikkeling dat nuttig is in zowel NATO- als EU-aanbestedingscontexten, waardoor het een efficiënt enkelvoudig kader is voor bedrijven die op beide markten actief zijn.