IA explicable pour les décisions de défense : confiance, preuves, accréditation

Un modèle d'IA qui recommande une ligne de conduite dans une décision de défense n'est utile que dans la mesure de la confiance qu'un opérateur et une commission d'accréditation sont prêts à lui accorder. Une étiquette nue – « hostile, 0,94 » – ne suffit pas. L'opérateur doit comprendre pourquoi le modèle est parvenu à cette sortie, quelle est réellement sa confiance et si le cas tombe dans l'enveloppe où le modèle a été testé. L'accréditeur doit voir des preuves que le comportement du modèle est compris, et non simplement mesuré. Cet article parcourt l'IA explicable (XAI) pour l'aide à la décision de défense : les méthodes d'attribution qui montrent ce qui a déterminé une prédiction, la calibration qui rend la confiance significative, le journal d'audit qui survit à un retour d'expérience, et le corpus de preuves qu'exigent les organismes d'accréditation avant qu'un modèle soit déployé.

Ce que « explicable » doit signifier dans la défense

La XAI grand public existe surtout pour aider les ingénieurs à déboguer les modèles. La XAI de défense porte une charge plus lourde. Le même artefact d'explication doit servir trois publics distincts aux besoins contradictoires, et un système conçu pour l'un tend à affamer les deux autres.

L'opérateur a besoin d'une justification rapide et lisible d'un coup d'œil à l'intérieur de la boucle de décision. Il ne va pas lire un tableau SHAP de 200 caractéristiques pendant qu'une piste se rapproche ; il a besoin de savoir, dans le temps disponible, quelles entrées ont déterminé la recommandation et si le système est assez confiant pour qu'on lui fasse confiance maintenant.

L'accréditeur a besoin de l'opposé : des preuves agrégées sur un jeu de test retenu, caractérisant où le modèle est fiable et où il échoue. Une seule explication par cas ne dit presque rien à une commission d'accréditation sur le risque résiduel ; elle veut des motifs d'attribution, des courbes de calibration et des modes de défaillance documentés qui définissent les conditions d'un usage sûr.

L'examinateur – l'analyste du retour d'expérience ou l'enquête – a besoin d'un enregistrement reproductible de ce que le système a recommandé, pourquoi, sous quelle build de modèle et ce que l'humain en a fait. Cela est étroitement lié aux questions de contrôle humain et de responsabilité, où l'explication devient partie de la chaîne de responsabilité plutôt qu'une commodité de débogage.

Attribution de caractéristiques : quelles entrées ont déterminé la sortie

L'attribution est le fondement de la transparence du modèle. Elle répond à la question « quelles parties de l'entrée étaient responsables de cette prédiction » et attribue à chaque caractéristique d'entrée, jeton ou pixel un score de contribution pour la sortie spécifique. La méthode doit correspondre à la classe de modèle.

Les méthodes basées sur le gradient – Integrated Gradients, Grad-CAM et cartes de saillance – s'appliquent aux modèles différentiables (les détecteurs convolutifs et transformeurs utilisés dans les tâches de vision et de séquence). Integrated Gradients intègre les gradients le long d'un chemin d'une entrée de référence à l'entrée réelle, satisfaisant des axiomes utiles comme la complétude : les attributions se somment à la différence de sortie du modèle entre la référence et l'entrée. Grad-CAM produit une carte thermique grossière sur la dernière couche convolutive et est assez bon marché pour être calculé en ligne, ce qui explique pourquoi il domine les explications de vision en temps réel.

SHAP (Shapley additive explanations) est la norme pour les modèles tabulaires et arborescents – les scores de fusion, les caractéristiques de fiabilité des capteurs et les attributs structurés de pistes qui alimentent souvent un modèle d'aide à la décision de défense. SHAP attribue une prédiction à ses caractéristiques au moyen d'une allocation issue de la théorie des jeux, cohérente et localement exacte. Sa faiblesse est le coût : le SHAP exact est exponentiel en nombre de caractéristiques, et même les approximations (KernelSHAP, TreeSHAP) peuvent être trop lentes pour une boucle temps réel serrée sur un grand modèle.

L'attribution peut induire en erreur – validez-la

Une carte d'attribution est elle-même une sortie de modèle, et elle peut être erronée. Un détecteur qui a appris une corrélation fallacieuse – par exemple, associer une classe de cible à une texture d'arrière-plan qui coïncidait par hasard dans l'entraînement – produira des attributions sûres pointant vers l'arrière-plan. La discipline consiste à valider l'attribution par rapport à des contrôles synthétiques : construire des entrées où la vraie région saillante est connue, confirmer que l'attribution la suit, et traiter tout écart comme une constatation sur le modèle, et non comme du bruit dans l'explication. Cette validation fait partie des preuves de validation du modèle dont a besoin un dossier d'accréditation.

Contrefactuelles : ce qui changerait la décision

L'attribution explique la décision telle qu'elle a été prise. Une contrefactuelle explique la frontière de décision près du cas : c'est le plus petit changement d'entrée qui ferait basculer la sortie – la plus petite perturbation qui ferait passer une classification d'« hostile » à « inconnu », par exemple. Les opérateurs trouvent fréquemment les contrefactuelles plus exploitables que l'attribution, car une contrefactuelle leur indique à quel point la recommandation est fragile. Si un changement d'un pixel ou un décalage marginal de contraste fait basculer l'étiquette, l'opérateur sait que le système est sur le fil du rasoir et doit pondérer la recommandation en conséquence.

La recherche contrefactuelle est coûteuse – c'est un problème d'optimisation dans l'espace d'entrée – elle appartient donc au niveau asynchrone de qualité accréditation plutôt qu'à la boucle temps réel. Mais l'artefact qu'elle produit est exactement ce que veut un accréditeur lorsqu'il caractérise la stabilité d'une frontière de décision sur un jeu de test.

Communiquer l'incertitude honnêtement

La défaillance la plus dommageable d'une IA d'aide à la décision déployée est une confiance mal énoncée. Un score softmax brut n'est pas une probabilité ; les réseaux modernes sont systématiquement surconfiants, et une entrée hors distribution peut produire un score de 99 % sur quelque chose que le modèle n'a jamais vu. La première fois qu'un opérateur voit une recommandation « confiante à 99 % » se révéler catastrophiquement fausse, la confiance dans le système s'effondre – et elle ne revient pas.

La calibration est le remède. Un modèle calibré est celui dont la confiance énoncée correspond à sa précision empirique : parmi les cas qu'il rapporte à 80 %, environ 80 % sont corrects. La mise à l'échelle par température sur un jeu retenu est une calibration post-hoc bon marché et efficace pour les classificateurs ; la régression isotonique gère les cas multiclasses. L'interface doit présenter cette probabilité calibrée, et non le score brut.

Incertitude aléatoire versus épistémique. Un système mature distingue le bruit de capteur irréductible (aléatoire – l'entrée est réellement ambiguë) de l'ignorance du modèle (épistémique – l'entrée est hors de la distribution d'entraînement). Les deux exigent des réponses différentes. L'incertitude aléatoire signifie « collectez plus ou de meilleures données sur cette cible » ; l'épistémique signifie « le modèle ne devrait pas du tout être cru ici ». Un détecteur hors distribution transforme le second cas en un signal explicite, afin que le système puisse s'abstenir et router la décision vers un humain plutôt que de présenter une recommandation d'apparence sûre qu'il ne peut étayer. Ce comportement d'abstention est central pour l'aide à la décision par IA dans les systèmes C2, où le transfert homme-machine est tout l'enjeu.

Le journal d'audit : l'explication comme preuve

Dans la défense, une explication qui n'existe qu'au moment de l'inférence puis est jetée n'a aucune valeur probante. La commission d'accréditation, le retour d'expérience et toute enquête ultérieure doivent tous reconstituer une décision après coup – et ils doivent la reconstituer exactement. Cela exige de persister, pour chaque décision, un enregistrement structuré.

Un enregistrement d'audit minimalement suffisant capture : l'identité du modèle et le hash de version ; l'entrée exacte, ou un hash de contenu plus une référence aux données sources conservées ; la sortie et sa confiance calibrée ; l'artefact d'explication calculé pour ce cas ; les versions de données et de configuration en vigueur à l'époque ; et l'action de l'opérateur – accepter, rejeter ou outrepasser – avec un horodatage. L'épinglage des versions n'est pas facultatif. Une explication journalisée aujourd'hui n'est reproductible que si la build du modèle et la version de données qui l'ont produite peuvent être reconstituées ; sans cela, la prochaine mise à jour du modèle invalide silencieusement chaque explication antérieure et le journal d'audit perd son sens.

Explication à plusieurs niveaux pour respecter le budget de latence

L'explication rigoureuse et la réponse en temps réel sont en tension directe. Le SHAP exact ou la recherche contrefactuelle ne peut pas s'exécuter à l'intérieur d'une boucle de décision sous la seconde. La résolution est un pipeline à plusieurs niveaux. Une explication en ligne bon marché – confiance calibrée, une carte de saillance Grad-CAM, les pistes ou caractéristiques contribuant le plus – est calculée dans le budget de latence et montrée immédiatement à l'opérateur. L'explication coûteuse de qualité accréditation – attribution complète, analyse contrefactuelle – est mise en file vers un travailleur asynchrone et attachée au dossier décisionnel journalisé hors bande. L'opérateur obtient une justification rapide ; le journal d'audit obtient la rigoureuse. Aucun public n'est compromis pour servir l'autre.

Les preuves exigées par les organismes d'accréditation

L'accréditation est fondamentalement un exercice de délimitation du risque résiduel. Une commission ne déploie pas un système parce que sa précision agrégée est élevée ; elle déploie un système parce qu'elle comprend où le système fonctionne, où il échoue et quelles doivent être les conditions d'emploi. La XAI est la manière dont un développeur fournit cette compréhension.

Le dossier de preuves qu'attend un accréditeur va bien au-delà d'une métrique de surface. Il inclut la performance par tranches – la précision ventilée par conditions opérationnellement significatives (type de capteur, bande de portée, météo, classe de cible) plutôt qu'un seul chiffre agrégé qui moyenne et masque les cas dangereux. Il inclut des preuves de calibration montrant que l'on peut faire confiance aux valeurs de confiance. Il inclut une attribution agrégée démontrant que le modèle prête attention à des caractéristiques causalement pertinentes plutôt qu'à des corrélats fallacieux. Et il inclut des modes de défaillance documentés : les conditions connues sous lesquelles le modèle se dégrade, et les garde-fous d'exécution (détection hors distribution, bandes d'abstention) qui les attrapent.

Les cadres pour une IA militaire responsable – y compris les principes de l'OTAN sur l'usage responsable et une gouvernance nationale comparable – font de la traçabilité et de la fiabilité des exigences explicites. Les artefacts XAI sont le mécanisme par lequel ces principes abstraits deviennent un dossier concret et examinable. La même discipline s'applique avec une force supplémentaire aux composants génératifs, où l'injection de prompt et l'hallucination créent des modes de défaillance que les détecteurs classiques n'ont pas ; les considérations à ce sujet sont traitées dans notre article sur la sécurité des LLM pour les systèmes d'IA de défense.

De l'explication à la confiance sur le terrain

L'explicabilité n'est pas une fonctionnalité boulonnée sur un modèle achevé ; c'est une propriété conçue dans le système depuis le pipeline de données jusqu'à l'interface opérateur et la couche de journalisation. Le modèle qui gagne la confiance sur le terrain est celui dont la confiance est calibrée, dont les attributions sont validées par rapport à des contrôles, dont les limites sont détectées et exposées sous forme d'abstention, et dont chaque décision est enregistrée de façon suffisamment reproductible pour être défendue lors d'un examen d'accréditation. Réussissez ces quatre choses et l'explication cesse d'être un fardeau de conformité – elle devient la raison pour laquelle un opérateur est disposé à agir sur la recommandation tout court.