Attaques adversariales sur les systèmes IA de défense : modèles de menaces et durcissement

L'hypothèse la plus dangereuse qu'un programme de défense puisse faire concernant ses systèmes IA est que les adversaires les attaqueront de la même manière que les benchmarks académiques — avec des perturbations numériques soigneusement construites testées sur des ensembles de données réservés. L'IA militaire opérationnelle fait face à une surface d'attaque plus large et plus sévère : des acteurs étatiques avec des mois de préparation, un accès initié aux pipelines d'entraînement et la capacité de manipuler l'environnement physique que les capteurs observent.

Pourquoi les attaques adversariales importent pour l'IA militaire

Quand un modèle IA se trompe dans une application commerciale, le coût est une expérience utilisateur dégradée ou une vente perdue. Quand un modèle de classification ISR identifie incorrectement un véhicule comme civil parce qu'un adversaire a placé un motif soigneusement conçu sur son toit, les conséquences opérationnelles sont d'une autre catégorie. L'IA militaire est intégrée dans des boucles de décision où les erreurs ont un poids mortel ou stratégique — ciblage, autorisation logistique, identification du personnel, analyse des signaux.

La surface d'attaque croît avec chaque nouveau déploiement d'IA. Une IA logistique approuvant des itinéraires de ravitaillement peut être manipulée par des données empoisonnées pour approuver des itinéraires exposant des convois. Un classificateur acoustique sur un nœud de capteur sans pilote peut être trompé par injection de signal RF, l'empêchant de détecter des tirs ennemis. Un modèle de détection d'objets dans un flux UAV peut être contourné par un patch imprimé sur le toit d'un véhicule.

La menace n'est pas hypothétique : des organisations de recherche indépendantes ont démontré des attaques adversariales dans le monde physique contre des modèles de détection d'objets en production, atteignant un taux de succès d'attaque supérieur à 85% sans accès aux poids du modèle.

Taxonomie des attaques adversariales

Les attaques d'évasion se produisent au moment de l'inférence. L'adversaire construit des entrées — une image, un échantillon audio, une séquence de texte — qui sont perceptuellement similaires à des entrées légitimes mais amènent le modèle à produire une sortie incorrecte.

Les attaques d'empoisonnement se produisent pendant l'entraînement. L'adversaire corrompt ou complète les données d'entraînement avec des échantillons qui amènent le modèle à apprendre un comportement malveillant spécifique. Le modèle entraîné fonctionne normalement sur des entrées propres mais se comporte incorrectement sur les entrées portant le motif déclencheur. Cette catégorie est la plus pertinente pour la défense lorsque les données d'entraînement proviennent de sources ouvertes ou insuffisamment vérifiées.

Les attaques d'extraction de modèle permettent à un adversaire disposant d'un accès par requêtes à un modèle déployé de reconstruire une approximation fonctionnelle par sondage systématique. Le modèle extrait peut ensuite être utilisé pour développer des attaques d'évasion plus efficaces sans accès direct aux poids originaux.

Les attaques par porte dérobée et chevaux de Troie méritent une mention distincte en raison de leurs propriétés de furtivité. Un modèle avec porte dérobée passe tous les tests de précision standards et se comporte identiquement à un modèle propre sur chaque entrée sauf celles contenant le déclencheur intégré pendant l'entraînement.

Exemples adversariaux dans le monde physique

Les patchs adversariaux sont l'attaque physique la plus étudiée. Un patch est une image imprimée, typiquement 20–30 cm dans la plus grande dimension pour des cibles de taille véhicule, conçu avec la technique Expectation over Transformation (EOT) pour rester adversarial à travers diverses variations d'angle de vue, d'éclairage, de distance et de qualité d'impression.

Les motifs de camouflage adversariaux représentent une extension plus sophistiquée. Plutôt qu'un patch discret, l'adversaire conçoit une texture ou un motif de camouflage pour l'ensemble d'un véhicule ou de l'équipement personnel qui est systématiquement adversarial contre une classe cible de modèles de détection.

L'injection de signal RF dans les classificateurs acoustiques est une attaque physique moins médiatisée mais opérationnellement pertinente. Un adversaire disposant d'un émetteur RF directionnel peut injecter des interférences soigneusement construites qui amènent le classificateur acoustique à supprimer la détection d'événements réels ou à halluciner de faux.

Entraînement adversarial et robustesse certifiée

L'entraînement adversarial est la défense empiriquement la plus efficace contre les attaques d'évasion. La méthode Projected Gradient Descent (PGD) génère les perturbations les plus fortes dans une boule de norme spécifiée — typiquement L-infinity avec epsilon = 8/255 pour les images naturelles — et les ajoute à chaque lot d'entraînement.

La fonction de perte TRADES étend l'entraînement PGD en pénalisant explicitement l'écart entre la prédiction du modèle sur un exemple propre et sa prédiction sur la version adversarialement perturbée. Cela produit de meilleurs compromis robustesse-précision que l'entraînement PGD ordinaire.

Les méthodes de robustesse certifiée — notamment le lissage aléatoire — offrent une garantie mathématiquement prouvable que la sortie du modèle ne peut pas changer dans un rayon L2 spécifié autour d'une entrée donnée. Chaque approche d'entraînement adversarial engendre un coût en termes de précision propre — typiquement 2–8% sur des images naturelles.

Défenses par prétraitement des entrées

Le feature squeezing réduit la précision ou la résolution de l'entrée pour supprimer les perturbations haute fréquence sur lesquelles la plupart des attaques adversariales s'appuient. La compression JPEG comme étape de prétraitement détruit de nombreuses perturbations basées sur les gradients. Les détecteurs basés sur la dimensionnalité intrinsèque locale (LID) et la distance de Mahalanobis comparent les activations de couches intermédiaires avec la distribution des activations sur des données d'entraînement propres. La détection de désaccord d'ensemble exécute l'entrée à travers plusieurs modèles indépendamment entraînés et signale un désaccord élevé comme signal de manipulation adversariale.

Gouvernance des modèles pour la résilience adversariale

La signature de modèle consiste à attacher une signature cryptographique à un artefact de modèle entraîné. Le RBAC sur les points de terminaison d'inférence limite quels systèmes et utilisateurs peuvent interroger un modèle déployé — cela contraint directement les attaques d'extraction de modèle. Le versionnement et le rollback de modèle garantissent que chaque version déployée est enregistrée. Un cycle continu d'évaluation red team ferme la boucle de rétroaction entre la recherche sur les menaces et le déploiement.

Méthodologie d'évaluation red team

Le framework AutoAttack est le standard actuel pour le benchmarking de robustesse numérique. AutoAttack assemble un ensemble fixe d'attaques diverses — APGD-CE, APGD-T, FAB et Square Attack — et évalue automatiquement un modèle contre toutes. Foolbox fournit une bibliothèque complémentaire d'attaques individuelles pour des investigations ciblées.

L'évaluation du monde physique nécessite un protocole dédié. L'équipe d'évaluation génère des patchs adversariaux avec la méthode EOT, ciblant le type de capteur spécifique, la résolution et la plage d'altitude du déploiement opérationnel. Les patchs sont imprimés en tailles opérationnellement pertinentes, montés sur des objets cibles et évalués dans les mêmes conditions de collecte que le déploiement.