Atacuri adversariale asupra sistemelor AI de apărare: modele de amenințări și întărire

Cea mai periculoasă ipoteză pe care un program de apărare o poate face despre sistemele sale AI este că adversarii le vor ataca la fel cum o fac benchmark-urile academice — cu perturbări digitale atent construite testate pe seturi de date rezervate. AI-ul militar operațional se confruntă cu o suprafață de atac mai largă și mai severă: actori statali cu luni de pregătire, acces intern la pipeline-urile de antrenare și capacitatea de a manipula mediul fizic pe care senzorii îl observă.

De ce atacurile adversariale contează pentru AI-ul militar

Când un model AI greșește într-o aplicație comercială, costul este o experiență de utilizator degradată sau o vânzare pierdută. Când un model de clasificare ISR identifică greșit un vehicul ca civil pentru că un adversar a plasat un model atent conceput pe acoperișul său, consecințele operaționale sunt de o altă categorie. AI-ul militar este integrat în bucle de decizie unde erorile au greutate letală sau strategică — țintire, autorizare logistică, identificarea personalului, analiza semnalelor.

Suprafața de atac crește cu fiecare nouă implementare AI. Un AI logistic care aprobă rute de aprovizionare poate fi manipulat prin date otrăvite pentru a aproba rute care expun convoaiele la riscuri. Un clasificator acustic pe un nod senzorial fără pilot poate fi păcălit prin injecție de semnal RF, determinându-l să nu detecteze focuri inamice. Un model de detectare a obiectelor într-un flux UAV poate fi eludat printr-un patch tipărit pe acoperișul unui vehicul.

Amenințarea nu este ipotetică: organizații de cercetare independente au demonstrat atacuri adversariale în lumea fizică împotriva modelelor de detectare a obiectelor de producție, atingând rate de succes ale atacului de peste 85% fără acces la greutățile modelului.

Taxonomia atacurilor adversariale

Atacurile de evaziune au loc la momentul inferenței. Adversarul construiește intrări — o imagine, o mostră audio, o secvență de text — care sunt perceptual similare cu intrările legitime, dar determină modelul să producă o ieșire incorectă. Modelul însuși nu este modificat.

Atacurile de otrăvire au loc în timpul antrenării. Adversarul corup sau completează datele de antrenare cu mostre care determină modelul să învețe un comportament malițios specific. Modelul antrenat funcționează normal pe intrări curate, dar se comportă incorect pe intrările care poartă pattern-ul declanșator al adversarului. Această categorie de atacuri este cea mai relevantă pentru apărare când datele de antrenare provin din surse deschise sau insuficient verificate.

Atacurile de extracție de model permit unui adversar cu acces la interogări la un model implementat să reconstruiască o aproximare funcțională a acestuia prin sondare sistematică. Modelul extras poate fi apoi folosit pentru a dezvolta atacuri de evaziune mai eficiente fără acces direct la greutățile originale.

Atacurile backdoor și troian merită o mențiune separată datorită proprietăților lor de furtivitate. Un model cu backdoor trece toate testele standard de acuratețe și se comportă identic cu un model curat pe fiecare intrare cu excepția celor care conțin declanșatorul încorporat în timpul antrenării.

Exemple adversariale în lumea fizică

Patch-urile adversariale sunt cel mai studiat atac fizic. Un patch este o imagine tipărită, de obicei 20–30 cm în cea mai mare dimensiune pentru ținte de dimensiunea vehiculului, proiectat folosind tehnica Expectation over Transformation (EOT) pentru a rămâne adversarial la diverse variații de unghi de vizualizare, iluminare, distanță și calitate de tipărire.

Modelele de camuflaj adversarial reprezintă o extensie mai sofisticată. În loc de un patch discret, adversarul proiectează o textură sau un model de camuflaj pentru întreg un vehicul sau echipamentul personalului care este sistematic adversarial împotriva unei clase țintă de modele de detectare.

Injecția de semnal RF în clasificatoarele acustice este un atac fizic mai puțin publicitat, dar relevant operațional. Un adversar cu un emițător RF direcțional poate injecta interferențe atent construite care determină clasificatorul acustic să suprime detectarea evenimentelor reale sau să halucineze evenimente false.

Antrenare adversarială și robustețe certificată

Antrenarea adversarială este cea mai eficientă apărare empirică împotriva atacurilor de evaziune. Metoda Projected Gradient Descent (PGD) generează cele mai puternice perturbări în cadrul unei sfere de normă specificate — de obicei L-infinity cu epsilon = 8/255 pentru imagini naturale — și le adaugă la fiecare lot de antrenare.

Funcția de pierdere TRADES extinde antrenarea PGD penalizând explicit decalajul dintre predicția modelului pe un exemplu curat și predicția sa pe versiunea perturbată adversarial. Aceasta produce compromisuri robustețe-acuratețe mai bune decât antrenarea PGD simplă.

Metodele de robustețe certificată — în special randomized smoothing — oferă o garanție matematic demonstrabilă că ieșirea modelului nu se poate schimba în cadrul unui rază L2 specificat în jurul unei intrări date. Fiecare abordare de antrenare adversarială implică un cost în acuratețe curată — de obicei 2–8% pe imagini naturale.

Apărări prin preprocesarea intrărilor

Feature squeezing reduce precizia sau rezoluția intrării pentru a elimina perturbările de înaltă frecvență pe care se bazează majoritatea atacurilor adversariale. Compresia JPEG ca pas de preprocesare distruge multe perturbări bazate pe gradienți. Detectoarele bazate pe Local Intrinsic Dimensionality (LID) și distanța Mahalanobis compară activările de straturi intermediare cu distribuția activărilor pe date de antrenare curate. Detectarea dezacordului de ansamblu rulează intrarea prin mai multe modele antrenate independent și marchează dezacordul ridicat ca semnal de manipulare adversarială.

Guvernanța modelelor pentru reziliență adversarială

Semnarea modelelor este practica de a atașa o semnătură criptografică unui artefact de model antrenat, astfel încât orice modificare neautorizată între antrenare și implementare să fie detectabilă. RBAC pe punctele finale de inferență limitează ce sisteme și utilizatori pot interoga un model implementat. Versionarea modelelor și rollback-ul asigură că fiecare versiune implementată este înregistrată. Un ciclu continuu de evaluare red team închide bucla de feedback între cercetarea amenințărilor și implementare.

Metodologia evaluării red team

Framework-ul AutoAttack este standardul actual pentru benchmarking-ul de robustețe digitală. AutoAttack adună un ansamblu fix de atacuri diverse — APGD-CE, APGD-T, FAB și Square Attack — și evaluează automat un model împotriva tuturor. Foolbox oferă o bibliotecă complementară de atacuri individuale pentru investigații țintite.

Evaluarea lumii fizice necesită un protocol dedicat. Echipa de evaluare generează patch-uri adversariale cu metoda EOT, vizând tipul specific de senzor, rezoluția și intervalul de altitudine al implementării operaționale. Patch-urile sunt tipărite la dimensiuni relevante operațional, montate pe obiecte țintă și evaluate în aceleași condiții de colectare ca în implementare.