IA explicabilă pentru decizii de apărare: încredere, dovezi, acreditare

Un model IA care recomandă o cale de acțiune într-o decizie de apărare este util doar în măsura încrederii pe care un operator și un consiliu de acreditare sunt dispuși să o acorde. O simplă etichetă – „ostil, 0,94” – nu este suficientă. Operatorul trebuie să înțeleagă de ce modelul a ajuns la acel rezultat, cât de sigur este de fapt și dacă cazul se încadrează în spectrul în care modelul a fost testat. Acreditatorul trebuie să vadă dovezi că comportamentul modelului este înțeles, nu doar măsurat. Acest articol parcurge IA explicabilă (XAI) pentru sprijinirea deciziilor de apărare: metodele de atribuire care arată ce a determinat o predicție, calibrarea care face încrederea semnificativă, pista de audit care supraviețuiește unei analize post-acțiune și corpul de dovezi pe care organismele de acreditare îl cer înainte ca un model să fie desfășurat.

Ce trebuie să însemne „explicabil” în apărare

XAI pentru consumatori există în principal pentru a ajuta inginerii să depaneze modele. XAI pentru apărare poartă o sarcină mai grea. Același artefact de explicație trebuie să servească trei audiențe distincte cu nevoi conflictuale, iar un sistem care proiectează pentru una tinde să le înfometeze pe celelalte două.

Operatorul are nevoie de o motivare rapidă, ușor de parcurs în bucla de decizie. Nu va citi un tabel SHAP cu 200 de caracteristici în timp ce o urmă se apropie; trebuie să știe, în timpul disponibil, ce intrări au determinat recomandarea și dacă sistemul este suficient de sigur pentru a fi de încredere chiar acum.

Acreditatorul are nevoie de opusul: dovezi agregate pe un set de testare reținut, care caracterizează unde modelul este fiabil și unde eșuează. O singură explicație per caz nu spune aproape nimic unui consiliu de acreditare despre riscul rezidual; aceștia doresc tipare de atribuire, curbe de calibrare și moduri de eșec documentate care definesc condițiile de utilizare în siguranță.

Evaluatorul – analistul post-acțiune sau ancheta – are nevoie de o înregistrare reproductibilă a ceea ce a recomandat sistemul, de ce, sub ce versiune de model și ce a făcut omul cu ea. Aceasta este strâns legată de întrebări despre controlul uman și responsabilitate, unde explicația devine parte din lanțul de responsabilitate, nu o comoditate de depanare.

Atribuirea caracteristicilor: ce intrări au determinat rezultatul

Atribuirea este fundamentul transparenței modelului. Răspunde la întrebarea „ce părți ale intrării au fost responsabile pentru această predicție” și atribuie fiecărei caracteristici de intrare, token sau pixel un scor de contribuție pentru rezultatul specific. Metoda trebuie să se potrivească clasei de model.

Metodele bazate pe gradient – Integrated Gradients, Grad-CAM și hărțile de saliență – se aplică modelelor diferențiabile (detectoarele convoluționale și transformer folosite în sarcinile de viziune și secvență). Integrated Gradients integrează gradienții de-a lungul unei căi de la o intrare de bază la intrarea reală, satisfăcând axiome utile precum completitudinea: atribuirile însumează diferența în rezultatul modelului între valoarea de bază și intrare. Grad-CAM produce o hartă termică grosieră peste ultimul strat convoluțional și este suficient de ieftin pentru a fi calculat în linie, motiv pentru care domină explicațiile de viziune în timp real.

SHAP (Shapley additive explanations) este standardul pentru modelele tabelare și arborescente – scorurile de fuziune, caracteristicile de fiabilitate a senzorilor și atributele de urmă structurate care alimentează adesea un model de sprijinire a deciziilor de apărare. SHAP atribuie o predicție caracteristicilor sale folosind o alocare din teoria jocurilor care este consistentă și local exactă. Slăbiciunea sa este costul: SHAP exact este exponențial în numărul de caracteristici, iar chiar și aproximările (KernelSHAP, TreeSHAP) pot fi prea lente pentru o buclă strânsă în timp real pe un model mare.

Atribuirea poate induce în eroare – validează-o

O hartă de atribuire este ea însăși un rezultat de model și poate fi greșită. Un detector care a învățat o corelație falsă – de exemplu, asocierea unei clase de țintă cu o textură de fundal care s-a întâmplat să coexiste în antrenare – va produce atribuiri sigure care indică fundalul. Disciplina este validarea atribuirii față de controale sintetice: construiește intrări unde regiunea saliantă reală este cunoscută, confirmă că atribuirea o urmărește și tratează orice divergență ca pe o constatare despre model, nu ca pe zgomot în explicație. Această validare face parte din dovezile de validare a modelului de care are nevoie un pachet de acreditare.

Contrafactualele: ce ar schimba decizia

Atribuirea explică decizia așa cum a fost luată. O contrafactuală explică frontiera de decizie din apropierea cazului: este cea mai mică modificare a intrării care ar inversa rezultatul – cea mai mică perturbație care ar muta o clasificare din „ostil” în „necunoscut”, de exemplu. Operatorii găsesc adesea contrafactualele mai utile decât atribuirea, deoarece o contrafactuală le spune cât de fragilă este recomandarea. Dacă o modificare de un pixel sau o schimbare marginală de contrast inversează eticheta, operatorul știe că sistemul stă pe muchie de cuțit și ar trebui să cântărească recomandarea în consecință.

Căutarea contrafactuală este costisitoare – este o problemă de optimizare în spațiul de intrare – așa că aparține nivelului asincron, de nivel de acreditare, nu buclei în timp real. Dar artefactul pe care îl produce este exact ceea ce dorește un acreditator atunci când caracterizează stabilitatea unei frontiere de decizie pe un set de testare.

Comunicarea incertitudinii în mod onest

Cel mai dăunător eșec singular în IA de sprijinire a deciziilor desfășurată este încrederea exprimată greșit. Un scor softmax brut nu este o probabilitate; rețelele moderne sunt sistematic excesiv de încrezătoare, iar o intrare din afara distribuției poate produce un scor de 99% pe ceva ce modelul nu a văzut niciodată. Prima dată când un operator vede o recomandare „99% sigură” fiind catastrofal greșită, încrederea în sistem se prăbușește – și nu revine.

Calibrarea este remediul. Un model calibrat este unul a cărui încredere declarată corespunde acurateței sale empirice: dintre cazurile pe care le raportează la 80%, aproximativ 80% sunt corecte. Scalarea prin temperatură pe un set reținut este o calibrare post-hoc ieftină și eficientă pentru clasificatoare; regresia izotonică gestionează cazurile multiclasă. Interfața ar trebui să prezinte această probabilitate calibrată, nu scorul brut.

Incertitudinea aleatorie versus epistemică. Un sistem matur distinge zgomotul de senzor ireductibil (aleatoriu – intrarea este cu adevărat ambiguă) de ignoranța modelului (epistemic – intrarea este în afara distribuției de antrenare). Cele două cer răspunsuri diferite. Incertitudinea aleatorie înseamnă „colectează mai multe sau mai bune date despre această țintă”; incertitudinea epistemică înseamnă „modelului nu ar trebui să i se acorde deloc încredere aici”. Un detector pentru afara distribuției transformă al doilea caz într-un semnal explicit, astfel încât sistemul se poate abține și poate direcționa decizia către un om în loc să prezinte o recomandare aparent sigură pe care nu o poate susține. Acest comportament de abținere este central pentru sprijinirea deciziilor prin IA în sistemele C2, unde predarea om-mașină este întregul scop.

Pista de audit: explicația ca dovadă

În apărare, o explicație care există doar în momentul inferenței și este apoi aruncată nu are valoare probatorie. Consiliul de acreditare, analiza post-acțiune și orice anchetă ulterioară trebuie toate să reconstituie o decizie după faptă – și trebuie să o reconstituie exact. Aceasta necesită persistarea, pentru fiecare decizie, a unei înregistrări structurate.

O înregistrare de audit minim suficientă captează: identitatea modelului și hash-ul versiunii; intrarea exactă sau un hash de conținut plus o referință la datele sursă păstrate; rezultatul și încrederea sa calibrată; artefactul de explicație calculat pentru acel caz; versiunile de date și de configurare în vigoare la momentul respectiv; și acțiunea operatorului – acceptare, respingere sau suprareglare – cu un marcaj temporal. Fixarea versiunilor nu este opțională. O explicație înregistrată astăzi este reproductibilă doar dacă versiunea de model și versiunea de date care au produs-o pot fi reconstituite; fără aceasta, următoarea actualizare de model invalidează în tăcere fiecare explicație anterioară, iar pista de audit își pierde sensul.

Explicație pe niveluri pentru a respecta bugetul de latență

Explicația riguroasă și răspunsul în timp real sunt în tensiune directă. SHAP exact sau căutarea contrafactuală nu pot rula într-o buclă de decizie sub o secundă. Rezolvarea este o conductă pe niveluri. O explicație ieftină în linie – încredere calibrată, o hartă de saliență Grad-CAM, urmele sau caracteristicile care contribuie cel mai mult – este calculată în cadrul bugetului de latență și afișată operatorului imediat. Explicația costisitoare de nivel de acreditare – atribuire completă, analiză contrafactuală – este pusă în coadă către un lucrător asincron și atașată înregistrării deciziei în afara benzii. Operatorul primește o motivare rapidă; pista de audit o primește pe cea riguroasă. Niciuna dintre audiențe nu este compromisă pentru a o servi pe cealaltă.

Dovezile pe care le cer organismele de acreditare

Acreditarea este fundamental un exercițiu de delimitare a riscului rezidual. Un consiliu nu desfășoară un sistem pentru că acuratețea sa agregată este ridicată; desfășoară un sistem pentru că înțelege unde funcționează sistemul, unde eșuează și care trebuie să fie condițiile de utilizare. XAI este modul în care un dezvoltator furnizează acea înțelegere.

Pachetul de dovezi pe care îl așteaptă un acreditator depășește cu mult o metrică de titlu. Include performanța pe segmente – acuratețe defalcată pe condiții semnificative operațional (tipul de senzor, banda de distanță, vremea, clasa de țintă) în loc de un singur număr cumulat care mediază cazurile periculoase. Include dovezi de calibrare care arată că valorile de încredere pot fi de încredere. Include atribuire agregată care demonstrează că modelul se concentrează pe caracteristici relevante cauzal, nu pe corelate false. Și include moduri de eșec documentate: condițiile cunoscute în care modelul se degradează și protecțiile la rulare (detectarea afara distribuției, benzi de abținere) care le surprind.

Cadrele pentru IA militară responsabilă – inclusiv principiile NATO de utilizare responsabilă și guvernanța națională comparabilă – fac din trasabilitate și fiabilitate cerințe explicite. Artefactele XAI sunt mecanismul prin care acele principii abstracte devin un dosar concret, verificabil. Aceeași disciplină se aplică cu forță suplimentară componentelor generative, unde injecția de prompt și halucinația creează moduri de eșec pe care detectoarele clasice nu le au; considerentele de acolo sunt tratate în articolul nostru despre securitatea LLM pentru sistemele IA de apărare.

De la explicație la încrederea desfășurată

Explicabilitatea nu este o funcție atașată unui model finit; este o proprietate proiectată în sistem de la conducta de date până la interfața operatorului și stratul de jurnalizare. Modelul care câștigă încrederea pe teren este cel a cărui încredere este calibrată, ale cărui atribuiri sunt validate față de controale, ale cărui limite sunt detectate și expuse ca abținere și a cărui fiecare decizie este înregistrată suficient de reproductibil pentru a fi apărată într-o analiză de acreditare. Realizează corect aceste patru lucruri și explicația încetează să fie o povară de conformitate – devine motivul pentru care un operator este dispus să acționeze pe baza recomandării.