Wyjaśnialna AI dla decyzji obronnych: zaufanie, dowody, akredytacja

Model AI rekomendujący kierunek działania w decyzji obronnej jest użyteczny tylko na tyle, na ile operator i komisja akredytacyjna są skłonni mu zaufać. Goła etykieta – „wrogi, 0,94” – nie wystarczy. Operator musi rozumieć, dlaczego model osiągnął ten wynik, jak bardzo jest faktycznie pewny i czy przypadek mieści się w kopercie, w której model testowano. Akredytator musi widzieć dowody, że zachowanie modelu jest rozumiane, a nie jedynie zmierzone. Ten artykuł przechodzi przez wyjaśnialną AI (XAI) dla wsparcia decyzji obronnych: metody atrybucji pokazujące, co napędziło predykcję, kalibrację czyniącą pewność znaczącą, ścieżkę audytu przetrwającą analizę po działaniach oraz korpus dowodów wymaganych przez organy akredytacyjne, zanim model zostanie wdrożony.

Co „wyjaśnialny” musi oznaczać w obronności

Konsumencka XAI istnieje głównie po to, by pomóc inżynierom debugować modele. Obronna XAI niesie cięższy ciężar. Ten sam artefakt wyjaśnienia musi służyć trzem odrębnym odbiorcom o sprzecznych potrzebach, a system projektowany pod jednego ma tendencję do zagłodzenia dwóch pozostałych.

Operator potrzebuje szybkiego, zerkalnego uzasadnienia wewnątrz pętli decyzyjnej. Nie będzie czytał tabeli SHAP na 200 cech, gdy tor się zbliża; musi wiedzieć w dostępnym czasie, które wejścia napędziły rekomendację i czy system jest wystarczająco pewny, by mu teraz zaufać.

Akredytator potrzebuje przeciwieństwa: zagregowanych dowodów na wydzielonym zbiorze testowym, charakteryzujących, gdzie model jest niezawodny, a gdzie zawodzi. Pojedyncze wyjaśnienie dla przypadku mówi komisji akredytacyjnej niemal nic o ryzyku rezydualnym; chcą wzorców atrybucji, krzywych kalibracji i udokumentowanych trybów awarii definiujących warunki bezpiecznego użycia.

Recenzent – analityk po działaniach lub dochodzenie – potrzebuje odtwarzalnego zapisu tego, co system rekomendował, dlaczego, pod którą kompilacją modelu i co człowiek z tym zrobił. Jest to ściśle powiązane z kwestiami kontroli ludzkiej i odpowiedzialności, gdzie wyjaśnienie staje się częścią łańcucha odpowiedzialności, a nie wygodą do debugowania.

Atrybucja cech: które wejścia napędziły wynik

Atrybucja jest fundamentem przejrzystości modelu. Odpowiada na pytanie „które części wejścia były odpowiedzialne za tę predykcję” i przypisuje każdej cesze wejściowej, tokenowi lub pikselowi wynik wkładu dla konkretnego wyniku. Metoda musi pasować do klasy modelu.

Metody gradientowe – Integrated Gradients, Grad-CAM i mapy istotności – stosują się do modeli różniczkowalnych (detektory konwolucyjne i transformerowe używane w zadaniach wizji i sekwencji). Integrated Gradients całkuje gradienty wzdłuż ścieżki od wejścia bazowego do faktycznego, spełniając użyteczne aksjomaty jak kompletność: atrybucje sumują się do różnicy wyniku modelu między bazą a wejściem. Grad-CAM tworzy zgrubną mapę cieplną nad ostatnią warstwą konwolucyjną i jest na tyle tani, by obliczać go wbudowanie, dlatego dominuje w wyjaśnieniach wizji czasu rzeczywistego.

SHAP (Shapley additive explanations) jest standardem dla modeli tabelarycznych i drzewiastych – wyniki fuzji, cechy niezawodności czujników i ustrukturyzowane atrybuty torów, które często zasilają obronny model wsparcia decyzji. SHAP przypisuje predykcję jej cechom za pomocą teoriogrowej alokacji, która jest spójna i lokalnie dokładna. Jego słabością jest koszt: dokładny SHAP jest wykładniczy w liczbie cech, a nawet przybliżenia (KernelSHAP, TreeSHAP) mogą być zbyt wolne dla ciasnej pętli czasu rzeczywistego na dużym modelu.

Atrybucja może mylić – zwaliduj ją

Mapa atrybucji jest sama w sobie wynikiem modelu i może być błędna. Detektor, który nauczył się pozornej korelacji – na przykład kojarząc klasę celu z teksturą tła, która przypadkowo współwystępowała w treningu – wytworzy pewne atrybucje wskazujące na tło. Dyscyplina polega na walidacji atrybucji względem syntetycznych kontroli: konstruuj wejścia, gdzie prawdziwy obszar istotny jest znany, potwierdź, że atrybucja go śledzi, i traktuj każdą rozbieżność jako ustalenie o modelu, a nie szum w wyjaśnieniu. Ta walidacja jest częścią dowodów walidacji modelu, których potrzebuje pakiet akredytacyjny.

Kontrfakty: co zmieniłoby decyzję

Atrybucja wyjaśnia decyzję taką, jaką podjęto. Kontrfakt wyjaśnia granicę decyzyjną w pobliżu przypadku: jest to najmniejsza zmiana wejścia, która odwróciłaby wynik – najmniejsze zaburzenie, które przesunęłoby klasyfikację z „wrogiego” na „nieznany”, na przykład. Operatorzy często uznają kontrfakty za bardziej operacyjne niż atrybucję, ponieważ kontrfakt mówi im, jak krucha jest rekomendacja. Jeśli zmiana o jeden piksel lub marginalne przesunięcie kontrastu odwraca etykietę, operator wie, że system siedzi na ostrzu noża i powinien odpowiednio zważyć rekomendację.

Wyszukiwanie kontrfaktów jest kosztowne – to problem optymalizacji w przestrzeni wejściowej – więc należy do asynchronicznego poziomu klasy akredytacyjnej, a nie do pętli czasu rzeczywistego. Ale artefakt, który tworzy, jest dokładnie tym, czego chce akredytator, charakteryzując stabilność granicy decyzyjnej na zbiorze testowym.

Uczciwe komunikowanie niepewności

Najbardziej szkodliwą awarią wdrożonej AI wsparcia decyzji jest błędnie podana pewność. Surowy wynik softmax nie jest prawdopodobieństwem; współczesne sieci są systematycznie nadmiernie pewne, a wejście spoza rozkładu może wytworzyć wynik 99% na czymś, czego model nigdy nie widział. Pierwszy raz, gdy operator widzi, jak rekomendacja „99% pewna” okazuje się katastrofalnie błędna, zaufanie do systemu się załamuje – i nie wraca.

Kalibracja jest naprawą. Skalibrowany model to taki, którego podana pewność odpowiada jego empirycznej dokładności: spośród przypadków, które raportuje na 80%, około 80% jest poprawnych. Skalowanie temperaturą na wydzielonym zbiorze jest tanią, skuteczną kalibracją post-hoc dla klasyfikatorów; regresja izotoniczna obsługuje przypadki wieloklasowe. Interfejs powinien prezentować to skalibrowane prawdopodobieństwo, a nie surowy wynik.

Niepewność aleatoryczna versus epistemiczna. Dojrzały system odróżnia nieredukowalny szum czujnika (aleatoryczny – wejście jest naprawdę niejednoznaczne) od ignorancji modelu (epistemiczny – wejście jest poza rozkładem treningowym). Oba wymagają różnych reakcji. Niepewność aleatoryczna oznacza „zbierz więcej lub lepsze dane o tym celu”; epistemiczna oznacza „modelowi w ogóle nie należy tu ufać”. Detektor spoza rozkładu zamienia drugi przypadek w jawny sygnał, więc system może się wstrzymać i skierować decyzję do człowieka, zamiast prezentować pewnie wyglądającą rekomendację, której nie może poprzeć. To zachowanie wstrzymania jest centralne dla wsparcia decyzji AI w systemach C2, gdzie przekazanie człowiek-maszyna jest całym sednem.

Ścieżka audytu: wyjaśnienie jako dowód

W obronności wyjaśnienie istniejące tylko w czasie inferencji i potem odrzucone nie ma wartości dowodowej. Komisja akredytacyjna, analiza po działaniach i wszelkie późniejsze dochodzenie potrzebują zrekonstruować decyzję po fakcie – i potrzebują zrekonstruować ją dokładnie. Wymaga to utrwalania dla każdej decyzji ustrukturyzowanego zapisu.

Minimalnie wystarczający zapis audytu uchwyca: tożsamość modelu i hash wersji; dokładne wejście lub hash treści plus odniesienie do zachowanych danych źródłowych; wynik i jego skalibrowaną pewność; artefakt wyjaśnienia obliczony dla tego przypadku; wersje danych i konfiguracji obowiązujące w danym czasie; oraz działanie operatora – zaakceptuj, odrzuć lub nadpisz – ze znacznikiem czasu. Przypinanie wersji nie jest opcjonalne. Wyjaśnienie zalogowane dziś jest odtwarzalne tylko, jeśli kompilacja modelu i wersja danych, które je wytworzyły, mogą zostać odtworzone; bez tego następna aktualizacja modelu po cichu unieważnia każde wcześniejsze wyjaśnienie, a ścieżka audytu traci swój sens.

Wielopoziomowe wyjaśnienie, by zmieścić się w budżecie opóźnienia

Rygorystyczne wyjaśnienie i odpowiedź w czasie rzeczywistym są w bezpośrednim napięciu. Dokładny SHAP lub wyszukiwanie kontrfaktów nie może działać wewnątrz subsekundowej pętli decyzyjnej. Rozwiązaniem jest wielopoziomowy potok. Tanie wbudowane wyjaśnienie – skalibrowana pewność, mapa istotności Grad-CAM, najważniejsze tory lub cechy – jest obliczane w ramach budżetu opóźnienia i pokazywane operatorowi natychmiast. Kosztowne wyjaśnienie klasy akredytacyjnej – pełna atrybucja, analiza kontrfaktyczna – jest kolejkowane do asynchronicznego pracownika i dołączane do zalogowanego zapisu decyzyjnego poza pasmem. Operator dostaje szybkie uzasadnienie; ścieżka audytu dostaje rygorystyczne. Żaden odbiorca nie jest poświęcany dla drugiego.

Dowody wymagane przez organy akredytacyjne

Akredytacja jest fundamentalnie ćwiczeniem w ograniczaniu ryzyka rezydualnego. Komisja nie wdraża systemu, bo jego zagregowana dokładność jest wysoka; wdraża system, bo rozumie, gdzie system działa, gdzie zawodzi i jakie muszą być warunki użycia. XAI to sposób, w jaki deweloper dostarcza to zrozumienie.

Pakiet dowodów oczekiwany przez akredytatora wykracza daleko poza nagłówkową metrykę. Obejmuje wydajność według przekrojów – dokładność rozbitą według operacyjnie znaczących warunków (typ czujnika, pasmo zasięgu, pogoda, klasa celu), a nie pojedynczą zbiorczą liczbę uśredniającą niebezpieczne przypadki. Obejmuje dowody kalibracji pokazujące, że wartościom pewności można ufać. Obejmuje zagregowaną atrybucję wykazującą, że model zwraca uwagę na przyczynowo istotne cechy, a nie pozorne korelaty. I obejmuje udokumentowane tryby awarii: znane warunki, w których model degraduje, oraz zabezpieczenia czasu wykonania (wykrywanie spoza rozkładu, pasma wstrzymania), które je wychwytują.

Ramy odpowiedzialnej wojskowej AI – w tym zasady NATO dotyczące odpowiedzialnego użycia i porównywalne zarządzanie krajowe – czynią identyfikowalność i niezawodność jawnymi wymaganiami. Artefakty XAI to mechanizm, dzięki któremu te abstrakcyjne zasady stają się konkretnym, przeglądalnym plikiem. Ta sama dyscyplina ma zastosowanie z dodatkową siłą do komponentów generatywnych, gdzie wstrzykiwanie promptów i halucynacje tworzą tryby awarii, których klasyczne detektory nie mają; rozważania tam są omówione w naszym tekście o bezpieczeństwie LLM dla obronnych systemów AI.

Od wyjaśnienia do zaufania w terenie

Wyjaśnialność nie jest funkcją doczepioną do gotowego modelu; jest właściwością zaprojektowaną w systemie od potoku danych aż po interfejs operatora i warstwę logowania. Model, który zyskuje zaufanie w terenie, to ten, którego pewność jest skalibrowana, którego atrybucje zwalidowano względem kontroli, którego granice są wykrywane i wynoszone jako wstrzymanie, i którego każda decyzja jest zapisana odtwarzalnie na tyle, by obronić ją w przeglądzie akredytacyjnym. Zrób te cztery rzeczy dobrze, a wyjaśnienie przestaje być ciężarem zgodności – staje się powodem, dla którego operator w ogóle jest skłonny działać na podstawie rekomendacji.