Erklärbare KI für Verteidigungsentscheidungen: Vertrauen, Belege, Akkreditierung

Ein KI-Modell, das in einer Verteidigungsentscheidung eine Vorgehensweise empfiehlt, ist nur so nützlich wie das Vertrauen, das ein Bediener und ein Akkreditierungsgremium bereit sind, ihm entgegenzubringen. Ein nacktes Label – „feindlich, 0,94“ – genügt nicht. Der Bediener muss verstehen, warum das Modell zu dieser Ausgabe kam, wie sicher es tatsächlich ist und ob der Fall innerhalb des Rahmens liegt, in dem das Modell getestet wurde. Der Akkreditierer muss Belege sehen, dass das Modellverhalten verstanden und nicht bloß gemessen ist. Dieser Artikel führt durch erklärbare KI (XAI) für die Verteidigungsentscheidungsunterstützung: die Attributionsmethoden, die zeigen, was eine Vorhersage antrieb, die Kalibrierung, die Sicherheit aussagekräftig macht, den Prüfpfad, der eine Nachbesprechung übersteht, und den Beleg­korpus, den Akkreditierungsstellen verlangen, bevor ein Modell in Dienst gestellt wird.

Was „erklärbar“ in der Verteidigung bedeuten muss

Verbraucher-XAI existiert hauptsächlich, um Ingenieuren beim Debuggen von Modellen zu helfen. Verteidigungs-XAI trägt eine schwerere Last. Dasselbe Erklärungsartefakt muss drei verschiedenen Zielgruppen mit widersprüchlichen Bedürfnissen dienen, und ein System, das für eine entwirft, neigt dazu, die anderen beiden auszuhungern.

Der Bediener braucht eine schnelle, auf einen Blick erfassbare Begründung innerhalb der Entscheidungsschleife. Er wird keine SHAP-Tabelle mit 200 Merkmalen lesen, während ein Track sich nähert; er muss in der verfügbaren Zeit wissen, welche Eingaben die Empfehlung antrieben und ob das System sicher genug ist, um ihm jetzt zu vertrauen.

Der Akkreditierer braucht das Gegenteil: aggregierte Belege über einen ausgehaltenen Testsatz, die charakterisieren, wo das Modell zuverlässig ist und wo es versagt. Eine einzelne fallweise Erklärung sagt einem Akkreditierungsgremium fast nichts über Restrisiko; es will Attributionsmuster, Kalibrierungskurven und dokumentierte Fehlermodi, die die Bedingungen sicherer Nutzung definieren.

Der Prüfer – der Nachbesprechungsanalyst oder die Untersuchung – braucht einen reproduzierbaren Datensatz dessen, was das System empfahl, warum, unter welchem Modell-Build und was der Mensch damit tat. Dies ist eng mit Fragen der menschlichen Kontrolle und Rechenschaft verbunden, wo die Erklärung Teil der Rechenschaftskette wird statt eines Debugging-Komforts.

Merkmalsattribution: welche Eingaben die Ausgabe antrieben

Attribution ist das Fundament der Modelltransparenz. Sie beantwortet die Frage „welche Teile der Eingabe waren für diese Vorhersage verantwortlich“ und weist jedem Eingabemerkmal, Token oder Pixel einen Beitragswert für die spezifische Ausgabe zu. Die Methode muss zur Modellklasse passen.

Gradientenbasierte Methoden – Integrated Gradients, Grad-CAM und Saliency-Karten – gelten für differenzierbare Modelle (die in Vision- und Sequenzaufgaben verwendeten Convolutional- und Transformer-Detektoren). Integrated Gradients integriert Gradienten entlang eines Pfades von einer Baseline-Eingabe zur tatsächlichen Eingabe und erfüllt nützliche Axiome wie Vollständigkeit: Die Attributionen summieren sich zur Differenz der Modellausgabe zwischen Baseline und Eingabe. Grad-CAM erzeugt eine grobe Heatmap über der letzten Convolutional-Schicht und ist günstig genug zur Inline-Berechnung, weshalb es Echtzeit-Vision-Erklärungen dominiert.

SHAP (Shapley Additive Explanations) ist der Standard für tabellarische und baumbasierte Modelle – die Fusionsbewertungen, Sensorzuverlässigkeitsmerkmale und strukturierten Track-Attribute, die oft ein Verteidigungs-Entscheidungsunterstützungsmodell speisen. SHAP schreibt eine Vorhersage ihren Merkmalen über eine spieltheoretische Zuteilung zu, die konsistent und lokal genau ist. Seine Schwäche sind die Kosten: Exaktes SHAP ist exponentiell in der Merkmalszahl, und selbst die Approximationen (KernelSHAP, TreeSHAP) können für eine enge Echtzeitschleife auf einem großen Modell zu langsam sein.

Attribution kann in die Irre führen – validieren Sie sie

Eine Attributionskarte ist selbst eine Modellausgabe und kann falsch sein. Ein Detektor, der eine Scheinkorrelation gelernt hat – etwa eine Zielklasse mit einer Hintergrundtextur zu assoziieren, die im Training zufällig mit auftrat – wird selbstsichere Attributionen erzeugen, die auf den Hintergrund zeigen. Die Disziplin besteht darin, Attribution gegen synthetische Kontrollen zu validieren: Eingaben zu konstruieren, bei denen die wahre saliente Region bekannt ist, zu bestätigen, dass die Attribution ihr folgt, und jede Abweichung als Befund über das Modell zu behandeln, nicht als Rauschen in der Erklärung. Diese Validierung ist Teil der Modellvalidierungsbelege, die ein Akkreditierungspaket braucht.

Kontrafakten: was die Entscheidung ändern würde

Attribution erklärt die Entscheidung, wie sie getroffen wurde. Ein Kontrafaktum erklärt die Entscheidungsgrenze nahe dem Fall: Es ist die kleinste Änderung der Eingabe, die die Ausgabe kippen würde – die kleinste Störung, die eine Klassifikation von „feindlich“ zu „unbekannt“ verschieben würde, zum Beispiel. Bediener finden Kontrafakten häufig handlungsfähiger als Attribution, weil ein Kontrafaktum ihnen sagt, wie spröde die Empfehlung ist. Wenn eine Ein-Pixel-Änderung oder eine marginale Kontrastverschiebung das Label kippt, weiß der Bediener, dass das System auf Messers Schneide steht, und sollte die Empfehlung entsprechend gewichten.

Kontrafaktische Suche ist teuer – sie ist ein Optimierungsproblem im Eingaberaum – daher gehört sie in die asynchrone Ebene in Akkreditierungsqualität und nicht in die Echtzeitschleife. Aber das Artefakt, das sie erzeugt, ist genau das, was ein Akkreditierer will, wenn er die Stabilität einer Entscheidungsgrenze über einen Testsatz charakterisiert.

Unsicherheit ehrlich kommunizieren

Das schädlichste Versagen in in Dienst gestellter Entscheidungsunterstützungs-KI ist falsch angegebene Sicherheit. Eine rohe Softmax-Bewertung ist keine Wahrscheinlichkeit; moderne Netze sind systematisch überkonfident, und eine Eingabe außerhalb der Verteilung kann eine 99%-Bewertung auf etwas erzeugen, das das Modell nie gesehen hat. Beim ersten Mal, wenn ein Bediener zusieht, wie eine „zu 99% sichere“ Empfehlung katastrophal falsch ist, bricht das Vertrauen ins System zusammen – und es kommt nicht zurück.

Kalibrierung ist die Lösung. Ein kalibriertes Modell ist eines, dessen angegebene Sicherheit seiner empirischen Genauigkeit entspricht: Von den Fällen, die es mit 80% meldet, sind etwa 80% korrekt. Temperaturskalierung auf einem ausgehaltenen Satz ist eine günstige, wirksame Post-hoc-Kalibrierung für Klassifikatoren; isotonische Regression behandelt Mehrklassenfälle. Die Schnittstelle sollte diese kalibrierte Wahrscheinlichkeit präsentieren, nicht die rohe Bewertung.

Aleatorische versus epistemische Unsicherheit. Ein ausgereiftes System unterscheidet irreduzibles Sensorrauschen (aleatorisch – die Eingabe ist wirklich mehrdeutig) von Modellunwissen (epistemisch – die Eingabe liegt außerhalb der Trainingsverteilung). Die beiden verlangen unterschiedliche Reaktionen. Aleatorische Unsicherheit bedeutet „sammle mehr oder bessere Daten über dieses Ziel“; epistemische bedeutet „dem Modell sollte hier überhaupt nicht vertraut werden“. Ein Out-of-Distribution-Detektor verwandelt den zweiten Fall in ein explizites Signal, sodass das System sich enthalten und die Entscheidung an einen Menschen leiten kann, statt eine selbstsicher wirkende Empfehlung zu präsentieren, die es nicht stützen kann. Dieses Enthaltungsverhalten ist zentral für die KI-Entscheidungsunterstützung in C2-Systemen, wo die Mensch-Maschine-Übergabe der ganze Sinn ist.

Der Prüfpfad: Erklärung als Beleg

In der Verteidigung hat eine Erklärung, die nur zur Inferenzzeit existiert und dann verworfen wird, keinen Beweiswert. Das Akkreditierungsgremium, die Nachbesprechung und jede spätere Untersuchung müssen eine Entscheidung im Nachhinein rekonstruieren – und sie müssen sie exakt rekonstruieren. Das erfordert, für jede Entscheidung einen strukturierten Datensatz zu persistieren.

Ein minimal ausreichender Prüfdatensatz erfasst: die Modellidentität und den Versions-Hash; die exakte Eingabe oder einen Inhalts-Hash plus Verweis auf aufbewahrte Quelldaten; die Ausgabe und ihre kalibrierte Sicherheit; das für diesen Fall berechnete Erklärungsartefakt; die zur Zeit geltenden Daten- und Konfigurationsversionen; und die Aktion des Bedieners – annehmen, ablehnen oder übersteuern – mit Zeitstempel. Die Versionsfixierung ist nicht optional. Eine heute protokollierte Erklärung ist nur reproduzierbar, wenn der Modell-Build und die Datenversion, die sie erzeugten, wiederhergestellt werden können; ohne das macht das nächste Modell-Update jede frühere Erklärung still ungültig, und der Prüfpfad verliert seine Bedeutung.

Gestufte Erklärung, um das Latenzbudget einzuhalten

Rigorose Erklärung und Echtzeitreaktion stehen in direktem Spannungsverhältnis. Exaktes SHAP oder kontrafaktische Suche kann nicht innerhalb einer Subsekunden-Entscheidungsschleife laufen. Die Auflösung ist eine gestufte Pipeline. Eine günstige Inline-Erklärung – kalibrierte Sicherheit, eine Grad-CAM-Saliency-Karte, die wichtigsten beitragenden Tracks oder Merkmale – wird innerhalb des Latenzbudgets berechnet und dem Bediener sofort gezeigt. Die teure Erklärung in Akkreditierungsqualität – volle Attribution, kontrafaktische Analyse – wird einem asynchronen Worker in eine Warteschlange gestellt und dem protokollierten Entscheidungsdatensatz außerhalb des Bandes angehängt. Der Bediener bekommt eine schnelle Begründung; der Prüfpfad bekommt die rigorose. Keine Zielgruppe wird der anderen geopfert.

Die von Akkreditierungsstellen geforderten Belege

Akkreditierung ist im Kern eine Übung zur Eingrenzung von Restrisiko. Ein Gremium stellt ein System nicht in Dienst, weil seine aggregierte Genauigkeit hoch ist; es stellt ein System in Dienst, weil es versteht, wo das System funktioniert, wo es versagt und wie die Einsatzbedingungen sein müssen. XAI ist die Art, wie ein Entwickler dieses Verständnis liefert.

Das von einem Akkreditierer erwartete Belegpaket geht weit über eine Schlagzeilenmetrik hinaus. Es umfasst scheibenbasierte Leistung – Genauigkeit aufgeschlüsselt nach operativ bedeutsamen Bedingungen (Sensortyp, Reichweitenband, Wetter, Zielklasse) statt einer einzigen gepoolten Zahl, die die gefährlichen Fälle wegmittelt. Es umfasst Kalibrierungsbelege, die zeigen, dass den Sicherheitswerten vertraut werden kann. Es umfasst aggregierte Attribution, die nachweist, dass das Modell auf kausal relevante Merkmale achtet statt auf Scheinkorrelate. Und es umfasst dokumentierte Fehlermodi: die bekannten Bedingungen, unter denen das Modell degradiert, und die Laufzeitschutzmechanismen (Out-of-Distribution-Erkennung, Enthaltungsbänder), die sie abfangen.

Rahmenwerke für verantwortungsvolle militärische KI – einschließlich der NATO-Grundsätze verantwortungsvoller Nutzung und vergleichbarer nationaler Governance – machen Nachverfolgbarkeit und Zuverlässigkeit zu expliziten Anforderungen. XAI-Artefakte sind der Mechanismus, durch den jene abstrakten Grundsätze zu einer konkreten, prüfbaren Akte werden. Dieselbe Disziplin gilt mit besonderer Wucht für generative Komponenten, wo Prompt-Injection und Halluzination Fehlermodi schaffen, die klassische Detektoren nicht haben; die Überlegungen dazu behandeln wir in unserem Beitrag zur LLM-Sicherheit für Verteidigungs-KI-Systeme.

Von der Erklärung zum Feldvertrauen

Erklärbarkeit ist kein Feature, das an ein fertiges Modell angeschraubt wird; sie ist eine Eigenschaft, die von der Datenpipeline bis zur Bedienerschnittstelle und zur Protokollierungsschicht in das System hineinentworfen wird. Das Modell, das im Feld Vertrauen verdient, ist jenes, dessen Sicherheit kalibriert ist, dessen Attributionen gegen Kontrollen validiert sind, dessen Grenzen erkannt und als Enthaltung sichtbar gemacht werden und dessen jede Entscheidung reproduzierbar genug aufgezeichnet ist, um sie in einer Akkreditierungsprüfung zu verteidigen. Machen Sie diese vier Dinge richtig, und die Erklärung hört auf, eine Compliance-Last zu sein – sie wird zum Grund, warum ein Bediener überhaupt bereit ist, auf die Empfehlung hin zu handeln.