Strategia sztucznej inteligencji NATO, przyjęta przez ministrów obrony sojuszników w październiku 2021 roku, ustanowiła ramy Sojuszu dla odpowiedzialnego wdrażania AI w pełnym zakresie operacji wojskowych i cywilnych. Choć sama strategia jest dokumentem politycznym wysokiego szczebla, wygenerowała zestaw konkretnych wymagań i oczekiwań, które bezpośrednio przekładają się na kryteria zamówień dla oprogramowania obsługiwanego przez AI. Zrozumienie tych wymagań nie jest opcjonalne dla dostawców oprogramowania dążących do sprzedaży możliwości AI na rynku NATO — jest to podstawowy wymóg kwalifikacyjny.
Strategia nadal się rozwijała od 2021 roku. Koncepcja Strategiczna 2022 potwierdziła AI jako priorytetowy obszar technologiczny. Program DIANA zintegrował zasady strategii ze swoimi kryteriami oceny. Poszczególne państwa członkowskie NATO tłumaczą zasady na poziomie Sojuszu na krajowe wymagania zamówień.
Strategia AI NATO: sześć zasad odpowiedzialnej AI
Rdzeniem strategii AI NATO jest zestaw sześciu zasad odpowiedzialnego wykorzystania AI w obronie. Zasady te zostały opracowane w zgodzie z Zasadami AI OECD.
Legalność: aplikacje AI muszą być opracowywane i używane zgodnie z prawem krajowym i międzynarodowym. Dla dostawców oprogramowania oznacza to, że systemy AI przeznaczone do operacyjnego użytku wojskowego muszą mieć wbudowane ograniczenia zapobiegające nielegalnemu zastosowaniu.
Odpowiedzialność i rozliczalność: musi istnieć jasna i jednoznaczna odpowiedzialność za systemy AI zarówno podczas opracowywania, jak i w użytku operacyjnym. Wymaga to jasnej możliwości śledzenia od wyników systemu AI do osób decyzyjnych.
Wyjaśnialność i identyfikowalność: aplikacje AI muszą być zrozumiałe i możliwe do śledzenia w sposób odpowiedni dla kontekstu ich użycia. Jest to jedno z najbardziej technicznie wymagających zasad dla dostawców AI, ponieważ wiele wydajnych podejść jest z natury trudnych do wyjaśnienia.
Niezawodność: aplikacje AI muszą funkcjonować niezawodnie zgodnie z zamierzonym celem w pełnym zakresie warunków operacyjnych — nie tylko w warunkach testowych. Bezpośrednio nawiązuje to do rozróżnienia między systemami sprawdzonymi bojowo a sprawdzonymi laboratoryjnie.
Sterowalność: systemy AI muszą być zaprojektowane tak, aby umożliwić odpowiedni nadzór i kontrolę człowieka, z możliwością interwencji, dostosowania lub wyłączenia funkcji AI w razie potrzeby.
Minimalizacja uprzedzeń: należy podjąć wysiłki minimalizujące niezamierzone uprzedzenia w aplikacjach AI, które mogą wpływać na podejmowanie decyzji. Wymaga to udokumentowanych testów różnic w wydajności w różnych warunkach środowiskowych.
Wymagania dla systemów AI: wyjaśnialność, możliwość audytu, odporność
Wyjaśnialność w kontekście NATO nie oznacza, że system AI musi dostarczać pełnego technicznego wyjaśnienia swoich wewnętrznych mechanizmów modelu. Dla systemu klasyfikacji obrazów może to oznaczać podświetlenie cech, które najsilniej przyczyniły się do klasyfikacji. Dla systemu optymalizacji logistyki może to oznaczać pokazanie ograniczeń, które wpłynęły na rekomendowaną trasę.
Możliwość audytu wymaga, aby zachowanie systemu AI mogło być odtworzone po fakcie do przeglądu — dla uczenia się operacyjnego, badania błędów lub rozliczalności prawnej. Systemy AI muszą rejestrować swoje dane wejściowe, procesy rozumowania i wyniki z wystarczającą szczegółowością do analizy po fakcie.
Odporność dotyczy wydajności systemu przy przesunięciu rozkładu — gdy dane operacyjne różnią się od rozkładu danych treningowych. Środowiska wojskowe charakteryzują się właśnie tego rodzaju przesunięciem: czujniki działają w warunkach nieobjętych danymi treningowymi, a przeciwnicy aktywnie próbują tworzyć dane wejściowe oszukujące systemy AI.
Kluczowa obserwacja: Wymagania NATO dotyczące AI nie dotyczą przede wszystkim ograniczania możliwości AI — dotyczą tworzenia wystarczającego zaufania do systemów AI, aby umożliwić ich operacyjne wdrożenie. Dostawca, który traktuje zgodność z zasadami NATO dotyczącymi AI jako ograniczenie, nie rozumie istoty. Zasady istnieją, ponieważ systemy AI, których nie można wyjaśnić, poddać audytowi ani nadpisać, nie zostaną przyjęte przez operacyjnych użytkowników wojskowych niezależnie od ich wydajności technicznej.
Implikacje dla dostawców oprogramowania obronnego
Dla dostawców oprogramowania opracowujących produkty obsługiwane przez AI, strategia AI NATO ma konkretne implikacje. Najważniejsze to: projektuj wyjaśnialność od początku; dokumentuj swoje dane treningowe i metodologię testowania; wbuduj nadpisanie przez człowieka w architekturę, a nie jako dodatek.
Ramy zarządzania AI: ALTAI i ustawa UE o AI
Poza wymogami specyficznymi dla NATO, dostawcy AI obronności działający w Europie muszą poruszać się w ramach zarządzania AI UE. Ustawa UE o AI, która weszła w życie w 2024 roku, zawiera konkretne wyłączenie dla systemów AI używanych wyłącznie do celów wojskowych i bezpieczeństwa narodowego. Lista oceny dla godnej zaufania AI (ALTAI) zapewnia narzędzie samooceny zgodne zarówno z sześcioma zasadami NATO, jak i wymaganiami ustawy UE o AI.