Pomiar skuteczności wargamingu szkoleniowego: wskaźniki i metody

Organizacje obronne prowadzą wargaming z wielu powodów — by eksplorować doktrynę, testować plany operacyjne pod presją, budować kompetencje sztabu w stresujących warunkach. Jednak większość z nich nie potrafi odpowiedzieć na proste pytanie po zakończeniu ćwiczenia: czy uczestnicy czegoś się nauczyli w mierzalny sposób i czy ta nauka przełoży się na lepszą wydajność w terenie? Inwestycja jest realna. Wielodniowy wargaming sztabowy pochłania setki roboczogodzin, znaczące koszty obiektu i symulacji oraz tempo operacyjne zaangażowanych jednostek. Brak rygorystycznego pomiaru to nie drobna luka administracyjna — oznacza, że organizacja nie dysponuje danymi pozwalającymi ocenić, czy wargaming był wart przeprowadzenia, jak wypada w porównaniu z alternatywnymi metodami szkolenia oraz czy należy go powtórzyć w tym samym formacie.

Wskaźniki skuteczności wargamingu szkoleniowego wypełniają tę lukę. Zapewniają ustrukturyzowany sposób mierzenia, co uczestnicy wiedzą przed i po ćwiczeniu, jak w jego wyniku zmieniają się ich obserwowalne zachowania oraz jaki jest koszt tej zmiany na jednostkę mierzonej poprawy. Niniejszy artykuł przedstawia praktyczny framework stosowania pomiarów ilościowych i jakościowych w wojskowym wargamingu — od definiowania właściwych wskaźników po rejestrowanie danych nadających tym wskaźnikom sens.

Dlaczego pomiar skuteczności wargamingu jest naprawdę trudny

Wyzwanie pomiarowe w wargamingu jest bardziej fundamentalne niż zwykły brak dyscypliny organizacyjnej. Dwa strukturalne problemy sprawiają, że jest to naprawdę trudne nawet wtedy, gdy zasoby są na to przeznaczone.

Pierwszym jest problem atrybucji. Każda poprawa wydajności sztabu zaobserwowana po wargamingu może mieć wiele przyczyn: sam wargaming, równoległe szkolenie indywidualne, doświadczenie operacyjne nabyte w kolejnych tygodniach, rotacja personelu, która wprowadziła bardziej doświadczony personel na kluczowe stanowiska, lub po prostu upływ czasu. Wyodrębnienie wkładu wargamingu spośród tych zakłóceń wymaga albo kontrolowanego eksperymentu — grupy porównawczej, która nie uczestniczy w wargamingu — albo wystarczająco szczegółowego projektu pomiaru przed i po, który może uwzględnić znane czynniki zakłócające statystycznie. Żadne z tych rozwiązań nie jest łatwe w operacyjnym środowisku wojskowym, gdzie losowe przydzielanie jest niemożliwe, a cykle szkoleniowe są ograniczone wymogami gotowości.

Drugim problemem jest długość pętli informacji zwrotnej. Zmiana behawioralna, którą wargaming ma wywołać — szybsze cykle decyzyjne sztabu, wyższe przestrzeganie SOP pod presją czasu, lepsza integracja informacji z wielu źródeł — może ujawnić się i dać się zweryfikować dopiero po wielu miesiącach działalności operacyjnej. Jeśli zmierzysz wiedzę uczestników bezpośrednio po ćwiczeniu, uchwycisz krótkotrwałe zapamiętanie, nie trwałą naukę. Jeśli poczekasz sześć miesięcy i nie stwierdzisz poprawy, nie możesz ocenić, czy wargaming nie przyniósł nauki, czy nauka nastąpiła, ale zanikła bez utrwalenia. Zamknięcie tej pętli wymaga długookresowego śledzenia, którego większość organizacji nie utrzymuje w kolejnych cyklach szkoleniowych.

Problemy te nie czynią pomiaru niemożliwym. Oznaczają, że każdy rzetelny program pomiarowy musi być precyzyjny co do tego, co może i czego nie może przypisać wargamingowi, oraz musi zbierać dane w wielu punktach czasowych, a nie opierać się na pojedynczej ocenie po ćwiczeniu.

Framework Kirkpatricka zastosowany do wargamingu

Czterostopniowy model oceny szkoleń Kirkpatricka stanowi użyteczną strukturę organizacyjną dla pomiaru skuteczności wargamingu. Opracowany dla komercyjnych programów szkoleniowych, bezpośrednio przekłada się na wojskowy wargaming przy odpowiednim dostosowaniu na każdym poziomie.

Poziom 1 — Reakcja

Pomiar reakcji rejestruje, jak uczestnicy doświadczyli wargamingu: czy uznali go za trafny dla swojej roli, realistyczny w scenariuszach, dobrze prowadzony i wart zainwestowanego czasu? Jest to najłatwiejszy poziom do zmierzenia — ustrukturyzowany kwestionariusz wypełniany bezpośrednio po ćwiczeniu zajmuje piętnaście minut i dostarcza wymiernych danych. Standardowe narzędzia używają ocen w skali Likerta w wymiarach obejmujących postrzeganą realistyczność, trafność scenariusza, jakość prowadzenia i postrzeganą naukę osobistą. Dane o reakcji są najsłabszym predyktorem rzeczywistej nauki, ale najsilniejszym predyktorem tego, czy uczestnicy będą chętnie angażować się w przyszłe ćwiczenia. Organizacja, która ignoruje dane o reakcji uczestników, zauważy spadek frekwencji i zaangażowania w kolejnych cyklach szkoleniowych.

Poziom 2 — Uczenie się

Pomiar uczenia się ocenia, czy uczestnicy zdobyli wiedzę i umiejętności, które wargaming miał rozwinąć. W przypadku wargamingu wymaga to testowania wiedzy przed i po ćwiczeniu z zakresu treści doktrynalnych, które ćwiczenie miało utrwalić: znajomości procesów planowania, rozumienia kryteriów decyzyjnych, znajomości wymagań dotyczących koordynacji między szczeblami. Test przed ćwiczeniem ustanawia wyjściowy stan wiedzy przed jego rozpoczęciem; to samo narzędzie zastosowane po ćwiczeniu mierzy przyrost. Bez testu wstępnego żaden wynik po ćwiczeniu nie jest interpretowalny — nie można ustalić, czy uczestnicy znali materiał jeszcze przed wargamingiem.

Testy wiedzy dla wargamingu powinny być zakorzenione w scenariuszu, a nie abstrakcyjne. Pytania opisujące sytuację taktyczną i proszące uczestników o wskazanie prawidłowego działania sztabu, nadanie priorytetów konkurującym wymogom lub wskazanie błędu doktrynalnego w opisanym procesie planowania mierzą rodzaj wiedzy stosowanej, którą wargaming ma rozwijać. Abstrakcyjne zapamiętywanie doktryny bez kontekstu sytuacyjnego testuje inną umiejętność poznawczą i daje inne (zazwyczaj wyższe) wyniki po ćwiczeniu, które zawyżają wkład wargamingu w zdolności operacyjne.

Poziom 3 — Zachowanie

Pomiar zachowania sprawdza, czy obserwowalne procedury sztabu zmieniły się po wargamingu — nie w teście wiedzy, lecz w kolejnym ćwiczeniu lub kontekście operacyjnym, gdzie przeszkolone zachowania są wymagane pod presją. Ten poziom wymaga oceny przez obserwatora: przeszkolonych ewaluatorów obserwujących uczestników w kolejnym ćwiczeniu i oceniających ich zachowanie według ustandaryzowanej rubryki. Rubryka musi być zakotwiczona w konkretnych zachowaniach, które wargaming miał rozwinąć, a ocenianie musi być dokonywane przez obserwatorów, którzy nie uczestniczyli jako prowadzący w oryginalnym wargamingu (aby zapobiec błędowi oczekiwań).

Ocena zachowania na poziomie 3 jest kosztowna i logistycznie wymagająca, dlatego większość organizacji ją pomija i polega na danych z poziomów 1 i 2. Jest to znacząca luka. Dane dotyczące uczenia się na poziomie 2 mówią, że uczestnicy mogli poprawnie odpowiedzieć na pytania wiedzy po ćwiczeniu; nie mówią, czy stosują tę wiedzę, gdy są zmęczeni, pod presją i przetwarzają jednocześnie konkurencyjne wymagania — czyli warunki faktycznie charakteryzujące operacyjną pracę sztabu.

Poziom 4 — Wyniki

Pomiar wyników łączy program wargamingu z rezultatami operacyjnymi: czasem cyklu decyzyjnego w rzeczywistych operacjach, wskaźnikami błędów planowania w kolejnych ćwiczeniach, wskaźnikami powodzenia misji. Jest to poziom, który chcą widzieć zespoły ds. zamówień i wyżsi przełożeni, i poziom najtrudniejszy do zmierzenia z pewnością, ponieważ problem atrybucji jest tu najbardziej dotkliwy. Poprawa wyników operacyjnych ma wiele przyczyn; wyodrębnienie wkładu wargamingu wymaga danych długookresowych, solidnego pomiaru bazowego i kontroli statystycznych, które rzadko są dostępne w warunkach operacyjnych. Organizacje, które zobowiązują się do pomiaru na poziomie 4, zazwyczaj potrzebują dwóch do trzech lat konsekwentnego zbierania danych, zanim analiza na poziomie wyników będzie wiarygodna.

Wskaźniki ilościowe: co i jak mierzyć

Cztery wskaźniki ilościowe stanowią rdzeń programu pomiaru skuteczności wargamingu szkoleniowego. Każdy ma zdefiniowaną metodę pomiarową, która pozwala na porównywalne dane między ćwiczeniami.

Czas cyklu decyzyjnego

Czas cyklu decyzyjnego mierzy czas upływający od dostarczenia iniektu do decyzji sztabu — interwał między momentem przedstawienia zdarzenia scenariuszowego zespołowi a momentem zapisania decyzji lub działania przez zespół. Ten wskaźnik bezpośrednio ocenia szybkość procesu decyzyjnego sztabu, który jest jednym z głównych wyników, jakie wargaming ma poprawić. Pomiar wymaga, aby iniekty były dostarczane i oznaczane znacznikiem czasu automatycznie, a odpowiedzi zespołu były rejestrowane ze znacznikiem czasu w momencie zakończenia. Ręczne mierzenie czasu jest zawodne; system dostarczania iniektu musi obsługiwać oznaczanie znacznikiem czasu bez interwencji człowieka.

Czas cyklu decyzyjnego najlepiej śledzić jako rozkład wielu iniektu w ramach ćwiczenia, a nie jako pojedynczą średnią. Wariancja ma równie duże znaczenie jak średnia: zespół, który podejmuje większość decyzji szybko, ale bardzo długo zwleka przy złożonych iniektu, ma inne potrzeby szkoleniowe niż zespół z jednolicie wolnymi czasami cyklu. Porównanie rozkładu bazowego przed ćwiczeniem z wydajnością po ćwiczeniu pokazuje, czy wargaming skrócił ogon powolnych decyzji, gdzie zazwyczaj leży największe ryzyko operacyjne.

Wskaźnik dokładności komunikacji

Wskaźnik dokładności komunikacji mierzy odsetek wiadomości między komórkami, które przekazują zamierzone informacje bez zniekształceń, pominięć lub błędów formatowania. Ocena przez obserwatora ruchu wiadomości jest standardowym podejściem: przeszkolony obserwator przegląda zarejestrowane wiadomości (dziennik głosowy, pisemny ruch wiadomości lub zapisy cyfrowe systemu) i ocenia każdą wiadomość według rubryki punktacji identyfikującej wymagane elementy informacyjne i poprawny format. Wiadomości z brakującym wymaganym elementem lub zawierające błąd rzeczowy uzyskują zero; kompletne, dokładne wiadomości uzyskują jeden punkt. Wskaźnik dokładności dla ćwiczenia to odsetek wiadomości ocenionych jako dokładne.

Ten wskaźnik wychwytuje jedno z najczęstszych źródeł niepowodzeń planowania w ćwiczeniach sztabowych — informacje, które opuszczają jedną komórkę prawidłowo, ale docierają do następnej komórki zniekształcone lub niekompletne. Wargaming, który poprawia wskaźnik dokładności komunikacji, wyraźnie usprawnia koordynację, co bezpośrednio przekłada się na wydajność operacyjną.

Wynik przestrzegania SOP

Wynik przestrzegania SOP mierzy odsetek kroków procedury wykonanych poprawnie i we właściwej kolejności podczas zdarzenia planistycznego. Narzędziem pomiarowym jest krokowa lista kontrolna opracowana na podstawie odpowiedniego doktrynalnego procesu planowania — na przykład Procesu Podejmowania Decyzji Militarnych (MDMP) lub konkretnej procedury cyklu zwalczania celów. Obserwator zaznacza każdy krok jako wykonany poprawnie, wykonany niepoprawnie lub pominięty. Wynik przestrzegania to odsetek prawidłowo wykonanych kroków.

Pomiar przestrzegania SOP wymaga, aby rola obserwatora była oddzielona od roli prowadzącego. Prowadzący, którzy jednocześnie punktują przestrzeganie, mają tendencję do interweniowania w celu poprawienia procedury, co zawyża wyniki przestrzegania i unieważnia pomiar. Obserwatorzy muszą być biernymi rejestratorami podczas ćwiczenia.

Częstotliwość błędów planowania

Częstotliwość błędów planowania liczy błędy doktrynalne na cykl planowania — decyzje, rozkazy lub produkty odbiegające od wymogów doktrynalnych w sposób, który obniżałby skuteczność operacyjną. Identyfikacja błędów planowania wymaga obserwatorów będących ekspertami merytorycznymi, którzy znają doktrynę wystarczająco dobrze, aby rozpoznać odchylenia w kontekście. Każdy zidentyfikowany błąd jest kategoryzowany według typu (błąd luki informacyjnej, błąd koordynacji, nieprawidłowy priorytet, błąd czasowy), aby umożliwić analizę, które kategorie błędów wargaming redukuje, a których nie eliminuje.

Wskaźniki jakościowe: oceny obserwatorów i punktacja rubryk

Wskaźniki ilościowe rejestrują to, co można policzyć i zmierzyć czasowo. Ocena jakościowa wychwytuje wymiary wydajności sztabu, które nie poddają się redukcji do liczb — jakość krytycznych wymagań informacyjnych dowódcy (CCIR), głębokość założeń planistycznych, stopień, w jakim produkt sztabowy odzwierciedla spójne rozumienie sytuacji operacyjnej, a nie jedynie mechaniczne przestrzeganie procesu.

Rubryki oceny obserwatorów dla oceny wargamingu zazwyczaj używają czteropunktowej skali zakotwiczonej do deskryptorów behawioralnych: niezadowalający (zachowanie nie spełnia standardu i obniżałoby operacje), rozwijający się (zachowanie częściowo spełnia standard ze znaczącymi lukami), zadowalający (zachowanie spełnia standard w normalnych warunkach) i biegły (zachowanie konsekwentnie spełnia standard pod presją). Każdy wymiar rubryki jest zdefiniowany w kategoriach obserwowalnych zachowań — nie postaw ani wrażeń — tak aby różni obserwatorzy oceniający ten sam zespół w tym samym ćwiczeniu uzyskiwali spójne wyniki.

Samoocena uczestników stanowi komplementarne źródło danych, szczególnie przydatne do pomiaru postrzeganej pewności siebie i identyfikowania obszarów umiejętności, w których uczestnicy sami dostrzegają swoje luki. Narzędzia samooceny stosowane zarówno przed, jak i po ćwiczeniu pokazują, czy wargaming zmienił rozumienie uczestników w zakresie własnych kompetencji, w tym przypadki, gdy wargaming ujawnił luki, których uczestnicy wcześniej nie dostrzegali — częsty i cenny wynik, którego same wskaźniki ilościowe nie uchwycą.

Punktacja rubryki prowadzącego podczas ćwiczenia tworzy bieżący jakościowy zapis sesji ćwiczebnej, na którym przegląd po działaniu może bezpośrednio bazować. Prowadzący rejestrują obserwacje behawioralne w odniesieniu do wymiarów rubryki w czasie rzeczywistym, odnotowując, które konkretne zdarzenia ćwiczebne wywołały punktowane zachowania. Ten bieżący zapis jest bardziej wiarygodny niż relacja prowadzącego z pamięci po ćwiczeniu i dostarcza konkretnych przykładów, które czynią informację zwrotną AAR użyteczną, a nie ogólnikową.

Ustanawianie miarodajnego punktu odniesienia

Każdy wskaźnik skuteczności jest interpretowalny wyłącznie w odniesieniu do punktu bazowego. Czas cyklu decyzyjnego wynoszący dwanaście minut na iniekt po ćwiczeniu jest dobry, zły lub obojętny w zależności wyłącznie od tego, jaki był przed ćwiczeniem. Ustanowienie prawidłowego punktu odniesienia jest krokiem, który większość organizacji pomija, a jego brak jest głównym powodem, dla którego dane dotyczące skuteczności wargamingu rzadko są wystarczająco wiarygodne, by wpływać na decyzje o alokacji zasobów.

Najbardziej wiarygodnym źródłem punktu odniesienia są historyczne dane ćwiczebne z poprzednich ćwiczeń o porównywalnym zakresie i złożoności. Jeśli organizacja przeprowadzała wcześniej podobne wargamingi i rejestrowała te same wskaźniki, rozkłady wydajności przed ćwiczeniem z tych ćwiczeń stanowią punkt odniesienia. Kluczowym wymogiem jest kontrolowanie złożoności — punkt odniesienia z prostego tabletop nie jest ważny dla wieloszczeblowego wargamingu z rozproszonymi uczestnikami i złożonymi iniektu scenariuszowymi. Tam gdzie dane historyczne istnieją, powinny być przejrzane przez eksperta merytorycznego przed przyjęciem jako ważny punkt odniesienia, aby zidentyfikować wszelkie znane różnice w trudności scenariusza lub składzie sztabu.

Gdy dane historyczne są niedostępne lub nieporównywalne, najbardziej praktycznym podejściem jest zdarzenie bazowe przed ćwiczeniem: krótka sesja tabletop, przeprowadzona jeden do dwóch tygodni przed głównym wargamingiem, z zastosowaniem tych samych narzędzi pomiarowych na podzbiorze zestawu iniektu scenariuszowego. Daje to empiryczne dane bazowe od rzeczywistych uczestników, a nie od historycznych komparatorów, i służy drugiemu celowi zaznajomienia uczestników z narzędziami pomiarowymi, aby wyniki po ćwiczeniu nie były zawyżone przez uczenie się formatu oceny, a nie doktryny.

Narzędzia do rejestrowania danych: od ręcznej punktacji do automatycznego logowania

Jakość pomiaru skuteczności wargamingu jest ograniczona przez jakość rejestrowania danych podczas ćwiczenia. Ręczne rejestrowanie danych — obserwatorzy piszący notatki na papierowych arkuszach punktacji, prowadzący ręcznie rejestrujący czasy decyzji — daje niespójne, niekompletne dane, które są trudne do zagregowania i analizy. Alternatywą jest specjalnie skonstruowane oprzyrządowanie, które sprawia, że rejestrowanie danych jest dokładne i nie obciąża obserwatorów.

Minimalnym wymogiem oprzyrządowania dla poważnego pomiaru skuteczności jest system dostarczania iniektu, który automatycznie oznacza każdy iniekt znacznikiem czasu, aplikacja dziennika decyzji rejestrująca odpowiedzi zespołu ze znacznikiem czasu w momencie przesłania, oraz ustrukturyzowana aplikacja punktacji obserwatora — formularz na tablecie prezentujący wymiary rubryki i rejestrujący wyniki i notatki w ustrukturyzowanych polach, a nie jako wolny tekst. Rejestrowanie komunikacji głosowej i eksport dziennika wiadomości po ćwiczeniu z dowolnego cyfrowego systemu C2 używanego podczas ćwiczenia dopełniają obraz rejestrowania danych.

Po ćwiczeniu te strumienie danych są scalane w ujednolicony dziennik zdarzeń, który obsługuje zarówno bezpośrednie podsumowanie wargamingu i przegląd doktryny, jak i długoterminową analizę skuteczności szkolenia. Dziennik zdarzeń powinien zachowywać pełną oś czasu iniekt-odpowiedź wraz z wynikami obserwatorów, aby analiza statystyczna mogła zbadać, które typy iniektu powodują największe luki w wydajności i które segmenty ćwiczenia przyniosły najbardziej mierzalną naukę. Statystyki zagregowane obliczone bez bazowego dziennika zdarzeń są znacznie trudniejsze do wykorzystania przy podejmowaniu decyzji o usprawnieniu programu.

Dla organizacji prowadzących wargaming wielokrotnie w całym cyklu szkoleniowym trwała baza danych gromadząca dane z ćwiczeń przez kolejne zdarzenia umożliwia analizę trendów: śledzenie, czy czasy cyklu decyzyjnego poprawiają się w trakcie cyklu szkoleniowego, czy wskaźniki błędów planowania spadają, i czy program wargamingu jako całość przynosi mierzalne postępy w realizacji celów szkoleniowych jednostki. Ten długookresowy obraz odróżnia program pomiarowy od zbioru indywidualnych kart wyników z poszczególnych ćwiczeń.

WARG: wbudowana analityka do pomiaru skuteczności wargamingu

Rejestrowanie i analizowanie danych dotyczących skuteczności wargamingu wymaga celowo skonstruowanej infrastruktury. Rozwiązania doraźne — arkusze kalkulacyjne sporządzane po ćwiczeniu, ręcznie zliczane wyniki obserwatorów, formularze ankiet po ćwiczeniu — dają dane o niewystarczającej jakości dla rygorystycznej analizy skuteczności i powodują znaczne obciążenie administracyjne prowadzących, którzy powinni skupiać się na prowadzeniu ćwiczenia.