Przetwarzanie COMINT: rozpoznawanie mowy i identyfikacja języka na dużą skalę

Pojedyncza taktyczna stacja kolekcji może przechwycić tysiące godzin ruchu głosowego w ciągu tygodnia. Niemal żaden z nich nie ma znaczenia. Wartość wywiadowcza jest skupiona w znikomej frakcji przechwytów – rozmowie koordynacyjnej, oznaczeniu jednostki wymówionym jawnym tekstem, haśle na liście obserwacyjnej – ukrytej w oceanie rutynowej paplaniny, ciszy i szumu. Przetwarzanie COMINT to dziedzina inżynierii, która znajduje sygnał w tym oceanie. To łańcuch oprogramowania, który przekształca surowe zdemodulowane audio w transkrypty, tagi językowe i posortowane alerty, tak aby rzadki czas analityka i lingwisty był spędzany wyłącznie tam, gdzie przynosi efekt. Artykuł ten omawia nowoczesny potok przetwarzania głosu – segmentację, identyfikację języka, rozpoznawanie mowy i wykrywanie słów kluczowych – oraz wybory projektowe decydujące o tym, czy działa on w skali operacyjnej.

Potok przetwarzania głosu COMINT

Podczas gdy ELINT zajmuje się parametrycznymi sygnaturami radarów i systemów uzbrojenia, COMINT zajmuje się treścią i metadanymi komunikacji. W przypadku przechwytów głosowych potok przetwarzania jest skierowanym grafem etapów, z których każdy zawęża dane i dodaje strukturę. Klasyczne etapy to detekcja aktywności głosowej, diaryzacja mówców, identyfikacja języka, automatyczne rozpoznawanie mowy (ASR) oraz wykrywanie słów kluczowych lub ekstrakcja encji. Dyscyplina ta stoi obok szerszego problemu fuzji omówionego w artykule o fuzji ELINT i COMINT, ponieważ transkrypt jest znacznie bardziej wartościowy, gdy jest skorelowany z kontekstem emitera i geolokalizacji przechwytu.

Zasada architektoniczna rządząca każdym etapem to selekcja przez progresywny koszt. Najtańsze filtry działają jako pierwsze i odrzucają najwięcej danych. Detekcja aktywności głosowej kosztuje niemal nic na sekundę audio i eliminuje większość czasu przechwytywania w typowej sieci. Identyfikacja języka jest tania w porównaniu do transkrypcji i decyduje, który drogi model wywołać. Pełny ASR – najdroższy etap – działa tylko na segmentach, które przeżyły wcześniejsze filtry. Umieszczenie drogiego etapu przed tanim to najczęstszy sposób, w jaki potok COMINT nie nadąża z kolekcją.

Kondycjonowanie audio i segmentacja

Przechwycony głos dociera zdegradowany. Taktyczne połączenia HF i VHF niosą szum kanałowy, wielodrożność, zanikanie, przycinanie z nadsterowanych nadajników i artefakty kodeków z cyfrowych systemów głosowych. Przed uruchomieniem jakiegokolwiek modelu audio jest przepróbkowywane do wspólnej częstotliwości – 16 kHz mono to de facto standard dla modeli mowy – normalizowane pod względem wzmocnienia i kondycjonowane za pomocą odszumiania odpowiedniego dla kanału. Agresywne odszumianie to pułapka: filtry dostrojone do usuwania szumu szerokopasmowego usuwają również energię formantową wysokiej częstotliwości, na której polega ASR, dlatego odszumianie musi być walidowane pod kątem wskaźnika błędów słów poniżej, a nie pod kątem tego, jak czysto brzmi audio dla człowieka.

Detekcja aktywności głosowej

Detekcja aktywności głosowej (VAD) klasyfikuje każdą krótką ramkę audio jako mowę lub nie-mowę. Na stale monitorowanym kanale przerwy push-to-talk, ogony squelch i martwe powietrze dominują w przechwytywaniu, a VAD zazwyczaj odrzuca ponad połowę surowej osi czasu przed jakimkolwiek dalszym przetwarzaniem. Neuronowy VAD wytrenowany na zaszumionym radiu wyraźnie przewyższa proste bramkowanie progiem energetycznym, które fałszywie wyzwala na tonach, seriach statycznych i tle maszynowym. Wyjście VAD definiuje granice każdego segmentu, który będzie przetwarzany przez resztę potoku.

Diaryzacja mówców

Diaryzacja odpowiada na pytanie „kto mówił kiedy", dzieląc wymianę wielu stron na segmenty jednego mówcy. Ma to znaczenie z dwóch powodów. Po pierwsze, zarówno identyfikacja języka, jak i ASR znacznie się pogarszają przy nakładającej się mowie, więc izolacja jednego rozmówcy na segment poprawia każdy kolejny wynik. Po drugie, sama tożsamość mówcy jest informacją wywiadowczą – śledzenie konkretnego rozmówcy w przechwytach na podstawie cech głosu wspiera analizę sieciową nawet wtedy, gdy znaki wywoławcze się zmieniają. Nowoczesna diaryzacja używa klastrowania osadzeń mówców (osadzenia x-wektorów lub ECAPA-TDNN) i dobrze radzi sobie z kilkoma mówcami na wymianę; zatłoczone, nakładające się sieci pozostają trudnym przypadkiem.

Identyfikacja języka na dużą skalę

Identyfikacja języka (LID) to przełącznik routingowy potoku. System obsługuje stały zestaw języków docelowych, każdy z własnym modelem ASR, a LID decyduje, który z nich wywołać dla każdego segmentu. Błąd w tej decyzji powoduje transkrypcję segmentu przez model, który nigdy nie widział tego języka, produkując nonsens zaśmiecający wyszukiwanie i marnujący zasoby obliczeniowe.

Aktualna standardowa architektura odwzorowuje kilka sekund audio na osadzenie o stałej długości za pomocą kodera samosuperwizowanego (sieć w stylu wav2vec 2.0) lub ekstraktora x-wektorów, a następnie klasyfikuje to osadzenie na obsługiwanym zestawie języków. Na trzech do pięciu sekundach czystej mowy w zestawie dokładność przekracza 95 procent. Dokładność spada dla trzech przewidywalnych danych wejściowych: bardzo krótkich segmentów, przełączania kodów w obrębie jednej wypowiedzi oraz blisko spokrewnionych dialektów lub języków o wspólnej fonologii. Środkiem zaradczym jest podwójna strategia – nigdy nie kieruj wyniku LID o niskiej pewności do modelu jednojęzycznego i utrzymuj wielojęzyczny model ASR jako ścieżkę zastępczą dla wszystkiego, co do czego klasyfikator ma wątpliwości. Te same podstawy uczenia maszynowego, które napędzają klasyfikację modulacji, mają tu zastosowanie; artykuł o klasyfikacji sygnałów z uczeniem maszynowym omawia kwestie danych treningowych i minimalnego SNR, które powtarzają się w każdym wdrożonym klasyfikatorze.

Automatyczne rozpoznawanie mowy dla przechwyconych połączeń głosowych

ASR to serce potoku i etap, w którym niedopasowanie domenowe boli najbardziej. Modele gotowe do użycia są trenowane na czystej, szerokopasmowej mowie konwersacyjnej – podcastach, audiobookach, nagraniach z call center. Przechwycony głos wojskowy nie ma żadnej z tych cech: jest pasmowo ograniczony, zniekształcony przez kodeki, pełen żargonu proceduralnego, znaków wywoławczych, literowanych odniesień do siatek i kodów skrótowych, często wypowiadanych pod presją.

Architektury end-to-end oparte na transformerach w dużej mierze wyparły starsze systemy hybrydowe HMM-DNN w tej pracy. Modele koder-dekoder w stylu Whisper i modele Conformer-CTC lepiej tolerują zniekształcenia kanałowe i zapewniają silne pokrycie wielojęzyczne z jednego punktu kontrolnego, co upraszcza obsługę wielu języków docelowych jednocześnie. Dla wysokowartościowych języków docelowych o małych zasobach produkcyjnym posunięciem jest dostrojenie modelu bazowego na audio dziedzinowym – nagraniach z pasmem radiowym, odpowiednich artefaktach kodeków i leksykonie terminologii wojskowej, nazw jednostek i nazw miejsc. Wzbogacanie danych treningowych symulowanymi efektami kanałowymi (filtrowanie pasmowe, addytywny szum radiowy, rundy kodek) niezawodnie zmniejsza lukę między wynikami benchmarku a wydajnością w terenie.

Współczynnik błędów słów to cel per-zadanie, a nie jedna liczba

Inżynierowie nowi w przetwarzaniu COMINT często pytają o „jedyny" akceptowalny współczynnik błędów słów (WER). Nie istnieje – zależy całkowicie od tego, do czego służy transkrypt. W przypadku transkrypcji dosłownej przeznaczonej do sporządzania raportów, WER poniżej 15 procent jest roboczym celem osiągalnym tylko dla dobrej jakości audio w docelowym języku. W przypadku selekcji – decydowania, czy przechwyт zasługuje na uwagę analityka – WER od 30 do 40 procent jest często akceptowalny, ponieważ decyzję routingową napędza przypominanie słów kluczowych i detekcja encji, a nie czytelność. Silnie zdegradowane taktyczne połączenia głosowe rutynowo przekraczają te liczby, co jest dokładnie powodem, dla którego potok zachowuje siatkę rozpoznawania i dlaczego ludzka weryfikacja oznaczonych segmentów pozostaje obowiązkowa.

Siatka rozpoznawania ma większe znaczenie niż transkrypt

Powszechnym błędem jest zachowywanie tylko najlepszego pojedynczego transkryptu i odrzucanie siatki – skategoryzowanego grafu alternatywnych hipotez rozważanych przez dekoder. W COMINT siatka jest często cenniejsza niż ścieżka jednego najlepszego. Nazwa miejsca z listy obserwacyjnej lub oznaczenie jednostki, które najlepsza ścieżka pominęła, często przeżywa jako druga lub trzecia sklasyfikowana alternatywa. Wykrywanie słów kluczowych przeszukujące siatkę odzyskuje te terminy; wykrywanie słów kluczowych wyłącznie z najlepszego transkryptu po cichu je pomija. Utrwalanie siatki ze znacznikami czasu na poziomie słów wyrównanymi do audio to celowy koszt magazynowania, który się opłaca w postaci wyższego wskaźnika przypomnień.

Wykrywanie słów kluczowych i ekstrakcja encji

Ostatni etap przekształca transkrypty w posortowane alerty. Dwie uzupełniające się techniki działają równolegle. Tekstowe wykrywanie słów kluczowych dopasowuje transkrypt i siatkę do aktywnej listy obserwacyjnej – nazw miejsc, oznaczeń jednostek, typów uzbrojenia, haseł – oraz do modeli nazwanych encji wyodrębniających osoby, organizacje, miejsca i czasy. Ponieważ przeszukuje siatkę, a nie tylko najlepszą ścieżkę, odzyskuje terminy, które transkrypt pominął. Akustyczne wykrywanie słów kluczowych dopasowuje audio bezpośrednio do szablonów zapytania przez przykład lub sekwencji fonemów, bez konieczności posiadania pełnego transkryptu. Ta druga ścieżka sprawia, że system jest odporny dla języków, dla których nie istnieje jeszcze produkcyjny model ASR, oraz dla terminów spoza słownika – nowe hasło można zapisać akustycznie w momencie, gdy analityk usłyszy je po raz pierwszy.

Trafienia z obu ścieżek są punktowane, deduplikowane na nakładających się łukach siatki i łączone z metadanymi – mówcą, priorytetem kolekcji, częstotliwością i namierzaniem – w jeden wynik istotności. Kolejka analityka prezentuje posortowane przechwyty z synchronicznym odtwarzaniem audio, transkryptem, cieniowaniem pewności na niepewnych słowach i informacją zwrotną jednym kliknięciem. Ta pętla informacji zwrotnej to nie udogodnienie: korekty analityków to dane etykietowane najwyższej jakości, jakie program kiedykolwiek otrzyma, a ich przekazywanie z powrotem do dostrajania modeli i strojenia listy obserwacyjnej pozwala utrzymać rosnącą dokładność przez cały okres wdrożenia. Tam gdzie wolumen oznaczonego materiału nadal przytłacza lingwistów, duże modele językowe mogą wstępnie podsumowywać i klastrować transkrypty – wzorzec eksplorowany w artykule o LLM do selekcji wywiadowczej.

Obsługa potoku na dużą skalę

Skalowanie przetwarzania głosu COMINT to problem przepustowości z twardym ograniczeniem czasu rzeczywistego: potok musi nadążać z kolekcją lub trwale się opóźni. Standardowa architektura rozdziela etapy za pośrednictwem magistrali komunikatów, dzięki czemu każdy może skalować niezależnie – VAD i diaryzacja na pracownikach CPU, LID i ASR na pracownikach GPU, wykrywanie słów kluczowych i ekstrakcja encji na oddzielnej warstwie. Ponieważ wczesne filtry odrzucają tak dużo danych, droga warstwa GPU widzi tylko ułamek surowego audio, a rozmiarowanie klastra GPU jest napędzane wolumenem mowy po VAD, a nie surowym tempem przechwytywania.

Dwie operacyjne realia kształtują każde wdrożenie. Po pierwsze, kontrole klasyfikacyjne i need-to-know mają zastosowanie do produktów pochodnych równie rygorystycznie jak do surowego przechwytu: transkrypt, tag językowy i trafienie słowa kluczowego dziedziczą klauzule obsługi źródłowego audio, a dostęp jest filtrowany na warstwie danych. Po drugie, wiele z tych systemów działa w odizolowanych lub ograniczonych przepustowościowo enklawach, co wymusza stosowanie zdystylowanych, krawędziowo wdrażalnych modeli, które poświęcają kilka punktów dokładności na rzecz możliwości działania niemal w czasie rzeczywistym na zahartowanym serwerze bez centrum danych za nim. Właściwe równoważenie między dużym, dokładnym modelem chmurowym a małym, szybkim modelem krawędziowym to decyzja wdrożeniowa, a nie stała odpowiedź.

Planowanie przepustowości musi również uwzględniać zachowanie zaległości w czasie przeciążeń. Wolumen kolekcji jest nierównomierny – okres wzmożonej aktywności może zwielokrotnić tempo ruchu głosowego w ciągu minut – a potok zwymiarowany na średnie tempo zgromadzi kolejkę, której nigdy nie zdoła opróżnić po ustąpieniu przeciążenia. Standardowym środkiem zaradczym jest elastyczna pojemność GPU dla warstwy ASR oraz harmonogramista z uwzględnieniem priorytetów: wysokopriorytetowe częstotliwości, oznaczeni mówcy i kolektory sąsiadujące z listą obserwacyjną skaczą kolejkę, podczas gdy niskopriorytетowe rutynowe paplaniny są przetwarzane best-effort lub podpróbkowane. Równie ważna jest obserwowalność – opóźnienie per-etap, głębokość kolejki, rozkłady pewności modeli i wskaźniki routingu językowego powinny być stale monitorowane, ponieważ ciche pogorszenie w którymkolwiek pojedynczym etapie (dryfujący próg VAD, nadmiernie agresywne odszumianie, model LID tracący dokładność na nowym dialekcie) po cichu zatruwa wszystko poniżej na długo przed tym, zanim analityk zauważy, że transkrypty są złe.

Wreszcie, żadne z powyższych nie usuwa lingwisty z pętli; zmienia to, co lingwista robi. Zamiast słuchać surowego audio w czasie rzeczywistym, lingwista obsługuje posortowaną kolejkę wstępnie posegmentowanych, wstępnie transkrybowanych, wstępnie oznaczonych przechwytów, potwierdzając lub korygując wyniki maszyny i dodając osąd analityczny, którego żaden model nie produkuje. Dobrze zaprojektowane przetwarzanie COMINT nie zastępuje analityka – zwielokrotnia zasięg jednego analityka na wolumen ruchu, który w innym przypadku byłby niemożliwy do objęcia w całości.