Szerokopasmowy zapis RF i archiwizacja widma dla kryminalistycznego SIGINT

SIGINT w czasie rzeczywistym odpowiada na pytanie, co dzieje się teraz. Kryminalistyczny SIGINT odpowiada na inne i często trudniejsze pytanie: co stało się wtedy i czy możesz to udowodnić? Odpowiedź na nie wymaga zdolności szerokopasmowego zapisu i archiwizacji widma — systemu, który przechwytuje surowe IQ w pełnej wierności, przechowuje je z weryfikowalnym pochodzeniem, indeksuje je tak, aby analityk mógł znaleźć sygnał, który wystąpił tygodnie temu, i odtwarza je przez ten sam łańcuch przetwarzania, aby odtworzyć wynik. Ten artykuł przeprowadza przez architekturę takiego systemu: front-end zapisu, przechowywanie danych IQ, indeks metadanych, politykę retencji i ścieżkę odtwarzania, która zamienia archiwum w narzędzie kryminalistyczne.

Po co w ogóle archiwizować surowe IQ

Większość operacyjnych potoków SIGINT odrzuca surowe próbki w ciągu sekund. Kanalizują pasmo, wykrywają sygnały, klasyfikują je i zachowują tylko produkty pochodne — rekordy detekcji, zdemodulowaną treść, namiary geolokalizacji. To właściwy projekt dla misji w czasie rzeczywistym, gdzie pytanie zawsze dotyczy teraźniejszości, a pamięć jest skończona.

Praca kryminalistyczna łamie to założenie. Gdy pojawia się nowy emiter zainteresowania, analitycy chcą spojrzeć wstecz i zapytać: czy ten sygnał był obecny w zeszłym tygodniu i gdzie? Gdy detekcja jest kwestionowana, analityk musi odtworzyć ją z oryginalnych próbek. Gdy odkryty zostaje nowy przebieg fali, jedynym sposobem jego zbadania jest odtworzenie surowego przechwycenia przez nowe przetwarzanie, które nie istniało, gdy sygnał był nagrywany. Żadne z tego nie jest możliwe, jeśli system zachował tylko produkty pochodne. Surowe IQ jest prawdą podstawową — wszystko inne jest jego stratną interpretacją, a interpretację zawsze można powtórzyć, jeśli próbki przetrwają.

Kosztem tej prawdy podstawowej jest objętość danych, i jest on dotkliwy. Pojedynczy kanał 100 MHz przy 16-bitowych próbkach zespolonych daje około 400 MB na sekundę — około 1,44 TB na godzinę. Czterokanałowy kolektor szerokopasmowy pracujący w trybie ciągłym może przekroczyć 100 TB dziennie. Cała architektura archiwum widma jest w istocie zestawem strategii uzyskiwania wartości kryminalistycznej z surowego IQ bez płacenia za przechowywanie całości na zawsze.

Front-end zapisu

Front-end zapisu znajduje się bezpośrednio za cyfrowym przetwornikiem i ma jedno zadanie: przenieść próbki zespolone z przewodu na trwałą pamięć masową bez gubienia żadnej. Przy prędkościach szerokopasmowych jest to problem trwałej przepustowości, a nie obliczeń. Standardowym wzorcem jest bezblokadowy bufor pierścieniowy w pamięci hosta, który wypełnia DMA przetwornika, a opróżnia wątek zapisu, zapisując pliki segmentów o stałym rozmiarze do warstwy pamięci zoptymalizowanej pod zapis (NVMe w macierzy z rozłożeniem lub równoległy system plików dla bardzo wysokich łącznych prędkości).

Dwie właściwości muszą być zaprojektowane od początku. Po pierwsze, dyscyplinowane taktowanie. Każda próbka musi nieść dokładny, identyfikowalny znacznik czasu pochodzący z oscylatora dyscyplinowanego przez GPS lub odniesienia PTP (IEEE 1588). Korelacja kryminalistyczna między kolektorami — i wszelka przyszła praca geolokalizacyjna — zależy od znaczników czasu dokładnych lepiej niż mikrosekunda i dowodliwie identyfikowalnych do odniesienia. Po drugie, integralność w czasie zapisu. Kryptograficzny skrót (typowy jest SHA-256) jest obliczany nad każdym segmentem w trakcie jego zapisu i przechowywany w metadanych segmentu. To utrwala integralność przechwycenia w chwili zapisu, co jest fundamentem każdego późniejszego roszczenia dowodowego.

Front-end zapisu zapisuje także samoopisujący się rekord metadanych dla każdego przechwycenia. Przetwarzanie od IQ do informacji wywiadowczej, które konsumuje te nagrania, jest tym samym łańcuchem kanalizacji i detekcji opisanym w naszym przeglądzie potoków przetwarzania sygnałów SDR — archiwum po prostu wstawia etap trwałego przechowywania między zbieraniem a przetwarzaniem, aby potok mógł uruchomić się ponownie później na przechowywanych próbkach.

Przechowywanie danych IQ i format pliku

Wybór formatu przechowywania decyduje, czy nagranie będzie nadal użyteczne za pięć lat. De facto otwartym standardem jest SigMF (Signal Metadata Format), który łączy binarny plik danych IQ z plikiem metadanych JSON. Metadane opisują częstotliwość próbkowania, częstotliwość środkową, typ danych (np. zespolona liczba całkowita 16-bitowa lub 32-bitowa zmiennoprzecinkowa), sprzęt, czas rozpoczęcia przechwytywania oraz listę adnotacji oznaczających regiony zainteresowania w pliku. Ponieważ format jest samoopisujący się i niezastrzeżony, nagranie SigMF pozostaje interpretowalne bez oryginalnego oprogramowania zbierającego.

Oddzielenie surowych próbek od pochodnych metadanych

Archiwum widma utrzymuje dwa fizycznie odrębne magazyny danych. Pierwszy to magazyn surowego IQ: duże pliki segmentów zapisywane raz w SigMF, kosztowne w utrzymaniu, dostępne rzadko i tylko przez przesunięcie bajtowe. Drugi to magazyn pochodnych metadanych: małe rekordy strukturalne opisujące, co znaleziono w IQ — detekcje, cechy, spektrogramy, identyfikacje emiterów. Analitycy nieustannie wysyłają zapytania do magazynu pochodnego; sięgają do magazynu surowego tylko wtedy, gdy potrzebują odtworzyć faktyczne próbki.

To oddzielenie napędza wybór technologii. Surowe IQ żyje na pamięci obiektowej lub równoległym systemie plików zoptymalizowanym pod przepustowość sekwencyjną. Pochodne metadane żyją w bazie danych dostrojonej do zapytań o zakresy czasu i częstotliwości — często magazynie kolumnowym takim jak Apache Parquet dla analitycznych tabel cech, poprzedzonym indeksem szeregów czasowych lub indeksem wyszukiwania do interaktywnego wyszukiwania. Oba są połączone kluczem: każdy rekord metadanych niesie ścieżkę swojego źródłowego segmentu IQ i przesunięcie bajtowe zakresu próbek, który opisuje.

Głębia bitowa to celowy kompromis między wiernością a kosztem. Szesnastobitowe próbki zespolone zachowują około 96 dB zakresu dynamicznego, wystarczająco, aby uchwycić słaby sygnał leżący pod silnym sąsiadem w tym samym paśmie — sytuację, w której szczegół kryminalistyczny ma największe znaczenie. Zejście do 8 bitów o połowę zmniejsza objętość danych, ale odrzuca ten zapas, więc zapis o wysokiej głębi bitowej jest zarezerwowany dla pasm zbierania, gdzie współkanałowy zakres dynamiczny ma znaczenie operacyjne. Decyzja jest zapisana w polu typu danych SigMF, więc późniejszy analityk dokładnie wie, jaką wierność przechowuje archiwum.

Indeksowanie archiwum

Niezaindeksowane archiwum to czarna dziura tylko do zapisu — próbki wchodzą i nigdy nie wychodzą, ponieważ nikt nie może ich znaleźć. Indeksowanie jest tym, co zamienia pamięć w archiwum. Indeks jest budowany przez przebieg detekcji i ekstrakcji cech, który działa, gdy napływają segmenty, tym samym rodzajem front-endu detekcji używanym w monitorowaniu widma pod kątem nieautoryzowanych emiterów, przeprofilowanym tak, aby zapisywać trwałe rekordy indeksu zamiast alertów na żywo.

Dla każdego wykrytego sygnału przebieg emituje jeden rekord indeksu zawierający co najmniej: przedział czasu, częstotliwość środkową, zajmowane pasmo, moc szczytową i średnią, oszacowaną klasę modulacji, identyfikację emitera, gdy dostępna, oraz — co kluczowe — ścieżkę źródłowego pliku IQ i przesunięcie bajtowe zakresu próbek. Przesunięcie jest tym, co czyni pobieranie tanim: zapytanie analityka zwraca rekordy indeksu, a każdy rekord wskazuje bezpośrednio do magazynu surowego, więc odtwarzanie jest przeskokiem i odczytem, a nie skanowaniem.

Magazyn indeksu musi obsługiwać zapytania, które analitycy faktycznie wykonują, a te są w przeważającej mierze ograniczone w czasie i częstotliwości: „pokaż mi wszystko między 2,40 a 2,48 GHz tego dnia z pasmem poniżej 1 MHz i mocą powyżej tego progu”. Złożony indeks na (czas, częstotliwość, moc) nad rekordami detekcji obsługuje je wydajnie. Spektrogramy — obrazy mocy czas-częstotliwość o zmniejszonej rozdzielczości próbkowania — są przechowywane jako produkt trzeciorzędny, aby analityk mógł wizualnie przeskanować cały dzień pasma bez dekodowania żadnego surowego IQ.

Przebieg detekcji powinien być konserwatywny, a nie sprytny. Jego zadaniem jest uczynić każdy sygnał znajdowalnym później, a nie osiągnąć ostateczną klasyfikację na miejscu, więc faworyzuje czułość: oznacza każdą energię, która przekracza próg, nawet jeśli oszacowanie modulacji jest niepewne. Doprecyzowanie — potwierdzenie klasy modulacji, przypisanie emitera, korelacja między kolektorami — następuje później, na żądanie, przez odtworzenie zaindeksowanego surowego IQ przez cięższą analizę. Indeks, który niedowykrywa, jest nieodzyskiwalny, ponieważ brakujące sygnały nigdy nie zostały zapisane jako znajdowalne rekordy; indeks, który nadwykrywa, kosztuje jedynie trochę dodatkowej pamięci na metadane.

Polityka retencji: jedyna rzecz utrzymująca archiwum osiągalnym kosztowo

Żaden realistyczny budżet nie przechowa surowego IQ w pełnej wierności z szerokopasmowego kolektora na zawsze. Wielopoziomowa polityka retencji jest tym, co czyni archiwum finansowo możliwym, i jest to celowy, udokumentowany parametr misji, a nie spóźniona myśl.

Poziom 0 — przesuwny bufor surowy. Krótkie okno surowego IQ w pełnej wierności (od minut do kilku godzin) jest zawsze przechowywane na najszybszej pamięci. Jego celem jest spojrzenie wstecz: gdy pojawia się nowy sygnał zainteresowania, analitycy mogą natychmiast sięgnąć wstecz, aby uchwycić momenty przed jego oznaczeniem, które inaczej są tracone. Bufor nadpisuje się w sposób ciągły.

Poziom 1 — wyzwalana retencja surowa. Przechwycenia oznaczone wyzwalaczem — dopasowanie do listy obserwacyjnej, detektor anomalii lub wyraźne zadanie analityka — są promowane z bufora przesuwnego i przechowywane jako surowe IQ przez dni do tygodni. To mechanizm selektywnej archiwizacji: system zachowuje pełną wierność tylko tam, gdzie dowody sugerują, że będzie potrzebna.

Poziom 2 — produkty pochodne, długoterminowo. Spektrogramy, metadane detekcji i wyekstrahowane cechy są przechowywane bezterminowo. Zajmują niewielki ułamek objętości surowych danych, a jednak same odpowiadają na większość pytań kryminalistycznych. Analityk może ustalić, że sygnał był obecny, na jakiej częstotliwości, o jakich cechach, z samego Poziomu 2 — i eskaluje do surowego odtworzenia Poziomu 1 tylko wtedy, gdy potrzebny jest dowód na poziomie próbek.

Migracja między poziomami jest zautomatyzowana. Starzejące się surowe IQ przenosi się z gorącej NVMe do tańszej pamięci obiektowej i ostatecznie usuwa zgodnie z polityką, podczas gdy jego pochodne metadane trwają. Okna retencji, definicje wyzwalaczy i harmonogram usuwania to wszystko konfiguracja, a nie kod, więc menedżer zbierania może dostroić je dla każdej misji i dla każdego organu klasyfikacji.

Odtwarzanie i obronność kryminalistyczna

Nagrodą całej architektury jest odtwarzanie: wzięcie przechowanego przechwycenia i przepuszczenie go przez przetwarzanie, jakby było na żywo. Ponieważ archiwum zachowało zarówno oryginalne surowe IQ, jak i dokładne parametry z czasu przechwytywania, analityk może ponownie przetworzyć sygnał nowszymi lub innymi algorytmami, lub po prostu odtworzyć wcześniejszy wynik, aby go potwierdzić. Odtwarzanie przeskakuje do przesunięcia bajtowego z rekordu indeksu, weryfikuje przechowywany skrót segmentu, aby potwierdzić, że próbki są niezmienione, i podaje zakres przez łańcuch przetwarzania.

Obronność kryminalistyczna jest właściwością, która czyni odtworzenie wiarygodnym dla kogoś, kto nie był obecny przy zbieraniu. Opiera się na trzech rzeczach, które architektura już dostarczyła: pochodzenie — każde przechwycenie niesie tożsamość kolektora, stan kalibracji, konfigurację anteny i dyscyplinowane znaczniki czasu utrwalone w czasie nagrywania; integralność — skrót z czasu zapisu dowodzi, że próbki się nie zmieniły; oraz łańcuch dowodowy — każdy dostęp, eksport i odtworzenie jest zapisywane w niezmiennym dzienniku audytu. Odtwarzalność wynika bezpośrednio: ponieważ zarówno surowe próbki, jak i parametry przetwarzania są zachowane, niezależny analityk może odtworzyć przechwycenie i uzyskać te same detekcje i pomiary, co jest istotą obronnego ustalenia kryminalistycznego.

Te same wymagania dotyczące pochodzenia i kontroli dostępu kształtują szerszy system zbierania; warstwowy projekt, który je wytwarza, jest opisany w naszym opracowaniu o platformach radia programowalnego dla obronności.