Широкосмуговий запис РЧ та архівування спектра для криміналістичного SIGINT

SIGINT у реальному часі відповідає на питання, що відбувається зараз. Криміналістичний SIGINT відповідає на інше й часто складніше питання: що сталося тоді і чи можете ви це довести? Відповідь на нього вимагає можливості широкосмугового запису та архівування спектра — системи, яка захоплює сирий IQ з повною фідельністю, зберігає його з перевірюваним походженням, індексує його так, щоб аналітик міг знайти сигнал, що стався тижні тому, і відтворює його через той самий ланцюг обробки, аби відтворити результат. Ця стаття розглядає архітектуру такої системи: фронтенд запису, зберігання даних IQ, індекс метаданих, політику зберігання та шлях відтворення, що перетворює архів на криміналістичний інструмент.

Навіщо взагалі архівувати сирий IQ

Більшість оперативних SIGINT-конвеєрів відкидають сирі відліки протягом секунд. Вони каналізують смугу, виявляють сигнали, класифікують їх і зберігають лише похідні продукти — записи виявлення, демодульований вміст, фіксації геолокації. Це правильна конструкція для місії в реальному часі, де питання завжди стосується теперішнього, а сховище обмежене.

Криміналістична робота руйнує це припущення. Коли з'являється новий випромінювач інтересу, аналітики хочуть озирнутися назад і запитати: чи був присутній цей сигнал минулого тижня і де? Коли виявлення оскаржується, аналітик мусить відтворити його з оригінальних відліків. Коли виявляється новий тип хвилі, єдиний спосіб вивчити його — відтворити сирий запис через нову обробку, що не існувала, коли сигнал записувався. Жодне з цього неможливе, якщо система зберігала лише похідні продукти. Сирий IQ є наземною істиною — усе інше є його втратною інтерпретацією, і цю інтерпретацію завжди можна переробити, якщо відліки збереглися.

Ціною цієї наземної істини є обсяг даних, і він суворий. Один канал 100 МГц з 16-бітними комплексними відліками дає приблизно 400 МБ щосекунди — близько 1,44 ТБ за годину. Чотириканальний широкосмуговий колектор, що працює безперервно, може перевищувати 100 ТБ на день. Уся архітектура архіву спектра, по суті, є набором стратегій для отримання криміналістичної цінності із сирого IQ без оплати за зберігання всього його назавжди.

Фронтенд запису

Фронтенд запису розташований безпосередньо за оцифровувачем і має одну роботу: перемістити комплексні відліки з лінії на надійне сховище, не втрачаючи жодного. На широкосмугових швидкостях це проблема стійкої пропускної здатності, а не обчислень. Стандартний шаблон — це безблокувальний кільцевий буфер у пам'яті хоста, який заповнює DMA оцифровувача та спорожнює потік запису, записуючи файли-сегменти фіксованого розміру на оптимізований для запису рівень сховища (NVMe у чергованому масиві або паралельну файлову систему для дуже високих сукупних швидкостей).

Дві властивості мають бути закладені з самого початку. По-перше, дисциплінований хронометраж. Кожен відлік мусить нести точну, простежувану мітку часу, отриману з GPS-дисциплінованого осцилятора або еталона PTP (IEEE 1588). Криміналістична кореляція між колекторами — і будь-яка майбутня геолокаційна робота — залежить від міток часу, точних краще за мікросекунду та доказово простежуваних до еталона. По-друге, цілісність під час запису. Криптографічний хеш (типовим є SHA-256) обчислюється над кожним сегментом під час його запису та зберігається в метаданих сегмента. Це фіксує цілісність захоплення в момент запису, що є основою будь-якого пізнішого доказового твердження.

Фронтенд запису також записує самоописовий запис метаданих для кожного захоплення. Обробка від IQ до розвідувальних даних, що споживає ці записи, є тим самим ланцюгом каналізації-та-виявлення, описаним у нашому огляді конвеєрів обробки сигналів SDR — архів просто вставляє етап надійного зберігання між збором і обробкою, щоб конвеєр міг запуститися знову пізніше над збереженими відліками.

Зберігання даних IQ та формат файлу

Вибір формату зберігання визначає, чи буде запис ще придатним через п'ять років. Фактичним відкритим стандартом є SigMF (Signal Metadata Format), який поєднує двійковий файл даних IQ з файлом метаданих JSON. Метадані описують частоту дискретизації, центральну частоту, тип даних (наприклад, комплексне 16-бітне ціле чи 32-бітне з рухомою комою), апаратуру, час початку захоплення та список анотацій, що позначають регіони інтересу всередині файлу. Оскільки формат є самоописовим і непропрієтарним, запис SigMF залишається інтерпретованим без оригінального програмного забезпечення збору.

Відокремлення сирих відліків від похідних метаданих

Архів спектра підтримує два фізично окремі сховища даних. Перше — це сховище сирого IQ: великі файли-сегменти з одноразовим записом у SigMF, дорогі в зберіганні, до яких рідко звертаються і лише за байтовим зміщенням. Друге — це сховище похідних метаданих: малі структуровані записи, що описують, що було знайдено в IQ — виявлення, ознаки, спектрограми, ідентифікації випромінювачів. Аналітики постійно роблять запити до похідного сховища; вони торкаються сирого сховища лише тоді, коли потрібно відтворити фактичні відліки.

Це відокремлення зумовлює вибір технології. Сирий IQ живе на об'єктному сховищі або паралельній файловій системі, оптимізованій для послідовної пропускної здатності. Похідні метадані живуть у базі даних, налаштованій на запити за діапазоном часу та частот — часто стовпчиковому сховищі на кшталт Apache Parquet для аналітичних таблиць ознак, перед яким стоїть індекс часових рядів або пошуковий індекс для інтерактивного пошуку. Ці два з'єднані ключем: кожен запис метаданих несе шлях свого вихідного сегмента IQ та байтове зміщення діапазону відліків, який він описує.

Розрядність — це навмисний компроміс між фідельністю та вартістю. Шістнадцятибітні комплексні відліки зберігають приблизно 96 дБ динамічного діапазону, достатньо, щоб захопити слабкий сигнал під сильним сусідом у тій самій смузі — ситуацію, де криміналістичні деталі мають найбільше значення. Перехід до 8 біт удвічі зменшує обсяг даних, але відкидає цей запас, тож запис з високою розрядністю резервується для смуг збору, де співканальний динамічний діапазон є оперативно значущим. Рішення записується в поле типу даних SigMF, тож пізніший аналітик точно знає, яку фідельність утримує архів.

Індексація архіву

Неіндексований архів — це чорна діра лише для запису: відліки заходять і ніколи не повертаються, бо ніхто не може їх знайти. Індексація — це те, що перетворює сховище на архів. Індекс будується проходом виявлення-та-виділення-ознак, який виконується, коли надходять сегменти, тим самим видом фронтенду виявлення, що використовується в моніторингу спектра для несанкціонованих випромінювачів, перепрофільованим на запис надійних індексних записів замість живих сповіщень.

Для кожного виявленого сигналу прохід видає один індексний запис, що містить щонайменше: інтервал часу, центральну частоту, зайняту смугу, пікову та середню потужність, оцінений клас модуляції, ідентифікацію випромінювача, де доступно, та — критично — шлях вихідного файлу IQ і байтове зміщення діапазону відліків. Зміщення — це те, що робить пошук дешевим: запит аналітика повертає індексні записи, і кожен запис указує безпосередньо в сире сховище, тож відтворення є переходом-і-читанням, а не скануванням.

Сховище індексу мусить підтримувати запити, які аналітики справді роблять, що переважно обмежені часом і частотою: «покажи мені все між 2,40 та 2,48 ГГц цього дня зі смугою менше 1 МГц та потужністю вище цього порогу». Складений індекс за (часом, частотою, потужністю) над записами виявлення обслуговує ці запити ефективно. Спектрограми — знижені за частотою дискретизації час-частотні зображення потужності — зберігаються як третинний продукт, щоб аналітик міг візуально просканувати цілу смугу-день, не декодуючи жодного сирого IQ.

Прохід виявлення має бути консервативним, а не хитрим. Його робота — зробити кожен сигнал знаходженим пізніше, а не досягти остаточної класифікації на місці, тож він віддає перевагу повноті: він позначає будь-яку енергію, що перетинає поріг, навіть якщо оцінка модуляції невизначена. Уточнення — підтвердження класу модуляції, атрибуція випромінювача, кореляція між колекторами — відбувається пізніше, на вимогу, відтворенням індексованого сирого IQ через важчий аналіз. Індекс, що недовиявляє, є невідновлюваним, бо відсутні сигнали ніколи не записувалися як знаходимі записи; індекс, що перевиявляє, лише коштує трохи додаткового сховища метаданих.

Політика зберігання: єдине, що тримає архів доступним за вартістю

Жоден реалістичний бюджет не зберігає повнофідельний сирий IQ з широкосмугового колектора назавжди. Багаторівнева політика зберігання — це те, що робить архів фінансово можливим, і це навмисний, задокументований параметр місії, а не запізніла думка.

Рівень 0 — ковзний сирий буфер. Коротке вікно повнофідельного сирого IQ (від хвилин до кількох годин) завжди зберігається на найшвидшому сховищі. Його мета — ретроспективний перегляд: коли з'являється новий сигнал інтересу, аналітики можуть негайно сягнути назад, аби захопити моменти до того, як він був позначений, які інакше втрачаються. Буфер перезаписується безперервно.

Рівень 1 — тригерне зберігання сирого. Захоплення, позначені тригером — збіг зі списком спостереження, детектор аномалій або явне завдання аналітика — підвищуються з ковзного буфера і зберігаються як сирий IQ на дні чи тижні. Це механізм вибіркового архівування: система зберігає повну фідельність лише там, де докази вказують, що вона знадобиться.

Рівень 2 — похідні продукти, довготерміново. Спектрограми, метадані виявлення та виділені ознаки зберігаються невизначено довго. Вони займають крихітну частку обсягу сирих даних, проте самі по собі відповідають на більшість криміналістичних запитань. Аналітик може встановити, що сигнал був присутній, на якій частоті, з якими характеристиками, лише з Рівня 2 — і ескалувати до сирого відтворення Рівня 1 лише тоді, коли потрібен доказ на рівні відліків.

Міграція між рівнями автоматизована. Старіючий сирий IQ переміщується з гарячого NVMe до дешевшого об'єктного сховища і зрештою видаляється за політикою, тоді як його похідні метадані зберігаються. Вікна зберігання, визначення тригерів і розклад видалення — усе це конфігурація, а не код, тож менеджер збору може налаштовувати їх для кожної місії та для кожного органу класифікації.

Відтворення та криміналістична захищеність

Винагородою всієї архітектури є відтворення: узяття збереженого захоплення та прогін його через обробку так, ніби воно живе. Оскільки архів зберіг і оригінальний сирий IQ, і точні параметри часу захоплення, аналітик може переобробити сигнал новішими чи іншими алгоритмами або просто відтворити попередній результат, щоб підтвердити його. Відтворення переходить до байтового зміщення з індексного запису, перевіряє збережений хеш сегмента, щоб підтвердити, що відліки не змінені, та подає діапазон через ланцюг обробки.

Криміналістична захищеність — це властивість, що робить відтворення достовірним для того, хто не був присутній під час збору. Вона ґрунтується на трьох речах, які архітектура вже надала: походження — кожне захоплення несе ідентичність колектора, стан калібрування, конфігурацію антени та дисципліновані мітки часу, зафіксовані в момент запису; цілісність — хеш під час запису доводить, що відліки не змінилися; та ланцюг збереження доказів — кожен доступ, експорт і відтворення записується до незмінного журналу аудиту. Відтворюваність випливає безпосередньо: оскільки і сирі відліки, і параметри обробки зберігаються, незалежний аналітик може відтворити захоплення й отримати ті самі виявлення та вимірювання, що є суттю захищеного криміналістичного висновку.

Ці самі вимоги до походження та контролю доступу формують ширшу систему збору; багатошаровий дизайн, що їх породжує, висвітлено в нашому довіднику з платформ програмно-визначеного радіо для оборони.