Обробка гіперспектральних зображень на тактичному краю мережі

Гіперспектральне зондування — не нова технологія, але її застосування на тактичному краю мережі є відносно нещодавнім викликом. Стандартна RGB-камера дає три числа на піксель; гіперспектральний датчик — сотні, кожне з яких представляє відбиту енергію у вузькому зрізі спектра. Саме це робить гіперспектральні дані оперативно цінними для військових застосувань ISR — і водночас обчислювально надзвичайно складними в умовах обмеженого живлення та пропускної здатності тактичного краю.

Що таке гіперспектральне зондування — порівняно з мультиспектральним і RGB

RGB-камери фіксують три широкі смуги. Мультиспектральні камери розширюють це до 4–20 смуг. Гіперспектральні датчики принципово відрізняються: вони фіксують суміжні смуги з роздільною здатністю 5–10 нм у діапазоні VNIR (400–1000 нм) або VNIR/SWIR (до 2500 нм). VNIR-датчик із роздільною здатністю 5 нм у діапазоні 400–1520 нм дає 224 смуги на піксель.

Результат гіперспектрального захоплення — куб даних: тривимірний масив із двома просторовими та однією спектральною вісями. Хлорофіл у живій рослинності дає характерний стрибок відбиття між 700 і 740 нм — так звану червону межу. Синтетична фарба позбавлена цієї ознаки. Потривожений ґрунт має іншу сигнатуру поглинання вологи, ніж непорушений. Жоден із цих відмінностей не видно на RGB.

Обмеженням є обсяг. RGB 640×480 при 8 бітах/канал дає ~0,9 МБ/кадр. 224-смуговий гіперспектральний датчик при 12 бітах — близько 3,4 МБ/кадр, що при 30 к/с дає понад 100 МБ/с.

Характеристики датчиків і обсяги даних

Гіперспектральні датчики для авіаційного ISR поділяються на два типи: push-broom (один рядок за кадр, з синхронним накопиченням вздовж маршруту польоту) та знімковий (фіксує весь кут огляду одночасно). Push-broom є стандартом для повітряних досліджень високої роздільної здатності, оскільки повний спектральний діапазон вибірки проводиться одночасно для кожного піксель ґрунту.

Типовий тактичний BLOS-канал у деградованому середовищі підтримує 1–5 Мбіт/с. Розрив між 100 МБ/с сирих даних і можливостями каналу — приблизно в 100 разів — є фундаментальним аргументом на користь периферійної обробки: дані мають бути зведені від сирих до геолокованих виявлень до їх передачі.

Чому обробляти на краю мережі

Затримка. Тактичні завдання ISR часто вимагають дій у межах хвилин. Передача 100 МБ/с сирих даних до центру обробки та отримання результатів назад додає десятки секунд — при оперативному темпі це робить розвіданні дані неактуальними.

Операції в умовах відсутності зв'язку. БПЛА в умовах заблокованого EM-середовища може повністю втратити канал зв'язку. Конвеєр периферійної обробки продовжує класифікувати та реєструвати події CoT локально, синхронізуючись після відновлення зв'язку.

Обмеження пропускної здатності. Периферійно оброблені виявлення споживають кілька кілобіт на хвилину замість мегабіт на секунду, залишаючи канал для всього іншого.

Зниження розмірності на пристрої

Перший і найважливіший етап будь-якого периферійного гіперспектрального конвеєра — зниження розмірності: скорочення 224-смугового спектрального вектора на піксель до 8–16 компонент, що зберігають дискримінаційну інформацію. Без цього жодний сучасний периферійний процесор не може підтримувати роботу в реальному часі.

Метод головних компонент (PCA) — найпоширеніший підхід. Матриця перетворення розміру 224×12 (для K=12) зберігається на вузлі (~10,8 КБ у float32). Застосування вимагає лише матричного множення для кожного пікселя — на процесорах ARM із NEON SIMD це виконується ефективно у щільному циклі.

Перетворення мінімальної частки шуму (MNF) — двоетапний варіант, що відбілює шум перед обчисленням компонент, більш стійкий при просторово скорельованому шумі датчика.

Випадкові проекції — матриця Гауссіана 224×K — не потребують навчальних даних і придатні для швидкого розгортання, хоча зазвичай вимагають трохи більшого K.

Після зниження пропускна здатність падає з ~3,4 МБ/кадр до ~0,18 МБ/кадр (при K=12) — зниження в 18 разів, що доводить швидкість потоку до менш ніж 5,5 МБ/с при 30 к/с.

Моделі спектральної класифікації

Спектральний картографер кутів (SAM) — класичний фізичний підхід. Порівнює зведений вектор із бібліотекою еталонних спектрів за кутом між ними. Не потребує навчальних даних, обчислювально тривіальний. Чутливий до варіацій освітленості.

Метод опорних векторів (SVM) з RBF-ядром на зведених векторах — стандарт машинного навчання впродовж двох десятиліть. На 8–16-вимірних входах класифікує мільйони пікселів на секунду на одному ядрі CPU.

1D CNN на спектральних векторах — найвища точність при більших обчислювальних витратах. Маленька згорткова мережа з 3–5 шарами та 32–64 фільтрами фіксує локальні спектральні кореляції. Після експорту в ONNX і компіляції (TensorRT для Jetson) INT8-квантування зі 200–500 зразками на клас знижує розмір і час виводу у 3–4 рази при деградації точності менше 2%. Польова перевірена точність: 92–96%.

Виявлення камуфляжу та ідентифікація матеріалів

Найбільш оперативно значуще застосування — виявлення камуфляжу. Хлорофіл у живій рослинності дає характерну червону межу між 700 і 740 нм. Синтетичний камуфляж послідовно демонструє відсутню або придушену червону межу у гіперспектральних даних VNIR, роблячи замасковані позиції відмінними від навколишньої рослинності навіть при візуальній ідентичності на EO-знімках.

Потривожений ґрунт від слідів транспортних засобів, польових укріплень або встановлених мін дає характерну зміну сигнатур поглинання вологи в смугах SWIR близько 1400 нм і 1900 нм. Залишки дизельного палива (JP-8) мають характерні вуглеводневі смуги поглинання близько 1700 нм.

Операційні обмеження: достатнє сонячне освітлення, відповідна геометрія датчик-ціль та відкалібрований датчик. Атмосферне поглинання водяною парою в певних смугах SWIR потребує компенсації.

Інтеграція в картину ISR

Події CoT (Cursor on Target) — основний формат інтеграції для TAK-мереж. Після ідентифікації регіону інтересу периферійний вузол обчислює географічні координати кожного пікселя, агрегує суміжні пікселі в полігони та генерує XML-подію CoT із класом виявлення, оцінкою достовірності, центроїдом у WGS84 або MGRS та ідентифікатором датчика. Події публікуються на TAK Server і з'являються на клієнтах ATAK/WinTAK протягом секунд.

Шари анотацій GeoTIFF слугують для глибшого аналізу: класифікована сцена завантажується до тактичного хмарного сховища, де аналітики можуть накладати її на інші шари датчиків.

Злиття з кількох датчиків корелює гіперспектральні виявлення з треками від інших систем — EO-камер, систем автоматичного розпізнавання цілей, радарів — у налаштовному просторово-часовому вікні.