Класифікація теплових зображень на периферії: обробка IR-сенсорів для оборони

Теплові інфрачервоні зображення дають операторам те, чого не можуть забезпечити камери видимого діапазону: стійку здатність виявлення крізь темряву, дим, пил і легке маскування. Двигун транспортного засобу, розігрітий після нещодавньої роботи, світиться на фоні холодного поля о 3:00 ночі. Піша розвідка, що перетинає відкриту місцевість, випромінює чіткий силует на відстані 2 км в умовах, що сліпять будь-яку EO-камеру. Фізика теплового випромінювання є природно дискримінуючою — цілі, що генерують або утримують тепло, виділяються на фоні навколишнього середовища так, що жодне оптичне маскування не може повністю це придушити. Розгортання класифікаційної моделі для обробки цих зображень на периферії — на платформі сенсора, а не на віддаленому сервері — перетворює теплову камеру на автономний рівень виявлення. У цій статті розглядаються фізика сенсорів, вимоги до попередньої обробки, адаптації CNN для одноканального теплового вводу, специфічні задачі виявлення малих цілей, злиття даних від кількох сенсорів, обмеження квантування та системи оцінки, що використовуються для валідації військового теплового ШІ.

Фізика теплових сенсорів і відмінності IR від зображень видимого діапазону

Теплові інфрачервоні камери не захоплюють відбите фонове світло. Вони вимірюють довгохвильове інфрачервоне випромінювання (LWIR, 8–14 мкм) або середньохвильове інфрачервоне випромінювання (MWIR, 3–5 мкм), яке об'єкти випромінюють залежно від температури своєї поверхні та випромінювальної здатності. Закон Стефана–Больцмана визначає повну випромінювану потужність, але на практиці для виявлення цілей визначальною є диференціальна яскравість між ціллю і локальним фоном — видимий температурний контраст. Тіло людини при 37°C безперервно випромінює близько 100 Вт інфрачервоної потужності. Відсік двигуна танка після 30 хвилин роботи може зберігати контраст 20–40 К вище навколишньої температури. Ці теплові сигнатури існують незалежно від умов освітлення, що робить LWIR- і MWIR-сенсори основним пасивним засобом виявлення для військового ISR вночі.

Одноканальна природа теплових зображень є найбільш значущою відмінністю від вводу видимого діапазону для проектування конвеєрів ШІ. RGB-камера видає три корельованих канали, що кодують колір, і переважна більшість попередньо навчених ваг CNN — ResNet, MobileNet, EfficientNet та їх похідні — були навчені на трьохканальних даних ImageNet. Застосування цих моделей безпосередньо до одноканального теплового кадру, просто розглядаючи його як одну з трьох однакових вхідних площин, дає субоптимальні результати: фільтри першого згорткового шару призначені для вилучення кольорових країв і хроматичних градієнтів, що не мають значення в теплових даних. Модель необхідно адаптувати або перенавчити для вилучення відповідних ознак у теплових зображеннях, якими є переважно градієнти теплового контрасту, межі емісії між матеріалами та часові зміни яскравості, спричинені рухом або теплообміном.

Неохолоджувані мікроболометричні детектори, що використовуються в більшості тактичних та авіаційних периферійних теплових сенсорів, працюють за навколишньої температури і вимірюють зміну електричного опору кожного пікселя при поглинанні інфрачервоного випромінювання. Вони значно менш чутливі, ніж охолоджувані фотонні детектори (InSb або HgCdTe), із значеннями шумового еквівалента різниці температур (NETD) 30–80 мК порівняно з 5–20 мК для охолоджуваних сенсорів, але їх низьке енергоспоживання (менше 2 Вт для детектора), відсутність кріогенної системи охолодження та вартість модуля до 3 000 доларів роблять їх домінуючою платформою для UAV і наземних транспортних засобів із периферійним ШІ. Нижчий NETD безпосередньо визначає мінімальний виявлюваний температурний контраст, який у свою чергу визначає максимальну дальність виявлення для заданого типу цілі та атмосферних умов.

Попередня обробка: корекція нерівномірності, заміна поганих пікселів і підвищення контрасту

Необроблений вивід мікроболометра не можна безпосередньо подавати в класифікаційну модель. Три етапи попередньої обробки є обов'язковими для стабільної роботи моделі: корекція нерівномірності (NUC), заміна поганих пікселів (BPR) та адаптивне підвищення контрасту. Кожен етап компенсує окремий клас артефактів сенсора.

Корекція нерівномірності усуває шум фіксованого патерну, притаманний усім матрицям фокальної площини. Кожен піксель FPA має дещо відмінні характеристики підсилення та зміщення через виробничі відхилення, і ці характеристики повільно дрейфують з температурою детектора. Без NUC необроблене зображення містить просторово структурований шумовий патерн — часто описуваний як артефакт «вафлі» або «плетінки» — достатньо стабільний, щоб класифікаційна модель частково навчилася його як хибну ознаку, підвищуючи рівень хибнопозитивних спрацювань для об'єктів, контур яких збігається з патерном NUC-артефакту. Стандартна заводська процедура калібрування застосовує двоточкову NUC, знімаючи два джерела рівномірної температури абсолютно чорного тіла і обчислюючи корекційні коефіцієнти підсилення і зміщення для кожного пікселя. У польових умовах сценарна NUC доповнює заводське калібрування: коли сенсор панорамує або сцена містить великі однорідні ділянки, поточна оцінка зміщення рівного поля накопичується і віднімається від наступних кадрів, коригуючи тепловий дрейф, що розвивається за десятки хвилин роботи.

Заміна поганих пікселів обробляє елементи детектора, що реагують неправильно — постійно зафіксовані на фіксованому значенні, надмірно зашумлені або не реагуючі на зміни температури. Виробник постачає карту поганих пікселів з кожним модулем сенсора. Перед будь-якою іншою обробкою значення поганих пікселів замінюються білінійною інтерполяцією від безпосередніх сусідів. Для типової 640x512 неохолоджуваної FPA кількість поганих пікселів 0,1–0,5% (320–1600 пікселів) є в межах специфікації і не суттєво погіршує ефективність виявлення після BPR. Підвищення контрасту за допомогою обмеженого адаптивного вирівнювання гістограми (CLAHE) є фінальним кроком попередньої обробки: воно підсилює локальний контраст у просторово обмежених тайлових регіонах (зазвичай тайли 8x8 пікселів), не посилюючи шум глобально, роблячи тонкі теплові градієнти на межах цілі видимими як для операторів-людей, так і для згорткових екстракторів ознак.

CNN-архітектури для теплової класифікації: адаптації одноканального вводу

Адаптація попередньо навченої CNN для одноканального теплового вводу є добре вивченою проблемою з трьома встановленими підходами, кожен із різним компромісом між точністю і витратами на навчання. Найпростіший підхід тиражує єдиний тепловий канал у три ідентичні площини, дозволяючи використовувати попередньо навчену модель без жодних архітектурних змін. Це помірно добре спрацьовує для грубих класифікаційних задач, але погано виконується там, де важливі тепловоспецифічні текстурні ознаки, оскільки фільтри першого шару обмежені видобувати надлишкові представлення по трьох ідентичних площинах замість спеціалізації на тепловому контрасті.

Другий і загалом кращий підхід замінює перший згортковий шар новим одноканальним шаром, зберігаючи всі наступні попередньо навчені ваги. Новий перший шар ініціалізується із середнього значення трьох попередньо навчених ваг вхідних каналів, що забезпечує розумний початковий стан для відгуків фільтра першого шару та суттєво зменшує кількість тренувальних даних теплової предметної галузі, необхідних для тонкого налаштування до прийнятної точності. Експерименти з військовими тепловими наборами даних стабільно показують покращення точності на 2–5% порівняно з підходом тиражування каналів при тонкому налаштуванні на тому самому наборі даних. Третій підхід навчає повністю з нуля на тепловоспецифічному наборі даних, що досягає найвищої предметно-специфічної точності, але вимагає значно більше розмічених теплових даних (зазвичай 50 000 або більше анотованих прикладів по всіх класах цілей) для уникнення недонавчання. Для військової теплової класифікації, де розмічені дані є дорогими у придбанні й часто експортно-контрольованими, перенавчання за другим підходом є практичним стандартом.

Масштаб архітектури суттєво важливий для периферійного розгортання. Повний ResNet-50, адаптований для теплового вводу, досягає високої точності класифікації, але вимагає 25 МБ ваг моделі та 4 GFLOPS за один прохід висновку при роздільній здатності 640x512 — нездійсненно для конвеєра реального часу 30 Гц на Jetson Orin Nano при потужності менше 15 Вт. MobileNetV3-Small, адаптований для одноканального вводу, скорочує це до 2,5 МБ і 56 MFLOPS, комфортно вписуючись у бюджет обчислень зі збереженням конкурентної точності на стандартних теплових класифікаційних еталонах. Ті самі архітектурні обмеження, що регулюють автоматичне розпізнавання цілей на периферії, застосовуються тут: вибір моделі є спільною оптимізацією по точності, затримці, об'єму пам'яті та споживанню потужності, а не лише по точності.

Виявлення малих цілей у теплових зображеннях: задачі середовища з низьким SNR

Коли людина або транспортний засіб спостерігаються на великій дальності — понад 2 км для типового неохолоджуваного сенсора із середньою фокусною відстанню — ціль займає лише 2–8 пікселів у FPA. У такому масштабі стандартні системи виявлення об'єктів, що покладаються на просторові ієрархії ознак (сімейство детекторів YOLO, Faster R-CNN), перестають надійно функціонувати. Рецептивне поле глибших згорткових шарів охоплює сотні пікселів; ціль розміром 4 пікселі майже не вносить дискримінуючого сигналу в ці шари. Ефективне виявлення малих цілей вимагає зовсім іншої стратегії, що працює на піксельному та патч-масштабі до будь-якого просторового зменшення розміру.

Домінуючий підхід для виявлення малих цілей у LWIR-зображеннях — це конвеєр інфрачервоного пошуку та супроводу (IRST), що поєднує придушення фону з часовим накопиченням. Придушення фону використовує морфологічне перетворення «капелюх» із структурним елементом, трохи більшим за очікуваний слід цілі, для віднімання розширеної фонової структури при збереженні точкових або малогабаритних цілей. Залишок після придушення фону містить кандидатні теплові цілі при відношенні сигнал/перешкода від 1,5 дБ, нижче якого надійне однокадрове виявлення є фізично неможливим з огляду на NETD сенсора. Часове накопичення — інтеграція свідчень по 5–20 кадрах вздовж передбачуваної траєкторії — розширює ефективний поріг виявлення завдяки використанню когерентності руху цілі, дозволяючи виявляти цілі, що були б невидимі в будь-якому окремому кадрі. Системи відстеження перед виявленням формалізують це накопичення: вони підтримують набір кандидатних гіпотез треку і оцінюють кожну гіпотезу відносно даних вхідних кадрів без жодного однокадрового виявлення, підтверджуючи трек лише тоді, коли накопичені свідчення перевищують поріг.

Злиття теплових виявлень з даними треків EO та радару

Жодна окрема модальність сенсора не є достатньою для надійної класифікації та відстеження в усіх оперативних умовах. Теплові сенсори деградують у дощ і густий туман (водяна пара ефективно поглинає LWIR), втрачають контраст цілі при вирівнюванні температур фону й цілі (денний тепловий перехід) та не можуть розрізнити дрібні візуальні ознаки, що дозволяють ідентифікацію типу платформи. Оптичні EO-сенсори видимого діапазону відмовляють вночі і в диму. Радар забезпечує дальнє виявлення і вимірювання швидкості, але не має просторової роздільної здатності для класифікації типу цілі на відповідних тактичних дальностях без додаткових референсних даних. Злиття даних від кількох сенсорів на рівні треків поєднує взаємодоповнюючі переваги кожної модальності в більш надійний і інформативний трек, ніж будь-який сенсор забезпечує окремо.

Злиття на рівні треків, а не попіксельне злиття зображень, є архітектурою, що використовується в розгорнутих військових ISR-системах, оскільки воно обчислювально допустиме на периферійному обладнанні та стійке до прогалин у доступності сенсорів. Кожен сенсор видає незалежний потік виявлень, що конвертується в загальне уявлення треку: вектор стану (позиція, швидкість, курс), матрицю коваріації, що кодує невизначеність оцінки, мітку класу з впевненістю та тег типу сенсора. Ворота асоціації кількох сенсорів зіставляють нові виявлення від кожного сенсора з існуючими треками за відстанню Махаланобіса, виключаючи виявлення, що статистично не відповідають жодному існуючому стану треку. Коли теплове виявлення і виявлення EO асоціюються з одним треком в одному часовому вікні, зливений стан застосовує зважену за коваріацією комбінацію: сенсор з меншою невизначеністю позиції вносить пропорційно більший внесок у зливену оцінку. Злиття мітки класу використовує наївну байєсівську комбінацію покласових ймовірностей по сенсорах, умовно на незалежність між сенсорними модальностями — припущення, що добре виконується на практиці, коли сенсори відрізняються фізичним принципом вимірювання. Результат детально описаний у нашому матеріалі про мультимодальний ШІ-злиття для потоків даних ISR-сенсорів.

Радар вносить найбільший внесок в архітектуру злиття завдяки точності вимірювання швидкості: доплерівські радари можуть визначати радіальну швидкість цілі з точністю до 0,1 м/с, що значно точніше за оцінку швидкості, яку можна вивести із зміщення теплового треку між кадрами. Цей попередній розподіл швидкості суттєво покращує асоціацію треків під час пауз у перекритті, коли ні тепловий, ні EO-сенсор не мають дійсного виявлення, дозволяючи трекеру передбачати місце наступного виявлення за швидкістю, отриманою з радару. На платформах без радару передбачення треку із підтримкою IMU з використанням компенсації руху платформи від навігаційної інерційної системи носія частково замінює зовнішнє вимірювання швидкості, коли кінематика цілі відносно передбачувана.

Периферійне розгортання: обмеження квантування теплових моделей

Розгортання моделі теплової класифікації на корисному навантаженні UAV або периферійному обчислювальному модулі, встановленому на транспортному засобі, накладає жорсткі обмеження на розмір моделі, затримку висновку та споживання потужності, що не застосовуються в хмарних або серверних середовищах. Стандартний шлях розгортання — це постнавчальне квантування INT8 із подальшою компіляцією до апаратно-оптимізованого середовища виконання висновку, такого як TensorRT (для NVIDIA Jetson), ARMNN (для процесорів класу Cortex-A) або TFLite з XNNPACK (для загального обладнання ARM). Квантування INT8 замінює 32-розрядні ваги та активації з плаваючою комою 8-розрядними цілими числами, зменшуючи розмір моделі в 4 рази і час висновку в 2–4 рази на обладнанні з підтримкою акселератора INT8, з типовим штрафом точності 1–3% за метриками класифікації.

Теплові моделі є дещо більш толерантними до квантування, ніж RGB-моделі, оскільки динамічний діапазон вводу вужчий: після попередньої обробки тепловий кадр займає порівняно рівномірний діапазон значень пікселів без екстремальних викидів, які можуть демонструвати RGB-зображення (прямі дзеркальні відбиття, насичені яскраві ділянки). Цей вужчий розподіл вводу означає, що масштабні коефіцієнти квантування, обчислені під час калібрування, є більш точними, і втрата точності від квантування INT8 для теплової класифікації часто перебуває на нижньому краї типового діапазону. Для моделей, що використовують механізми уваги — таких як малі варіанти Vision Transformer — квантування INT8 деградує операції softmax і нормалізації більш серйозно, ніж впливає на згортки, вимагаючи змішаноточнісного квантування (INT8 для згорток, FP16 для шарів уваги) для збереження точності в межах 2% від повноточнісного базового рівня. Той самий конвеєр квантування, що використовується для корисних навантажень ISR-дронів з EO-камерою, застосовується до теплових корисних навантажень з адаптованим для одноканального виводу NUC етапом попередньої обробки.

Пропускна здатність пам'яті є недооціненим вузьким місцем для теплового периферійного розгортання. Тепловий кадр 640x512 при 16-розрядній глибині становить 655 КБ на кадр. При 30 Гц необроблена швидкість передачі даних становить приблизно 20 МБ/с. На Jetson Orin Nano з уніфікованою архітектурою пам'яті конкуруючі вимоги від драйвера захоплення, конвеєра попередньої обробки, висновку моделі та керування треками можуть насичити доступну пропускну здатність пам'яті ще до вичерпання обчислювальної потужності. Профілювання використання пропускної здатності пам'яті, а не лише завантаженості GPU, є необхідним для визначення реальної стелі пропускної здатності та з'ясування, чи є зниження частоти кадрів, просторова субдискретизація або асинхронне поетапне розподілення конвеєра відповідним заходом пом'якшення.

Набори даних для оцінки та показники ефективності для військового теплового ШІ

Валідація моделі теплової класифікації для військового використання вимагає наборів даних і метрик, що відображають оперативні умови, а не контрольовані лабораторні установки, поширені в академічних еталонах. Відповідні виміри ефективності — це ймовірність виявлення (Pd) при заданому рівні хибних тривог (FAR), а не точність top-1, звична за оцінкою ImageNet. Модель, що досягає 95% точності top-1 на збалансованому тестовому наборі, може мати FAR 10 за годину на живому тепловому потоці, якщо тренувальний набір недостатньо представляє різноманітність реальних умов фонових перешкод.

Публічно доступні набори даних для військового теплового ШІ включають набір даних пішоходів KAIST мультиспектральний (парні LWIR і RGB, 95 000 анотованих кадрів, орієнтований на пішоходів), набір даних FLIR ADAS (сценарії водіння, не оптимізований для військових цілей) і набір даних LITIV (внутрішні та зовнішні мультимодальні послідовності). Конкретно для класифікації транспортних засобів та озброєння оперативні військові набори даних засекречені і не є загальнодоступними; дослідницькі групи зазвичай використовують синтетично згенеровані теплові зображення з фізично обґрунтованих інструментів симуляції (DI-Guy, CAMEO-SIM або VIRSuite) для доповнення обмежених колекцій реальних даних. Точність переносу симуляція-реальність — ступінь, у якому моделі, навчені на синтетичних теплових даних, узагальнюються на реальний вивід сенсора — є активною областю досліджень; поточна найкраща практика поєднує синтетичне попереднє навчання з тонким налаштуванням на меншому наборі реальних даних з використанням методів адаптації предметної галузі, таких як узгодження ознак на основі змагального навчання.

Стандартні метрики звітності для військових систем теплового виявлення — це крива робочих характеристик приймача (ROC) з Pd відносно FAR, вираженого в хибних тривогах за одиницю часу на живому потоці, оцінка F2 (яка зважує повноту вдвічі важливіше за точність, відповідно для виявлення загроз, де пропущені виявлення обходяться дорожче за хибні тривоги) та залежні від дальності криві Pd, що характеризують ймовірність виявлення як функцію дальності ціль–сенсор. Для систем злиття на рівні треків додаткові метрики відстежують затримку ініціалізації треку (кадри від першої появи цілі до підтвердженого треку), безперервність треку при перекритті та точність зливених оцінок позиції порівняно з еталоном від GPS-обладнаних випробувальних транспортних засобів.