Моніторинг дрейфу моделей для оборонного ШІ: виявлення та перенавчання

Оборонна модель ШІ акредитується відносно знімка. Вона валідується на фіксованому тестовому наборі, відповідає заявленій специфікації продуктивності для визначеного розподілу даних, і уповноважений орган підписує цей заморожений артефакт. Потім вона розгортається у світ, який не стоїть на місці. З'являються нові сенсори, район бойових дій змінюється, противник змінює профіль транспортного засобу або тактику, і розподіл, на якому модель валідувалась, тихо перестає відповідати розподілу, який вона тепер бачить. Дрейф моделі — це повільне розходження між цими двома розподілами, а моніторинг дрейфу — це дисципліна, яка виявляє його до того, як мовчазне падіння точності обернеться пропущеною ціллю або хибним спрацюванням у найгірший момент. Ця стаття розглядає інженерію моніторингу дрейфу для розгорнутих оборонних моделей: види дрейфу, способи їх виявлення без міток у реальному часі, де встановлювати тригери перенавчання та як перетворити весь цикл на докази акредитації.

Чому дрейф — визначальний ризик для розгорнутого оборонного ШІ

Більшість дискусій про надійність оборонного ШІ зупиняються на розгортанні — модель пройшла валідацію та акредитацію, тому їй довіряють. Але ця довіра має термін придатності, який ніхто не зазначив. Акредитація засвідчує поведінку на валідаційному розподілі; вона не може засвідчити поведінку на даних, яких модель ніколи не бачила. З дня, коли операційне середовище відхилилося від середовища валідації, акредитація описує модель, яка на практиці вже не існує — навіть якщо ваги повністю збігаються побайтово.

В обороні це важливіше, ніж у комерційному машинному навчанні, з трьох причин. По-перше, асиметрія витрат значна: дрейф рекомендаційного двигуна коштує одного кліку, дрейф моделі розпізнавання цілей коштує людського життя або удару по неправильному об'єкту. По-друге, середовище є ворожим за своєю природою — супротивники активно намагаються вивести вашу модель за межі навчального розподілу, тому дрейф — це не просто статистичний шум, а поверхня атаки. По-третє, достовірність рідкісна й із затримкою: на тактичному периметрі ви рідко отримуєте миттєву мітку, що вказує на хибний прогноз, тому ви не можете просто спостерігати, як точність падає в реальному часі, як це робить комерційна команда, відстежуючи показник кліків.

Таксономія дрейфу

Ефективний моніторинг залежить від точного визначення того, що змінюється. Три категорії охоплюють майже всі відмови розгорнутих моделей.

Дрейф даних (коваріатний зсув)

Дрейф даних — це зміна розподілу вхідних даних моделі за незмінного зв'язку між входами та мітками. Модель була б правильною, якби бачила ці вхідні дані під час навчання, але не бачила. У ISR це найпоширеніша форма: модель, навчена на літніх зображеннях EO, тепер бачить зимовий сніговий покрив; модель, налаштована під сенсор одного дрона, тепер отримує дані від іншої фокусної відстані; район бойових дій переміщується з відкритої пустелі в щільну міську забудову. Дрейф даних виявляється лише на основі вхідних даних, що робить його найпростішим для виявлення — і найлегшим для плутанини з концептуальним дрейфом, якщо зупинитись на вхідному рівні.

Концептуальний дрейф

Концептуальний дрейф — це зміна зв'язку між вхідними даними та правильним результатом. Ті самі вхідні дані тепер заслуговують на іншу мітку. Саме він є небезпечним. Противник виводить нову модифікацію транспортного засобу, яку модель впевнено класифікує як відомий безпечний тип; тактика змінюється так, що сигнатура, раніше позначена як нешкідлива, тепер вказує на загрозу. Концептуальний дрейф не можна підтвердити лише за вхідними даними — вхідні дані можуть виглядати абсолютно відповідними розподілу — і він доводиться лише з актуальною достовірністю. Програма моніторингу, яка відстежує лише вхідну статистику, буде сліпою до добре замаскованого концептуального дрейфу.

Дрейф міток і попередніх розподілів

Дрейф попередніх розподілів — це зміна базових частот самих класів — частка загрозливих об'єктів відносно незагрозливих змінюється в міру загострення операції. Модель, відкалібрована для апріорного розподілу загроз 1 до 1000, буде погано відкалібрована при 1 до 50, що призводить або до стомлення від сигналізацій, або до пропущених виявлень залежно від напрямку. Дрейф попередніх розподілів взаємодіє з порогами прийняття рішень і часто помилково приймається за несправність моделі, тоді як насправді це проблема калібрування, яка вирішується без перенавчання.

Встановлення базової лінії

Без фіксованої точки відліку неможливо виміряти дрейф. Базова лінія фіксується при акредитації та заморожується відносно хешу версії моделі, щоб кожне подальше вимірювання обчислювалось відносно точного авторизованого артефакту. Повна базова лінія фіксує набори валідації та тестування, гістограми вхідних ознак, статистику вбудовувань еталонної вибірки, розподіл впевненості прогнозів і прийняті показники продуктивності — точність, повноту та частоту хибних спрацювань за класами. Зберігання цих даних як незмінних артефактів робить дрейф вимірним, а не анекдотичним, і це перше, про що оцінювач запитає через місяці розгортання.

Базова лінія має бути сегментована так само, як сегментоване розгортання. Єдина глобальна гістограма приховує локалізований дрейф, який реально руйнує місії: модель може виглядати стабільною в цілому, тоді як її продуктивність на одній платформі, одному сенсорі або в одному районі бойових дій впала. Встановлюйте базову лінію та здійснюйте моніторинг за платформою, типом сенсора та операційним районом з першого дня.

Виявлення дрейфу без міток у реальному часі

На тактичному периметрі мітки надходять із затримкою або не надходять взагалі. Тому виявлення дрейфу спирається на немічені замінники, розділені на дві групи.

Моніторинг розподілу вхідних даних порівнює живі вхідні дані з базовою лінією. Основна метрика — індекс стабільності популяції (PSI) за гістограмами ознак із загальноприйнятими діапазонами: нижче 0,1 (стабільно), 0,1–0,25 (помірне зміщення, спостерігайте), вище 0,25 (значне зміщення, дійте). Критерій Колмогорова–Смирнова та хі-квадрат застосовуються відповідно для неперервних і категоріальних ознак. Для багатовимірних вхідних даних, як-от зображення, практичний підхід — дрейф вбудовування: пропустіть вхідні дані через заморожений екстрактор ознак і виміряйте відстань — максимальне середнє розбіжність або просто відстань між центроїдами — між живими та еталонними хмарами вбудовувань.

Моніторинг розподілу прогнозів відстежує вихідні дані моделі. Зростаюча частка прогнозів з низькою впевненістю або поблизу порогу, зміщення в передбаченому класовому складі та погіршення калібрування — все це є випереджальними індикаторами того, що вхідні дані перемістились на територію, яку модель обробляє гірше. Жоден із цих показників самостійно не доводить падіння точності, але одночасне зміщення і вхідного, і прогнозного розподілу є вагомим і обґрунтованим приводом для вибірки зразків для маркування.

Кардинальне правило: немічені замінники формують підозру, а не вироки. Підтвердження завжди вимагає достовірності. Завдання системи моніторингу — точно визначити, коли варто витратити дефіцитні зусилля на маркування людиною, щоб отримати цю достовірність.

Підтвердження дрейфу за достовірністю

Коли метрика перетинає смугу попередження, реакцією є вибірка, а не сліпа дія. Візьміть стратифіковану вибірку зміщених вхідних даних — стратифіковану за сегментами та смугами впевненості, де з'явилося зміщення — і направте її на маркування людиною. Вимірювання точності та повноти на цій підтвердженій вибірці відносно базової лінії відрізняє нешкідливий дрейф даних (вхідні дані змістились, точність збереглась) від концептуального дрейфу, що зменшує точність (вхідні дані змістились, точність впала). Сама вибірка стає маркованим набором даних, що живить будь-яке подальше перенавчання, тому зусилля на маркування не марнуються навіть тоді, коли перенавчання не відбувається.

Стратифікована вибірка важлива, бо рівномірна вибірка з великого, переважно безпечного потоку витратить весь ваш бюджет маркування на підтвердження того, що модель права у легких випадках. Робіть надвибірку прогнозів поблизу порогу та з низькою впевненістю, а також сегментів, позначених метриками дрейфу — саме там підтвердження має найвищу цінність для прийняття рішень.

Тригери перенавчання та альтернатива відкату

Не кожен підтверджений дрейф означає перенавчання. Рішення розділяється чітко:

Відкатіться, коли регресія є раптовою і небезпечною — як правило, відразу після оновлення моделі або різкої концептуальної зміни. Відкат до останньої акредитованої версії є швидким, повністю оборотним і відновлює артефакт, що вже має дозвіл на використання. Це правильний перший крок, коли підтверджене падіння продуктивності ставить місію під загрозу і причиною є нещодавня зміна.

Перенавчайте, коли дрейф поступовий і новий розподіл став оперативною нормою. Тут ви збираєте й маркуєте репрезентативні зразки зі зміщеного середовища, дотренуєте або перенавчаєте та повторно валідуєте на двох тестових наборах: оригінальному (щоб виявити катастрофічне забування та регресію на старому розподілі) та новому зміщеному тестовому наборі (щоб довести, що нова модель справляється з середовищем, яке ініціювало роботу). Пропуск подвійної валідації — це спосіб виправити нову проблему, мовчки відтворивши стару.

Тригери перенавчання мають бути визначені під час акредитації, а не вигадуватись під тиском. Практична політика тригерів пов'язує підтверджену метрику продуктивності, що перетнула визначений поріг — не метрику дрейфу вхідних даних — з автоматичним робочим процесом перенавчання, де немічені замінники виступають лише як рівень раннього попередження, що ініціює вибірку. Оптимізовані артефакти інференсу, які виробляє перенавчена модель, потім повертаються до конвеєра розгортання через той самий шлях оптимізації та пакування моделей, що й оригінал.

Моніторинг дрейфу як доказ акредитації

Дозвіл на використання надається для моделі, що відповідала специфікації на визначеному розподілі. Моніторинг дрейфу забезпечує безперервні докази того, що розгорнута модель і далі перебуває в межах цього допуску. Журнальні базові лінії, кожен перетин порогу, результат вибірки та підтвердження, рішення про перенавчання або відкат і результат повторної валідації разом утворюють ланцюжок аудиту, який перетворює одноразову акредитацію на обґрунтовану позицію безперервної авторизації.

Це артефакт, який важливий, коли модель пробула в полі шість місяців і оцінювач запитує, чи вона ще відповідає сертифікованим вимогам. Команда, яка може надати хронологію метрик дрейфу, дій на порогах і подій повторної валідації, відповідає на це питання з доказами. Команда, яка не може, фактично експлуатує неакредитовану модель — незалежно від того, що написано в оригінальних документах. Ставтесь до журналу моніторингу як до первинного артефакту акредитації, що зберігається відносно того самого хешу версії моделі, що й базова лінія, і тоді розповідь про безперервну авторизацію пишеться сама по собі.

Периферійне та відключене розгортання

Найскладнішим розгортанням для моніторингу дрейфу є відключений периферійний вузол — модель, що працює на транспортному засобі або корисному навантаженні БПЛА з переривчастим зв'язком. Шаблон — локальна буферизація: сервіс інференсу передає компактну телеметрію (зведення вхідних ознак або вбудовування, прогнозований клас, впевненість, версія моделі) до локального сховища, обчислює підмножину метрик дрейфу на вузлі для негайного локального оповіщення та узгоджує повний потік телеметрії з центральним монітором при відновленні зв'язку. Накладні витрати на кожен інференс мають залишатись у межах кількох відсотків бюджету інференсу, щоб моніторинг ніколи не погіршував тактичний цикл, який він захищає. Там, де кілька периферійних вузлів діють в одному театрі, сигнали дрейфу можна агрегувати між ними для виявлення скоординованого екологічного зсуву — підхід, що перетинається з шаблонами розподіленого навчання, розглянутими в нашій роботі з федеративного навчання для сенсорних мереж.