Побудова конвеєра розмітки даних AI для оборонних зображень

Оборонна AI-модель настільки ж хороша, наскільки хороші дані, на яких її навчали. Це речення повторюють настільки часто, що воно втратило свою операційну вагу – але на практиці більшість невдалих розгортань оборонного AI пов'язані не з вибором архітектури моделі, а з проблемами якості розмітки, які були невидимими під час навчання та катастрофічними під час інференсу. Побудова суворого конвеєра розмітки даних для оборонних зображень – це проблема системної інженерії, а не проблема введення даних. Вона вимагає інструментів анотування, обробки грифів секретності, автоматизації контролю якості, циклів активного навчання та дисципліни управління наборами даних, яка може пережити плинність персоналу, аудити секретності та ітеративні цикли розробки моделей.

Ця стаття проводить через кожен етап виробничого конвеєра розмітки оборонного AI: прийом і тріаж, визначення схеми, проєктування робочого процесу анотування, вимірювання узгодженості між анотаторами, інтеграцію активного навчання та автоматизовані перевірки якості, що блокують набір до його затвердження для навчання моделі. Де доречно, вона пов'язується з вихідними питаннями генерації синтетичних даних та подальшими питаннями валідації моделі – конвеєр розмітки є мостом між цими двома дисциплінами.

1. прийом і тріаж зображень

Конвеєр починається до того, як будь-який анотатор-людина побачить зображення. Сирі зображення надходять із гетерогенних джерел: потоки ISR-сенсорів, рендерери симуляції, події польового збору та затверджені відкриті аерофотознімки, що використовуються для доповнення секретних колекцій. Кожне джерело має різні характеристики якості, і обробка їх однаково без етапу тріажу створює розмічений набір зі прихованою варіацією якості.

Автоматизований тріаж охоплює чотири категорії відхилення. Пошкоджені або нечитабельні файли – зображення, що не декодуються, обрізані файли або файли, де метадані повідомляють про розміри, несумісні з піксельним буфером. Дублікати кадрів – точні дублікати, виявлені за хешем вмісту, та близькі дублікати, виявлені за перцептивним хешем (pHash з налаштовуваним порогом відстані Геммінга). Дублікати в навчальному наборі завищують уявний розмір набору, змушують модель запам'ятовувати конкретні кадри замість узагальнення та вводять витік даних між навчальною та валідаційною вибірками, якщо дублікат з'являється з обох боків розбиття. Збої якості – зображення нижче мінімальної оцінки різкості (дисперсія Лапласа нижче порогу), зображення з екстремальною над- або недоекспозицією (обрізання гістограми вище 5% пікселів) та зображення з артефактами сенсора (застряглі пікселі, смугастість, віньєтування понад калібрований поріг). Невідповідні або неправильно позначені вихідні зображення – фільтр, що застосовує легкий бінарний класифікатор для відхилення зображень, які явно не належать до жодного цільового класу схеми (наприклад, випадково прийняті фотографії обладнання наземної станції в наборі виявлення транспортних засобів з перспективи БПЛА).

Призначення позначення грифу відбувається під час прийому, а не під час анотування. Кожному зображенню, що входить у конвеєр, має бути призначено рівень грифу до того, як воно потрапить у будь-яку чергу. Конвеєр забезпечує контроль доступу на цьому рівні: анотаторам із нижчим допуском не можна призначати зображення вище їхнього рівня допуску, і будь-яка спроба зробити це має реєструватися та сповіщатися. Це жорстке системне обмеження, а не процедурне – платформа анотування має його забезпечувати, а не покладатися на менеджерів черги для ручної перевірки.

2. проєктування та версіонування схеми анотації

Схема анотації – це контракт між командою розмітки та конвеєром навчання моделі. Схема, що є неоднозначною, недостатньо визначеною або зміненою в середині проєкту, створює набір, де різні партії були розмічені за різними правилами – неузгодженість, що погіршує узагальнення моделі у спосіб, який майже неможливо діагностувати постфактум.

Схема анотації виробничої якості для оборонних зображень визначає:

Таксономію класів. Кожен цільовий клас, організований ієрархічно, якщо модель використовуватиметься на кількох рівнях специфічності (наприклад, транспортний засіб → колісний транспортний засіб → легкий колісний транспортний засіб → варіант HMMWV). Кожен клас має визначення, набір позитивних прикладів, набір прикладів жорстких негативів (схожі об'єкти, які НЕ повинні отримувати цю мітку) та явні правила для неоднозначних випадків. Неоднозначні випадки є найважливішою частиною схеми – це випадки, де два розумні анотатори не погодилися б, і вирішення цієї неоднозначності письмово до початку анотування на порядки дешевше за вирішення отриманих розбіжностей у розмічених даних.

Тип геометрії та обмеження. Чи кожен клас розмічається осевирівняними обмежувальними рамками, повернутими рамками (важливо для аерофотознімків, де транспортні засоби не завжди вирівняні за осями), полігонами чи ключовими точками. Обмеження мінімального розміру анотації (наприклад, жодна рамка менша за 10×10 пікселів не розмічається, щоб уникнути анотування субрезолюційних цілей, які детектор реалістично не може локалізувати).

Поля атрибутів. Атрибути на анотацію поза міткою класу: рівень перекриття (немає / часткове / сильне), усічення (чи об'єкт обрізаний на краю зображення), впевненість (самооцінена анотатором певність) та будь-які специфічні для домену поля (курс орієнтації транспортного засобу, тип камуфляжу, стан активності).

Версії схеми мають відстежуватися в репозиторії документів, з кожною розміченою партією, пов'язаною з версією схеми, за якою її було створено. Коли схема змінюється – клас розділяється на два, неоднозначний випадок вирішується інакше, обмеження геометрії посилюється – потрібне підвищення версії схеми, і будь-які раніше розмічені партії, що підпадають під змінені правила, мають бути позначені для повторного аудиту. Змішування анотацій із різних версій схеми в одному навчальному наборі без явного узгодження є одним із найпоширеніших джерел шуму міток у тривалих програмах оборонного AI.

3. робочий процес анотування та узгодженість між анотаторами

Робочий процес анотування – це проблема керування чергою. Зображення надходять із системи тріажу в чергу анотування, анотатори витягують завдання з черги, завершені анотації записуються у сховище набору, а підмножина завершених анотацій направляється другому анотатору для вимірювання узгодженості між анотаторами (IAA).

Вимірювання IAA – найважливіший сигнал якості в конвеєрі. Для завдань класифікації каппа Коена є стандартною метрикою – вона вимірює узгодженість понад випадковість, тому нечутлива до дисбалансу класів у спосіб, у який не є необроблена відсоткова згода. Для завдань рамок середній перетин-над-об'єднанням (mIoU) між парами анотаторів на тому самому зображенні є стандартом – поріг 0.7 mIoU є розумним мінімумом для добре визначених класів об'єктів, але класи з за своєю природою неоднозначними межами (листя, частково розібрані укриття) можуть працювати на нижчих порогах із явним обґрунтуванням.

Вимірювання IAA має охоплювати 10–15% кожної партії, обраної випадково. Результати мають виводитися на інформаційну панель, що показує IAA на анотатора, на клас та на розділ схеми. Низька IAA для конкретного класу є сигналом того, що схема для цього класу потребує уточнення, а не того, що анотатори працюють погано. Низька IAA для конкретного анотатора є сигналом для цільового калібрування. Конвеєр має автоматично запускати етап вирішення, коли IAA для будь-якого класу падає нижче визначеного порогу: пара анотацій, що не узгоджується, направляється старшому анотатору, який створює еталонну мітку. Вирішені зображення потім надходять у набір калібрування анотаторів, що використовується при онбордингу для наступних партій.

Інструментарій для оборонних платформ анотування

Оборонні платформи анотування мають вимоги, які споживчі інструменти розмітки не задовольняють: локальне або ізольоване (air-gapped) розгортання (без надсилання секретних зображень у хмарні сервіси анотування), контроль доступу за рівнем грифу для кожного розділу набору, аудит-логування кожної дії анотатора та відповідність ITAR/експортним вимогам для багатонаціональних програм. CVAT (Computer Vision Annotation Tool) – широко розгорнута платформа з відкритим кодом, що підтримує локальний хостинг та має активну спільноту оборонної інтеграції. Label Studio – інший варіант із гнучкішою архітектурою плагінів. Для програм, що вимагають формальної сертифікації середовища розмітки, існують спеціалізовані платформи з фокусом на оборону, доступні через специфічні для оборони канали закупівель.

4. інтеграція активного навчання

Оборонні набори зазвичай великі за необробленою кількістю зображень, але дорогі для розмітки. Подія польового збору для ISR-програми може створити сотні тисяч кадрів, з яких лише частина містить цільові класи інтересу. Розмітка всього пулу однаково марнотратна – значна частина зображень буде неінформативною для навчання (порожні фонові кадри, дублюючі сцени, умови, вже добре представлені в наявному розміченому наборі). Активне навчання спрямовує зусилля анотаторів на зображення, які модель вважає найбільш невизначеними, знижуючи загальний бюджет анотування, потрібний для досягнення цільового рівня продуктивності моделі.

Стандартний цикл активного навчання для оборонного конвеєра розмітки AI працює наступним чином. Початковий стартовий набір (зазвичай 1000–5000 розмічених зображень, обраних стратифікованою вибіркою по класах та умовах) використовується для навчання базової моделі. Навчена модель потім запускається в режимі інференсу по всьому нерозміченому пулі. Кожному нерозміченому зображенню присвоюється оцінка невизначеності: для голів класифікації ентропія прогнозу (ентропія Шеннона розподілу softmax) або найменша впевненість (одиниця мінус імовірність найбільш прогнозованого класу) є найпоширенішими виборами. Для моделей виявлення поширеним наближенням є агрегування оцінок впевненості на детекцію по зображенню – зображення, де детектор створює багато низьковпевнених або суперечливих детекцій, вважаються високоневизначеними.

Зображення з найвищою невизначеністю – зазвичай топ 5–10% нерозміченого пулу за оцінкою невизначеності – додаються до наступної партії анотування. Після розмітки модель перенавчається на розширеному розміченому наборі, і цикл повторюється. Відстеження кривої mAP щодо кумулятивної кількості анотацій між циклами кількісно визначає приріст ефективності від активного навчання. У виробничих оборонних програмах із великими нерозміченими пулами активне навчання зазвичай знижує кількість анотацій, потрібних для досягнення цільового mAP, на 30–60% порівняно з випадковою вибіркою з нерозміченого пулу.

Одне важливе застереження: активне навчання оптимізує для невизначеності моделі, що не ідентично оптимізації для продуктивності моделі на найскладніших операційних випадках. Рідкісні, але операційно критичні цільові класи (нові типи транспортних засобів, незвичні конфігурації, ворожий камуфляж) можуть мати дуже низьку представленість у високоневизначеному пулі, якщо модель ніколи не бачила їхніх прикладів. Активне навчання слід поєднувати з цільовим збором – навмисним отриманням та розміткою прикладів відомих режимів збою моделі – а не використовувати як повну заміну курування черги розмітки доменними експертами.

5. обробка грифів секретності та управління наборами даних

В оборонному контексті "класифікація" має два різні значення, які конвеєр має обробляти одночасно: завдання машинного навчання з присвоєння мітки класу об'єкту та класифікацію інформаційної безпеки (гриф секретності) самих зображень. Змішування цих двох значень у проєктуванні конвеєра створює або порушення безпеки, або надмірно обмежувальні робочі процеси розмітки – обидва є витратними.

Архітектура обробки грифів конвеєра має явно розділяти ці питання. Класифікація інформаційної безпеки є властивістю зображення та забезпечується шаром контролю доступу – анотатори бачать лише зображення на рівні або нижче свого рівня допуску, а позначення грифу подорожують із зображенням через кожен етап конвеєра. Таксономія класів ML є властивістю схеми анотації та регулюється робочим процесом розмітки. Ці дві системи класифікації працюють на ортогональних осях: одне зображення може бути НЕСЕКРЕТНИМ (інформаційна безпека), водночас містячи ВОРОЖИЙ-КОЛІСНИЙ-ТРАНСПОРТНИЙ-ЗАСІБ (клас ML), а ТАЄМНЕ зображення може містити лише фон без анотованих об'єктів.

Управління набором даних – набір політик, що визначають, як розмічений набір може використовуватися, надаватися та змінюватися – має бути кодифіковане до створення першої анотації, а не після. Картка набору даних є стандартним артефактом для цього: структурований документ, що фіксує версію схеми набору, рівень грифу, кількість анотаторів та їхні рівні допуску, оцінки IAA, розподіл класів, статус проходження/непроходження QC для кожної автоматизованої перевірки, цикли навчання, що використали набір, та будь-які відомі обмеження чи упередження. Картка набору подорожує з кожним експортом набору та оновлюється, коли набір модифікується, аугментується або повторно розмічується за новою версією схеми.

6. автоматизовані перевірки якості перед затвердженням для навчання

Жоден набір не повинен бути затверджений для навчання моделі без проходження набору автоматизованих перевірок якості. Ці перевірки виявляють систематичні проблеми, які людський огляд пропускає, бо рецензенти досліджують окремі анотації, а не статистику на рівні набору.

Аудит розподілу класів. Переконайтеся, що кожен клас відповідає мінімальному пороговому значенню кількості екземплярів. Класи нижче порогу позначаються – або зусилля зі збору та розмітки для цього класу мають бути збільшені, або клас має бути об'єднаний із батьківським класом для поточного циклу навчання. Також перевірте співвідношення дисбалансу між найпоширенішим та найрідкіснішим класами: екстремальний дисбаланс (понад 100:1) без компенсуючих стратегій (надлишкова вибірка, зважування втрат) є надійним предиктором поганого відгуку на міноритарних класах.

Перевірка коректності рамок. Позначте анотації з нульовою або від'ємною площею, анотації, що виходять за межі зображення, та анотації зі співвідношеннями сторін поза фізично правдоподібним діапазоном для анотованого класу. Обмежувальна рамка навколо людини, що стоїть, зі співвідношенням ширини до висоти 3:1 майже напевно є помилкою. Ці перевірки виявляють помилки анотаторів, що є окремо рідкісними, але кумулятивно значущими в масштабі набору.

Виявлення дублікатів та витоку. Запустіть повний набір виявлення дублікатів (точний хеш + перцептивний хеш) на фінальному розміченому наборі перед розбиттям на навчальну, валідаційну та тестову вибірки. Після розбиття переконайтеся, що жодне зображення не з'являється більш ніж в одній вибірці. Якщо набір був аугментований (відображення, повороти, обрізання), запустіть виявлення близьких дублікатів на постаугментаційному наборі та переконайтеся, що аугментовані варіанти того самого вихідного зображення не розбиті між навчальною та валідаційною вибірками.

Покриття анотацій. Переконайтеся, що кожне зображення або анотоване, або явно позначене як жорсткий негатив (підтверджене зображення, що не містить екземплярів жодного цільового класу). Зображення без анотації та без позначки жорсткого негатива є неоднозначними – вони можуть бути неанотованими позитивами (пропущені анотації) або справжніми негативами. Обидва стани шкідливі: неанотовані позитиви створюють хибнонегативний навчальний сигнал; неперевірені фонові зображення додають шум до набору жорстких негативів. Перевірка покриття виявляє зображення, що пройшли крізь чергу анотування без належної обробки.

Після проходження всіх перевірок набір експортується в цільовий формат – COCO JSON для багатозадачних конвеєрів, YOLO TXT для навчання, орієнтованого на детектори – із позначеннями грифу, вбудованими в метадані кожного вихідного файлу. Подія експорту реєструється з версією картки набору, звітом QC та особою інженера, який затвердив експорт. Цей аудиторський слід є останньою лінією оборони проти запуску циклу навчання на незатвердженому або неправильно версіонованому наборі.