Monitorizarea deriva modelului pentru AI în apărare: detecție și reantrenare

Un model AI de apărare este acreditat față de un instantaneu. Este validat pe un set de testare fix, îndeplinește o specificație de performanță declarată pe o distribuție de date definită, iar o autoritate semnează acel artefact înghețat. Apoi este implementat într-o lume care nu stă nemișcată. Apar senzori noi, zona de operații se schimbă, un adversar modifică profilul unui vehicul sau o tactică, iar distribuția față de care modelul a fost validat încetează treptat să se mai potrivească cu distribuția pe care o vede acum. Deriva modelului este această divergență lentă între cele două distribuții, iar monitorizarea derivei este disciplina care o detectează înainte ca o prăbușire silențioasă a acurateței să se transforme într-o țintă ratată sau o alarmă falsă în cel mai inoportun moment. Acest articol descrie ingineria monitorizării derivei pentru modelele de apărare implementate: tipurile de derivă, cum să le detectezi fără etichete în timp real, unde să setezi declanșatorii de reantrenare și cum să transformi întreaga buclă în dovezi de acreditare.

De ce deriva este riscul definitoriu pentru AI de apărare implementat

Majoritatea discuțiilor despre fiabilitatea AI de apărare se opresc la implementare – modelul a trecut validarea și acreditarea, deci este de încredere. Această încredere are o dată de expirare pe care nimeni nu a imprimat-o. Acreditarea certifică comportamentul pe distribuția de validare; nu poate certifica comportamentul pe date pe care modelul nu le-a văzut niciodată. În ziua în care mediul operațional diverge de mediul de validare, acreditarea descrie un model care nu mai există în practică, chiar dacă ponderile sunt identice byte cu byte.

Acest lucru contează mai mult în apărare decât în machine learning comercial din trei motive. În primul rând, asimetria costurilor este severă: un motor de recomandare deviat pierde un click, un model de recunoaștere a țintelor deviat pierde o viață sau lovește obiectul greșit. În al doilea rând, mediul este adversarial prin design – adversarii lucrează activ pentru a scoate modelul din distribuția sa de antrenament, deci deriva nu este doar zgomot statistic, ci o suprafață de atac. În al treilea rând, adevărul la sol este rar și întârziat: la marginea tactică rareori primești o etichetă imediată care să îți spună că predicția a fost greșită, deci nu poți pur și simplu să urmărești scăderea acurateței în timp real cum urmărește o echipă comercială rata de click.

Taxonomia derivei

Monitorizarea eficientă depinde de denumirea a ceea ce se schimbă. Trei categorii acoperă aproape fiecare eșec al unui model implementat.

Deriva datelor (schimbarea covariatelor)

Deriva datelor este o modificare în distribuția intrărilor modelului în timp ce relația intrare-etichetă rămâne neschimbată. Modelul ar fi în continuare corect dacă ar fi văzut aceste intrări în antrenament, dar nu le-a văzut. În ISR aceasta este forma cea mai frecventă: un model antrenat pe imagini EO de vară vede acum zăpadă de iarnă; un model ajustat pentru senzorul unei drone ingestează acum o distanță focală diferită; o zonă de operații se mută din deșert deschis în mediu urban dens. Deriva datelor este detectabilă doar din intrări, ceea ce o face cea mai ușor de prins – și cea mai ușor de confundat cu deriva conceptului dacă te oprești la nivelul intrărilor.

Deriva conceptului

Deriva conceptului este o modificare în relația dintre intrări și ieșirea corectă. Aceeași intrare merită acum o etichetă diferită. Aceasta este cea periculoasă. Un adversar introduce o nouă variantă de vehicul pe care modelul o clasifică greșit cu încredere ca un tip benign cunoscut; tacticile se schimbă astfel încât o semnătură anterior etichetată ca non-amenințare indică acum o amenințare. Deriva conceptului nu poate fi confirmată din intrări singure – intrările pot părea perfect în distribuție – și este demonstrabilă doar față de un adevăr la sol proaspăt. Un program de monitorizare care urmărește doar statisticile intrărilor va fi orb față de o derivă a conceptului bine deghizată.

Deriva etichetelor și a distribuției a priori

Deriva a priori este o schimbare în ratele de bază ale claselor în sine – proporția obiectelor amenințătoare față de cele non-amenințătoare se schimbă pe măsură ce o operațiune se escaladează. Un model calibrat pentru un prior de amenințare de 1 din 1000 va fi prost calibrat la 1 din 50, producând fie oboseală de alarmă, fie detecții ratate în funcție de direcție. Deriva a priori interacționează cu pragurile de decizie și este adesea confundată cu o defecțiune a modelului când este de fapt o problemă de calibrare rezolvabilă fără reantrenare.

Stabilirea liniei de bază

Nu poți măsura deriva fără o referință fixă. Linia de bază este capturată la acreditare și înghețată față de hash-ul versiunii modelului, astfel încât fiecare măsurătoare ulterioară este calculată relativ la exact artefactul care a fost autorizat. O linie de bază completă înregistrează seturile de validare și testare, histogramele intrărilor per caracteristică, statisticile de embedding ale unui eșantion de referință, distribuția nivelului de încredere al predicțiilor și cifrele de performanță acceptate – precizie, recuperare și rată de alarme false per clasă. Stocarea acestora ca artefacte imuabile este ceea ce face deriva cuantificabilă mai degrabă decât anecdotică, și este primul lucru pe care un evaluator îl va solicita la luni de la implementare.

Linia de bază trebuie segmentată în același mod în care este segmentată implementarea. O singură histogramă globală ascunde deriva localizată care de fapt distruge misiunile: un model poate părea stabil în ansamblu în timp ce performanța sa pe o platformă, un senzor sau o zonă de operații s-a prăbușit. Stabilește linia de bază și monitorizează pe platformă, tip de senzor și zonă de operații de la prima zi.

Detectarea derivei fără etichete în timp real

La marginea tactică, etichetele sosesc târziu sau niciodată. Detecția derivei se bazează deci pe proxy-uri neetichate, împărțite în două familii.

Monitorizarea distribuției intrărilor compară intrările live față de linia de bază. Metrica de bază este indexul de stabilitate a populației (PSI) pe histogramele caracteristicilor, cu benzi convenționale sub 0,1 (stabil), 0,1–0,25 (schimbare moderată, urmărire) și peste 0,25 (schimbare semnificativă, acțiune). Testele Kolmogorov–Smirnov și chi-pătrat servesc respectiv caracteristicilor continue și categorice. Pentru intrări de înaltă dimensionalitate precum imagini, abordarea practică este deriva embedding-ului: rulează intrările printr-un extractor de caracteristici înghețat și măsoară distanța – dispersia maximă medie sau distanța simplă a centroidului – între norii de embedding live și cei de referință.

Monitorizarea distribuției predicțiilor urmărește ieșirile modelului. O fracție crescândă de predicții cu încredere scăzută sau aproape de prag, o schimbare în mixul de clase prezise și degradarea calibrării sunt cu toatele indicatori de avans că intrările s-au deplasat în teritoriu pe care modelul îl gestionează mai puțin bine. Niciunul dintre acestea nu dovedește singur o scădere a acurateței, dar o schimbare concomitentă în ambele distribuții – intrări și predicții – este un declanșator puternic și defensibil pentru a extrage un eșantion pentru etichetare.

Regula cardinală: proxy-urile neetichate generează suspiciune, nu verdicte. Confirmarea necesită întotdeauna adevărul la sol. Sarcina sistemului de monitorizare este să fie precis cu privire la momentul în care merită să cheltuiești efortul rar de etichetare umană pentru a obține acel adevăr la sol.

Confirmarea derivei față de adevărul la sol

Când o metrică depășește banda sa de avertizare, răspunsul este să eșantionezi, nu să acționezi orb. Extrage un eșantion stratificat al intrărilor deviate – stratificat pe segmentele și benzile de încredere unde a apărut schimbarea – și direcționează-l spre etichetare umană. Măsurarea preciziei și recuperării pe acest eșantion confirmat față de linia de bază este ceea ce separă deriva inofensivă a datelor (intrările s-au deplasat, acuratețea s-a menținut) de deriva conceptului care erodează acuratețea (intrările s-au deplasat, acuratețea a scăzut). Eșantionarea în sine devine un set de date etichetat care alimentează orice reantrenare ulterioară, deci efortul de etichetare nu este niciodată irosit chiar și când nu urmează nicio reantrenare.

Eșantionarea stratificată contează deoarece eșantionarea uniformă pe un flux mare, în mare parte benign, îți va consuma întregul buget de etichetare confirmând că modelul are dreptate în cazurile ușoare. Supraeșantionează predicțiile aproape de prag și cu încredere scăzută și segmentele marcate de metricile de derivă – acolo confirmarea are cea mai mare valoare de decizie.

Declanșatorii de reantrenare și alternativa de restaurare

Nu orice derivă confirmată înseamnă reantrenare. Decizia se împarte clar:

Restaurează la versiunea anterioară când regresia este bruscă și periculoasă – de obicei imediat după o actualizare a modelului sau o schimbare bruscă a conceptului. Revenirea la ultima versiune acreditată este rapidă, complet reversibilă și restabilește un artefact care deține deja o autoritate de operare. Este prima mișcare corectă ori de câte ori o scădere confirmată a performanței pune în pericol misiunea și cauza este o modificare recentă.

Reantrenează când deriva este treptată și noua distribuție este acum norma operațională. Aici colectezi și etichetezi eșantioane reprezentative din mediul deviat, ajustezi fin sau reantrenezi și revalidezi față de două seturi de testare: cel original (pentru a detecta uitarea catastrofică și regresia pe distribuția veche) și un nou set de testare deviat (pentru a dovedi că noul model gestionează mediul care a declanșat lucrarea). Omiterea validării duale este modul în care echipele rezolvă problema nouă reintroducând silențios una veche.

Declanșatorii de reantrenare ar trebui definiți în timpul acreditării, nu inventați sub presiune. O politică practică de declanșare leagă o metrică de performanță confirmată care depășește un prag definit – nu o metrică de derivă a intrărilor – de un flux de lucru automat de reantrenare, cu proxy-urile neetichate acționând doar ca stratul de avertizare timpurie care inițiază eșantionarea. Artefactele de inferență optimizate pe care le produce modelul reantrenat reintră apoi în fluxul de implementare prin aceeași cale de optimizare și ambalare a modelului ca și originalul.

Monitorizarea derivei ca dovadă de acreditare

O autoritate de operare este acordată față de un model care a îndeplinit specificația pe o distribuție definită. Monitorizarea derivei produce dovezile continue că modelul implementat trăiește încă în acel plic. Liniile de bază înregistrate, fiecare depășire a pragului, rezultatul eșantionării și confirmării, decizia de reantrenare sau restaurare și rezultatul revalidării formează împreună un traseu de audit care transformă o acreditare unică într-o poziție defensibilă de autorizare continuă.

Acesta este artefactul care contează atunci când un model a fost pe teren timp de șase luni și un evaluator întreabă dacă mai performează conform certificării. O echipă care poate prezenta o cronologie a metricilor de derivă, acțiunilor la prag și evenimentelor de revalidare răspunde la acea întrebare cu dovezi. O echipă care nu poate face acest lucru operează efectiv un model neacreditat, indiferent de ce spune documentația originală. Tratează jurnalul de monitorizare ca pe un artefact primar de acreditare, reținut față de același hash de versiune a modelului ca și linia de bază, și povestea autorizării continue se scrie de la sine.

Operare la margine și deconectat

Cea mai dificilă implementare pentru monitorizarea derivei este nodul de margine deconectat – un model care rulează pe un vehicul sau pe o sarcină utilă UAS cu conectivitate intermitentă. Modelul este tamponarea locală: serviciul de inferență emite telemetrie compactă (rezumate ale intrărilor sau embedding-uri, clasa prezisă, încredere, versiunea modelului) într-un depozit local, calculează un subset de metrici de derivă pe nod pentru alertare locală imediată și reconciliază fluxul complet de telemetrie la un monitor central când conectivitatea revine. Overhead-ul per inferență trebuie să rămână sub câteva procente din bugetul de inferență astfel încât monitorizarea să nu degradeze niciodată tocmai bucla tactică pe care o protejează. Acolo unde mai multe noduri de margine operează în același teatru, semnalele de derivă pot fi agregate între ele pentru a detecta o schimbare de mediu coordonată – o abordare care se suprapune cu modelele de învățare distribuită acoperite în lucrarea noastră despre învățarea federată pentru rețele de senzori.