Arhitectura data mesh pentru organizațiile de informații din apărare

Organizațiile de informații din apărare acumulează date de zeci de ani — interceptări SIGINT, produse GEOINT, rapoarte HUMINT, agregate OSINT — și în mod constant nu reușesc să transforme această acumulare în ceva ce analiștii pot utiliza efectiv. Problema constă rareori în colectare. Ea rezidă în integrare. Iar cauza organizațională a problemei de integrare este aproape întotdeauna aceeași: nimeni nu deține datele. Echipa centrală de inginerie a datelor, care deține conductele, nu are cunoștințele de domeniu pentru a le menține corecte. Celula SIGINT, care deține cunoștințele de domeniu, nu are infrastructura pentru a-și publica datele într-o formă pe care alte echipe o pot consuma.

Data mesh este un model arhitectural și organizațional care abordează direct această cauză fundamentală. Dezvoltat de Zhamak Dehghani și descris pentru prima dată în 2019, el recadrează problema datelor nu ca o provocare tehnologică, ci ca o provocare de proprietate. Răspunsul nu este o platformă de date centralizată mai bună — este un model federat în care echipele care produc date sunt, de asemenea, responsabile pentru publicarea lor ca produs consumabil.

Ce este data mesh — și ce nu este

Data mesh se bazează pe patru principii. Primul este proprietatea domeniului: echipa care produce date este responsabilă pentru a le face disponibile consumatorilor. Al doilea este datele ca produs: datele sunt tratate cu aceeași rigoare inginerească ca software-ul — au un proprietar, o schemă versionată, un SLA, documentație și o interfață definită pentru consumatori. Al treilea este infrastructura self-service: o echipă centrală de platformă furnizează instrumentele de care echipele de domeniu au nevoie pentru a publica și consuma produse de date. Al patrulea este guvernanța federată: standardele de interoperabilitate sunt stabilite de un organism de guvernanță inter-domenii, dar aplicarea lor este automatizată prin platformă.

Contrastul cu un data lake este instructiv. Când sistemul de colectare SIGINT își schimbă schema de ieșire, conducta echipei centrale se defectează, iar nimeni nu observă până când un analist raportează date învechite după trei săptămâni. În data mesh, echipa de domeniu SIGINT deține conducta și contractul de schemă.

De ce arhitecturile centralizate eșuează în informațiile de apărare

Problemele pe care data mesh le rezolvă sunt acute în informațiile de apărare, deoarece aceste organizații au caracteristici care fac arhitecturile de date centralizate deosebit de fragile: bariere de clasificare, silozuri organizaționale (HUMINT, SIGINT, GEOINT, OSINT — fiecare cu propria cultură), fragilitatea ETL monolitic și disputele de proprietate pe care data mesh le rezolvă prin atribuire explicită și contractuală.

Proprietatea domeniului în contextul informațiilor

Într-un data mesh de apărare, domeniile corespund în mod natural disciplinelor INT: HUMINT, SIGINT, GEOINT, MASINT și OSINT constituie fiecare un domeniu distinct. Fiecare echipă de domeniu deține produsele de date pe care le publică în mesh: definirea contractelor de schemă, menținerea conductelor de ingestie, respectarea SLA-urilor (prospețime, disponibilitate, completitudine), răspunsul la problemele de calitate și gestionarea versiunilor de schemă.

În mediile clasificate, proprietatea domeniului înseamnă și gestionarea metadatelor de clasificare. Echipa de domeniu SIGINT determină nivelul de clasificare al fiecărui produs, mențiunile de divulgare și regulile de moștenire pentru produsele derivate.

Produse de date pentru informații

Conceptul de produs de date este unitatea de schimb în data mesh. Un produs de date este detectabil, adresabil, de încredere, auto-descriptiv și interoperabil. Exemple: echipa de domeniu SIGINT poate publica "tabloul de piste al adversarului" — o colecție GeoJSON actualizată la fiecare 15 minute, conformă schemei de piste MIP4, clasificată SECRET. O celulă ELINT poate publica "baza de date a emițătorilor" — actualizată în patru ore de la o nouă colectare. O celulă GEOINT poate publica "stratul de adnotare a imaginilor" — obiecte de relație STIX2 actualizate în opt ore de la livrarea imaginilor.

Guvernanța federată

Un consiliu de administrare a datelor — cu reprezentanți din fiecare domeniu, echipa de platformă și funcția juridică/conformitate — stabilește standardele de guvernanță: cerințele de interoperabilitate a schemelor, convențiile de metadate de clasificare, cerințele de metadate ale catalogului și definițiile metricilor de calitate. În contextul apărării, etichetele de clasificare funcționează ca atribut de guvernanță de primă clasă. Fiecare eveniment de acces la date trebuie înregistrat într-un jurnal de audit imuabil.

Infrastructura self-service pentru medii clasificate

Platforma self-service este ceea ce deosebește data mesh de un cadru conceptual. În mediile clasificate, platforma trebuie să fie implementabilă în rețele air-gap, să funcționeze fără dependențe față de API-urile cloud publice și să satisfacă cerințele de acreditare de securitate. Stiva tipică de platformă include: stocare obiecte (MinIO sau Ceph), registru de scheme, serviciu de catalog de date (Apache Atlas), strat de control al accesului integrat cu furnizorul de identitate și serviciu de monitorizare SLA — toate instalabile din oglinzi locale de pachete.

Provocări de implementare și calea de migrare

Abordarea corectă este incrementală: începeți cu un domeniu, construiți capacitățile platformei în paralel cu primul produs de domeniu și extindeți de acolo. Domeniul GEOINT este adesea un bun punct de plecare. Data lake-ul central devine o platformă de tranziție care se micșorează pe măsură ce produsele de domeniu se maturizează. O perioadă paralelă în care ambele coexistă este calea de migrare așteptată.

Pentru o tratare detaliată a arhitecturii de stocare, consultați Arhitectura data lake pentru apărare: proiectare și operații. Modelele de fuziune sunt descrise în Fuziunea datelor militare: arhitecturi și metode. Conductele de ingestie sunt prezentate în Construirea unui pipeline de fuziune a datelor de apărare, partea 1: surse și scheme.