Oficer logistyki szczebla batalionu prosi o raport gotowości. System C2 wykazuje 47 pojazdów przydzielonych do jednostki. System ewidencji mienia rejestruje 51 pojazdów pod tym samym identyfikatorem jednostki. System obsługi technicznej śledzi 44 z tych pojazdów w innych formatach numerów seryjnych, a trzy są oznaczone jako wyłączone z eksploatacji (deadlined) pod identyfikatorami, które nie występują w żadnym z dwóch pozostałych systemów. Nikt nie jest w stanie odpowiedzieć na pytanie „ile sprawnych pojazdów ma ta jednostka w tej chwili” bez rozmowy telefonicznej — ponieważ te same fizyczne obiekty są reprezentowane przez różne rekordy, różne identyfikatory i różne wartości atrybutów w systemach, które nigdy nie były projektowane tak, by ze sobą się zgadzać.
To jest problem MDM w sektorze obronnym w jego najczęstszej postaci. Zarządzanie danymi podstawowymi (MDM, master data management) to dyscyplina, która tworzy jedną autorytatywną reprezentację każdej kluczowej encji — osoby, organizacji, sprzętu, lokalizacji — do której wszystkie systemy odwołują się w sposób spójny. Nie jest ani narzędziem raportowym, ani hurtownią danych. Jest warstwą, dzięki której złączenia między systemami mają sens, analityka obejmująca wiele domen zasługuje na zaufanie, a decyzje operacyjne oparte na danych są wiarygodne. Artykuł omawia architekturę systemu MDM w sektorze obronnym — od wyboru modelu hubu, przez rozpoznawanie encji, tworzenie złotego rekordu i procesy stewardship, po wymagania dotyczące przeżywalności, które umożliwiają stosowanie MDM w środowiskach kontestowanych.
Problem MDM w sektorze obronnym — rekordy sprzętu w trzech systemach z trzema różnymi identyfikatorami, rozbieżne rekordy personelu w systemach HR i C2, koszt niespójności
W organizacjach sektora obronnego rozproszenie źródeł prawdy narasta w sposób organiczny. System HR zakupiono do zarządzania administracją personelu. System C2 zbudowano do śledzenia struktury jednostek i przydziałów taktycznych. System logistyczny zaprojektowano do zarządzania zaopatrzeniem i ewidencją mienia. Każdy z nich został zaprojektowany przez odrębne biuro programowe, wdrożony w innej dekadzie i korzysta z innego modelu danych. Żaden nie został zaprojektowany do współdziałania z pozostałymi na poziomie tożsamości encji.
Rezultatem jest zestaw schematów identyfikatorów, które są niekompatybilne z założenia. Osoba może być identyfikowana numerem personalnym w systemie HR, kombinacją kodu wojskowej specjalności ewidencyjnej i stopnia w systemie C2 oraz identyfikatorem osoby odpowiedzialnej materialnie za wyposażenie w logistyce — trzy identyfikatory jednego człowieka, bez utrzymywanego przez jakikolwiek system odwzorowania między nimi. W przypadku sprzętu jest gorzej: czołg M1A2 może mieć numer burtowy naniesiony szablonem na kadłubie (używany przez załogę i operatorów C2), kod adresowy jednostki Departamentu Obrony USA (activity address code) w logistyce, kod kreskowy unikalnego identyfikatora przedmiotu (UII) w ewidencji mienia oraz numer zlecenia obsługowego w systemie zarządzania obsługą techniczną. Żaden z tych identyfikatorów nie ma tego samego formatu, a systemy, które z nich korzystają, nie zostały zbudowane tak, by umożliwiać tłumaczenie między nimi.
Koszt tej niespójności to nie tylko niedogodność. Gdy analityk gotowości łączy dane o przydziale jednostek z systemu C2 z danymi zaopatrzeniowymi z systemu logistycznego, aby obliczyć wskaźnik zdolności operacyjnej jednostki, złączenie nie dopasowuje rekordów, które odnoszą się do tego samego fizycznego sprzętu pod różnymi identyfikatorami. Uzyskany wskaźnik zdolności jest błędny — i jest błędny w kierunku, którego analityk nie jest w stanie wykryć bez niezależnej weryfikacji każdego systemu, co przekreśla sens modelu analitycznego. Całościowe ujęcie tego, jak takie błędy integracji przejawiają się w szerszej architekturze danych, przedstawia nasze omówienie wzorców integracji danych w sektorze obronnym.
Rozbieżność rekordów personelu między systemami HR i C2 to dodatkowy, odrębny problem. System HR przechowuje rekord administracyjny: stały stopień, stanowisko służbowe, przydzieloną jednostkę, poziom poświadczenia bezpieczeństwa, historię szkoleń. System C2 przechowuje obraz operacyjny: która osoba fizycznie przebywa w której jednostce, jaką rolę pełni w bieżącej strukturze zadaniowej, jakie systemy jest uprawniona obsługiwać. W stabilnych warunkach garnizonowych rekordy te są w rozsądnym stopniu zgodne. W trakcie operacji — gdy personel jest czasowo przydzielany do różnych jednostek, gdy struktura zadaniowa odbiega od etatu (tabeli organizacji i wyposażenia, TO&E), gdy tymczasowe przydziały służbowe tworzą dodatkowe przynależności — oba rekordy szybko się rozchodzą. System MDM zarządzający encją osoby musi uzgodnić reprezentację administracyjną i operacyjną w spójny złoty rekord, który jest użyteczny zarówno w raportowaniu gotowości, jak i w planowaniu operacyjnym.
Architektura hubu MDM — modele hubu: rejestr (registry), konsolidacja (consolidation) i współistnienie (coexistence), kryteria wyboru dla środowisk obronnych, umiejscowienie hubu dla danych niejawnych i jawnych
W produkcyjnych wdrożeniach MDM dominują trzy modele hubu, z których każdy ma odmienną relację z obsługiwanymi systemami źródłowymi i inny zestaw kompromisów operacyjnych istotnych w środowiskach obronnych.
Model rejestru przechowuje wyłącznie tabelę odwołań krzyżowych — odwzorowanie każdego identyfikatora systemu źródłowego na nadany przez MDM globalny identyfikator encji — bez replikowania ani przechowywania jakichkolwiek atrybutów encji w samym hubie. Gdy odbiorca potrzebuje danych encji, odpytuje hub o globalny identyfikator, a następnie odpytuje właściwe systemy źródłowe, używając identyfikatorów specyficznych dla źródeł, zwróconych przez tabelę odwołań krzyżowych. Model rejestru ma najmniejszy ślad danych i nie wymaga synchronizacji danych atrybutów do hubu, co czyni go atrakcyjnym dla środowisk, w których replikowanie danych niejawnych do jednej centralnej lokalizacji rodzi problemy z autoryzacją. Jego ograniczeniem jest to, że zmusza każdego odbiorcę do rozpoznawania encji w wielu systemach źródłowych w momencie zapytania, co jest operacyjnie niepraktyczne w przypadku zapytań operacyjnych o wysokiej częstotliwości.
Model konsolidacji kopiuje i normalizuje atrybuty encji ze wszystkich systemów źródłowych do hubu, uruchamia rozpoznawanie encji w celu powiązania duplikatów i udostępnia odbiorcom ujednolicony widok encji. Systemy źródłowe nie są modyfikowane — hub jest zoptymalizowanym pod odczyt odbiorcą danych źródłowych, a nie podmiotem zapisującym do nich z powrotem. Ten model jest najbardziej praktyczny dla środowisk obronnych, ponieważ nie wymaga uprawnień do modyfikacji systemów źródłowych (systemów C2, HR i logistycznych zazwyczaj nie może modyfikować program MDM) i koncentruje obliczenia rozpoznawania encji w hubie, zamiast rozpraszać je między odbiorców. Architektura wojskowego jeziora danych zazwyczaj wykorzystuje złote rekordy z hubu konsolidacji MDM jako wyselekcjonowaną warstwę referencyjną, zamiast bezpośrednio łączyć surowe tabele źródłowe.
Model współistnienia dodaje do modelu konsolidacji możliwość zapisu zwrotnego: hub tworzy złoty rekord, a następnie propaguje autorytatywne wartości atrybutów z powrotem do systemów źródłowych, nadpisując lokalnie utrzymywane wartości wartością autorytatywną ustaloną przez hub. Model ten zapewnia najsilniejszą spójność między systemami, ale wymaga, aby każdy uczestniczący system źródłowy akceptował zapisy inicjowane przez hub — wymóg, który często blokują ograniczenia autoryzacyjne systemów, procesy kontroli zmian u dostawców oraz niechęć do ryzyka operacyjnego w działających systemach.
Umiejscowienie hubu dla danych niejawnych i jawnych wymaga oddzielnych instancji hubu na każdej granicy klauzul tajności. Pojedynczy hub MDM przetwarzający zarówno niejawne, jak i jawne dane encji musiałby działać na wyższym poziomie klauzuli tajności, co uniemożliwiłoby odbiorcom jawnym dostęp do jakichkolwiek danych encji z hubu — i przekreśliłoby jego cel. W praktycznej architekturze wdraża się hub jawny dla encji występujących wyłącznie w jawnych systemach źródłowych (ogólne dane referencyjne, jawne dane o lokalizacjach, rekordy dostawców komercyjnych) oraz hub niejawny na odpowiednim poziomie klauzuli tajności dla encji zawierających atrybuty niejawne. Rozpoznawanie encji między poziomami klauzul tajności — ustalenie, że encja w systemie jawnym odpowiada temu samemu fizycznemu obiektowi w systemie niejawnym — wymaga wyspecjalizowanego strażnika rozwiązania międzydomenowego (cross-domain solution guard), który przenosi przez granicę klauzul tajności wyłącznie odwołania krzyżowe identyfikatorów, nigdy zaś samych atrybutów niejawnych.
Typy encji w MDM dla sektora obronnego — osoba (personel wojskowy), organizacja (jednostka/dowództwo), sprzęt (platforma/wyrób końcowy), lokalizacja (obiekt/pozycja)
MDM w sektorze obronnym zarządza czterema podstawowymi domenami encji, z których każda ma odrębne systemy źródłowe, schematy identyfikatorów, struktury atrybutów i wyzwania związane z jakością danych.
Domena encji osoby obejmuje personel wojskowy, wykonawców i partnerów koalicyjnych. Kluczowe systemy źródłowe to system zarządzania personelem (rekord administracyjny, przydział stały, stopień), system C2 (bieżący przydział operacyjny, pozycja w strukturze zadaniowej) oraz system zarządzania poświadczeniami bezpieczeństwa (poziom poświadczenia, uprawnienia do kompartmentów, daty wygaśnięcia dostępu). Główne wyzwanie związane z identyfikatorami polega na tym, że ta sama osoba może figurować w systemie HR w swojej stałej jednostce służbowej, a w systemie C2 być operacyjnie czasowo przydzielona do innej jednostki — oba rekordy są poprawne w swoich systemach, lecz reprezentują dwa różne stany operacyjne tej samej encji. Tworzenie złotego rekordu dla domeny osób musi odzwierciedlać zarówno stan administracyjny, jak i operacyjny jako odrębne grupy atrybutów, zamiast zwijać je do jednego pola przydziału do jednostki.
Domena encji organizacji obejmuje jednostki, dowództwa, pododdziały i grupy zadaniowe. Organizacje w środowiskach obronnych mają hierarchiczną strukturę nadrzędny–podrzędny (brygada zawiera bataliony, batalion zawiera kompanie) oraz wymiar czasowy (grupy zadaniowe są tworzone, łączone, reorganizowane i rozwiązywane w skali czasu operacji). System MDM musi utrzymywać bieżącą hierarchię organizacyjną, jej stany historyczne w minionych momentach czasu oraz relacje między administracyjną strukturą TO&E a bieżącą strukturą zadaniową. Systemami źródłowymi są hierarchia jednostek w systemie C2, TO&E w systemie zarządzania personelem oraz rekord elementu dowodzenia w systemach logistycznych.
Domena encji sprzętu obejmuje platformy, pojazdy, systemy uzbrojenia i zasób wyrobów końcowych. To w praktyce domena o największym rozdrobnieniu identyfikatorów: pojedynczy egzemplarz fizyczny zazwyczaj ma cztery lub więcej różnych schematów identyfikatorów w systemach, które nim zarządzają. UII (unique item identifier) to standard Departamentu Obrony USA dla globalnie unikalnego kodu kreskowego pozycji wyposażenia ewidencjonowanych seryjnie i powinien pełnić funkcję identyfikatora głównego dla domeny sprzętu, jednak systemy starsze (legacy), powstałe przed standardem UII, używają własnościowych identyfikatorów, które wymagają tabeli odwzorowań do powiązania z przestrzenią UII. Dopasowywanie między systemami wymaga dopasowania rozmytego (fuzzy matching) na polach numerów seryjnych, które mogą zawierać różne znaki separatorów, zera wiodące lub prefiksy kodu producenta, zależnie od tego, który system zarejestrował identyfikator.
Domena encji lokalizacji obejmuje obiekty, instalacje, nazwane obszary zainteresowania i pozycje taktyczne. Dopasowywanie lokalizacji jest w istocie problemem geoprzestrzennym: ta sama lokalizacja fizyczna może być wskazywana przez współrzędne MGRS w jednym systemie, współrzędne geograficzne w stopniach dziesiętnych w innym, a w trzecim — nazwą miejsca w języku naturalnym. Blokowanie geoprzestrzenne grupuje rekordy kandydujące lokalizacji według bliskości za pomocą siatki geohash, a dopasowywanie rozstrzyga, czy dwa rekordy bliskie przestrzennie odnoszą się do tego samego obiektu, czy do odrębnych, sąsiednich lokalizacji. Encje lokalizacji mają także wymiar czasowy — klasyfikacja obiektu, status operacyjny i siły kontrolujące zmieniają się w czasie — co wymaga, aby złoty rekord zawierał przedziały ważności w czasie dla kluczowych atrybutów lokalizacji. Warstwa fuzji informacji wywiadowczych w czasie rzeczywistym, która koreluje detekcje ISR ze znanymi lokalizacjami, zależy bezpośrednio od dokładności i kompletności danych podstawowych encji lokalizacji.
Rozpoznawanie encji: dopasowywanie między systemami źródłowymi — strategie blokowania dla wielkoskalowych zbiorów encji obronnych, modele dopasowywania oparte na uczeniu maszynowym, dopasowanie deterministyczne a probabilistyczne
Rozpoznawanie encji to proces, który ustala, które rekordy w różnych systemach źródłowych odnoszą się do tej samej encji ze świata rzeczywistego, i łączy je pod wspólnym identyfikatorem globalnym. W skali dużego zbioru danych obronnych — milionów rekordów sprzętu w systemach logistycznych, obsługi technicznej i ewidencji mienia oraz setek tysięcy rekordów personelu w systemach HR, C2 i poświadczeń bezpieczeństwa — naiwne porównywanie parami wszystkich rekordów ze wszystkimi innymi jest obliczeniowo niewykonalne. Potok dopasowywania musi mieć strukturę procesu dwuetapowego: blokowania, które redukuje przestrzeń par kandydujących do rozmiaru możliwego do przetworzenia, a następnie dopasowywania, które ocenia pary kandydujące z precyzją wystarczającą do odróżnienia prawdziwych dopasowań od przypadków bliskich dopasowania.
Strategie blokowania w domenach encji obronnych wykorzystują klucze podziału specyficzne dla domeny, aby grupować rekordy, które mogą być tą samą encją. W przypadku rekordów personelu blokowanie fonetyczne po polu nazwiska z użyciem algorytmu Soundex lub Double Metaphone grupuje rekordy, w których różne systemy zapisały to samo nazwisko z wariantami pisowni, dodatkowymi spacjami lub różnicami w użyciu łącznika — wszystko to jest powszechne w systemach zarządzania personelem, które powstały przed normalizacją Unicode. W przypadku rekordów sprzętu blokowanie prefiksowe po pierwszych sześciu znakach numeru seryjnego (po normalizacji białych znaków i wielkości liter) grupuje rekordy z systemów, które reprezentują ten sam numer seryjny z różnymi konwencjami separatorów. W przypadku rekordów lokalizacji siatka geohash na poziomie precyzji 6 (szerokość komórki około 1,2 km) grupuje rekordy bliskie przestrzennie, wykluczając lokalizacje ewidentnie odrębne. Projekt blokowania musi zostać zwalidowany na wzorcowym zbiorze danych znanych dopasowań przed wdrożeniem — etap blokowania musi zachować w zbiorze kandydatów co najmniej 95% par będących prawdziwymi dopasowaniami, w przeciwnym razie potok rozpoznawania będzie powodował systematyczne błędy pominięcia dla wykluczonych typów rekordów.
W obrębie każdego bloku kandydatów model dopasowywania ocenia każdą parę:
- Dopasowanie deterministyczne stosuje stały zestaw reguł, który daje binarną decyzję: dopasowanie albo brak dopasowania. Deterministyczna reguła dla rekordów sprzętu: dwa rekordy pasują do siebie wtedy i tylko wtedy, gdy ich kody kreskowe UII są identyczne (po usunięciu znaków niealfanumerycznych) albo gdy ich numery seryjne są identyczne, a krajowe numery magazynowe zgadzają się w pierwszych dziewięciu cyfrach. Reguły deterministyczne nie wymagają danych treningowych, są w pełni audytowalne i nie generują żadnych dopasowań fałszywie dodatnich, jeśli reguła jest poprawnie zdefiniowana. Są właściwe dla atrybutów, które mają być globalnie unikalne i utrzymywane z zastosowaniem kontroli wprowadzania danych.
- Dopasowanie probabilistyczne oblicza złożony wynik dopasowania na podstawie ważonych miar podobieństwa na poziomie pól. Porównanie rekordów personelu może wykorzystywać podobieństwo Jaro-Winkler dla imienia, dopasowanie fonetyczne dla nazwiska, dokładne dopasowanie daty urodzenia i dopasowanie rozmyte skrótu stopnia (aby obsłużyć warianty formatowania), w połączeniu z klasyfikatorem opartym na regresji logistycznej lub drzewach decyzyjnych ze wzmocnieniem gradientowym, wytrenowanym na oznaczonych parach dopasowań i niedopasowań z rzeczywistych systemów źródłowych. Wytrenowany model uczy się względnej ważności każdego pola w konkretnym środowisku brudnych danych — w niektórych systemach źródłowych data urodzenia jest bardzo wiarygodna, w innych ma odsetek błędów wynoszący 3%, co czyni ją słabą cechą dyskryminującą.
- Modele dopasowywania ML rozszerzają dopasowanie probabilistyczne o wyuczone reprezentacje tekstu atrybutów encji. Syjamska sieć neuronowa wytrenowana na parach imion i nazwisk personelu uczy się wektorowej reprezentacji nazwisk, w której nazwiska podobne fonetycznie lub ortograficznie mają podobne wektory — wychwytując wzorce podobieństwa, które pomijają ręcznie projektowane miary odległości między ciągami znaków. Modele ML wymagają większych oznaczonych zbiorów danych do trenowania i trudniej je audytować niż reguły deterministyczne, lecz przewyższają klasyczne modele probabilistyczne w zbiorach encji o dużym szumie, w których wzorce błędów wprowadzania danych są złożone i niejednorodne w różnych systemach źródłowych.
Wynikiem potoku dopasowywania dla każdej pary kandydującej jest decyzja o dopasowaniu (dopasowanie / brak dopasowania / przegląd) oraz wskaźnik pewności. Pary powyżej progu dopasowania są automatycznie łączone pod wspólnym globalnym identyfikatorem encji. Pary w paśmie przeglądu — gdzie wskaźnik pewności mieści się między progiem braku dopasowania a progiem dopasowania — są kierowane do stewarda-człowieka w celu rozstrzygnięcia, zamiast być rozstrzygane automatycznie.
Tworzenie i utrzymanie złotego rekordu — reguły survivorship dla konfliktujących atrybutów źródłowych, ocena pewności złotego rekordu, rozstrzyganie automatyczne a z udziałem stewarda
Gdy rozpoznawanie encji powiąże rekordy z wielu systemów źródłowych z tym samym globalnym identyfikatorem encji, system MDM tworzy złoty rekord: autorytatywną, ujednoliconą reprezentację tej encji, której atrybuty pochodzą z najlepszego dostępnego źródła dla każdego pola. Złoty rekord nie jest prostym scaleniem wszystkich atrybutów źródłowych — gdy źródła są niezgodne, reguła survivorship musi określić, którą wartość złoty rekord zawiera.
Reguły survivorship są definiowane dla każdego atrybutu w każdej domenie encji i kodują hierarchię autorytatywności dla tego atrybutu:
Każdy atrybut złotego rekordu zawiera, oprócz swojej wartości, trzy pola metadanych: odwołanie do źródła (który system źródłowy dostarczył tę wartość oraz identyfikator konkretnego rekordu źródłowego), znacznik czasu aktualizacji (kiedy system źródłowy ostatnio potwierdził tę wartość) oraz wskaźnik pewności (znormalizowaną wartość odzwierciedlającą wiarygodność źródła i jakość dopasowania, które powiązało ten rekord z encją złotego rekordu). Wskaźnik pewności równy 1,0 oznacza dopasowanie deterministyczne po globalnie unikalnym identyfikatorze z bardzo wiarygodnego źródła; niższe wartości odzwierciedlają wyniki dopasowania probabilistycznego, źródła o znanych problemach z jakością danych lub atrybuty, w przypadku których wybór zwycięskiej wartości (survivorship) był sporny między źródłami o sprzecznych wartościach.
Wskaźnik pewności nie jest ozdobą — ma znaczenie operacyjne. Analityk gotowości budujący ocenę zdolności może filtrować zapytanie do złotych rekordów tak, aby wykluczyć atrybuty poniżej progu pewności, albo warstwa analityczna może ważyć wkład rekordu każdego egzemplarza sprzętu we wskaźnik gotowości jednostki za pomocą pewności jego atrybutu statusu obsługi technicznej. Analityk, który otrzymuje miarę gotowości bez wglądu w leżące u jej podstaw wskaźniki pewności, nie jest w stanie odróżnić oceny o wysokiej pewności od wartości zbudowanej z dopasowań niskiej jakości i nieaktualnych danych źródłowych.
Utrzymanie złotego rekordu jest procesem ciągłym, a nie jednorazową operacją wsadową. Gdy system źródłowy aktualizuje rekord encji, potok pozyskiwania MDM odbiera aktualizację, ponownie ocenia wynik reguł survivorship dla wszystkich dotkniętych atrybutów i odpowiednio aktualizuje złoty rekord. Jeśli aktualizacja powoduje zmianę złotego rekordu w atrybucie, z którego korzystały systemy odbiorcze, do magistrali zdarzeń MDM publikowane jest powiadomienie o zmianie, aby systemy konsumujące mogły ponownie odpytać zaktualizowany złoty rekord. Powiadomienie o zmianie zawiera globalny identyfikator encji, listę zmienionych atrybutów oraz wartości sprzed zmiany i po niej — wystarczająco dużo informacji, aby system konsumujący mógł ustalić, czy zmiana wpływa na którekolwiek z jego aktywnych danych operacyjnych, bez konieczności ponownego pobierania całego złotego rekordu.
Procesy data stewardship — przydzielanie stewardów według domen (steward sprzętu, steward osób), proces rozstrzygania sporów, ścieżka audytu zmian złotego rekordu
Zautomatyzowane rozpoznawanie encji i reguły survivorship obsługują większość przypadków dopasowań i konfliktów atrybutów w produkcyjnym systemie MDM — zazwyczaj od 85 do 95 procent rekordów można rozstrzygnąć bez interwencji człowieka, gdy potok dopasowywania jest dobrze skalibrowany pod dane konkretnych systemów źródłowych. Pozostałe od 5 do 15 procent przypadków — dopasowania o niskiej pewności, sporne wartości atrybutów, w których wiele źródeł rości sobie równe prawa autorytatywności, oraz podziały lub scalenia encji wymagające oceny — musi zostać skierowane do stewarda danych w celu rozstrzygnięcia.
Nadzór nad danymi jest zorganizowany według domen encji, a każda domena jest przydzielona stewardowi, który dysponuje zarówno wiedzą dziedzinową, jak i uprawnieniami dostępu do systemu niezbędnymi do rozstrzygania sporów:
- Steward sprzętu — zazwyczaj osadzony w komórce ewidencji mienia lub logistyki — ma uprawnienia do ustalania prawidłowego rekordu sprzętu, gdy systemy są niezgodne co do numerów seryjnych, przydziału do jednostki lub kodu stanu. Steward sprzętu ma bezpośredni dostęp do dokumentacji fizycznej i może zweryfikować stan faktyczny, sprawdzając pierwotną dokumentację papierową lub koordynując działania z osobami odpowiedzialnymi materialnie za sprzęt.
- Steward personelu — zazwyczaj osadzony w komórce zasobów ludzkich (HR) lub zarządzania personelem — ma uprawnienia do rozstrzygania sprzecznych zapisów nazwisk, zduplikowanych rekordów personelu (częstych, gdy osoba ponownie wstępuje do służby i otrzymuje nowy identyfikator wygenerowany przez system) oraz rozbieżności w przydziałach między rekordami administracyjnymi a operacyjnymi.
- Steward organizacji — zazwyczaj komórka sztabowa J1 lub J3 — ma uprawnienia do rozstrzygania niejednoznaczności hierarchii jednostek podczas zmian struktury zadaniowej, potwierdzania dat sformowania i rozformowania jednostek oraz rozstrzygania o przypisaniu jednostki nadrzędnej, gdy pododdziały są czasowo podporządkowane wielu dowództwom.
- Steward lokalizacji — zazwyczaj komórka wywiadu geoprzestrzennego lub zarządzania obiektami — ma uprawnienia do potwierdzania, czy dwa rekordy bliskie przestrzennie reprezentują ten sam obiekt, czy odrębne obiekty zlokalizowane obok siebie, oraz do ustalania kanonicznych współrzędnych i nazwy lokalizacji, która występuje pod różnymi oznaczeniami w różnych systemach.
Proces rozstrzygania sporów przedstawia każdą sprawę stewarda w postaci ustrukturyzowanego pakietu. Pakiet sprawy zawiera: rekordy kandydujące z każdego systemu źródłowego, które według systemu MDM mogą odnosić się do tej samej encji, wskaźniki podobieństwa na poziomie pól dla każdego porównywanego atrybutu, automatyczną rekomendację systemu MDM (dopasowanie, brak dopasowania lub rekomendowana wartość zwycięska dla spornego atrybutu) oraz czytelne zestawienie tego, w czym źródła są zgodne, a w czym się różnią. Steward wybiera spośród dostępnych opcji rozstrzygnięcia — potwierdza automatyczną rekomendację, zastępuje ją alternatywnym rozstrzygnięciem albo oznacza sprawę jako wymagającą dodatkowych informacji, zanim będzie można ją rozstrzygnąć. Pole uzasadnienia w formie swobodnego tekstu pozwala stewardowi udokumentować rozumowanie stojące za nieoczywistymi decyzjami.
Ścieżka audytu zmian złotego rekordu rejestruje każde przejście stanu w historii złotego rekordu, niezależnie od tego, czy zmianę wywołała automatyczna aktualizacja według reguł survivorship, czy ręczna decyzja stewarda. Każdy zapis audytu zawiera:
- Globalny identyfikator encji i domenę encji
- Zmienione atrybuty oraz wartości sprzed zmiany i po niej dla każdego z nich
- Wyzwalacz zmiany: automatyczna reguła survivorship (z identyfikatorem i wersją reguły), przychodząca aktualizacja ze źródła (z identyfikatorem systemu źródłowego i identyfikatorem rekordu źródłowego) lub decyzja stewarda (z identyfikatorem sprawy stewarda)
- Uwierzytelniona tożsamość podmiotu odpowiedzialnego za zmianę — systemowe konto usługi w przypadku zmian automatycznych, uwierzytelniona tożsamość stewarda w przypadku decyzji ręcznych
- Znacznik czasu zmiany (wartość zegara logicznego dla wdrożeń rozproszonych, zegar ścienny dla wdrożeń z pojedynczym hubem)
Zapisy audytu są zapisywane w magazynie typu append-only i po zapisaniu nie mogą być modyfikowane. Ta niezmienność pozwala systemowi MDM zrekonstruować pełny stan dowolnego złotego rekordu w dowolnym momencie z przeszłości przez ponowne odtworzenie ścieżki audytu (replay) od pierwotnego utworzenia rekordu w kierunku późniejszych zdarzeń — możliwość operacyjnie niezbędna, gdy analitycy muszą ocenić, co system MDM uważał o danej encji w konkretnym momencie historycznym, a zarazem wymóg zgodności dla systemów zarządzania encjami niejawnymi.
Przeżywalność MDM w środowiskach odłączonych od sieci — lokalna pamięć podręczna MDM dla systemów sił wysuniętych, rozstrzyganie konfliktów po ponownym połączeniu, model spójności ostatecznej dla węzłów odłączonych
Scentralizowany hub MDM, który przy każdym zapytaniu o encję wymaga łączności sieciowej z zapleczem, jest operacyjnie bezużyteczny w środowisku kontestowanym, w którym łączność jest pogorszona lub przerwana. Wysunięte systemy C2, systemy logistyczne i narzędzia planowania operacyjnego zależą od rozpoznawania encji, aby działać poprawnie — jeśli hub MDM jest nieosiągalny, muszą wrócić do surowych identyfikatorów źródłowych, które mogą nie zgadzać się między systemami, co cofa obraz operacyjny do stanu sprzed MDM, w którym tożsamość encji jest rozdrobniona. Projekt przeżywalności MDM zapobiega temu regresowi, wdrażając lokalną pamięć podręczną w przodzie i definiując rygorystyczny protokół synchronizacji dla fazy ponownego połączenia.
Wysunięta pamięć podręczna MDM to wcześniej przygotowana replika złotych rekordów i tabeli odwołań krzyżowych, przeznaczona do odczytu, dla podzbioru encji istotnych dla zakresu operacyjnego elementu wysuniętego. „Istotny zakres” jest definiowany w dwóch wymiarach: geograficzny rejon działań (wszystkie encje lokalizacji w obrębie AO, wszystkie encje sprzętu z ostatnią znaną lokalizacją w obrębie AO) oraz struktura zadaniowa (wszystkie encje osób, organizacji i sprzętu powiązane z jednostkami w strukturze zadaniowej elementu wysuniętego). Pamięć podręczna jest wypełniana przed rozmieszczeniem elementu wysuniętego za pomocą eksportu migawki z centralnego hubu. Jest wdrażana na sprzęcie działającym niezależnie od sieci rozległej — serwerze w wykonaniu wzmocnionym (ruggedized), zlokalizowanym razem z wysuniętym węzłem C2, lub wbudowanym w środowisko obliczeniowe taktycznego stanowiska dowodzenia.
Podczas pracy w trybie odłączonym systemy taktyczne odpytują lokalną pamięć podręczną dokładnie tak, jak odpytywałyby centralny hub — za pomocą tego samego API i w tym samym formacie odpowiedzi. Żądania rozpoznania encji są obsługiwane z lokalnej tabeli odwołań krzyżowych. Zapytania o złote rekordy zwracają wartości atrybutów z pamięci podręcznej wraz ze znacznikiem świeżości wskazującym, kiedy każdy atrybut został ostatnio potwierdzony przez centralny hub. Do systemów taktycznych należy prezentowanie tego znacznika świeżości użytkownikom, gdy dane mogą być nieaktualne, zamiast przedstawiania danych z pamięci podręcznej tak, jakby były bieżące.
Wszystkie operacje tworzenia, aktualizacji, scalania i podziału encji zachodzące w okresie odłączenia są zapisywane w lokalnym dzienniku zmian — uporządkowanej, ograniczonej kolejce zdarzeń zmian encji. Każde zdarzenie niesie znacznik czasu w postaci zegara wektorowego, który ustanawia częściowy porządek zdarzeń między odłączonymi węzłami bez konieczności synchronizacji zegarów ściennych. Pojemność dziennika zmian ogranicza czas pracy w trybie odłączonym: dziennik zmian zwymiarowany na 72 godziny typowej intensywności aktualizacji encji zapewnia 72 godziny niezależnej pracy, zanim synchronizacja stanie się obowiązkowa, aby zapobiec przepełnieniu dziennika. Proces planowania operacyjnego musi uwzględniać to ograniczenie.
Protokół synchronizacji po ponownym połączeniu działa w trzech fazach, gdy element wysunięty ponownie nawiąże łączność sieciową z centralnym hubem:
Model spójności ostatecznej, na którym opiera się ta architektura, daje gwarancję: po ponownym połączeniu i pomyślnym zakończeniu protokołu synchronizacji wszystkie węzły topologii MDM — centralny hub i wszystkie wysunięte pamięci podręczne — przechowują identyczny stan encji. W okresie odłączenia węzły mogą się rozchodzić. Protokół synchronizacji jest zaprojektowany tak, aby rozbieżność była ograniczona, wykrywalna i możliwa do rozstrzygnięcia bez utraty danych — żadne aktualizacje encji wykonane w okresie odłączenia nie są odrzucane, a jedynie porządkowane na nowo i ewentualnie nadpisywane przez regułę survivorship stosującą zdefiniowaną w organizacji hierarchię autorytatywności.
Implikacja operacyjna jest taka, że analitycy i systemy korzystające z wysuniętej pamięci podręcznej w okresie odłączenia muszą rozumieć, że pracują na migawce o niepewnej aktualności. Wysunięta pamięć podręczna powinna udostępniać pole „znacznik czasu ostatniej synchronizacji” na poziomie pamięci podręcznej oraz znacznik czasu „ostatniego potwierdzenia” na poziomie pojedynczego atrybutu złotego rekordu, dając systemom odbiorczym informacje potrzebne do przedstawienia odpowiednich zastrzeżeń co do pewności, gdy decyzje operacyjne zależą od danych encji, które nie były niedawno potwierdzone przez centralny hub. Ocena gotowości jednostki zbudowana na złotych rekordach sprzętu z 12-godzinną migawką i 71-godzinnym okresem odłączenia uzasadnia inny poziom pewności niż ocena zbudowana na rekordach zsynchronizowanych 30 minut przed jej wygenerowaniem. Uwidocznienie tego rozróżnienia w danych — zamiast ukrywania go za jednolitą prezentacją atrybutów złotych rekordów — sprawia, że MDM jest użyteczny, a nie zwodniczy, w kontestowanych środowiskach operacyjnych.