Koalition testausvaljaat: Kuinka CWIX-valmis koodi testataan ennen Brysseliä

CWIX — the Coalition Warrior Interoperability eXercise — järjestetään kerran vuodessa Bydgoszczissa JFC Brunssumin tukemana. Kolme viikkoa. Satoja valtioita ja toimittajia. Aitoja kumppanijärjestelmiä kytkettynä samaan rakenteeseen kuin omasi. Se on maailman ainoa paikka, jossa NATO:n yhteistoiminnallisuutta testataan rehellisesti laajassa mittakaavassa, eikä se anna anteeksi. Koodi, joka "läpäisi vaatimustenmukaisuuden" kotona, epäonnistuu säännönmukaisesti ensimmäisessä toimittajien välisessä kättelyssä paikan päällä.

Ratkaisu ei ole odottaa Brysseliä. Ratkaisu on koalition testausvaljaat — tarkoituksella suunniteltu järjestelmä, joka harjoittaa yhteistoiminnallisuuskoodiasi simuloituja kumppanijärjestelmiä vastaan aina kun työnnät commitin. Tämä artikkeli on insinöörimäinen läpikäynti: mitä valjaat sisältävät, mitkä työkalut kuuluvat niiden sisälle ja kuinka niitä ajetaan, jotta ensimmäinen päivä CWIX:ssä on tylsä eikä katastrofaalinen.

Miksi koalition testausvaljaat

Talous on suorasukaista. CWIX:ssä löydetty bugi maksaa noin kaksi suuruusluokkaa enemmän kuin CI:ssä löydetty bugi. Tiimi on matkalla, testausikkuna on kiinteä, eikä kumppanijärjestelmä, jonka kanssa sinun täytyy testata uudelleen, ehkä ole taas saatavilla ennen ensi vuotta. Vielä pahempaa, kumppanien luottamus rapautuu nopeasti — toimittaja, jonka yhdyskäytävä turmelee Link 16 J3.2 -pintajäljen ensimmäisenä päivänä, ohitetaan hiljaa loppuharjoituksen ajan. Akkreditoinnin lopputulos on tuon ensivaikutelman seuraus.

Syvempi ongelma on, että CWIX on yleensä ensimmäinen kerta, kun ulkomainen järjestelmä ylipäätään näkee viestisi. Kirjoitit koodin ADatP-3:n mukaisesti pilkulleen. Ajoit STANAG-vaatimustenmukaisuustyökalun. Viestisi jäsentyvät puhtaasti omassa lähettimessäsi ja omassa kuluttajassasi. Mikään tästä ei todista, että koodisi toimii yhteen saksalaisen JCHAT-instanssin, ranskalaisen SICF-NG-yhdyskäytävän tai yhdysvaltalaisen JREAP-C-päätteen kanssa, jota ohjaa eri toimittajan tulkinta samasta STANAG:sta. Koalition testausvaljaat siirtävät tuon ensikontaktitapahtuman Brysselistä kannettavallesi. Katso laajempi kuva täydellisestä NATO-yhteistoiminnallisuusoppaastamme.

Yhteistoiminnallisuuskoodin testipyramidi

Yhteistoiminnallisuuskoodi ansaitsee oman testipyramidinsa. Muoto on tuttu; kerrokset ovat erityisiä.

Yksikkö — viestirakenne. Puhtaita testejä lankaformaatin jäsentimelle ja sarjallistajalle. Tee edestakainen kierros tunnetusti hyvästä tavupuskurista muistissa olevaan rakenteeseen ja takaisin. Raja-arvokentät (bittipakatut luettelot J-sarjassa, kiinteäpituiset tunnisteet ADatP-34:ssä) ansaitsevat erilliset ominaisuuspohjaiset testit Hypothesis-, jqwik- tai fast-check-työkaluilla. Kattavuuden tällä kerroksella tulisi olla lähes täydellinen — nämä testit ovat halpoja ja ne nappaavat hiljaiset turmeltumisbugit, joita ihmiset eivät koskaan huomaa heksavedoksesta.

Integraatio — yksittäisen protokollan edestakainen kierros. Käynnistä protokollapino prosessin sisällä, lähetä generoitu viesti lähettimeesi, reititä se silmukkasiirron kautta ja varmista, että kuluttaja rakentaa vastaavan rakenteen uudelleen. Tässä nappaat tavujärjestysvirheet, ajankäännösbugit (NATO-aika, UTC, GPS-aika, karkaussekunnit) ja koordinaatistovirheet (WGS-84 vs. MGRS vs. UTM). Käytä Testcontainersia, jos polulla on aito välittäjä (NATS, ActiveMQ, RabbitMQ NFFI:lle).

Järjestelmä — monen protokollan yhdyskäytävä. Useimmat koalitiojärjestelmät ovat yhdyskäytäviä. Jälki saapuu Link 16 J3.2 -muodossa, poistuu ADatP-34 NFFI -muodossa ja peilataan CoT/MQTT-syötteeseen tilannekuva-asiakkaita varten. Järjestelmäkerros kytkee koko liukuhihnan yhteen docker-compose- tai k3d-klusterin sisällä, syöttää viestejä sisään ja varmistaa protokollien väliset invariantit — jäljen ID:n vakauden, sijaintitarkkuuden toleranssin sisällä, luokituksen säilymisen.

CWIX — aidot kumppanijärjestelmät. Pyramidin huippua ei voi välttää: et voi täysin simuloida kumppanijärjestelmää, jota et ole koskaan nähnyt. Mutta pyramidi pitää tuon huipun kapeana. Siihen mennessä, kun laskeudut Bydgoszcziin, yhdeksänkymmentäviisi prosenttia bugeista pitäisi jo olla kuolleita.

Viestigeneraattorit

Valjaat seisovat tai kaatuvat generoidun liikenteensä realismin varassa. Puolittain uskottavat generaattorit antavat väärää luottamusta.

Link 16 J-sarjan generaattorit. Rakenna parametrisoitu generaattori jokaiselle J-sarjan viestiperheelle — J2-valvonta, J3.2-pintajälki, J7-tiedonhallinta, J12-tehtävänhallinta. Bittitason tarkkuudella on merkitystä: väärä varatun kentän oletusarvo läpäisee oman dekooderisi mutta epäonnistuu kumppanin dekooderissa. Työkalut kuten MIDS-LVT-simulaattorin tuloste ja NSA:n julkaisema J-Series Message Catalog ovat viiteaineisto. Kääri ne fuzzeriin, joka vaihtelee ilmoitettua luokitusta, lähteen TN:ää ja jäljen laatua.

ADatP-34 (NFFI) -lähettimet. NFFI 1.3 / IP1 / IP2 -viestejä SOAP:n tai REST:n yli. Rakenna lähettimiä, jotka tuottavat sekä vaatimustenmukaisia että tarkoituksella lähes vaatimustenmukaisia hyötykuormia — kumppanien jäsentimet vaihtelevat tiukkuudeltaan, ja valjaiden täytyy paljastaa myös oman kuluttajasi tiukkuus. NATO NCIA:n julkaisemat NFFI XSD:t ovat sopimus; validoi jokainen generoitu viesti niitä vastaan ennen lähetystä.

CoT- ja MQTT-injektio. Cursor-on-Target XML TCP:n tai MQTT:n yli on taktisten SA-asiakkaiden (ATAK, WinTAK, iTAK) yhteinen kieli. Generoi CoT-tapahtumia realistisilla vanhentumisajoilla, geoaidatuilla laajuuksilla ja vaihtelevilla yksityiskohtalaajennuksilla. Mosquitto kontissa hoitaa välittäjäpuolen; korkeamman tarkkuuden saavuttamiseksi aja TAK Server CE.

MIP4-IES-viestitehtaat. Multilateral Interoperability Programmen MIP4 Information Exchange Specification (aiemmin tunnettu nimellä JC3IEDM tietomallitasolla) ohjaa jäsenneltyä C2-vaihtoa. MIP4-viestitehtaat ovat raskaampia — RDF-kolmikoita ja SPARQL-pohjaista väittämistä — mutta korvaamattomia, jos koodisi koskettaa kansallista C2-järjestelmää.

Kumppanijärjestelmäsimulaattorit

Yksikään simulaattori ei kata koko kirjoa. Yhdistä niitä.

JREAP-C-päätesimulaattorit. JREAP (Joint Range Extension Applications Protocol) kuljettaa Link 16:ta IP:n yli. Useat toimittajat toimittavat JREAP-C-päätesimulaattoreita; Yhdysvaltain laivaston avoin NavyJTIDS-testipaketti sekä ViaSatin tai Ultran kaupalliset tarjonnat ovat yleisiä. Tarkkuusvaje: ajoitus — aidot päätteet tuovat J-sarjan synkronoinnin aikavälidynamiikkaa, jonka pelkät ohjelmistosimulaattorit litistävät.

JISR-Lite. NATO:n Joint Intelligence, Surveillance and Reconnaissance -viitetoteutus. Erinomainen STANAG 4609 -liikkuvan kuvan metatietoon ja STANAG 4559 CSD -tuotekyselyihin/-hakuihin. Aja sitä virtuaalikoneessa; suuntaa koodisi sen päätepisteisiin. Tarkkuusvaje: luettelon mittakaava — aidot koalition CSD:t pitävät hallussaan suuruusluokkia enemmän tuotteita kuin viiteaineisto.

NCI Server -viitejärjestelmät. NCIA julkaisee viitetoteutuksia useille FMN-kierteiden palveluille — hakemisto, viestintä, tilannekuvan julkaise/tilaa. Ne eivät ole sertifioituja kumppanijärjestelmiä, mutta ne paljastavat lankaformaatit ja todennusvirrat, jotka sinun täytyy täsmätä. Tarkkuusvaje: varmenneluottamusketjut — aidot FMN-solmut päättyvät PKI-hierarkioihin, joita et voi täydellisesti jäljitellä ilman koalition CA:ita.

Simuloidut FMN-solmut. Pystytä minimaalinen FMN-solmu käyttämällä NCIA:n viitepalveluja sekä paikallista PKI:tä (step-ca tai smallstep) luottamusrakenteeseen. Konfiguroi FMN Spiral 4- tai Spiral 5 -palveluprofiilit riippuen siitä, mihin harjoitukseen valmistaudut. Käy tämä konfiguraatio läpi akkreditoinnin todistepaketin tarkkuudella — katso CWIX-akkreditointi.

Vaatimustenmukaisuussarjat

NATO STANAG -vaatimustenmukaisuusraportit ovat välttämättömiä mutta riittämättömiä. Ne todistavat, että viestisi vastaavat standardin syntaktisia ja semanttisia sääntöjä. Ne eivät todista, että saksalainen kumppani ymmärtää tarkoituksesi.

Aja sarjat silti. ADatP-3-viestiluetteloiden mukana tulee validaattoreita; STANAG 4774/4778 -luottamuksellisuusmetatiedolla on omansa. NFFI XSD -validointi ei ole neuvoteltavissa. FMN-vaatimustenmukaisuusportit kierrettä kohden on lukittu dokumentoituun todisteeseen — valjaidesi tulisi tuottaa tuo todiste käännösartefaktina. Yhdistä vaatimustenmukaisuusraportit NATO AQAP-2110 -ohjelmistolaatutodisteisiin pitääksesi akkreditoinnin tarkastajat liikkeessä; katso AQAP-2110-läpikäyntimme.

Kuilu "läpäisee testin" ja "toimii yhteen ihmisten kanssa" välillä suljetaan vain kumppanijärjestelmien harjoittelulla. J3.2-pintajälki, joka noudattaa täydellisesti standardia mutta käyttää jälkinumeroavaruutta, joka törmää kumppanin allokaatioon, epäonnistuu ihmisen arvioimassa yhteistoiminnallisuudessa ensimmäisenä päivänä. Dokumentoi allokaationeuvottelut nimenomaisesti valjaidesi konfiguraatiossa; käsittele niitä testidatana.

Jatkuva integraatio yhteistoiminnallisuudelle

Valjaiden on ajettava jokaisessa pull request -pyynnössä. Jos ne ajetaan vain öisin, tiimi on jo hyväksynyt viikkojen ajautuman siihen mennessä kun CWIX saapuu.

Leivo valjaat yhteen CI-työhön: GitLab CI tai Azure DevOps Pipelines toimivat kaikki. Käytä kontitettuja simulaattoreita, jotta työ on hermeettinen. Tallenna deterministinen viestikorpus — kuratoitu kokoelma J-sarjan, NFFI:n, CoT:n ja MIP4:n viestejä tunnetusti hyvine odotettuine tuloksineen — ja toista se jokaisessa käännöksessä. Tee tilannevedosregressio jokaiselle lankaformaattitulosteelle: yhden tavun muutos sarjallistajassa on juuri se bugi, joka rikkoo kumppanin.

Alkuperällä on merkitystä. Jokaisen valjasajon tulisi tuottaa allekirjoitettu artefaktinippu — vaatimustenmukaisuusraportit, viestikorpuksen versio, simulaattorien versiot, SBOM:isi. Sido tämä toimitusketjun hallintaan, joka on kuvattu artikkelissa SBOM:n valvonta puolustusalan liukuhihnoilla.

Negatiiviset testit

Useimmat yhteistoiminnallisuusbugit ilmenevät onnettomalla polulla. Valjaiden täytyy ajaa sitä tarkoituksella.

Virheelliset viestit. Katkaise Link 16 J-sarjan kehykset kesken kentän. Turmele bittipakatut luettelot varattuihin arvoihin. Lähetä NFFI-hyötykuormia tarkoituksella virheellisillä XSD:illä. Kuluttajasi tulisi hylätä, kirjata lokiin ja jatkaa — ei koskaan kaatua, ei koskaan hiljaa hyväksyä, ei koskaan välittää eteenpäin.

Tietoturvakerrokset. Vaihtele STANAG 4774 -luottamuksellisuusmetatietoa: lähetä NATO SECRET -merkitty viesti kuluttajalle, jolla on lupa vain tasolle NATO RESTRICTED. Kuluttajan täytyy kieltäytyä ja auditoida, ei alentaa luokitusta. STANAG 4778 -sidontarikkomusten — allekirjoituksen täsmäämättömyys metatietoon sidotussa hyötykuormassa — täytyy epäonnistua suljetusti.

Luokituksen väärinkäsittely. Toimialueiden väliset virheet ovat uran päättäviä koalitio-operaatioissa. Injektoi sekaluokituseriä yhdyskäytävääsi ja varmista, että korkeimman luokituksen sääntö pätee koko erään. Injektoi viestejä, joista puuttuu luokitusmetatieto kokonaan — koodisi täytyy hylätä, ei koskaan käyttää oletusta.

Aikaeron reunatapaukset. Kellot ajautuvat, GPS-aika ja UTC eroavat karkaussekuntien yli, ja kumppanijärjestelmät raportoivat joskus ajan kentissä, jotka eivät vastaa niiden lankamäärittelyä. Aja valjaitasi tarkoituksella vinoutuneilla aikaleimoilla (positiivisilla ja negatiivisilla) ja varmista, että koodisi rajaa, hylkää tai kirjaa lokiin vaatimuksen mukaisesti — ei koskaan hiljaa hyväksy viestiä, joka on päivätty ensi vuodelle.

CWIX-valmistelu

Kuusi viikkoa ennen harjoittelukierros alkaa. Jäädytä valjaiden laajuus; ei uusia ominaisuuksia ennen kuin Bryssel on ohi. Pystytä talon sisäinen "mini-CWIX" — suljettu tapahtuma kahden tai kolmen päivän ajaksi, jossa jokainen yrityksen tiimi, joka koskettaa järjestelmää, kytkeytyy samanaikaisesti. Tavoite ei ole löytää uusia bugeja; tavoite on tehdä operaatio- ja matkatiimeistä sujuvia paikan päällä ennen kuin he kohtaavat aidon kumppanin.

Neljä viikkoa ennen aja kumppanin pukuharjoitus. Koordinoi ystävällismielisen toimittajan tai liittolaisyksikön kanssa yhden päivän virtuaalivaihto. Jopa yksittäinen ulkoinen yhteys paljastaa oletukset, jotka valjaasi ovat sisäänrakentaneet. Tallenna jokainen pcap, jokainen loki; opit ruokkivat ensi vuoden valjaskorpusta.

Kaksi viikkoa ennen lukitse artefakti. Merkitse käännös tagilla. Polta simulaattorin levykuvasarja Bydgoszcziin matkustaville kannettaville. Esivalmistele jokainen vaatimustenmukaisuusraportti, jokainen SBOM, jokainen allekirjoitettu todistenippu siinä muodossa, jota JFC Brunssumin akkreditoinnin tarkastajat odottavat.

Paikan päällä kuri on lokitusta. Tallenna jokainen tavu jokaisesta rajapinnasta, luokiteltu ja luokittelematon, synkronoiduilla kelloilla. Lajittele reaaliajassa mutta älä ratkaise mitään tuhoavasti — CWIX:n arvo ei ole bugeissa, jotka korjaat harjoituksen aikana; se on bugeissa, jotka korjaat valjaisiin jälkikäteen, jotta ne eivät koskaan toistu. Uskollisesti suoritettu opit-talteen-kierros on se, mikä ruokkii ensi vuoden puhdasta ajoa ja sitä seuraavaa vuotta.