Laajakaistainen RF-tallennus ja spektriarkistointi forensista SIGINTiä varten

Reaaliaikainen SIGINT vastaa kysymykseen siitä, mitä nyt tapahtuu. Forensinen SIGINT vastaa erilaiseen ja usein vaikeampaan kysymykseen: mitä tapahtui silloin, ja voitko todistaa sen? Tähän vastaaminen vaatii laajakaistaisen tallennus- ja spektriarkistointikyvyn – järjestelmän, joka kaappaa raakaa IQ:ta täydellä tarkkuudella, tallentaa sen todennettavalla alkuperällä, indeksoi sen niin että analyytikko voi löytää viikkoja sitten esiintyneen signaalin, ja toistaa sen saman käsittelyketjun läpi tuloksen toistamiseksi. Tämä artikkeli käy läpi tällaisen järjestelmän arkkitehtuurin: tallennuksen etupään, IQ-datan tallennuksen, metatieto-indeksin, säilytyskäytännön ja toistopolun, joka muuttaa arkiston forensiseksi instrumentiksi.

Miksi arkistoida raakaa IQ:ta lainkaan

Useimmat operatiiviset SIGINT-putket hylkäävät raakanäytteet sekunneissa. Ne kanavoivat kaistan, havaitsevat signaalit, luokittelevat ne ja pitävät vain johdetut tuotteet – havaintotietueet, demoduloidun sisällön, paikannuskorjaukset. Se on oikea suunnittelu reaaliaikaiselle tehtävälle, jossa kysymys koskee aina nykyhetkeä ja tallennustila on rajallinen.

Forensinen työ rikkoo tämän oletuksen. Kun uusi kiinnostava lähetin ilmaantuu, analyytikot haluavat katsoa taaksepäin ja kysyä: oliko tämä signaali läsnä viime viikolla, ja missä? Kun havainto kyseenalaistetaan, analyytikon on toistettava se alkuperäisistä näytteistä. Kun uudenlainen aaltomuoto löydetään, ainoa tapa tutkia sitä on toistaa raakakaappaus uuden käsittelyn läpi, jota ei ollut olemassa signaalin tallennushetkellä. Mikään näistä ei ole mahdollista, jos järjestelmä piti vain johdetut tuotteet. Raaka IQ on perustotuus – kaikki muu on sen häviöllinen tulkinta, ja tulkinta voidaan aina tehdä uudelleen, jos näytteet säilyvät.

Tuon perustotuuden hinta on datan määrä, ja se on ankara. Yksi 100 MHz:n kanava 16-bittisinä kompleksinäytteinä tuottaa noin 400 MB joka sekunti – noin 1,44 TB tunnissa. Neljäkanavainen laajakaistakeräin jatkuvassa käytössä voi ylittää 100 TB päivässä. Spektriarkiston koko arkkitehtuuri on käytännössä joukko strategioita, joilla saadaan forensista arvoa raakasta IQ:sta maksamatta sen kaiken säilyttämisestä ikuisesti.

Tallennuksen etupää

Tallennuksen etupää sijaitsee suoraan digitoijan takana ja sillä on yksi tehtävä: siirtää kompleksinäytteet pois johdolta ja kestävälle tallennukselle pudottamatta yhtäkään. Laajakaistanopeuksilla tämä on kestävän läpisyötön ongelma, ei laskentaongelma. Vakiokuvio on lukoton rengaspuskuri isäntämuistissa, jonka digitoijan DMA täyttää ja kirjoitussäie tyhjentää kirjoittaen kiinteäkokoisia segmenttitiedostoja kirjoitusoptimoidulle tallennustasolle (NVMe striped-taulukossa, tai rinnakkaistiedostojärjestelmä erittäin korkeille kokonaisnopeuksille).

Kaksi ominaisuutta on suunniteltava sisään alusta alkaen. Ensinnäkin kurinalainen ajoitus. Jokaisen näytteen on kannettava tarkkaa, jäljitettävää aikaleimaa, joka on johdettu GPS-tahdistetusta oskillaattorista tai PTP (IEEE 1588) -referenssistä. Forensinen korrelointi keräinten välillä – ja mikä tahansa tuleva paikannustyö – riippuu aikaleimoista, jotka ovat tarkkoja parempaan kuin mikrosekunti ja todistettavasti jäljitettäviä referenssiin. Toiseksi eheys kirjoitushetkellä. Kryptografinen tiiviste (SHA-256 on tyypillinen) lasketaan jokaisesta segmentistä sitä kirjoitettaessa ja tallennetaan segmentin metatietoihin. Tämä kiinnittää kaappauksen eheyden tallennushetkellä, mikä on minkä tahansa myöhemmän todisteellisen väitteen perusta.

Tallennuksen etupää kirjoittaa myös itsekuvaavan metatietotietueen jokaiselle kaappaukselle. IQ-tiedustelukäsittely, joka kuluttaa nämä tallenteet, on sama kanavointi- ja havaintoketju, joka kuvataan läpikäynnissämme aiheesta SDR-signaalinkäsittelyputket – arkisto vain lisää kestävän tallennusvaiheen keräyksen ja käsittelyn väliin, jotta putki voi suorittaa uudelleen myöhemmin tallennettuja näytteitä vastaan.

IQ-datan tallennus ja tiedostomuoto

Tallennusmuodon valinta määrää, onko tallenne yhä käyttökelpoinen viiden vuoden kuluttua. Tosiasiallinen avoin standardi on SigMF (Signal Metadata Format), joka yhdistää binäärisen IQ-datatiedoston JSON-metatietotiedostoon. Metatiedot kuvaavat näytteenottotaajuuden, keskitaajuuden, tietotyypin (esim. kompleksi 16-bittinen kokonaisluku tai 32-bittinen liukuluku), laitteiston, kaappauksen alkuajan ja luettelon huomautuksista, jotka merkitsevät kiinnostavia alueita tiedoston sisällä. Koska muoto on itsekuvaava ja ei-omistusoikeudellinen, SigMF-tallenne pysyy tulkittavissa ilman alkuperäistä keräysohjelmistoa.

Raakanäytteiden erottaminen johdetuista metatiedoista

Spektriarkisto ylläpitää kahta fyysisesti erillistä tietovarastoa. Ensimmäinen on raaka IQ -varasto: suuret, kerran kirjoitettavat segmenttitiedostot SigMF-muodossa, kalliita säilyttää, harvoin käytetyt ja vain tavusiirtymän mukaan. Toinen on johdettu metatieto -varasto: pienet rakenteiset tietueet, jotka kuvaavat mitä IQ:sta löydettiin – havainnot, piirteet, spektrogrammit, lähetinten tunnistukset. Analyytikot hakevat johdetusta varastosta jatkuvasti; he koskettavat raakavarastoa vain silloin, kun heidän on toistettava todellisia näytteitä.

Tämä erottelu ohjaa teknologiavalintaa. Raaka IQ asuu objektitallennuksessa tai rinnakkaistiedostojärjestelmässä, joka on optimoitu peräkkäiseen läpisyöttöön. Johdetut metatiedot asuvat tietokannassa, joka on viritetty aika- ja taajuusaluekyselyille – usein sarakevarasto kuten Apache Parquet analyyttisille piirretauluille, jonka etualalla on aikasarja- tai hakuindeksi interaktiiviseen hakuun. Nämä kaksi liitetään yhteen avaimella: jokainen metatietotietue kantaa lähde-IQ-segmenttinsä polun ja kuvaamansa näytealueen tavusiirtymän.

Bittisyvyys on tietoinen kompromissi tarkkuuden ja kustannuksen välillä. Kuusitoistabittiset kompleksinäytteet säilyttävät noin 96 dB dynaamista aluetta, riittävästi heikon signaalin kaappaamiseen vahvan naapurin alapuolelta samalla kaistalla – tilanne, jossa forensinen yksityiskohta merkitsee eniten. 8-bittiin pudottaminen puolittaa datan määrän mutta hylkää tuon liikkumavaran, joten korkean bittisyvyyden tallennus varataan keräyskaistoille, joissa samakanavainen dynaaminen alue on operatiivisesti merkittävä. Päätös kirjataan SigMF-tietotyyppikenttään, jotta myöhempi analyytikko tietää tarkalleen, mitä tarkkuutta arkisto pitää.

Arkiston indeksointi

Indeksoimaton arkisto on kirjoitusvain musta aukko – näytteet menevät sisään eivätkä koskaan tule ulos, koska kukaan ei löydä niitä. Indeksointi on se, mikä muuttaa tallennuksen arkistoksi. Indeksi rakennetaan havainto- ja piirteenirrotusvaiheella, joka suoritetaan segmenttien saapuessa, samaa havaintoetupäätä, jota käytetään aiheessa spektrin seuranta luvattomien lähettimien havaitsemiseksi, uudelleenkäytettynä kirjoittamaan kestäviä indeksitietueita reaaliaikaisten hälytysten sijaan.

Jokaista havaittua signaalia varten vaihe tuottaa yhden indeksitietueen, joka sisältää vähintään: aikavälin, keskitaajuuden, käytetyn kaistanleveyden, huippu- ja keskitehon, arvioidun modulaatioluokan, lähetinten tunnistuksen silloin kun saatavilla, ja – kriittisesti – lähde-IQ-tiedoston polun ja näytealueen tavusiirtymän. Siirtymä on se, mikä tekee noudosta halpaa: analyytikon kysely palauttaa indeksitietueet, ja jokainen tietue osoittaa suoraan raakavarastoon, joten toisto on haku-ja-luku eikä skannaus.

Indeksivaraston on tuettava kyselyitä, joita analyytikot todella suorittavat ja jotka ovat ylivoimaisesti rajattuja ajassa ja taajuudessa: "näytä minulle kaikki välillä 2,40 ja 2,48 GHz tänä päivänä kaistanleveydellä alle 1 MHz ja teholla yli tämän kynnyksen." Komposiitti-indeksi (aika, taajuus, teho) havaintotietueiden yli palvelee näitä tehokkaasti. Spektrogrammit – alasnäytteistetyt aika-taajuus-tehokuvat – tallennetaan kolmannen asteen tuotteena, jotta analyytikko voi visuaalisesti skannata kokonaisen kaista-päivän dekoodaamatta yhtään raakaa IQ:ta.

Havaintovaiheen tulisi olla pikemminkin varovainen kuin nokkela. Sen tehtävä on tehdä jokaisesta signaalista löydettävä myöhemmin, ei saavuttaa lopullista luokittelua paikan päällä, joten se suosii palautusta: se merkitsee minkä tahansa energian, joka ylittää kynnyksen, vaikka modulaatioarvio olisi epävarma. Hienosäätö – modulaatioluokan vahvistaminen, lähettimen attribuointi, korrelointi keräinten välillä – tapahtuu myöhemmin, tarpeen mukaan, toistamalla indeksoitu raaka IQ raskaamman analyysin läpi. Indeksi, joka alihavaitsee, on palautumaton, koska puuttuvia signaaleja ei koskaan kirjoitettu löydettävinä tietueina; indeksi, joka ylihavaitsee, maksaa vain hieman ylimääräistä metatietotallennusta.

Säilytyskäytäntö: ainoa asia, joka pitää arkiston kohtuuhintaisena

Mikään realistinen budjetti ei pidä täysitarkkuuksista raakaa IQ:ta laajakaistakeräimestä ikuisesti. Porrastettu säilytyskäytäntö on se, mikä tekee arkistosta taloudellisesti mahdollisen, ja se on tietoinen, dokumentoitu tehtäväparametri eikä jälkikäteinen ajatus.

Taso 0 – vierivä raakapuskuri. Lyhyt ikkuna täysitarkkuuksista raakaa IQ:ta (minuuteista muutamaan tuntiin) säilytetään aina nopeimmalla tallennuksella. Sen tarkoitus on taaksepäin katsominen: kun uusi kiinnostava signaali ilmaantuu, analyytikot voivat välittömästi ulottua taaksepäin kaapatakseen hetket ennen sen merkitsemistä, jotka muutoin menetetään. Puskuri ylikirjoittaa jatkuvasti.

Taso 1 – laukaistu raakasäilytys. Laukaisimen merkitsemät kaappaukset – seurantalistaosuma, anomaliahavaitsin tai eksplisiittinen analyytikon tehtävänanto – ylennetään pois vierivästä puskurista ja säilytetään raakana IQ:na päivistä viikkoihin. Tämä on valikoiva arkistointimekanismi: järjestelmä pitää täyttä tarkkuutta vain siellä, missä todisteet viittaavat sen tarpeeseen.

Taso 2 – johdetut tuotteet, pitkäaikaisesti. Spektrogrammit, havaintometatiedot ja irrotetut piirteet säilytetään määräämättömäksi ajaksi. Ne vievät murto-osan raakadatan määrästä mutta vastaavat useimpiin forensisiin kysymyksiin yksinään. Analyytikko voi osoittaa, että signaali oli läsnä, millä taajuudella, millä ominaisuuksilla, pelkästään tasolta 2 – ja eskaloitua tason 1 raakatoistoon vain, kun näytetason todiste vaaditaan.

Tasojen välinen migraatio on automatisoitu. Vanheneva raaka IQ siirtyy kuumasta NVMe:stä halvempaan objektitallennukseen ja poistetaan lopulta käytännön mukaisesti, kun taas sen johdetut metatiedot säilyvät. Säilytysikkunat, laukaisinmäärittelyt ja poistoaikataulu ovat kaikki konfiguraatiota, ei koodia, joten keräyspäällikkö voi virittää ne tehtävää ja luokitusauktoriteettia kohti.

Toisto ja forensinen puolustettavuus

Koko arkkitehtuurin palkinto on toisto: tallennetun kaappauksen ottaminen ja sen ajaminen käsittelyn läpi ikään kuin se olisi live. Koska arkisto säilytti sekä alkuperäisen raakan IQ:n että tarkat kaappaushetken parametrit, analyytikko voi käsitellä signaalin uudelleen uudemmilla tai erilaisilla algoritmeilla tai yksinkertaisesti toistaa aiemman tuloksen sen vahvistamiseksi. Toisto siirtyy indeksitietueen tavusiirtymään, varmentaa segmentin tallennetun tiivisteen vahvistaakseen näytteet muuttumattomiksi ja syöttää alueen käsittelyketjun läpi.

Forensinen puolustettavuus on ominaisuus, joka tekee toistosta uskottavan jollekin, joka ei ollut läsnä keräyksessä. Se perustuu kolmeen asiaan, jotka arkkitehtuuri on jo tarjonnut: alkuperä – jokainen kaappaus kantaa keräimen tunnistuksen, kalibrointitilan, antennikokoonpanon ja kurinalaiset aikaleimat, jotka on kiinnitetty tallennushetkellä; eheys – kirjoitushetken tiiviste todistaa, etteivät näytteet ole muuttuneet; ja säilytysketju – jokainen pääsy, vienti ja toisto kirjataan muuttumattomaan tarkastuslokiin. Toistettavuus seuraa suoraan: koska raakanäytteet ja käsittelyparametrit molemmat säilytetään, riippumaton analyytikko voi toistaa kaappauksen ja saada samat havainnot ja mittaukset, mikä on puolustettavan forensisen löydöksen ydin.

Nämä samat alkuperä- ja pääsynvalvontavaatimukset muovaavat laajempaa keräysjärjestelmää; kerrostettu suunnittelu, joka tuottaa ne, käsitellään viitteessämme aiheesta ohjelmistoradioalustat puolustukseen.