Ekstrakcja IOC w czasie rzeczywistym z mediów społecznościowych i źródeł OSINT

Komercyjne feedy threat intelligence mają dobrze udokumentowany problem opóźnień. Zanim wskaźnik kompromitacji (IOC) — złośliwy adres IP, domena dowodzenia i kontroli, skrót pliku powiązany z nową próbką złośliwego oprogramowania — pojawi się w płatnym feedzie, często jest już aktywny od 24 do 72 godzin. Przeciwnicy konfigurują infrastrukturę, przeprowadzają rozpoznanie i publikują szczegóły operacyjne w ogólnodostępnych kanałach na długo przed tym, zanim jakikolwiek dostawca feedu wychwytuje sygnał. Dla inżynierów oprogramowania obronnego i zespołów zakupowych oceniających narzędzia CTI to opóźnienie nie jest przypadkiem brzegowym — to stan domyślny.

Praktyczną odpowiedzią jest zbudowanie lub pozyskanie pipeline'u, który ekstrahuje IOC bezpośrednio z otwartych źródeł, gdzie pojawiają się jako pierwsze. Artykuł ten omawia krajobraz źródeł, architekturę ekstrakcji i normalizacji, obsługę fałszywych pozytywów, mechanikę strumieniowania w czasie rzeczywistym oraz kroki wzbogacania, które przekształcają surowy wyekstrahowany wskaźnik w nadającą się do działania inteligencję zagrożeń.

Przewaga szybkości kolekcji IOC z otwartych źródeł

Luka między pierwszą wzmianką w otwartych źródłach a publikacją w komercyjnym feedzie jest dobrze ugruntowana w społeczności threat intelligence. Domena zarejestrowana jako endpoint C2 jest często ogłaszana — lub przynajmniej wykrywalna — w kanałach Telegram obsługiwanych przez aktorów zagrożeń w ciągu kilku godzin od uruchomienia. Ta sama domena może pojawić się w premium feedzie z opóźnieniem 24 do 96 godzin po tym, jak analityk dostawcy ją przetworzy i zweryfikuje. W przypadku operacji o wysokim tempie, gdzie aktorzy zagrożeń często rotują infrastrukturę, okno to stanowi cały operacyjny czas życia niektórych wskaźników.

Otwarte źródła ujawniają również typy IOC, które komercyjne feedy strukturalnie niedoreprezentują. Paste site'y otrzymują zrzuty danych z naruszeń bezpieczeństwa w ciągu minut od eksfiltracji. Kanały Telegram obsługiwane przez grupy hacktivistyczne i aktorów powiązanych z państwami ogłaszają cele, przypisują sobie zasługi i publikują materiały dowodowe obejmujące skróty, adresy IP i domeny jeszcze niekojarzone z żadną kampanią w komercyjnych bazach danych. Społeczności Reddit i wyspecjalizowane serwery Discord prowadzą dyskusje o nowo odkrytych próbkach złośliwego oprogramowania, często wraz z wartościami skrótów i opisami behawioralnymi, zanim opublikowane zostaną formalne analizy.

Wartość polega nie na tym, że otwarte źródła zastępują komercyjne feedy — nie zastępują. Komercyjne feedy dostarczają zweryfikowane, ustrukturyzowane wskaźniki wysokiego zaufania na dużą skalę. Otwarte źródła zapewniają szybkość i pokrycie źródeł zbyt zmiennych lub zbyt niszowych, by komercyjne operacje kolekcji mogły je systematycznie monitorować. Produkcyjny pipeline CTI potrzebuje obu.

Krajobraz źródeł: gdzie jako pierwsze pojawiają się IOC

Kanały Telegram. Od 2022 roku Telegram stał się główną publiczną platformą koordynacyjną i ogłoszeniową dla szerokiego spektrum aktorów zagrożeń, w tym grup powiązanych z państwami, kolektywów hacktivistycznych, operatorów ransomware i brokerów wstępnego dostępu. Odpowiednie kanały publikują listy celów przed atakami, niezwłocznie przypisują sobie zasługi po ich zakończeniu i zamieszczają zrzuty ekranu lub próbki danych zawierające ekstrahowalné IOC. Wolumen jest wysoki, a gęstość sygnału nierówna: jeden aktywny kanał może produkować dziesiątki wartościowych IOC tygodniowo obok dużych wolumenów treści propagandowych bez żadnej ekstrahowalnej inteligencji. Systematyczna kolekcja wymaga selekcji kanałów, filtrowania wiadomości i przetwarzania z uwzględnieniem języka dla kanałów działających w języku rosyjskim, ukraińskim, arabskim, chińskim i innych.

Paste site'y. Pastebin i jego funkcjonalne odpowiedniki (Ghostbin, instancje PrivateBin i dedykowane serwisy wycieków) otrzymują wysokie wolumeny zrzutów danych. Zawartość waha się od skradzionych list poświadczeń zawierających nazwy domen, adresy e-mail i zahaszowane hasła, po bardziej operacyjnie istotne zrzuty, w tym diagramy sieci, pliki konfiguracyjne z osadzonymi adresami IP i dzienniki wyjść narzędzi zawierające dane rozpoznawcze. Publiczne API paste site'ów i feedy RSS umożliwiają kolekcję w czasie zbliżonym do rzeczywistego. Wyzwaniem jest wolumen: dziesiątki tysięcy nowych past dziennie, z których zdecydowana większość jest nieistotna dla żadnego konkretnego celu monitorowania.

Konta threat intelligence na Twitter/X. Populacja badaczy bezpieczeństwa i dostawców używa Twitter/X jako podstawowego kanału publikacyjnego dla nowo odkrytych IOC. Wartości skrótów z pierwszej publikacji, rejestracje domen C2 i analizy próbek złośliwego oprogramowania często pojawiają się jako tweety przed jakąkolwiek inną publikacją. Filtrowany dostęp do strumienia z filtrami słów kluczowych i kont kierowanymi na znane konta o wysokim sygnale umożliwia kolekcję IOC z tego źródła w czasie zbliżonym do rzeczywistego. Ograniczenia formatu platformy (krótki tekst, URL-e, stosowanie konwencji defangingu) wymagają specyficznej obsługi parsowania.

Fora dark web. Fora brokerów dostępu — gdzie sprzedawany jest wstępny dostęp do skompromitowanych sieci — oraz serwisy wycieków grup ransomware publikują treści zawierające ekstrahowalné IOC: nazwy domen organizacji ofiar, szczegóły infrastruktury i skradzione próbki plików. Kolekcja wymaga scrapera HTTP z proxy Tor i jest operacyjnie bardziej złożona niż kolekcja z jawnego internetu, jednak wartość inteligencyjna dla organizacji obronnych (wczesne ostrzeżenie o wystawieniu dostępu do sieci na sprzedaż lub identyfikacja włamania przed publicznym ujawnieniem) uzasadnia tę złożoność.

Reddit i techniczne społeczności bezpieczeństwa. Subreddity poświęcone analizie złośliwego oprogramowania, inżynierii wstecznej i reagowaniu na incydenty goszczą dyskusje o nowo odkrytych próbkach. Wartości skrótów, wskaźniki behawioralne i szczegóły infrastruktury C2 pojawiają się w tych dyskusjach, często przed opublikowaniem formalnych raportów. Format dyskursu wymaga ekstrakcji opartej na NER zamiast prostego dopasowania regex, ponieważ wartości IOC są osadzone w tekście swobodnym.

Pipeline ekstrakcji NLP: regex, NER i normalizacja

Pipeline ekstrakcji IOC działa na dwóch równoległych ścieżkach: ekstrakcji opartej na wzorcach dla typowanych wskaźników i ekstrakcji opartej na modelu dla nieustrukturyzowanych wzmianek encji.

Refanging jako krok preprocessingu. Przed jakimkolwiek dopasowaniem wzorców surowy tekst musi zostać zrefangowany. Praktycy bezpieczeństwa defangują IOC w tekście, aby zapobiec przypadkowej aktywacji — zastępując „http" przez „hxxp", wstawiając nawiasy wokół kropek (np. „198.51.100[.]1"), podstawiając „[at]" za „@" w adresach e-mail i podobnych konwencjach. Preprocesor refangingu przywraca kanoniczną formę przed zastosowaniem wzorców. Pominięcie tego kroku powoduje systematyczne błędy ekstrakcji: zdefangowane wskaźniki są niezwykle powszechne na Twitter/X i forach bezpieczeństwa, a pipeline pomijający refanging przeoczy znaczną część dostępnych IOC.

Wzorce regex dla typowanych IOC. Po refangingu wzorce regex ekstrahują:

• Adresy IPv4: standardowy wzorzec czterech oktetów z wykluczeniami dla zakresów dokumentacyjnych (192.0.2.0/24, 198.51.100.0/24, 203.0.113.0/24) i zakresów prywatnych
• Adresy IPv6: formy pełne i skompresowane
• Domeny: dopasowanie wzorców prawidłowych hostnamów rejestrowych, z walidacją TLD względem Public Suffix List w celu redukcji fałszywych pozytywów z fragmentów słów pasujących do wzorca hostname
• URL-e: pełny URL ze schematem, opcjonalnymi poświadczeniami, hostem, ścieżką i ciągiem zapytania
• Skróty plików: MD5 (32 znaki hex), SHA-1 (40 znaków hex), SHA-256 (64 znaki hex) — rozróżniane długością; szerszy wzorzec ciągu hex generuje zbyt wiele fałszywych pozytywów i nie powinien być używany
• Identyfikatory CVE: format CVE-YYYY-NNNNN z walidacją roku
• Adresy e-mail: standardowy wzorzec RFC 5322 z obsługą defangingu

NER dla nieustrukturyzowanych wzmianek encji. Wzorce regex nie wychwytują nazw aktorów zagrożeń, nazw rodzin złośliwego oprogramowania, identyfikatorów kampanii ani kontekstowych odniesień do atakowanych organizacji. Model rozpoznawania nazwanych encji wytrenowany na korpusach cyberbezpieczeństwa ekstrahuje te encje. Wstępnie wytrenowane modele, takie jak te dostępne z rodzin CyberSecBERT lub SecBERT, znacznie przewyższają ogólne modele NLP na tym słownictwie. Normalizacja encji — mapowanie aliasów i wariantów pisowni na kanoniczne identyfikatory — to osobny krok post-processingu oparty na tabeli przeglądowej utrzymywanej przez zespół threat intelligence.

Deduplikacja. Ta sama wartość IOC wyekstrahowana z wielu źródeł w krótkim oknie czasowym musi zostać zdeduplikowana przed dostarczeniem analitykowi. Na poziomie wartości dokładna deduplikacja jest prosta. Na poziomie dokumentu haszowanie MinHash locality-sensitive identyfikuje niemal duplikaty postów — to samo ogłoszenie udostępnione w wielu kanałach Telegram — i sprowadza je do jednego kanonicznego rekordu z listą proweniencji zamiast generowania osobnych alertów na kanał.

Obsługa fałszywych pozytywów: ocena kontekstu i wiarygodność źródła

Surowa ekstrakcja regex zastosowana do tekstów z mediów społecznościowych produkuje dużą liczbę fałszywych pozytywów. Adres IP wspomniany jako znany dobry resolver DNS, domena cytowana jako legalne odniesienie lub wartość skrótu podana jako łagodny przykład — wszystkie pasują do wzorców ekstrakcji, ale nie mają żadnej wartości inteligencyjnej. Filtrowanie ich wymaga warstwy oceniającej zastosowanej do każdego kandydata IOC.

Ocena okna kontekstu. Dla każdego wyekstrahowanego kandydata okno 100 znaków otaczające dopasowanie jest analizowane pod kątem sygnałów kontekstowych. Terminy pozytywnego sygnału — „C2", „beacon", „payload", „infected", „dropped", „malicious", „compromised", „callback" — zwiększają ocenę zaufania. Terminy negatywnego sygnału — „sinkhole", „benign", „example", „test", „legitimate", „documented safe" — zmniejszają ją. Okno kontekstu sprawdza również wzorce negacji: „not malicious" powinno być oceniane inaczej niż „malicious".

Ważenie wiarygodności źródła. Badacz z udokumentowaną historią dokładnych publikacji IOC wnosi wyższe podstawowe zaufanie niż anonimowe konto na paste site'ie o niskiej reputacji. Oceny wiarygodności źródła są utrzymywane per źródło i per konto, aktualizowane na podstawie pętli zwrotnych: gdy wcześniej wyekstrahowany IOC zostaje potwierdzony w zweryfikowanym incydencie, ocena wiarygodności źródła wzrasta; gdy wyekstrahowany IOC zostaje potwierdzony jako łagodny, maleje. Z czasem tworzy to samoregulujący system reputacji źródeł.

Heurystyki strukturalne. Niektóre klasy fałszywych pozytywów są wychwytywalne za pomocą lekkich heurystyk niezależnych od tekstu kontekstu. Adresy IPv4 w zakresach dokumentacyjnych nigdy nie są wykonalne. Domeny zarejestrowane ponad pięć lat temu bez żadnych innych złośliwych powiązań są mało prawdopodobne jako nowo aktywna infrastruktura C2. Skróty plików krótsze niż 32 znaki pasujące do wzorca MD5 są prawdopodobnie skróconymi wartościami z szerszego ciągu hex. Warstwa filtru heurystycznego zastosowana przed oceną kontekstu redukuje zbiór kandydatów bez kosztu obliczeniowego pełnej analizy kontekstu.

Strumieniowanie w czasie rzeczywistym: architektura pipeline'u opartego na Kafka

Przy wolumenach produkcyjnych — monitorowaniu setek kanałów Telegram, wielu feedów paste site'ów i strumieni mediów społecznościowych o wysokiej częstotliwości jednocześnie — synchroniczna architektura przetwarzania nie może utrzymać niskich opóźnień. Architektura kolejki komunikatów oddziela kolekcję od przetwarzania i umożliwia poziome skalowanie każdego etapu niezależnie.

Typowa architektura umieszcza Apache Kafka w centrum. Adaptery kolekcji publikują surowe wiadomości do tematu Kafka specyficznego dla źródła. Konsument preprocessingu odczytuje z tych tematów, przeprowadza refanging i wykrywanie języka oraz publikuje znormalizowane dokumenty do tematu przetwarzania. Konsument ekstrakcji i oceny odczytuje znormalizowane dokumenty, przeprowadza ekstrakcję regex i NER, stosuje ocenę kontekstu i publikuje kandydatów IOC do tematu wyników ekstrakcji. Konsument wzbogacania odczytuje kandydatów wysokiego zaufania i uruchamia asynchroniczne zapytania do zewnętrznych serwisów (VirusTotal, Shodan, dostawcy pasywnego DNS). Wzbogacone rekordy IOC są publikowane do finalnego tematu wyjściowego konsumowanego przez integrację MISP i systemy alertowania analityków.

Ta architektura zapewnia kilka właściwości operacyjnych krytycznych dla produkcyjnego pipeline'u threat intelligence. Awarie etapów są izolowane — przerwa API VirusTotal zatrzymuje wzbogacanie, ale nie blokuje ekstrakcji ani kolekcji. Backpressure jest obsługiwany przez model przesunięcia konsumenta Kafka: jeśli ekstrakcja pozostaje w tyle za kolekcją podczas skoku, zaległości gromadzą się w Kafka i są przetwarzane po odzyskaniu wydajności. Odtwarzanie jest dostępne: każdy etap może ponownie przetworzyć historyczne wiadomości przez zresetowanie przesunięć konsumenta, umożliwiając retrospektywną analizę po dodaniu nowych wzorców ekstrakcji.

Całkowite opóźnienie od opublikowania wiadomości na Telegramie do dotarcia IOC wysokiego zaufania do kolejki alertów analityków wynosi zazwyczaj poniżej 90 sekund w dobrze zestrojonym wdrożeniu, przy czym większość tego czasu jest poświęcona na wywołania API wzbogacania. W przypadku paste site'ów z kolekcją opartą na pollingu dolna granica opóźnienia to interwał pollingu — zazwyczaj od jednej do pięciu minut dla priorytetowych źródeł paste.

Wzbogacanie feedu: dodawanie kontekstu operacyjnego

Surowy wyekstrahowany IOC — adres IP, nazwa domeny, skrót pliku — nie jest jeszcze nadającą się do działania inteligencją. Wzbogacanie przekształca go w kontekstowy rekord, którego analityk może użyć do podjęcia decyzji o blokowaniu lub dochodzeniu bez dodatkowych ręcznych wyszukiwań.

Wyszukiwanie reputacji VirusTotal dostarcza zbiorowy werdykt dziesiątek dostawców antywirusowych i threat intelligence na temat danego wskaźnika. Domena lub skrót z zerową liczbą wykryć w chwili ekstrakcji może zostać oznaczona w ciągu godzin, gdy inni dostawcy przetworzą ten sam wskaźnik. Pipeline buforuje wyniki VirusTotal z krótkim TTL (zazwyczaj 24 godziny dla adresów IP i domen, dłużej dla skrótów plików) i ponownie odpytuje po wygaśnięciu buforu w celu ujawnienia zaktualizowanych werdyktów.

Pasywny DNS dostarcza historię rozwiązywania nazw domeny lub adresu IP: które domeny były rozwiązywane na ten adres IP, na jakie adresy IP ta domena była rozwiązywana i kiedy te rozwiązania miały miejsce. Pasywny DNS jest niezbędny do identyfikacji ponownego użycia infrastruktury w kampaniach — nowa domena C2 rozwiązywana na adres IP wcześniej powiązany ze znanym aktorem zagrożeń to silny sygnał atrybucyjny, który byłby niewidoczny z samego rekordu domeny.

Wyszukiwania Shodan dla IOC typu IP dostarczają profil otwartych portów, działające usługi i dane certyfikatu widoczne pod tym adresem w czasie kolekcji. Adres IP obsługujący nieoznakowaną usługę HTTPS na niestandardowym porcie, z niedawno wystawionym certyfikatem self-signed i bez żadnej innej historii hostingu, jest znacznie bardziej podejrzanym kandydatem C2 niż adres IP obsługujący standardowy stos usług głównej sieci CDN.

WHOIS i świeżość rejestracji. Domeny zarejestrowane w ciągu ostatnich 30 dni są znacznie bardziej prawdopodobne jako złośliwa infrastruktura niż domeny z wieloletnimi historiami rejestracji. Data rejestracji WHOIS to tanie, wysoko sygnałowe wzbogacenie, które powinno być standardowe dla każdego IOC typu domenowego.

Szczegółowe omówienie tego, w jaki sposób Telegram służy zarówno jako źródło kolekcji, jak i medium sygnałowe dla aktorów zagrożeń, znajdziesz w naszym wcześniejszym artykule o budowaniu zdolności monitorowania threat intelligence przez Telegram. Szerszy kontekst platformy, w którym mieści się ekstrakcja IOC, omawia artykuł o architekturze platformy cyber threat intelligence dla sektora obronnego.

Integracja MISP i dostarczanie do analityków

Wyjście pipeline'u ekstrakcji i wzbogacania powinno natywnie integrować się z istniejącym przepływem pracy threat intelligence analityka, zamiast tworzyć osobne silo danych. MISP (Malware Information Sharing Platform) to standardowa otwarta platforma do zarządzania strukturalnymi IOC w środowiskach CTI sektora obronnego i rządowego.

Każdy klaster powiązanych IOC wyekstrahowanych z pojedynczego dokumentu źródłowego — posta na Telegramie, wpisu na paste site'ie — jest przesyłany jako zdarzenie MISP. Zdarzenie zawiera tekst źródłowy jako atrybut wolnотекstowy, wyekstrahowane IOC jako typowane atrybuty (ip-dst, domain, md5, sha256, url, vulnerability) i kontekstowe tagi: klasyfikację TLP (zazwyczaj TLP:WHITE lub TLP:GREEN dla niejawnego OSINT), tag wiarygodności źródła, tag poziomu zaufania i wszelkie tagi technik MITRE ATT&CK wywodzące się z tekstu kontekstu. Metadane wzbogacania — oceny VirusTotal, rekordy pasywnego DNS, dane Shodan — są dołączane jako dodatkowe atrybuty lub relacje obiektów.

Dla IOC wysokiego zaufania z wysoko wiarygodnych źródeł integracja MISP wyzwala natychmiastowy alert SOAR, przekazując wskaźnik do kolejki analityka z flagą priorytetu. Masowe IOC niższego zaufania gromadzą się w kolejce triage'u do okresowego przeglądu analityka. Ten dwuścieżkowy model dostarczania zapobiega zmęczeniu alertami, zapewniając jednocześnie, że naprawdę pilne wskaźniki otrzymują natychmiastową uwagę.