Inferență LLM pe hardware militar de margine: rularea modelelor de limbaj în medii deconectate

Modelele mari de limbaj care rulează în întregime pe un nod local de margine — fără internet, fără API cloud, fără date care părăsesc platforma — nu mai sunt o curiozitate de cercetare. Ele sunt o realitate operațională pentru programele de apărare care au nevoie de comandă și control asistată de IA, rezumare a informațiilor sau suport autonom pentru decizii în medii în care conectivitatea este un risc mai degrabă decât un avantaj. Acest articol acoperă întreaga stivă: de ce LLM-urile cloud eșuează tactic, ce hardware și modele să alegeți, cum să le cuantificați și să le serviți eficient și cum să securizați serviciul de inferență pe un nod de margine clasificat.

1. problema conectivității

LLM-urile cloud presupun o conexie broadband stabilă și cu latență scăzută — indisponibilă sub EMCON, constrângeri de lățime de bandă MANET sau comunicații blocate activ. Rutarea datelor sensibile prin API-uri cloud comerciale creează, de asemenea, riscuri OPSEC inadmisibile pentru sarcini de lucru clasificate. Inferența LLM offline elimină toate aceste dependențe.

2. niveluri hardware pentru inferența LLM la margine

NVIDIA Jetson Orin NX 16 GB: 12–18 tok/s, 15–20 W, temperatură industrială, lanț de aprovizionare apărare — recomandare principală. Hailo-10: 40 TOPS la sub 5 W. Intel Arc A770 16 GB: 20–30 tok/s pentru servere în vehicule. ARM fără GPU: 3–6 tok/s pentru sarcini offline în lot.

3. selecția modelelor: Llama, Qwen, Mistral

Llama 3.1 8B (~73% MMLU, context 128K) — referință. Qwen2.5 7B (~74,2% MMLU) — multilingv mai puternic. Mistral 7B v0.3 (~63% MMLU) — cel mai mic cache KV pentru fără GPU. Toate disponibile ca GGUF pentru transfer în rețea izolată.

4. pipeline de cuantificare

Q4_K_M GGUF: ~4,9 GB, pierdere de calitate de 1–3% — alegere tactică standard. Q8_0: aproape fără pierderi. Evitați Q2/Q3 pentru ieșire structurată. AWQ pentru inferență GPU NVIDIA.

5. runtime-uri de inferență

Server HTTP llama.cpp — implicit. Ollama — API REST, dezactivați descărcarea automată pe nodurile în rețea izolată. vLLM — NVIDIA multi-utilizator. ExLlamaV2 — 30–40 tok/s pe Orin AGX.

6. modul margine TAKpilot

TAKpilot comută automat între Claude Sonnet (cloud) și Llama 8B local sub EMCON — sub 200 ms, fără repornire.

7. ingineria prompturilor pentru modele constrânse

Prompturi de sistem sub 200 de tokeni. Constrângeri de gramatică GBNF pentru ieșire JSON plus 2–3 încercări de reîncercare. Exemple few-shot în rândul utilizatorului.

8. securitatea pentru implementarea LLM la margine

Integritate model SHA-256 la fiecare încărcare; utilizator OS dedicat cu privilegii reduse; jurnalizare de audit rezistentă la manipulare; ieșire de rețea dezactivată pe nodurile în rețea izolată. Corespunde cu NIST SP 800-53.