Flexibilitatea modelelor TAKpilot: Cloud, air-gapped și edge AI pentru medii tactice

Fiecare mediu tactic este diferit. Unele unități operează cu conectivitate persistentă, de bandă largă, la o enclavă cloud clasificată; altele înaintează în zone unde singura rețea este radioul mesh din ranița soldatului. Copiloturile AI care funcționează doar când stelele se aliniază — conectivitate completă, acces la cloud comercial, fără restricții de clasificare — nu sunt instrumente utile pentru operațiunile militare. TAKpilot, copilotul AI de chat al Corvus Intelligence pentru CloudTAK, este construit în jurul unei arhitecturi agnostice față de model, care le oferă comandanților și integratorilor de sisteme o alegere reală: rulează Claude Opus 4.7 față de API-ul Anthropic pentru performanță analitică maximă sau desfășoară Llama 3.3 70B pe un server GPU ruggedizat, cu zero dependență de internet. Acest articol acoperă cum funcționează acea arhitectură, cum să selectezi modelul potrivit pentru un context de misiune dat și cum să configurezi TAKpilot pentru desfășurări edge air-gapped, pas cu pas.

De ce contează agnosticismul față de model pentru desfășurările de apărare

Produsele AI comerciale codifică de obicei rigid un singur furnizor. Această abordare creează o dependență strictă de conectivitatea la internet, de disponibilitatea API-ului comercial și de termenii de manipulare a datelor ai furnizorului — constrângeri care sunt frecvent incompatibile cu mediile clasificate sau sensibile operațional. Arhitectura TAKpilot rezolvă acest lucru abstractizând accesul la model în spatele unei singure interfețe: specificația API compatibilă OpenAI. Orice model care vorbește acest protocol — fie găzduit de Anthropic, AWS, Google sau de un server de inferență local care rulează pe același rack ca nodul CloudTAK — este un backend TAKpilot valid.

Aceasta nu este o flexibilitate teoretică. TAKpilot este desfășurat operațional cu Forțele de apărare ale Ucrainei, unde condițiile de rețea, constrângerile de conectivitate și cerințele de clasificare variază semnificativ în cadrul forței. Un element de cartier general cu conectivitate fiabilă folosește Claude Sonnet 4.6 prin API-ul Anthropic. O unitate desfășurată înainte, cu doar conectivitate radio tactică, rulează Llama 3.3 8B pe un nod de inferență local. Ambele unități interacționează cu aceeași interfață TAKpilot; doar backendul diferă.

Ghid de selecție a modelului: potrivirea capacității cu contextul misiunii

TAKpilot acceptă trei niveluri de modele Claude prin API-ul Anthropic, plus întreaga gamă de modele deschise prin interfața compatibilă OpenAI. Alegerea dintre ele implică compromisuri între profunzimea raționamentului, latență, costul operațional și cerințele de conectivitate.

Claude Opus 4.7: analiză complexă în mai mulți pași

Opus 4.7 este modelul Claude cu cea mai mare capacitate și alegerea corectă pentru sarcini care necesită raționament susținut în mai mulți pași: sintetizarea rapoartelor ISR din surse multiple, generarea de ordine de misiune detaliate din instrucțiuni fragmentare sau analiza datelor de senzor ambigue, unde fals-pozitivele au consecințe operaționale grave. Compromisul este latența — Opus 4.7 produce tokeni mai lent decât Sonnet sau Haiku, iar costul per token este mai mare. Pentru munca de analiză S2 și S3 la nivel de cartier general, unde timpul de răspuns se măsoară în minute și nu în secunde, Opus 4.7 este selecția potrivită. Necesită conectivitate la API-ul Anthropic sau la AWS Bedrock / Google Vertex cu modelul Opus activat.

Claude Sonnet 4.6: performanță echilibrată pentru gestionarea zilnică a COP

Sonnet 4.6 este modelul recomandat implicit pentru operațiuni active, unde operatorii emit comenzi COP conversaționale — plasarea de marcatori, interogarea pozițiilor unităților, construirea de pachete de date, abonarea la canale. Oferă o urmare puternică a instrucțiunilor și o acuratețe ridicată în utilizarea instrumentelor la o latență mai mică decât Opus, fiind suficient de receptiv pentru utilizare interactivă, fără costul suplimentar al rulării Opus pentru fiecare plasare de marker pe hartă. Sonnet 4.6 este modelul folosit în desfășurarea operațională a TAKpilot cu forțele ucrainene drept configurație de bază pentru elementele conectate.

Claude Haiku 4.5: viteză în primul rând pentru sarcini de frecvență înaltă

Haiku 4.5 este optimizat pentru latență și debit. Este selecția potrivită pentru comenzi de frecvență înaltă, bine structurate — interogarea pistelor curente, listarea misiunilor, recuperarea datelor de poziție pentru indicative specifice — unde sarcina este suficient de rutinieră încât capacitatea maximă de raționament nu este necesară. Haiku răspunde mai rapid decât Sonnet și la un cost per token semnificativ mai mic, ceea ce contează în medii unde TAKpilot gestionează un volum mare de interogări de operator în mai multe sesiuni concurente. Are sens, de asemenea, ca model de rezervă în perioadele de presiune asupra ratei API.

Modele deschise pentru medii air-gapped

Când conectivitatea cloud nu este disponibilă sau cerințele de clasificare interzic apelurile API externe, TAKpilot direcționează inferența către un model găzduit local prin endpointul compatibil OpenAI. Trei modele au fost validate pentru tiparele de utilizare a instrumentelor ale TAKpilot:

• Llama 3.3 70B — modelul Meta cu 70B reglat pe instrucțiuni oferă cea mai puternică acuratețe în utilizarea instrumentelor dintre modelele deschise validate cu TAKpilot. În cuantizare pe 4 biți (Q4_K_M), se încadrează pe un server cu două GPU-uri sau pe un singur A100 și livrează 25–40 de tokeni pe secundă — adecvat pentru interacțiuni COP conversaționale. Acesta este implicitul air-gapped recomandat pentru desfășurări edge cu resurse bune.
• Qwen 2.5 72B — Qwen 2.5 de la Alibaba, la 72B de parametri, are performanțe comparabile cu Llama 3.3 70B la apelurile structurate de instrumente și are o performanță multilingvă mai puternică, ceea ce poate fi valoros pentru operațiunile de coaliție sau unitățile non-anglofone. Cerințele hardware sunt similare.
• Mistral Large — modelul reglat pe instrucțiuni al Mistral este disponibil ca opțiune de desfășurare locală și are performanțe bune la sarcinile de clasificare și direcționare. Este o alegere rezonabilă atunci când este necesară o amprentă mai mică, iar volumul de comenzi este relativ structurat.
• Llama 3.3 8B — pentru mediile sever constrânse de hardware (un singur GPU de consum, 8–12 GB VRAM), varianta 8B în cuantizare pe 4 biți oferă performanță acceptabilă pentru interogări COP simple. Secvențele complexe de instrumente în mai mulți pași se vor degrada față de modelul 70B, așa că operatorii ar trebui să se aștepte la o formulare mai explicită a instrucțiunilor.

Backenduri cloud pentru medii clasificate: AWS Bedrock și Google Vertex

Nu toate desfășurările cloud sunt echivalente din punctul de vedere al clasificării și al rezidenței datelor. API-ul Anthropic trimite traficul de inferență către infrastructura Anthropic. Pentru mediile care necesită ca datele să rămână într-o anumită enclavă cloud — AWS GovCloud, Azure Government sau o instanță Google Workspace for Government — TAKpilot acceptă direcționarea modelelor Claude prin AWS Bedrock și Google Vertex AI, care gestionează găzduirea modelelor în interiorul limitei cloud a clientului.

AWS Bedrock expune Claude Opus 4.7, Sonnet 4.6 și Haiku 4.5 prin SDK-ul standard AWS. Din perspectiva TAKpilot, schimbarea de configurare este o înlocuire a URL-ului de bază al API-ului și a metodei de autentificare: înlocuiește cheia API Anthropic cu credențiale AWS IAM (prin variabile de mediu sau un rol de instanță) și setează TAKPILOT_PROVIDER=bedrock cu regiunea AWS corespunzătoare. Aceleași modele Claude sunt disponibile; traficul de inferență rămâne în limita rețelei AWS și este supus acordurilor de manipulare a datelor AWS ale clientului, nu termenilor comerciali ai Anthropic.

Google Vertex AI oferă același acces la modelele Claude prin model garden-ul Google. Configurarea urmează același tipar: setează TAKPILOT_PROVIDER=vertex cu un ID de proiect GCP și credențiale de cont de serviciu. Pentru organizațiile care operează deja în cadrul ofertelor cloud de grad de apărare ale Google, acest lucru păstrează tot traficul de inferență în interiorul perimetrului de securitate existent.

Suport pentru endpoint compatibil OpenAI

Calea air-gapped a TAKpilot folosește aceeași specificație API OpenAI Chat Completions care a devenit standardul de facto pentru serverele de inferență de model local. Aceasta înseamnă că TAKpilot este compatibil cu orice runtime de inferență care implementează această interfață — Ollama, vLLM, serverul llama.cpp, LM Studio, Hugging Face TGI și orice container personalizat care învelește un model cu un strat REST compatibil OpenAI.

Configurarea este în mod intenționat minimă. Două variabile de mediu sunt suficiente pentru a redirecționa TAKpilot de la API-ul Anthropic către orice endpoint local:

# Direct TAKpilot to a local Ollama inference server
TAKPILOT_API_BASE=http://192.168.1.50:11434/v1
TAKPILOT_MODEL=llama3.3:70b-instruct-q4_K_M
TAKPILOT_API_KEY=ollama

# Or to a vLLM server running Qwen 2.5
TAKPILOT_API_BASE=http://10.0.1.20:8000/v1
TAKPILOT_MODEL=Qwen/Qwen2.5-72B-Instruct
TAKPILOT_API_KEY=vllm-token

Când TAKPILOT_API_BASE este setat, TAKpilot nu încearcă să acceseze API-ul Anthropic sub nicio formă. Nu există revenire la modelele cloud dacă endpointul local este inaccesibil — TAKpilot va returna o eroare operatorului în loc să direcționeze în tăcere traficul către un endpoint neintenționat. Acesta este un comportament de siguranță deliberat pentru mediile clasificate.

Izolarea datelor în sandbox per sesiune

Indiferent de backendul de model utilizat, TAKpilot impune același model de izolare a sesiunii. Fiecare conexiune de operator creează un context de sesiune în memorie care deține istoricul conversației, apelurile de instrumente în așteptare și orice date COP recuperate de la CloudTAK în timpul sesiunii. Acest context nu este niciodată scris pe disc, niciodată partajat cu alte sesiuni și niciodată trimis vreunui endpoint, în afară de backendul de model configurat.

Când operatorul se deconectează — fie prin închiderea panoului de chat CloudTAK, fie după un timeout de sesiune configurabil — contextul sesiunii este șters din memorie. Nu există persistență de sesiune între conexiuni. Un operator care se reconectează pornește un context nou, fără cunoștințe despre comenzile sesiunii anterioare sau despre datele recuperate.

Pentru desfășurările air-gapped, garanția sandbox-ului este absolută: contextul sesiunii nu traversează niciodată o limită de rețea, deoarece backendul de model este pe același segment de rețea. Operatorii care manipulează date COP clasificate ar trebui să folosească modul air-gapped față de un model local — sandbox-ul per sesiune asigură că datele clasificate sunt procesate doar de nodul de inferență local și șterse când sesiunea se încheie.

Cum să desfășori TAKpilot cu Llama 3.3 pe hardware tactic air-gapped

Următoarea procedură presupune o instanță TAKpilot Node.js deja desfășurată și conectată la un server CloudTAK. Pentru desfășurarea inițială a CloudTAK, consultă ghidul de desfășurare a serverului CloudTAK. Serverul de inferență trebuie să fie pe același LAN tactic ca atât CloudTAK, cât și TAKpilot.

Pasul 1: Provizionează un server de inferență GPU pe LAN-ul tactic

Instalează Ollama pe un server Linux (Ubuntu 22.04 LTS recomandat) cu cel puțin un GPU NVIDIA. Verifică recunoașterea GPU-ului:

curl -fsSL https://ollama.com/install.sh | sh
nvidia-smi   # should list GPU(s)
ollama --version

Atribuie serverului un IP static pe LAN-ul tactic (de ex. 192.168.1.50). Asigură-te că portul 11434 este accesibil din gazda TAKpilot. În mod implicit, Ollama se leagă doar la 127.0.0.1 — pentru a accepta conexiuni LAN, setează OLLAMA_HOST=0.0.0.0 în mediul serviciului Ollama.

Pasul 2: Descarcă modelul Llama 3.3

# 70B model — requires ~40 GB VRAM (dual GPU or A100)
ollama pull llama3.3:70b-instruct-q4_K_M

# 8B model — fits on a single 8 GB GPU
ollama pull llama3.3:8b-instruct-q4_K_M

Comanda pull descarcă greutățile modelului prin internet. Pentru medii complet air-gapped, unde chiar și această descărcare inițială este interzisă, transferă fișierul modelului manual: descarcă fișierul GGUF pe o mașină conectată, copiază-l pe server prin suport amovibil și importă-l cu ollama create. Documentația Ollama acoperă procedura de import offline.

Pasul 3: Verifică endpointul compatibil OpenAI

# From the TAKpilot host
curl http://192.168.1.50:11434/v1/models
# Expected: {"object":"list","data":[{"id":"llama3.3:70b-instruct-q4_K_M",...}]}

Dacă cererea expiră, verifică dacă Ollama este legat la 0.0.0.0 și că niciun firewall de gazdă nu blochează portul 11434.

Pasul 4: Configurează variabilele de mediu TAKpilot

# .env or systemd service environment
TAKPILOT_API_BASE=http://192.168.1.50:11434/v1
TAKPILOT_MODEL=llama3.3:70b-instruct-q4_K_M
TAKPILOT_API_KEY=ollama

# Unset or leave empty — TAKpilot will not fall back to Anthropic
# ANTHROPIC_API_KEY=

Pasul 5: Pornește TAKpilot și confirmă direcționarea modelului

Pornește procesul Node.js al TAKpilot și inspectează jurnalul de pornire pentru linia backendului de model. Apoi trimite o comandă de test prin interfața de chat CloudTAK și confirmă că un răspuns este returnat. Monitorizează utilizarea GPU a serverului de inferență cu nvidia-smi dmon pentru a verifica dacă inferența rulează local.

Pasul 6: Testează utilizarea instrumentelor cu o comandă COP

Trimite o comandă COP structurată: „Listează toate unitățile active din Compania Alfa.” TAKpilot ar trebui să invoce instrumentul CloudTAK list_units și să returneze un răspuns formatat. Dacă modelul returnează un răspuns text simplu fără a invoca niciun instrument, acest lucru indică faptul că capacitatea de urmare a instrucțiunilor a modelului este insuficientă pentru schemele de apel de instrumente ale TAKpilot — comută la varianta 70B sau la Qwen 2.5 72B.

Pasul 7: Validează că niciun trafic nu iese din limita rețelei

# On the TAKpilot host — capture any traffic not destined for the LAN
tcpdump -i eth0 -n 'not net 192.168.1.0/24 and not net 10.0.0.0/8'

Trimite mai multe comenzi TAKpilot și confirmă că niciun pachet nu apare în ieșirea tcpdump. Tot traficul de inferență al modelului ar trebui să rămână în interiorul LAN-ului tactic. Dacă se observă pachete către IP-uri externe, auditează configurația de mediu a TAKpilot — asigură-te că TAKPILOT_API_BASE este setat corect și că ANTHROPIC_API_KEY lipsește din mediu.

Compromisuri de performanță pentru sarcinile COP comune

Diferențele practice de performanță dintre modelele cloud și edge devin rapid evidente în gama de sarcini pe care le gestionează TAKpilot. Următoarele caracterizări se bazează pe comportamentul observat în desfășurările TAKpilot, nu pe benchmark-uri publicate.

Plasarea marcatorilor și interogările de unități sunt cele mai comune interacțiuni COP. Atât Claude Haiku 4.5, cât și Llama 3.3 8B le gestionează cu acuratețe și la latență mică. Sarcina este bine structurată — operatorul spune unde să plaseze un marker, TAKpilot apelează API-ul CloudTAK — și necesită raționament minim. Oricare model este potrivit. Pentru varianta 8B, formatele explicite de coordonate (grade zecimale sau MGRS) îmbunătățesc acuratețea; modelul se poate descurca greu cu referințele de locație ambigue.

Gestionarea misiunilor în mai mulți pași — crearea unei misiuni, atribuirea de grupuri, atașarea unui pachet de date și confirmarea rezultatului — necesită ca modelul să mențină contextul de-a lungul mai multor invocări de instrumente. Claude Sonnet 4.6 gestionează acest lucru în mod fiabil. Llama 3.3 70B îl gestionează cu acuratețe acceptabilă. Llama 3.3 8B se descurcă greu cu secvențe mai lungi de trei apeluri de instrumente și nu ar trebui folosit pentru fluxuri complexe de gestionare a misiunilor.

Inteligența asupra documentelor și imaginilor — procesarea PDF-urilor, imaginilor și rapoartelor de intelligence încărcate în sesiunea TAKpilot — beneficiază semnificativ de modele mai mari. Claude Opus 4.7 și Sonnet 4.6 oferă cea mai coerentă sinteză a documentelor cu mai multe pagini. Sarcinile bazate pe vizualizare (analiza atașamentelor PNG/JPG) necesită un model cu capacitate de vizualizare; Llama 3.3 este doar text. Pentru sarcini de vizualizare în medii air-gapped, ar fi necesar LLaVA sau o variantă Qwen-VL.

Întrebări frecvente

+Ce modele AI acceptă TAKpilot din start?

TAKpilot vine cu suport pentru întreaga familie de modele Claude — Opus 4.7, Sonnet 4.6 și Haiku 4.5 — prin API-ul Anthropic sau prin AWS Bedrock și Google Vertex AI. De asemenea, acceptă orice model accesibil printr-un endpoint compatibil OpenAI, ceea ce acoperă Llama 3.3, Qwen 2.5, Mistral Large și orice alt model deschis servit de Ollama, vLLM, llama.cpp sau un container de inferență personalizat. Modelul activ este selectat prin variabilele de mediu TAKPILOT_MODEL și TAKPILOT_API_BASE — fără modificări de cod.

+Poate TAKpilot să funcționeze fără conexiune la internet?

Da. Calea de desfășurare air-gapped a TAKpilot direcționează toată inferența modelului către un server de inferență local compatibil OpenAI care rulează pe același LAN tactic sau pe aceeași gazdă fizică. Niciun trafic nu părăsește rețeaua. Operatorii provizionează un model precum Llama 3.3 70B sau Qwen 2.5 72B pe un server GPU ruggedizat, îl expun pe un endpoint privat (de ex. http://192.168.1.50:11434/v1) și setează TAKPILOT_API_BASE la acea adresă. TAKpilot se conectează la el identic cu modul în care s-ar conecta la un furnizor cloud — singura diferență este stratul de transport.

+Cum asigură TAKpilot că datele operatorului nu părăsesc rețeaua?

TAKpilot impune un sandbox per sesiune pentru toate datele operatorului. Fiecare sesiune de operator primește un context izolat care nu este niciodată scris pe disc sau partajat între sesiuni. Când operatorul se deconectează, contextul sesiunii — inclusiv toate mesajele, rezultatele apelurilor de instrumente și referințele COP — este șters din memorie. Pentru modelele găzduite în cloud (Claude prin API-ul Anthropic) se aplică politicile de date enterprise ale Anthropic; pentru desfășurări air-gapped cu modele locale, datele nu părăsesc niciodată LAN-ul tactic, deoarece endpointul de inferență este local. Operatorii care rulează sarcini clasificate ar trebui să desfășoare întotdeauna TAKpilot în mod air-gapped față de un model găzduit local.

+Care sunt cerințele hardware pentru a rula Llama 3.3 70B pe un server edge tactic?

Llama 3.3 70B în cuantizare pe 4 biți (GGUF Q4_K_M) necesită aproximativ 40 GB de VRAM. Un singur NVIDIA RTX 4090 (24 GB) este insuficient la precizie completă; se recomandă o configurație cu două GPU-uri sau un A100/H100 de clasă server pentru inferența completă cu 70B de parametri. Pentru hardware tactic mai limitat, Llama 3.3 8B (Q4_K_M, ~5 GB VRAM) sau Qwen 2.5 7B oferă performanță acceptabilă pe un singur GPU de consum. Viteza de inferență la 70B pe un A100 este de aproximativ 25–40 de tokeni pe secundă, ceea ce este suficient pentru interacțiuni COP conversaționale cu latență acceptabilă.

+Poate TAKpilot să schimbe modelele în timpul operațiunii fără a reporni serverul?

Selecția modelului în versiunea actuală a TAKpilot este setată la pornire prin variabile de mediu și se aplică tuturor sesiunilor. Comutarea la cald a modelelor fără o repornire a serverului nu este acceptată în configurația de bază. Totuși, deoarece TAKpilot este open-source sub AGPL-3.0, cei care desfășoară soluția și au nevoie de selecție de model per sesiune pot extinde API-ul de configurare. Un model comun pentru mediile cu clasificare multiplă este rularea a două instanțe TAKpilot pe porturi separate — una conectată la un endpoint Claude cloud pentru lucru neclasificat, una conectată la un endpoint Llama local pentru operațiuni clasificate — și direcționarea operatorilor către instanța corespunzătoare printr-un reverse proxy.

Lectură conexă: Pentru o introducere în setul complet de capacități al TAKpilot, inclusiv comenzi COP în limbaj natural, inteligență vizuală și carduri de instrumente în flux, consultă Copiloturi AI pentru aplicații tactice și NLP. Pentru API-ul CloudTAK pe care TAKpilot îl folosește pentru a executa comenzile operatorului, consultă Integrarea API-ului REST CloudTAK. Pentru ridicarea infrastructurii de bază a serverului CloudTAK, consultă Ghidul de desfășurare a serverului CloudTAK.