Wnioskowanie AI na pokładzie UAV: przetwarzanie brzegowe bez łączności

UAV bez łącza danych nie jest ślepy, jeśli jego potok wnioskowania działa na pokładzie. Przetwarzanie AI po stronie naziemnej jest powszechną architekturą ze względów kosztowych, ale tworzy twardą zależność: w momencie gdy łącze zostaje zerwane, wykrywanie ustaje. W środowiskach zagrożonych, gdzie zasoby walki elektronicznej rutynowo degradują lub przerywają łącza danych, ta zależność jest operacyjnie niedopuszczalna. Pokładowe wnioskowanie AI przenosi obliczenia na pokład statku powietrznego, przetwarzając klatki z czujnika EO lub IR bezpośrednio na akceleratorze zainstalowanym na pokładzie, lokalnie przechowując adnotowane wykrycia i dostarczając strukturalny dziennik wykryć do systemu C2 natychmiast po przywróceniu łączności. Ten artykuł omawia platformy sprzętowe, techniki kompresji modeli, projektowanie potoków wykrywania, ograniczenia mocy i cieplne oraz wzorce integracji z C2, które sprawiają, że wykrywanie i śledzenie obiektów na urządzeniu jest wykonalne na małych taktycznych UAV.

Dlaczego wnioskowanie musi działać na pokładzie UAV

Operacyjny argument za pokładowym wnioskowaniem jest prosty: każda misja wymagająca ciągłości wykrywania podczas przerwy w łączności nie może zależeć od przetwarzania naziemnego. UAV przesyłający surowe wideo do stacji naziemnej wymaga trwałego łącza o wysokiej przepustowości — zazwyczaj 2–10 Mbps dla skompresowanego wideo HD przy dopuszczalnym opóźnieniu. Osiągnięcie tej przepustowości na taktycznym zasięgu 10–30 km w środowisku z aktywnym zagłuszaniem nie jest gwarantowane. Gdy strumień wideo zostaje przerwany, operator naziemny traci nie tylko świadomość sytuacyjną dotyczącą pozycji UAV, ale i każde wykrycie, które czujnik wygenerowałby podczas przerwy. W przypadku misji rozpoznania, obserwacji i zwiadowczej (ISR) trwającej godziny, 20-minutowa przerwa w łączności jest niedopuszczalną luką w rejestrze wykryć.

Pokładowe wnioskowanie rozwiązuje ten problem przez odwrócenie przepływu danych. Zamiast przesyłać surowe dane z czujników do naziemnego węzła przetwarzania, UAV przesyła jedynie wyniki wnioskowania: rekordy wykryć o kilka rzędów wielkości mniejsze niż surowe klatki wideo. Rekord wykrycia — etykieta klasy, wynik pewności, współrzędne ramki ograniczającej, pozycja GPS i znacznik czasu — zajmuje kilkaset bajtów. Pełna klatka wideo o wysokiej rozdzielczości przy 10 Mbps zajmuje około 1,25 MB na sekundę. Gdy dostępne jest niskopasmowe łącze zapasowe (radio do krótkiej transmisji danych, siatka MANET przy zredukowanej przepływności), rekordy wykryć są przesyłane tam, gdzie surowe wideo nie może dotrzeć. A gdy żadne łącze nie jest dostępne, rekordy wykryć gromadzą się w pamięci lokalnej do czasu przywrócenia łączności.

Istnieje również argument dotyczący opóźnień. Czas podróży pakietu w obie strony od UAV na wysokości do stacji naziemnej i z powrotem może wynosić od 50 ms do kilkuset milisekund w zależności od jakości łącza i routingu. W przypadku celów wrażliwych na czas — pojazdu opuszczającego osłonę, grupy personelu rozpraszającego się — to opóźnienie może przekraczać okno czasowe użytecznego naprowadzania. Pokładowe wnioskowanie daje wynik wykrycia w czasie przetwarzania klatki przez lokalny akcelerator, zazwyczaj 30–100 ms od przechwycenia klatki do adnotowanego wyjścia, bez przeskoku sieciowego w krytycznej ścieżce.

Platformy sprzętowe: NVIDIA Jetson Orin vs Hailo-8 vs Intel Movidius dla pokładów UAV

Trzy rodziny układów scalonych dominują w produkcyjnych wdrożeniach pokładów UAV. Każda reprezentuje inny punkt na krzywej TOPS na wat, a właściwy wybór jest determinowany przede wszystkim przez budżet energetyczny platformy i złożoność zadania wnioskowania. Szczegółowe porównanie tych opcji omówiono również w naszym artykule poświęconym sprzętowi Edge AI dla obronności.

NVIDIA Jetson Orin Nano osiąga 40 TOPS przy poborze 7–15 W w zależności od trybu mocy skonfigurowanego w platformie zarządzania zasilaniem NV. Działa na pełnym stosie Linux, natywnie obsługuje CUDA i TensorRT, i akceptuje dowolny model wyeksportowany przez format wymiany ONNX — co czyni go opcją o najniższym tarciu dla zespołów, których potok treningowy jest już ukierunkowany na TensorRT. Forma Orin Nano (69,6 mm x 45 mm) mieści się w wnękach pokładowych UAV klasy 5–15 kg, ale jego szczytowe rozpraszanie ciepła wymaga albo aktywnego chłodzenia, albo starannej integracji rozpraszaczy ciepła ze skórą płatowca. Jetson Orin NX, kolejny poziom osiągający do 100 TOPS i 15–25 W, jest odpowiedni, gdy misja wymaga uruchamiania wielu równoległych modeli (wykrywanie plus klasyfikacja plus ponowna identyfikacja) na tym samym węźle wnioskowania.

Moduł Hailo-8 M.2 osiąga 26 TOPS przy poborze poniżej 5 W, dzięki wysoce wydajnej architekturze przepływu danych, która rozkłada graf sieci na tablicę klastrów procesorów zamiast wykonywać go sekwencyjnie na rdzeniu GPU. Kompromisem jest specyficzność łańcucha narzędzi: modele muszą być kompilowane przez Hailo Dataflow Compiler, który generuje binarny plik Hailo Execution Format (HEF). Kompilator obsługuje wewnętrznie kwantyzację INT4 i INT8 i produkuje wysoce zoptymalizowane binaria, ale wymaga, aby topologia modelu była reprezentowalna w obsługiwanym zestawie operatorów kompilatora. Standardowe architektury YOLOv5, YOLOv8 i RT-DETR są dostępne w Hailo Model Zoo i kompilują się bez modyfikacji. Koperta mocy Hailo-8 — 5 W szczytowo z gniazda M.2 — czyni go naturalnym wyborem dla wielowirnikowców o masie poniżej 5 kg z rygorystycznymi budżetami zasilania pokładu.

Intel Movidius Myriad X (docelowo OpenVINO) osiąga 4 TOPS przy poborze około 1–2 W. Wartość ta jest skromna w porównaniu z Hailo i Jetson, ale gęstość integracji Myriad X — dostępny w formach USB i M.2, podłączanych do dowolnego hosta Linux przez standardowe interfejsy — czyni go najprostszą opcją dla bardzo małych stałopłatów lub UAV wystrzeliwanych z tuby, gdzie nie można pomieścić dedykowanej płyty nośnej. Optymalizator modeli OpenVINO obsługuje ścieżkę kwantyzacji INT8 i optymalizacji grafu, a łańcuch narzędziowy jest dobrze udokumentowany. W przypadku wdrożeń, gdzie YOLOv8n działający z prędkością 5–10 fps jest wystarczający — na przykład ISR nad stałą infrastrukturą o niskiej prędkości — Myriad X jest realną opcją przy znacznie niższych kosztach SWaP-C niż Hailo lub Jetson.

Kompresja modeli: kwantyzacja, przycinanie i destylacja wiedzy dla wdrożeń wbudowanych

Pełnoprecyzyjny model YOLOv8m ma około 25 milionów parametrów i zajmuje 50 MB w pamięci FP32. Na Hailo-8 z 8 MB SRAM na chipie ten model nie może działać bezpośrednio — musi zostać skompresowany do rozmiaru, który hierarchia pamięci akceleratora może obsłużyć bez nadmiernego obciążenia przepustowości DRAM. Trzy techniki kompresji są stosowane łącznie w produkcyjnych wdrożeniach UAV, a ich wzajemne oddziaływanie omówiono szczegółowo w naszym artykule o optymalizacji modeli ONNX i TensorRT do taktycznego wdrożenia brzegowego.

Kwantyzacja po treningu (PTQ) konwertuje wagi i aktywacje FP32 do INT8 przez kalibrację współczynników skalowania przy użyciu reprezentatywnego zbioru danych. Na sprzęcie z jednostkami wykonawczymi tenzorów INT8 — Jetson Orin, Hailo-8, Myriad X — wnioskowanie INT8 zapewnia 2–4-krotną poprawę przepustowości w stosunku do FP32 przy równoważnej pojemności modelu. Utrata dokładności wynosi typowo 0,5–2 mAP na lotniczych benchmarkach wykrywania obiektów, gdy zbiór kalibracyjny pasuje do domeny wdrożenia. Zbiór kalibracyjny powinien zawierać próbki z rzeczywistego czujnika i wysokości, na której model będzie wdrożony; kalibracja na publicznie dostępnych zbiorach danych lotniczych i wdrożenie na innym czujniku tworzy niedopasowanie domeny, które może bardziej zdegradować skwantyzowaną dokładność niż sugerują surowe liczby.

Przycinanie strukturalne usuwa całe filtry splotowe (kanały wyjściowe), których norma L1 spada poniżej progu, produkując topologicznie mniejszy model, który korzysta zarówno ze zmniejszonej liczby parametrów, jak i zmniejszonej przepustowości pamięci. 30% przycinanie strukturalne YOLOv8s usuwa około 30% filtrów w szkielecie, skracając opóźnienie wnioskowania o około 25% na sprzęcie Jetson i poprawiając dolną granicę dokładności INT8 po ponownej kwantyzacji (ponieważ pozostałe filtry są tymi najczęściej aktywowanymi). Próg przycinania jest dostrajany iteracyjnie: przytnij, dotrenuj przez 10–20 epok na zbiorze treningowym, zmierz dokładność na zbiorze walidacyjnym i powtarzaj do osiągnięcia docelowego opóźnienia lub śladu pamięciowego bez przekraczania dopuszczalnego budżetu mAP.

Destylacja wiedzy odnosi się do przypadku, gdy przycinanie pełnego modelu nie może osiągnąć docelowej liczby parametrów bez niedopuszczalnej utraty dokładności. Kompaktowy model ucznia — na przykład YOLOv8n — jest trenowany w celu reprodukowania wyjść logitów większego nauczyciela (YOLOv8m lub YOLOv8l) na danych treningowych. Uczeń uczy się naśladować rozkład pewności nauczyciela między klasami, a nie tylko jego twarde przypisania etykiet, co przekazuje informacje o niejednoznaczności klas i podobieństwie cech, których trening na twardych etykietach nie zapewnia. Modele uczniów trenowane przez destylację konsekwentnie przewyższają identycznie rozmiarowane modele trenowane od zera, zazwyczaj o 1–3 mAP na lotniczych benchmarkach wykrywania. Technika jest szczególnie skuteczna, gdy zbiór treningowy jest mały — sytuacja powszechna w wdrożeniach obronnych, gdzie oznakowane lotnicze obrazowanie konkretnych klas celów jest rzadkie.

Potoki wykrywania celów na krawędzi: warianty YOLO i kompromisy między liczbą klatek a dokładnością

Rodzina YOLO dominuje w produkcyjnych wdrożeniach wykrywania brzegowego na pokładach UAV z dwóch powodów: architektura jest jednostopniowa (brak sieci propozycji regionów), co sprawia, że opóźnienie wnioskowania jest przewidywalne i ograniczone, a zoo modeli jest obszerne — wstępnie wytrenowane wagi w wielu skalach (n, s, m, l, x) pozwalają zespołom wybrać poziom pojemności mieszczący się w ich budżecie sprzętowym. YOLOv8 jest aktualną produkcyjną podstawą dla większości integratorów obronnych, choć RT-DETR (jednostopniowy detektor oparty na transformerach) zyskuje popularność w przypadkach użycia, gdzie wykrywanie w małych skalach obiektów — personel na wysokości 500 m, na przykład — jest krytyczne i sprzęt wnioskowania może absorbować wyższy koszt obliczeniowy.

Liczba klatek i dokładność wzajemnie się wykluczają poprzez trzy zmienne, którymi steruje inżynier potoku: skala modelu, rozdzielczość wejściowa i próg pewności. Zmniejszenie rozdzielczości wejściowej z 640x640 do 320x320 redukuje obliczenia wnioskowania około 4-krotnie i podwaja osiągalną liczbę klatek na stałym sprzęcie, ale proporcjonalnie zmniejsza efektywny zasięg wykrywania dla małych celów. Do wykrywania pojazdów na wysokości 100–200 m rozdzielczość 320x320 jest generalnie wystarczająca. Do wykrywania personelu na tej samej wysokości 640x640 jest praktycznym minimum. Zmniejszenie progu pewności z 0,5 do 0,35 odzyskuje wykrycia częściowo zasłoniętych lub odległych celów, ale zwiększa wskaźnik fałszywych alarmów, co podnosi obciążenie adnotacyjne dalszego systemu fuzji. Właściwy próg jest specyficzny dla misji i powinien być dostrajany względem danych naziemnych z czujnika i wysokości wdrożenia.

Potoki wielostopniowe — lekki detektor identyfikujący regiony zainteresowania, a następnie klasyfikator o wyższej pojemności precyzujący etykietę — mogą poprawić dokładność przy danym budżecie obliczeniowym, koncentrując zasoby na kandydujących regionach. YOLOv8n działający z prędkością 30 fps identyfikuje ramki ograniczające wokół obiektów o rozmiarze pojazdu; klasyfikator MobileNetV3 działający z prędkością 10 fps przetwarza jedynie przyciête regiony, aby odróżnić kołowe od gąsienicowych i lekkie od ciężkich. Ta kaskadowa architektura jest dobrze dostosowana do modelu przepływu danych Hailo-8, gdzie dwie sieci mogą być kompilowane do jednego pliku HEF i wykonywane jako potokowy graf, a nie sekwencyjnie, ukrywając opóźnienie drugiego stopnia za interwałem klatek pierwszego.

Ograniczenia budżetu mocy i zarządzanie termiczne na małych UAV

Budżet mocy dla pokładu UAV nie jest ustalony przez całkowitą pojemność energetyczną statku powietrznego, ale przez przydział prądu wnęki pokładowej z jednostki dystrybucji zasilania (PDU) oraz przez model termiczny wnęki pokładowej systemu zarządzania lotem. Wielowirnikowiec o masie 5 kg z akumulatorem 100 Wh i czasie lotu 30 minut ma średni pobór mocy około 200 W dla wszystkich systemów łącznie. Układ napędowy zużywa 80–90% tego budżetu w typowych warunkach zawisu, pozostawiając 20–40 W dla awioniki, pokładu i czujników. Pokład pobierający 15 W pozostawia tylko 5–25 W dla wszystkiego innego. W praktyce przydział mocy pokładu na platformach o masie poniżej 5 kg jest często ustalany na 5–8 W przez producenta statku powietrznego, a jego przekroczenie mierzalnie skraca zasięg.

Zarządzanie termiczne na małych UAV jest trudniejsze niż na pojazdach naziemnych lub stałej infrastrukturze, ponieważ wnęka pokładowa jest zamknięta, mała i może być wykonana z materiałów kompozytowych izolujących termicznie. Płatowiec UAV zapewnia pewne chłodzenie przez przewodzenie przez skórę i przepływ powietrza po zewnętrznej powierzchni, ale ta korzyść zmienia się w zależności od prędkości lotu i geometrii wnęki pokładowej. Standardowe podejście polega na montażu pokładowej płyty obliczeniowej na podkładce interfejsu termicznego przy grubszym aluminiowym elemencie strukturalnym obudowy pokładu, który służy jako rozpraszacz ciepła do płatowca. Dla Jetson Orin Nano przy 10 W w stanie ustalonym, 2 mm płyta aluminiowa przyklejona do spodu kadłuba pastą termiczną może utrzymać temperaturę matrycy poniżej 75°C przy 40°C otoczenia podczas lotu poziomego. Dla Hailo-8 przy 5 W zwykły radiator przymocowany do złącza M.2 modułu jest zazwyczaj wystarczający.

Pobór mocy reaguje również na konfigurację oprogramowania. Narzędzie nvpmodel platformy Jetson udostępnia ustawienia predefiniowanych trybów mocy, które ograniczają zegar CPU, zegar GPU i przepustowość pamięci. Ustawienie Orin Nano na tryb mocy 7 W zmniejsza przepustowość wnioskowania o około 35% w porównaniu z maksymalnym trybem 15 W, ale zmniejsza prawie o połowę rozpraszanie ciepła, co może być właściwym kompromisem, gdy koperta termiczna wnęki pokładowej jest ograniczeniem wiążącym, a nie opóźnienie wnioskowania. Konfiguracja, która umożliwia pełny profil misji statku powietrznego bez ograniczania termicznego, jest bardziej niezawodna niż taka, która osiąga szczytową wydajność wnioskowania przez 15 minut przed uruchomieniem automatycznej ochrony termicznej chipa i nieprzewidywalnym zmniejszeniem liczby klatek.

Integracja z C2 przez MANET po przywróceniu łączności

Dziennik wykryć zgromadzony podczas przerwy w łączności ma ograniczoną wartość, jeśli nie może zostać dostarczony do systemu dowodzenia i kontroli szybko i kompletnie po przywróceniu łączności. Radia MANET (Mobile Ad-hoc Network) — stosowane w taktycznych operacjach UAV w celu zapewnienia siatkowej łączności między statkami powietrznymi, pojazdami naziemnymi i dismounted operatorami — są głównym transportem zarówno dla strumieniowania wykryć w czasie rzeczywistym, jak i synchronizacji po przerwie. Gdy UAV ponownie wchodzi w zasięg siatki, węzeł MANET na pokładzie przywraca routing w ciągu sekund, a agent synchronizacji rozpoczyna przesyłanie buforowanych rekordów wykryć.

Architektura agenta synchronizacji powinna być zaprojektowana wokół dwóch trybów operacyjnych. W trybie połączonym rekordy wykryć są przesyłane prawie w czasie rzeczywistym w miarę ich generowania przez potok wnioskowania, serializowane jako zdarzenia CoT i publikowane na serwer TAK przez siatkę MANET. W trybie rozłączonym rekordy gromadzą się w lokalnej bazie danych SQLite z flagą „zsynchronizowano". Po ponownym połączeniu agent pobiera niezsynchronizowane rekordy w kolejności chronologicznej i przesyła je w porządku chronologicznym, z ograniczeniem przepływności, aby nie saturować przepustowości radia MANET ruchem szczytowym kosztem innych uczestników sieci. Po potwierdzeniu odbioru każdego rekordu przez serwer jest on oznaczany jako zsynchronizowany. Baza danych zapewnia odtwarzanie po awarii: jeśli UAV wyląduje lub usługa wnioskowania zostanie ponownie uruchomiona w trakcie synchronizacji, następny cykl synchronizacji wznawia się od ostatniego niezsynchronizowanego rekordu, a nie retransmituje pełnego dziennika.

Konstruowanie zdarzeń CoT dla wykryć AI UAV stosuje standardowy schemat CoT, ale zawiera rozszerzenia specyficzne dla pokładu w bloku detail. Klasa wykrycia i wynik pewności wypełniają niestandardowe podelemenenty CoT detail. Pozycja GPS UAV w chwili przechwytywania klatki jest używana jako punkt CoT, a tam gdzie potok wnioskowania może obliczyć rzutowaną na ziemię pozycję wykrycia z pola widzenia czujnika, wysokości nad ziemią i kąta gimbala, ta rzutowana współrzędna jest używana zamiast niej — umieszczając znacznik wykrycia na mapie w rzeczywistej pozycji naziemnej celu, a nie na pozycji statku powietrznego. Serwer TAK dostarcza te zdarzenia CoT do wszystkich podłączonych klientów ATAK, gdzie pojawiają się jako sklasyfikowane znaczniki z metadanymi proweniencji wykrycia i pewności widocznymi w widoku szczegółów zdarzenia.

Zamówienia: SWaP-C i oceny środowiskowe MIL-STD

Zamówienie pokładowego pokładu wnioskowania AI dla taktycznego programu UAV wymaga oceny sprzętu pod kątem trzech niepoddawanych negocjacjom osi: SWaP-C (rozmiar, masa, moc i koszt), oceny środowiskowe oraz dojrzałość łańcucha dostaw. SWaP-C napędza wymianę platformy opisaną powyżej — TOPS na wat, wymiary fizyczne i koszt jednostkowy ograniczają, który krzem jest wykonalny. Oceny środowiskowe określają, czy sprzęt przeżywa warunki wdrożenia, z jakimi się zetknie. Koszt kształtuje doktrynę jednorazowości platformy: pokład przeznaczony dla odzyskiwalnego UAV ISR ma inną tolerancję kosztów niż zainstalowany na systemie jednokierunkowym loitering.

MIL-STD-810 definiuje testy naprężeń środowiskowych istotne dla pokładów UAV: cyklowanie temperatur (metoda 501/502), wibracje (metoda 514), wilgotność (metoda 507), wysokość (metoda 500) i udary (metoda 516). Moduły wnioskowania dostępne na rynku komercyjnym (COTS), takie jak Jetson Orin Nano, są oceniane na 0–80°C temperatury roboczej w wariancie komercyjnym i -25 do 80°C w wariancie przemysłowym. Wnęki pokładowe UAV w zimnym klimacie lub operacjach wysokogórskich mogą narażać płytę obliczeniową na temperatury poniżej -25°C przy rozruchu. Tam gdzie jest to problemem, obwód wstępnego kondycjonowania termicznego — grzałka rezystancyjna sterowana termostatem, który ogrzewa wnękę przed podaniem głównego zasilania pokładu — jest prostszym i bardziej niezawodnym rozwiązaniem niż wybór procesora o szerszym zakresie temperatur, który może nie istnieć na wymaganym poziomie możliwości.

Dojrzałość łańcucha dostaw ma nieproporcjonalne znaczenie w programach obronnych, ponieważ długie serie produkcyjne wymagają stałej dostępności komponentów przez wieloletnie okresy. Cykl życia modułu Jetson Orin jest publikowany przez NVIDIA z 10-letnim zobowiązaniem produkcyjnym dla wariantów przemysłowych, co spełnia większość wymagań cyklu życia programów obronnych. Hailo-8 jest nowszym uczestnikiem rynku z krótszą historią produkcji, a biura zamówień oceniające go dla programów wysokonakładowych powinny wymagać umownych zobowiązań dotyczących ciągłości dostaw. W przypadku platform, gdzie chip wnioskowania będzie osadzony w niestandardowej płycie nośnej zaprojektowanej według specyfikacji programu, projekt płyty nośnej powinien zawierać rezerwy montażowe dla co najmniej jednego alternatywnego modułu akceleratora, aby zmiana cyklu życia chipa w trakcie programu nie wymagała przeprojektowania płyty nośnej.