AI-inferentie aan boord van UAV's: randverwerking zonder connectiviteit

Een UAV zonder dataverbinding is niet blind als zijn inferentiepijplijn aan boord draait. Grondgebonden AI-verwerking is de gangbare architectuur vanwege kostenredenen, maar creëert een harde afhankelijkheid: zodra de verbinding wegvalt, stopt de detectie. In omstreden omgevingen waar elektronische-oorlogsvoering-middelen regelmatig dataverbindingen degraderen of verbreken, is die afhankelijkheid operationeel onaanvaardbaar. Boordgebonden AI-inferentie verplaatst de rekenkracht naar het luchtvaartuig, verwerkt frames van de EO- of IR-sensor rechtstreeks op een payload-gemonteerde accelerator, slaat geannoteerde detecties lokaal op en levert een gestructureerd detectielogboek aan het C2-systeem zodra de connectiviteit is hersteld. Dit artikel behandelt de hardwareplatforms, modelcompressietechnieken, detectiepijplijnontwerp, vermogens- en thermische beperkingen en C2-integratiepatronen die objectdetectie en -tracking op het apparaat zelf haalbaar maken op kleine tactische UAV's.

Waarom inferentie aan boord van de UAV moet plaatsvinden

Het operationele argument voor boordgebonden inferentie is eenvoudig: elke missie die detectiecontinuïteit vereist tijdens een verbindingsonderbreking kan niet afhankelijk zijn van grondgebonden verwerking. Een UAV die ruwe video streamt naar een grondstation vereist een continue verbinding met hoge bandbreedte — doorgaans 2–10 Mbps voor gecomprimeerde HD-video met aanvaardbare latentie. Die bandbreedte bereiken over een tactisch bereik van 10–30 km in een omgeving met actieve storing is niet gegarandeerd. Wanneer de videostream wegvalt, verliest de grondoperator niet alleen situationeel bewustzijn over de positie van de UAV, maar ook elke detectie die de sensor gedurende de onderbreking zou hebben gegenereerd. Voor een inlichtingen-, bewakings- en verkennings (ISR)-missie die uren duurt, is een verbindingsonderbreking van 20 minuten geen aanvaardbare lacune in het detectierecord.

Boordgebonden inferentie lost dit op door de datastroom om te keren. In plaats van ruwe sensorgegevens te streamen naar een grondverwerkingsknooppunt, streamt de UAV alleen inferentie-uitvoer: detectierecords die ordes van grootte kleiner zijn dan ruwe videoframes. Een detectierecord — klassenlabel, betrouwbaarheidsscore, begrenzingskadercoördinaten, GPS-positie en tijdstempel — beslaat enkele honderden bytes. Een full-resolutie videoframe bij 10 Mbps beslaat circa 1,25 MB per seconde. Wanneer een verbinding met lage bandbreedte beschikbaar is (een short-burst dataradio, een MANET-mesh met gereduceerde bitrate), worden detectierecords overgedragen waar ruwe video dat niet kan. En als er helemaal geen verbinding beschikbaar is, stapelen detectierecords zich op in lokale opslag totdat de verbinding is hersteld.

Er is ook een latentieargument. De netwerk-retourtijd van een UAV op hoogte naar een grondstation en terug kan variëren van 50 ms tot enkele honderden milliseconden afhankelijk van de verbindingskwaliteit en routering. Voor tijdsgevoelige doelen — een voertuig dat dekking verlaat, een personeelsgroep die uiteenspreidt — kan die latentie het venster voor nuttige signalering overschrijden. Boordgebonden inferentie produceert een detectieresultaat binnen de frameverwerkingstijd van de lokale accelerator, doorgaans 30–100 ms van frameregistratie tot geannoteerde uitvoer, zonder netwerkhop in het kritieke pad.

Hardwareplatforms: NVIDIA Jetson Orin vs Hailo-8 vs Intel Movidius voor UAV-payloads

Drie siliciemfamilies domineren productie-UAV-payload-implementaties. Elk vertegenwoordigt een ander punt op de TOPS-per-watt-curve, en de juiste keuze wordt primair bepaald door het vermogensbudget van het platform en de complexiteit van de inferentietaak. Een gedetailleerde vergelijking van deze opties is ook behandeld in ons artikel over edge AI-hardware voor defensie.

De NVIDIA Jetson Orin Nano levert 40 TOPS bij 7–15 W afhankelijk van de vermogensmodus geconfigureerd in het NV-vermogensbeheerraamwerk. Het draait een volledige Linux-stack, ondersteunt CUDA en TensorRT van nature, en accepteert elk model geëxporteerd via het ONNX-uitwisselingsformaat — waardoor het de optie met de minste wrijving is voor teams wiens trainingspijplijn al gericht is op TensorRT. De vormfactor van de Orin Nano (69,6 mm x 45 mm) past in payloadruimten van UAV's in de klasse van 5–15 kg, maar zijn piekthermische dissipatie vereist actieve koeling of zorgvuldige integratie van warmtespreidingsplaten tegen de airframe-huid. De Jetson Orin NX, de volgende categorie met maximaal 100 TOPS en 15–25 W, is geschikt wanneer de missie vereist dat meerdere gelijktijdige modellen worden uitgevoerd (detectie plus classificatie plus heridentificatie) op hetzelfde inferentieknooppunt.

De Hailo-8 M.2-module bereikt 26 TOPS bij minder dan 5 W, geleverd via een zeer efficiënte dataflowarchitectuur die de netwerkgraph over een reeks processorclusters verdeelt in plaats van deze sequentieel op een GPU-kern uit te voeren. De afweging is toolchain-specificiteit: modellen moeten worden gecompileerd via de Hailo Dataflow Compiler, die een Hailo Execution Format (HEF) binary genereert. De compiler verwerkt INT4- en INT8-kwantisatie intern en produceert sterk geoptimaliseerde binaries, maar vereist dat de modeltopologie representeerbaar is in de ondersteunde operatorenset van de compiler. Standaard YOLOv5-, YOLOv8- en RT-DETR-architecturen zijn opgenomen in de Hailo Model Zoo en compileren zonder aanpassing. De vermogensenveloppe van de Hailo-8 — 5 W piek van een M.2-slot — maakt het de natuurlijke keuze voor multirotoplatforms onder 5 kg met strakke vermogensbudgetten voor de payload.

De Intel Movidius Myriad X (OpenVINO-doel) levert 4 TOPS bij ongeveer 1–2 W. Dat cijfer is bescheiden vergeleken met Hailo en Jetson, maar de integratiedichtheid van de Myriad X — beschikbaar in USB-stick- en M.2-vormfactoren die via standaardinterfaces aan elke Linux-host koppelen — maakt het de eenvoudigste optie voor zeer kleine vaste-vleugel- of buislancering-UAV's waar een speciaal carrier board niet kan worden geplaatst. De modeloptimizer van OpenVINO verwerkt het INT8-kwantisatie- en grafiekoptimalisatiepad, en de toolchain is goed gedocumenteerd. Voor implementaties waarbij een YOLOv8n op 5–10 fps voldoende is — laagsnelheids-ISR over vaste infrastructuur, bijvoorbeeld — is de Myriad X een levensvatbare optie tegen aanzienlijk lagere SWaP-C-kosten dan Hailo of Jetson.

Modelcompressie: kwantisatie, snoeien en kennisdistillatie voor embedded implementatie

Een full-precision YOLOv8m-model heeft approximately 25 miljoen parameters en beslaat 50 MB in FP32-opslag. Op een Hailo-8 met 8 MB on-chip SRAM kan dat model niet direct worden uitgevoerd — het moet worden gecomprimeerd tot een grootte die de geheugehiërarchie van de accelerator kan accommoderen zonder overmatige DRAM-bandbreedtedruk. Drie compressietechnieken worden gecombineerd gebruikt in productie-UAV-implementaties, en hun interactie wordt uitgebreid behandeld in ons artikel over ONNX- en TensorRT-modeloptimalisatie voor tactische randimplementatie.

Post-training kwantisatie (PTQ) converteert FP32-gewichten en -activaties naar INT8 door schalingsfactoren te kalibreren met behulp van een representatieve dataset. Op hardware met INT8-tensoruitvoereenheden — Jetson Orin, Hailo-8, Myriad X — levert INT8-inferentie een doorvoerverbetering van 2–4x op ten opzichte van FP32 bij equivalente modelcapaciteit. Nauwkeurigheidsverlies is doorgaans 0,5–2 mAP op luchtfotografie-objectdetectiebenchmarks wanneer de kalibratiedataset overeenkomt met het implementatiedomein. De kalibratiedataset moet samples bevatten van de daadwerkelijke sensor en hoogte waarop het model wordt ingezet; kalibreren op openbaar beschikbare luchtfoto-datasets en inzetten op een andere sensor creëert een domeinmismatch die de gekwantiseerde nauwkeurigheid meer kan degraderen dan de ruwe cijfers suggereren.

Gestructureerd snoeien verwijdert gehele convolutionele filters (uitvoerkanalen) waarvan de L1-norm onder een drempel valt, waardoor een topologisch kleiner model wordt geproduceerd dat profiteert van zowel een verminderd parameteraantal als verminderde geheugenbandbreedte. Een gestructureerde snoeïng van 30% van YOLOv8s verwijdert circa 30% van de filters over de ruggengraat, waardoor de inferentielatentie met approximately 25% afneemt op Jetson-hardware en de INT8-nauwkeurigheidsbodem na herkwantisatie verbetert (omdat de resterende filters de meest geactiveerde zijn). De snoeïingsdrempel wordt iteratief afgestemd: snoeien, verfijnen gedurende 10–20 epochs op de trainingsset, nauwkeurigheid meten op de validatieset en herhalen totdat de doellatentie of geheugenafdruk is bereikt zonder het aanvaardbare mAP-budget te overschrijden.

Kennisdistillatie behandelt het geval waarbij snoeien van het volledige model de doelparameteraantal niet kan bereiken zonder onaanvaardbaar nauwkeurigheidsverlies. Een compact studentmodel — YOLOv8n, bijvoorbeeld — wordt getraind om de logit-uitvoer van een groter docentmodel (YOLOv8m of YOLOv8l) te reproduceren op de trainingsgegevens. Het student leert de betrouwbaarheidsverdeling van de docent over klassen na te bootsen, niet alleen zijn harde labelopdrachten, wat informatie overbrengt over klasseambiguïteit en feature-gelijkenis die harde-labeltraining niet doet. Studentmodellen getraind via distillatie presteren consistent beter dan identiek grote modellen die van de grond af zijn getraind, doorgaans met 1–3 mAP op luchtfotografie-detectiebenchmarks. De techniek is bijzonder effectief wanneer de trainingsdataset klein is — een veel voorkomende situatie in defensie-implementaties waar gelabelde luchtfotografie van specifieke doelklassen schaars is.

Doeldetectiepijplijnen aan de rand: YOLO-varianten en afwegingen tussen framesnelheid en nauwkeurigheid

De YOLO-familie domineert productie-randdetectie-implementaties op UAV-payloads om twee redenen: de architectuur is enkelfasig (geen regionenvoorstelnetwerk), waardoor de inferentielatentie voorspelbaar en begrensd blijft, en de modelzoo is uitgebreid — voorgetrainde gewichten op meerdere schalen (n, s, m, l, x) laten teams de capaciteitslaag selecteren die past bij hun hardwarebudget. YOLOv8 is de huidige productiebasis voor de meeste defensie-integratoren, hoewel RT-DETR (een transformator-gebaseerde enkelfasige detector) aan terrein wint voor gebruikssituaties waarbij detectie op kleine objectschaal — personeel op 500 m hoogte, bijvoorbeeld — kritisch is en de inferentiehardware de hogere rekenkosten kan absorberen.

Framesnelheid en nauwkeurigheid wegen tegen elkaar via drie variabelen die de pijplijnontwerper bestuurt: modelschaal, invoerresolutie en betrouwbaarheidsdrempel. Het verlagen van de invoerresolutie van 640x640 naar 320x320 vermindert de inferentierekening met approximately 4x en verdubbelt de haalbare framesnelheid op vaste hardware, maar verkleint het effectieve detectiebereik voor kleine doelen proportioneel. Voor voertuigdetectie op 100–200 m hoogte is 320x320 over het algemeen voldoende. Voor personeelsdetectie op dezelfde hoogte is 640x640 het praktische minimum. Het verlagen van de betrouwbaarheidsdrempel van 0,5 naar 0,35 herstelt detecties van gedeeltelijk occluded of verre doelen, maar verhoogt het fout-positiefpercentage, wat de annotatieverantwoordelijkheid op het downstream fusiesysteem vergroot. De correcte drempel is missie-specifiek en moet worden afgestemd op grondwaarheidsgegevens van de implementatiesensor en -hoogte.

Meerfasige pijplijnen — een lichtgewicht detector om interessegebieden te identificeren gevolgd door een hogere-capaciteit classifier om het label te verfijnen — kunnen de nauwkeurigheid bij een gegeven rekenbudget verbeteren door middelen te concentreren op kandidaatgebieden. Een YOLOv8n op 30 fps identificeert begrenzingskaders rond voertuiggrote objecten; een MobileNetV3-classifier op 10 fps verwerkt alleen de uitgesneden gebieden om wiel- van rupsbanden en licht van zwaar te onderscheiden. Deze cascadearchitectuur is goed geschikt voor het dataflowmodel van de Hailo-8, waarbij twee netwerken kunnen worden gecompileerd in een enkele HEF en uitgevoerd als een pijplijngraph in plaats van sequentieel, waarbij de latentie van de tweede fase verborgen blijft achter het frame-interval van de eerste.

Vermogensbudgetbeperkingen en thermisch beheer op kleine UAV's

Het vermogensbudget voor een UAV-payload is niet vastgesteld door de totale energiecapaciteit van het luchtvaartuig, maar door de stroomtoewijzing van de payloadruimte vanuit de vermogensdistributie-eenheid (PDU) en door het thermische model van de payloadruimte van het vliegbeheersysteem. Een multirotor van 5 kg met een accu van 100 Wh en een vluchttijd van 30 minuten heeft een gemiddeld vermogensverbruik van approximately 200 W van alle systemen samen. Het voortstuwingssysteem verbruikt 80–90% van dat budget onder typische zweefvluchtomstandigheden, waardoor 20–40 W overblijft voor avionika, payload en sensoren. Een payload die 15 W verbruikt, laat slechts 5–25 W over voor al het andere. In de praktijk worden vermogenstoewijzingen voor payloads op platforms onder 5 kg vaak ingesteld op 5–8 W door de vliegtuigfabrikant, en het overschrijden hiervan vermindert de vliegduur merkbaar.

Thermisch beheer op kleine UAV's is moeilijker dan op grondvoertuigen of vaste infrastructuur omdat de payloadruimte afgesloten, klein en mogelijk geconstrueerd van thermisch isolerende composietmaterialen is. Het UAV-airframe biedt enige koeling via huidgeleiding en luchtstroom over het buitenoppervlak, maar dit voordeel varieert met vliegsnelheid en geometrie van de payloadruimte. De standaardbenadering is om het inferentierekenbord te monteren op een thermisch grensvlakpad tegen het dikste aluminium constructieve onderdeel van het payloadchassis, dat dient als warmteverspreider naar het airframe. Voor de Jetson Orin Nano bij 10 W in stabiele toestand kan een 2 mm aluminiumplaat gebonded aan de onderste romp met thermische pasta de chiptemperatuur onder 75°C houden bij 40°C omgevingstemperatuur tijdens horizontale vlucht. Voor de Hailo-8 bij 5 W is een eenvoudige koellichaam bevestigd aan de M.2-connector van de module doorgaans voldoende.

Stroomverbruik reageert ook op softwareconfiguratie. Het nvpmodel-hulpprogramma van het Jetson-platform stelt vermogensmodus-presets beschikbaar die CPU-klokfrequentie, GPU-klokfrequentie en geheugenbandbreedte begrenzen. Het instellen van de Orin Nano op een vermogensmodus van 7 W vermindert de inferentiedoorvoer met approximately 35% vergeleken met de maximummodus van 15 W, maar halveert de warmtedissipatie bijna, wat de juiste afweging kan zijn wanneer de thermische enveloppe van de payloadruimte de bindende beperking is in plaats van inferentielatentie. Een configuratie die het volledige missieprofiel van het luchtvaartuig uitvoert zonder thermische beperking is betrouwbaarder dan een configuratie die piek-inferentieprestaties bereikt gedurende 15 minuten voordat de automatische thermische beveiliging van de chip wordt geactiveerd en de framesnelheid onvoorspelbaar daalt.

C2-integratie via MANET bij herverbinding

Het detectielogboek dat is opgebouwd tijdens een verbindingsonderbreking heeft beperkte waarde tenzij het snel en volledig kan worden geleverd aan het commandovoeringssysteem wanneer de connectiviteit is hersteld. MANET (Mobile Ad-hoc Network) radio's — gebruikt in tactische UAV-operaties om meshconnectiviteit te bieden tussen het luchtvaartuig, grondvoertuigen en ontmantelde operatoren — zijn het primaire transportmiddel voor zowel realtime detectiestreaming als synchronisatie na een onderbreking. Wanneer de UAV het meshdekkingsgebied opnieuw betreedt, herstelt het MANET-knooppunt aan boord binnen seconden routering en begint de synchronisatieagent met het verzenden van gebufferde detectierecords.

De architectuur van de synchronisatieagent moet worden ontworpen rond twee bedrijfsmodi. In verbonden modus worden detectierecords in bijna-realtime verzonden zodra ze door de inferentiepijplijn worden gegenereerd, geserialiseerd als CoT-gebeurtenissen en gepubliceerd naar TAK Server via het MANET-mesh. In niet-verbonden modus stapelen records zich op in een lokale SQLite-database met een "gesynchroniseerd"-vlag. Bij herverbinding vraagt de agent om niet-gesynchroniseerde records geordend op tijdstempel en verzendt ze in chronologische volgorde, snelheidsbeperkt om te voorkomen dat de bandbreedte van de MANET-radio wordt verzadigd met burstverkeer ten koste van andere netwerkdeelnemers. Nadat elk record is bevestigd door de server, wordt het als gesynchroniseerd gemarkeerd. De database biedt crashherstel: als de UAV landt of de inferentieservice opnieuw opstart tijdens een synchronisatie, hervat de volgende synchronisatiecyclus vanaf het laatste niet-gesynchroniseerde record in plaats van het volledige logboek opnieuw te verzenden.

CoT-gebeurtenisconstructie voor UAV AI-detecties volgt het standaard CoT-schema maar bevat payload-specifieke uitbreidingen in het detailblok. De detectieklasse en betrouwbaarheidsscore vullen aangepaste CoT-detail-subelementen in. De GPS-positie van de UAV op het moment van frameregistratie wordt gebruikt als het CoT-punt, en waar de inferentiepijplijn een op de grond geprojecteerde detectiepositie kan berekenen vanuit het gezichtsveld van de sensor, hoogte boven de grond en cardanhoek, wordt die geprojecteerde coördinaat gebruikt — waarbij de detectiemarker op de kaart op de werkelijke grondpositie van het doel wordt geplaatst in plaats van de positie van het luchtvaartuig. TAK Server levert deze CoT-gebeurtenissen aan alle verbonden ATAK-clients, waar ze verschijnen als geclassificeerde markeringen met detectieherkomst en betrouwbaarheidsmetadata zichtbaar in de gegevensdetailweergave van de gebeurtenis.

Aanschaf: SWaP-C en MIL-STD omgevingsbeoordelingen

Het aanschaffen van een boordgebonden AI-inferentiepayload voor een tactisch UAV-programma vereist het evalueren van hardware tegen drie niet-onderhandelbare assen: SWaP-C (grootte, gewicht, vermogen en kosten), omgevingsbeoordelingen en toeleveringsketenmaturiteit. SWaP-C stuurt de platformafweging die hierboven is beschreven — TOPS per watt, fysieke afmetingen en eenheidskosten beperken allemaal welk silicium levensvatbaar is. Omgevingsbeoordelingen bepalen of de hardware de inzetomstandigheden overleeft waaraan het wordt blootgesteld. Kosten sturen de vervangbaarheidsdoctrine van het platform: een payload bestemd voor een herstelbare ISR-UAV heeft een andere kostentolerantie dan een payload geïnstalleerd op een eenrichtings-zwermend systeem.

MIL-STD-810 definieert de omgevingsstressproeven die relevant zijn voor UAV-payloads: temperatuurwisseling (methode 501/502), trilling (methode 514), vochtigheid (methode 507), hoogte (methode 500) en schok (methode 516). Commercieel verkrijgbare (COTS) inferentiemodules zoals de Jetson Orin Nano zijn beoordeeld voor 0–80°C bedrijfstemperatuur op de commerciële variant en -25 tot 80°C op de industriële variant. UAV-payloadruimten in koude klimaten of operaties op grote hoogte kunnen het rekenbord blootstellen aan temperaturen onder -25°C bij het opstarten. Waar dit een zorg is, is een thermisch voorconditoneringscircuit — een weerstandsverwarmer bestuurd door een thermostaat die de ruimte verwarmt voordat het hoofdpayloadvoeding wordt ingeschakeld — een eenvoudigere en betrouwbaardere oplossing dan het selecteren van een processor met een breder temperatuurbereik die mogelijk niet bestaat op het vereiste capaciteitsniveau.

Toeleveringsketenmaturiteit is onevenredig belangrijk in defensieprogramma's omdat lange productiereeksen consistente componentbeschikbaarheid vereisen over meerjaarlijkse perioden. De levenscyclus van de Jetson Orin-module is gepubliceerd door NVIDIA met een productietoezegging van 10 jaar voor industriële varianten, wat voldoet aan de meeste levencyclusvereisten van defensieprogramma's. De Hailo-8 is een nieuwere deelnemer met een kortere productiegeschiedenis, en aankoopkantoren die het evalueren voor hoogvolumeprogramma's moeten contractuele toeleveringscontinuïteitsverplichtingen eisen. Voor platforms waar de inferentiechip wordt ingebed in een op maat gemaakt carrier board ontworpen voor programmaspecificaties, moet het carrier board-ontwerp voetstukvoorzieningen bevatten voor ten minste één alternatieve acceleratormodule, zodat een mid-programma chip-levenscycluswijziging geen carrier board-herontwerp vereist.