Akustische KI-Erkennung: Klassifizierung von Schüssen und Fahrzeugen am Edge

Der Schall trifft ein, bevor man die Quelle sieht. Ein Gewehrschuss auf 500 Meter erreicht einen akustischen Sensorknoten in unter 1,5 Sekunden. Ein Kettenfahrzeug, das sich unter Baumbedeckung auf 2 km bewegt, erzeugt Motoroberwellen, die sich über das Gelände ausbreiten, lange bevor ein optischer oder Radarsensor die Plattform auflösen kann. Akustische KI nutzt diese Physik: Indem sie klassifiziert, was ein Mikrofonarray hört – und die Peilung aus den Laufzeitunterschieden zwischen den Elementen berechnet – kann ein am Edge eingesetzter akustischer Knoten eine Erkennungsebene zum gemeinsamen Lagebild (COP) beitragen, die optische Sensoren nicht nachbilden können. Dieser Artikel führt durch die Sensorphysik, die Merkmalsextraktion, die Architekturen des maschinellen Lernens, die Peilschätzungsalgorithmen und die CoT-Integration, die akustische Edge-Sensorik zu einer einsatzfähigen militärischen KI-Fähigkeit machen.

Warum akustische Sensorik am Edge?

Der operative Fall für am Edge eingesetzte akustische Sensoren beruht auf drei Eigenschaften, die keine andere passive Sensormodalität teilt.

Passive Erkennung. Akustische Sensoren senden nichts aus. Im Gegensatz zu Radar oder aktivem Sonar hat ein Mikrofonarray keine HF-Signatur, keinen Laserrückstrahl und keine thermische Abgabe über den minimalen Stromverbrauch des Rechenknotens hinaus. Dies macht akustische Sensoren geeignet für verdeckte Einsätze unbemannter Bodensensoren (UGS) an Engstellen, entlang von Nachschubrouten oder rund um verteidigte Stellungen, ohne die Gefahr, die Position des Sensors durch seine eigenen Emissionen zu verraten.

Durchdringung visueller Sichthindernisse. Akustische Wellen breiten sich durch Nebel, Rauch, Vegetation und Dunkelheit mit weit geringerer Dämpfung aus als sichtbares oder infrarotes Licht. Ein Radfahrzeug in einem Baumstreifen, das für eine EO-Drohne unsichtbar ist, ist akustisch laut. Eine eingesetzte Mannschaftswaffe hinter einem Erdwall erzeugt immer noch einen erkennbaren Mündungsknall. Die akustische Domäne bietet eine Sensorpersistenz unter Bedingungen, die optische Systeme überfordern.

Geringer Stromverbrauch, lange Ausdauer. Ein Mikrofonarray mit einer Inferenz-Engine der Mikrocontroller-Klasse verbraucht im Dauerüberwachungsmodus 20–100 mW. Ein kleines Batteriepaket ermöglicht Wochen bis Monate unbemannten Betriebs. Im Gegensatz dazu benötigt ein Bodenradar oder ein dauerhafter EO-Sensor für vergleichbare kontinuierliche Abdeckung um Größenordnungen mehr Strom. Akustische Sensoren füllen die Ausdauernische, die stromhungrige Sensoren nicht abdecken können.

Sensorarray-Geometrie und die Physik der TDOA

Ein einzelnes Mikrofon kann akustische Ereignisse erkennen und klassifizieren, aber nicht bestimmen, woher sie kommen. Die Richtungsbestimmung erfordert ein Array – mehrere Mikrofone in bekannten geometrischen Abständen – und einen Time-Difference-of-Arrival-Algorithmus (TDOA), der die Peilung aus den Mikrosekundenunterschieden berechnet, wann die akustische Wellenfront jedes Element erreicht.

Für ein lineares Array von N Mikrofonen mit Abstand d ist die maximale eindeutige TDOA d/c, wobei c die Schallgeschwindigkeit ist (etwa 343 m/s bei 20°C, variierend um rund 0,6 m/s pro Grad Celsius). Um die Peilung ohne Aliasing aufzulösen, darf der Abstand zwischen den Elementen die halbe Wellenlänge bei der höchsten interessierenden Frequenz nicht überschreiten – dasselbe räumliche Abtastkriterium wie beim phasengesteuerten Radar. Für die Schusserkennung, bei der der relevante spektrale Inhalt bis 10 kHz reicht (Wellenlänge ≈ 34 mm), muss der Arrayabstand unter 17 mm liegen, um Mehrdeutigkeit bei der höchsten Frequenz zu vermeiden. In der Praxis verwenden produktive militärische akustische Arrays eine 2D-Anordnung (Kreuz, Pentagon oder Hexagon) mit Elementabständen im Bereich von 10–30 cm und stützen sich auf den niederfrequenten Inhalt des Mündungsknalls (1–4 kHz) für eine eindeutige Peilung.

Die verallgemeinerte Kreuzkorrelation mit Phasentransformation (GCC-PHAT) ist der Standardalgorithmus zur Schätzung der TDOA zwischen einem Paar von Mikrofonkanälen. Sie kreuzkorreliert die beiden Kanalsignale im Frequenzbereich, normalisiert nach dem Kreuzspektralbetrag (der „Phasentransformations“-Schritt) und findet die Zeitverzögerung am Korrelationspeak. GCC-PHAT ist robust gegenüber Nachhall – der Normalisierungsschritt unterdrückt Mehrwegenergie – und erzeugt einen scharfen Peak selbst in lauten Außenumgebungen, wenn das Direktpfadsignal über die Kanäle hinweg kohärent ist.

Arraykalibrierung und Umweltkompensation

Zwei praktische Komplikationen verschlechtern die TDOA-Genauigkeit im Feldeinsatz. Erstens können die tatsächlichen Mikrofonpositionen in einem gefertigten Array aufgrund von Fertigungstoleranzen um 1–3 mm von der nominalen Geometrie abweichen. Bei 48 kHz Abtastung und 343 m/s Schallgeschwindigkeit entspricht 1 mm Positionsfehler etwa 3 µs Timing-Fehler – äquivalent zu einem Peilfehler von 1° auf kurze Distanz für eine 15-cm-Apertur. Arrays sollten nach der Montage mit einer akustischen Punktquelle an einer bekannten Position kalibriert werden, indem die tatsächlichen Positionen an die beobachteten TDOAs angepasst werden.

Zweitens beeinflusst die Temperatur die Schallgeschwindigkeit um 0,6 m/s pro °C. Ein Temperaturschwung von 20°C – üblich zwischen Nacht und Mittag in mittleren Breiten – verschiebt die Schallgeschwindigkeit um 12 m/s (3,5 %), was sich direkt in Entfernungs- und Peilfehler niederschlägt, wenn keine Temperaturkompensation angewendet wird. Akustische Edge-Knoten sollten einen Temperatursensor (und idealerweise einen Feuchtigkeits- und Luftdrucksensor) enthalten, um die Schallgeschwindigkeitsschätzung in Echtzeit zu aktualisieren.

Merkmalsextraktion für die Audioklassifizierung

Die Klassifizierung akustischer Ereignisse als Schüsse, Explosionen, Fahrzeuge oder Umgebungsgeräusche erfordert Merkmale, die die spektrale und zeitliche Struktur jeder Ereignisklasse erfassen und gleichzeitig kompakt genug sind, um auf Edge-Hardware innerhalb des Latenzbudgets verarbeitet zu werden.

Mel-Frequenz-Cepstral-Koeffizienten (MFCCs). Das am weitesten verbreitete kompakte Audiomerkmal für Klassifizierungsaufgaben. MFCCs bilden die Kurzzeit-Fourier-Transformation eines Signals auf eine Mel-Skalen-Filterbank ab (die die Frequenzauflösung des menschlichen Gehörs approximiert) und wenden dann eine diskrete Kosinustransformation an, um die Filterbankausgaben zu dekorrelieren. Zwanzig bis 40 Koeffizienten pro Analyserahmen erfassen die grobe spektrale Form des Ereignisses. Für die Unterscheidung zwischen Schuss und Fahrzeug ist der Schlüsseldiskriminant das Verhältnis von Hochfrequenz- zu Niederfrequenzenergie: Schüsse konzentrieren Energie über 2 kHz in einem kurzen impulsiven Burst, während Fahrzeuge anhaltenden niederfrequenten Inhalt unter 500 Hz mit harmonischer Struktur erzeugen.

Log-Mel-Spektrogramme. Für Deep-Learning-Klassifikatoren geben Log-Mel-Spektrogramme – zweidimensionale Zeit-Frequenz-Darstellungen auf einer Mel-Skala – dem Modell Zugang zur vollständigen spektrotemporalen Struktur des Ereignisses. Ein 64-Band-Spektrogramm mit 25-ms-Rahmen und 10-ms-Hop eines 200-ms-Ereignisfensters erzeugt ein 64×19-Merkmalsbild, das ein kleines CNN präzise klassifiziert. Die Log-Mel-Darstellung bewahrt die transiente Onset-Struktur (entscheidend für die Schusserkennung) und anhaltende harmonische Muster (entscheidend für die Fahrzeugklassifizierung) in einem Format, das für die faltungsbasierte Merkmalsextraktion geeignet ist.

Onset-Erkennung und Ereignissegmentierung. Bevor die Merkmalsextraktion ablaufen kann, muss das System erkennen, dass ein klassifizierungswürdiges Ereignis aufgetreten ist. Eine einfache Energieschwelle löst bei lauten Transienten aus, hat aber hohe Fehlalarmraten durch Donner, Metallaufprall und Industrielärm. Ein besserer Ansatz verwendet einen erlernten Onset-Detektor – ein kleines Modell, das darauf trainiert ist, akustische Onsets, die klassifizierbaren militärischen Ereignissen vorausgehen, von allen anderen Transienten zu unterscheiden – als Vorfilter. Diese zweistufige Architektur reduziert die an den Hauptklassifikator weitergegebene Fehlalarmrate um 60–80 % in typischen industriellen Außenumgebungen, auf Kosten von zusätzlichen 5–10 ms Inferenzlatenz.

Architekturen des maschinellen Lernens für die akustische Edge-Klassifizierung

Drei Modellfamilien sind für die akustische Edge-Klassifizierung in militärischen Anwendungen produktionsfähig.

Faltungsneuronale Netze auf Spektrogrammen. Eine MobileNetV2- oder EfficientNet-Lite-Architektur, die für Audio angepasst wurde (Ersetzen der ImageNet-Eingabeform durch die Spektrogrammdimensionen), erreicht 92–96 % Genauigkeit bei akustischen Ereignisdatensätzen mit vier Klassen (Schuss, Fahrzeug, Explosion, Umgebung) bei einer Inferenzzeit von unter 20 ms auf einem ARM Cortex-M55 mit INT8-Quantisierung. Die Schlüsselanpassung ist die Verwendung eines relativ schmalen zeitlichen Kontextfensters – 200–500 ms –, um den Eingangstensor klein genug für den geräteinternen Speicher zu halten. Speziell für die Schusserkennung lassen sich dieselben Quantisierungs- und Optimierungstechniken, die in der visuellen Edge-KI verwendet werden, direkt auf die Bereitstellung von Audio-CNNs anwenden.

Audio-Transformer-Modelle. Modelle der Audio-Spectrogram-Transformer-Familie (AST) wenden Selbstaufmerksamkeit über Spektrogramm-Patches an und erreichen Spitzengenauigkeit bei allgemeinen Audioklassifizierungs-Benchmarks. Auf Edge-Hardware ist der Aufmerksamkeitsmechanismus bei gleicher Modellgröße speicherintensiver als Faltungen, und Aufmerksamkeitsschichten verschlechtern sich unter INT8-Quantisierung stärker als Faltungsschichten. Destillierte Tiny-AST-Varianten mit 1–5 Millionen Parametern sind auf Prozessoren der Cortex-A-Klasse bei 10–30 ms Inferenzzeit machbar. Der Genauigkeitsvorteil gegenüber CNN-basierten Modellen ist bescheiden (1–3 %) für die militärische akustische Ereignisklassifizierung, bei der der Trainingssatz domänenspezifisch ist und nicht das breite AudioSet, für das AST hervorragend ausgelegt wurde.

Rekurrente Klassifikatoren zur Fahrzeugidentifizierung. Die Fahrzeugklassifizierung – die Unterscheidung von Rad- und Kettenfahrzeugen, leicht und schwer sowie spezifischen Plattformtypen – profitiert von zeitlichem Kontext, den CNNs mit kurzen Fenstern schlecht erfassen. Ein bidirektionales LSTM, das mit einer Sequenz von 20–50 MFCC-Rahmen (200–500 ms Audio) arbeitet, erfasst die Entwicklung der Motoroberwellen bei Änderung von Last und Geschwindigkeit und erzeugt stabilere Fahrzeugtypschätzungen über mehrsekündige Fenster. Der LSTM-Klassifikator kann asynchron zum Ereignisauslöser-Klassifikator laufen und kontinuierlich eine Fahrzeugtypschätzung aktualisieren, solange akustischer Kontakt besteht.

Überschall-Ballistik-Stoßwelle versus Mündungsknall

Ein Gewehr oder eine schwere Waffe, die auf einen Sensor abgefeuert wird, erzeugt zwei unterschiedliche akustische Ereignisse: den Mündungsknall (eine omnidirektionale impulsive Wellenfront vom Treibgas) und die Ballistik-Stoßwelle (eine konische N-Welle, die vom Überschall-Projektil erzeugt wird). Diese treffen je nach Geometrie des Gefechts zu unterschiedlichen Zeiten am Sensor ein, und die Zeitdifferenz zwischen ihnen kodiert Informationen über den Waffentyp, die Mündungsgeschwindigkeit und – entscheidend – die Position des Schützen relativ zur Ziel-Sensor-Geometrie.

Die TDOA des Mündungsknalls gibt die Richtung zur Waffe an. Die TDOA der Ballistik-Stoßwelle gibt die Richtung der Projektilbahn an. Durch Kombination beider Schätzungen kann ein richtig trainierter Klassifikator und Schätzer bestimmen, ob die Waffe in Richtung, weg von oder quer über die Sensorposition abgefeuert wurde. Diese Fähigkeit – die Unterscheidung von eingehendem und ausgehendem Feuer – hat offensichtlichen operativen Wert für Entscheidungen zur Verteidigungshaltung. Systeme, die nur anhand des Mündungsknalls klassifizieren, ohne die Stoßwellenkomponente zu trennen, melden die Peilung des Schützen systematisch um einen Winkel falsch, der mit der Schütze-zu-Sensor-Entfernung zunimmt.

Integration akustischer Erkennungen in das gemeinsame Lagebild

Eine akustische Erkennung, die auf dem Edge-Knoten bleibt, ist taktisch nutzlos. Der Wert wird erst realisiert, wenn das Erkennungsereignis – Peilung, Klassifizierung, Konfidenz, Zeitstempel, Sensorposition – die Bediener und automatisierten Fusionsmaschinen auf dem COP erreicht. Das Integrationsmuster spiegelt das wider, was für verteilte militärische Sensornetze gut etabliert ist: Jeder Knoten meldet lokal verarbeitete Ergebnisse über eine eingeschränkte Verbindung an einen Hub, der über Knoten hinweg fusioniert.

Für die Integration in das TAK-Ökosystem werden akustische Erkennungsereignisse als CoT-XML an den TAK-Server veröffentlicht. Der CoT-Ereignistyp für eine akustische Beobachtung wird aus der CoT-Typtaxonomie gezogen (b-m-p-s-p-op für Beobachtung oder ein feindlicher Typcode, falls die Klassifizierungskonfidenz und die Einsatzregeln es zulassen). Das CoT-Detailfeld trägt strukturierte Erweiterungselemente: Peilung, Peilunsicherheit, Ereignisklasse, akustische Konfidenz und eine Kennung für den meldenden Sensorknoten. Das eingebaute CoT-Abonnementmodell des TAK-Servers liefert das Ereignis innerhalb von 1–3 Sekunden nach dem akustischen Beginn an alle verbundenen ATAK-Clients.

Die Mehrknoten-Fusion ist die Fähigkeit, die Peillinien in Positionsfixe verwandelt. Wenn zwei oder mehr akustische Knoten dasselbe Ereignis melden (abgeglichen nach Zeitstempel und Klassifizierung innerhalb eines konfigurierbaren Zeitfensters), werden ihre Peillinien mithilfe eines gewichteten Kleinste-Quadrate-Algorithmus geschnitten. Das Gewicht für jede Peillinie ist umgekehrt proportional zur Peilunsicherheit. Die fusionierte Position wird als 2D-Fehlerellipse (CEP) dargestellt, deren Größe mit der Geometrie des Knotennetzes und den Peilunsicherheiten der beitragenden Knoten wächst. Für ein Zwei-Knoten-Netz mit 90°-Schnittwinkel und 2° Peilunsicherheit pro Knoten beträgt der CEP auf 500 m Entfernung etwa 18 Meter – ausreichend, um ein Beobachtungsteam zu instruieren oder ein UAS zur Untersuchung zu lenken.

Batteriebetriebene Edge-Knoten, die in kommunikationsverweigerten Phasen arbeiten, speichern Erkennungen lokal mit präzisen GPS-Zeitstempeln. Bei Wiederverbindung mit dem taktischen Netzwerk werden gepufferte Ereignisse mit ihren ursprünglichen Zeitstempeln an den TAK-Server wiedergegeben und rekonstruieren die akustische Ereignishistorie auf dem COP für die Nachereignisanalyse.