Portail nationalRechercheDiffusion, vulgarisation, médiasAu coeur des labos

Focus sur un projet de recherche

DEEPLOMATICS : Le Deep-Learning au service de la localisation de cibles aériennes à faible signature

Localisation dynamique et reconnaissance de drone

16 mars 2022

Le projet DEEPLOMATICS a été présenté, le 3 mars dernier, lors du point presse du Ministère des armées par son porte-parole, Hervé Granjean. Focus sur ce projet initié en janvier 2019, porté et coordonné par Éric Bavu du LMSSC, et qui a permis de développer une solution innovante et adaptative à la problématique de détection de drones aériens sur des sites et infrastructures critiques, aussi bien en espace dégagé qu'en zone urbaine.

Soutenues par l’Agence de l’innovation de défense, les recherches ont été réalisées par un consortium aux compétences complémentaires en acoustique, en traitement du signal, en machine learning, et en optronique : le Laboratoire de mécanique des structures et des systèmes couplés (LMSSC) et le Centre d'études et de recherche en informatique et communications (Cedric) du Cnam, en partenariat avec le groupes Acoustique et Protection du Combattant et le groupe Advanced Visionics and Processing de l’Institut Franco-Allemand de recherches de Saint Louis (ISL) et la société ROBOOST. 

L'objectif du projet DEEPLOMATICS est de suivre la trajectoire et d’identifier des drones illicites en vue de leur neutralisation, dans un environnement complexe. Pour cela, le projet exploite des moyens complémentaires en acoustique et en optronique adossés à l’utilisation de techniques de Deep Learning, qui offrent une solution dans un grand nombre de scénarios et permettent de traiter le problème en couvrant les points suivants :

  • L’entrainement des IA via une solution d'auto-calibration implicite des capteurs acoustiques, qui constitue une approche innovante d'entrainement et d’augmentation de données par spatialisation 3D.
  • La réponse à la variabilité des sites à surveiller et aux problématiques de coût d'installation.
  • L'accrochage et la poursuite automatique de cibles aériennes par imagerie optronique active, pilotée par les informations fournies par les dispositifs acoustiques intelligents répartis sur site.
  • La reconnaissance automatique et simultanée de signature acoustique et visuelle de la cible aérienne, optimisée grâce à la fusion multimodale des données décisionnelles.

Une approche basée sur des techniques novatrices de Deep Learning

Figure 1 : Éléments du système de surveillance : exemple de drone à détecter, antenne microphonique avec bonnette anti-vent, intelligence artificielle locale connectée à l’antenne, et ensemble de caméras (visible, thermique, et imagerie active dans le proCelles-ci ont été développées conjointement pour un ensemble de capteurs audio et optroniques, qui permettent l'identification et le suivi robuste en temps réel de trajectoires d'aéronefs sans pilote à faible signature grâce à des données issues de capteurs hétérogènes : antennes microphoniques pour le son, et différentes caméras (visible, thermique, et imagerie active dans le proche infrarouge).

La robustesse de l’approche repose sur un traitement local par des intelligences artificielles indépendantes associées aux capteurs audio et vidéo du réseau de surveillance.

Ce réseau de surveillance est basé sur un ensemble d’antennes microphoniques compactes et indépendantes, complétées par un système d'imagerie monté sur une tourelle orientable. Chaque intelligence artificielle permet de détecter, de localiser, et de reconnaître en temps réel le type de drone en vol en exploitant simultanément sa signature acoustique et visuelle tout en offrant une large couverture spatiale. La signature visuelle est exploitée dans plusieurs plages d’utilisation complémentaires par les différentes caméras montées sur tourelle. Ainsi, le cas de situations difficiles empêchant une détection avec une caméra est résorbé par une autre technologie. Par exemple, lorsque le drone se confond avec l’arrière-plan avec la caméra visible, l’imagerie active permet de l’isoler en éliminant visuellement le fond sur l’image. Les paramètres de ces systèmes d’imagerie sont pilotés par la fusion des informations fournies en temps réel par les intelligences artificielles de chaque antenne microphonique disposée sur site.

L'entrainement des intelligences artificielles adossées aux capteurs acoustiques est unique en son genre, puisqu’il repose sur l’utilisation du spatialisateur 3D du LMSSC. Le spatialisateur 3D, développé au Cnam, est un dispositif de 50 haut-parleurs disposés sur une sphère, permettant de reconstituer un champ acoustique à 3 dimensions totalement réaliste. Il est pilotable en temps réel, ce qui permet, au delà de la restitution des enregistrements réalisés sur site, de modifier à souhait les trajectoires des drones, de faire « tourner » la scène autour de l’antenne à entrainer, ou encore d’associer une autre son de drone à une trajectoire.

Spatialisateur 3D « Spherebedev »À l’aide de ce dispositif il est possible d’entrainer un réseau pour différents types d’antennes à partir d’un seul jeu de données enregistrées sur site, ou encore de modifier les trajectoires de drones pour enrichir la base de données physiquement. Il est également possible d’interchanger des trajectoires de drones, ce qui permet de reconnaître efficacement des drones qui n’auraient pas été inclus dans la base de données construite au cours du projet.

Une proposition originale et novatrice pour la sécurité du territoire

La montée en maturité technologique au cours des recherches du projet DEEPLOMATICS a permis de concevoir des antennes et des supports anti-vibratiles, anti-vent et anti-pluie, et de constituer une base de données de plus de 15 heures d’enregistrements de drones civils de tailles variées en vol, avec des trajectoires dynamiques très variées.

Technologiquement, chaque antenne possède une capacité de couverture de localisation et de reconnaissance sur une zone de 10 à 15 hectares centrée sur la position de l’antenne microphonique. Dans cette bulle de protection offerte par chaque antenne dotée de son IA, les drones sont détectés avec un taux approchant les 95 %, et l’IA offre même la possibilité de proposer une reconnaissance du modèle de drone en vol. Le déploiement de plusieurs antennes sur site permet ainsi de couvrir une zone étendue. Chaque IA ayant la capacité de confirmer les estimations en temps réel fournies par une IA acoustique disposée à un autre endroit du site, la robustesse du système s’en retrouve accrue.

Les techniques d’identification de cibles en mouvement, à faible signature acoustique et visuelle, et leur localisation pour un suivi prédictif de trajectoires représentent plus que jamais un défi scientifique et technique. Les applications liées à la défense sont nombreuses dans le cadre de la sécurisation de sites, mais aussi pour la localisation de cibles grâce à des modules compacts et portatifs, qui pourraient compléter l’équipement du soldat du 21e siècle. Elles trouvent de nombreuses applications liées à la sécurité́ civile (surveillance et sécurisation d’infrastructures critiques d’accès à l’énergie, lutte contre l’espionnage industriel…). Ces techniques présentent également de l’intérêt pour des applications civiles de surveillance ou de contrôle des nuisances sonores causées par les véhicules routiers ou aériens, et pour des applications de surveillance d’écosystèmes (inventaire et suivi d’espèces animales pour la sauvegarde de la biodiversité́).

En savoir plus +Le site web du projet DEEPLOMATICS