DEEPLOMATICS : Le Deep-Learning au service de la localisation de cibles aériennes à faible signature
Dernières actus
Mars 2022 :
Présentation du projet lors du point presse du Ministère des Armées, par son porte parole Hervé Grangean
Mars 2022 :
Publications
Novembre 2021 :
DEEPLOMATICS au Forum Innovation Défense!
Le Forum Innovation Défense s'est déroulera du 25 au 27 novembre 2021 à l’Espace Champerret à Paris (17e).
Vitrine de l’innovation de défense, cet événement incontournable réunira tous les acteurs ministériels et tous les acteurs de l’écosystème de l’innovation de défense autour des meilleurs projets soutenus par le ministère des Armées.
Le projet le projet a été présenté au sein du pôle thématique « Supériorité opérationnelle »
Le laboratoire LMSSC
Le Laboratoire de mécanique des structures et des systèmes couplés (LMSSC) est une unité de recherche du Cnam (EA 3196).
La recherche effectuée au LMSSC est une recherche appliquée et le point clé des travaux qui y sont menés est de pouvoir aboutir à une série de modèles robustes pour la prévision et la réduction des réponses dynamiques de systèmes couplés à l'aide de traitements adaptatifs. Les résultats de ces recherches s'adressent principalement au monde de la recherche académique, aux centres de recherche et aux services R&D des industries de pointe. Ces activités ont également des retombées sur les enseignements réalisés au sein des différents cursus d'ingénieur du Cnam.
Le laboratoire Cedric
Le Centre d’études et de recherche en informatique et communications (Cedric), EA 4629, consacre ses recherches à l'informatique et aux communications, en particulier à la numérisation et l'automatisation des processus intelligents d'interaction, d’apprentissage, de raisonnement, de décision et d'action. Les approches traditionnelles sont confrontées aux défis récents portés par les nouveaux systèmes de calcul et de communication, et la disponibilité de données à très grande échelle. Le Cédric développe des réponses sur trois axes majeurs :
- Systèmes communicants et interactifs : conception des infrastructures, réseaux et systèmes de communication et d’interaction homme-machine
- Science des données : modélisation, optimisation, extraction de connaissance et apprentissage automatique, appliquées à des masses de données complexes
- Confiance et sécurité numérique : sûreté des programmes et des processus, fiabilité des systèmes et sécurité des données
Chacune des huit équipes du Cédric contribue à l’animation et au développement des axes en fonction de son expertise scientifique.
Soutenues par l’Agence de l’innovation de défense, les recherches ont été réalisées par un consortium aux compétences complémentaires en acoustique, en traitement du signal, en machine learning, et en optronique : le Laboratoire de mécanique des structures et des systèmes couplés (LMSSC) et le Centre d'études et de recherche en informatique et communications (Cedric) du Cnam, en partenariat avec le groupes Acoustique et Protection du Combattant et le groupe Advanced Visionics and Processing de l’Institut Franco-Allemand de recherches de Saint Louis (ISL) et la société ROBOOST.
L'objectif du projet DEEPLOMATICS est de suivre la trajectoire et d’identifier des drones illicites en vue de leur neutralisation, dans un environnement complexe. Pour cela, le projet exploite des moyens complémentaires en acoustique et en optronique adossés à l’utilisation de techniques de Deep Learning, qui offrent une solution dans un grand nombre de scénarios et permettent de traiter le problème en couvrant les points suivants :
- L’entrainement des IA via une solution d'auto-calibration implicite des capteurs acoustiques, qui constitue une approche innovante d'entrainement et d’augmentation de données par spatialisation 3D.
- La réponse à la variabilité des sites à surveiller et aux problématiques de coût d'installation.
- L'accrochage et la poursuite automatique de cibles aériennes par imagerie optronique active, pilotée par les informations fournies par les dispositifs acoustiques intelligents répartis sur site.
- La reconnaissance automatique et simultanée de signature acoustique et visuelle de la cible aérienne, optimisée grâce à la fusion multimodale des données décisionnelles.
Une approche basée sur des techniques novatrices de Deep Learning
La robustesse de l’approche repose sur un traitement local par des intelligences artificielles indépendantes associées aux capteurs audio et vidéo du réseau de surveillance.
Ce réseau de surveillance est basé sur un ensemble d’antennes microphoniques compactes et indépendantes, complétées par un système d'imagerie monté sur une tourelle orientable. Chaque intelligence artificielle permet de détecter, de localiser, et de reconnaître en temps réel le type de drone en vol en exploitant simultanément sa signature acoustique et visuelle tout en offrant une large couverture spatiale. La signature visuelle est exploitée dans plusieurs plages d’utilisation complémentaires par les différentes caméras montées sur tourelle. Ainsi, le cas de situations difficiles empêchant une détection avec une caméra est résorbé par une autre technologie. Par exemple, lorsque le drone se confond avec l’arrière-plan avec la caméra visible, l’imagerie active permet de l’isoler en éliminant visuellement le fond sur l’image. Les paramètres de ces systèmes d’imagerie sont pilotés par la fusion des informations fournies en temps réel par les intelligences artificielles de chaque antenne microphonique disposée sur site.
L'entrainement des intelligences artificielles adossées aux capteurs acoustiques est unique en son genre, puisqu’il repose sur l’utilisation du spatialisateur 3D du LMSSC. Le spatialisateur 3D, développé au Cnam, est un dispositif de 50 haut-parleurs disposés sur une sphère, permettant de reconstituer un champ acoustique à 3 dimensions totalement réaliste. Il est pilotable en temps réel, ce qui permet, au delà de la restitution des enregistrements réalisés sur site, de modifier à souhait les trajectoires des drones, de faire « tourner » la scène autour de l’antenne à entrainer, ou encore d’associer une autre son de drone à une trajectoire.
Une proposition originale et novatrice pour la sécurité du territoire
La montée en maturité technologique au cours des recherches du projet DEEPLOMATICS a permis de concevoir des antennes et des supports anti-vibratiles, anti-vent et anti-pluie, et de constituer une base de données de plus de 15 heures d’enregistrements de drones civils de tailles variées en vol, avec des trajectoires dynamiques très variées.
Technologiquement, chaque antenne possède une capacité de couverture de localisation et de reconnaissance sur une zone de 10 à 15 hectares centrée sur la position de l’antenne microphonique. Dans cette bulle de protection offerte par chaque antenne dotée de son IA, les drones sont détectés avec un taux approchant les 95 %, et l’IA offre même la possibilité de proposer une reconnaissance du modèle de drone en vol. Le déploiement de plusieurs antennes sur site permet ainsi de couvrir une zone étendue. Chaque IA ayant la capacité de confirmer les estimations en temps réel fournies par une IA acoustique disposée à un autre endroit du site, la robustesse du système s’en retrouve accrue.
Les techniques d’identification de cibles en mouvement, à faible signature acoustique et visuelle, et leur localisation pour un suivi prédictif de trajectoires représentent plus que jamais un défi scientifique et technique. Les applications liées à la défense sont nombreuses dans le cadre de la sécurisation de sites, mais aussi pour la localisation de cibles grâce à des modules compacts et portatifs, qui pourraient compléter l’équipement du soldat du 21e siècle. Elles trouvent de nombreuses applications liées à la sécurité́ civile (surveillance et sécurisation d’infrastructures critiques d’accès à l’énergie, lutte contre l’espionnage industriel…). Ces techniques présentent également de l’intérêt pour des applications civiles de surveillance ou de contrôle des nuisances sonores causées par les véhicules routiers ou aériens, et pour des applications de surveillance d’écosystèmes (inventaire et suivi d’espèces animales pour la sauvegarde de la biodiversité́).