Prometheus-X - Edge Skills : Video4XR – Virtual Reality Learning Analytics

Piloté par le Conservatoire national des arts et métiers (Cnam) dans le cadre du projet européen Prometheus-X EDGE-Skills, le cas d’usage Video4XR permet aux formateurs d’analyser, de commenter et d’exploiter pédagogiquement les sessions de formation en réalité virtuelle de leurs apprenants, une fois celles-ci terminées.

Le projet Prometheus-X EDGE-Skills (European Dataspace for Growth and Education – Skills), porté par VisionsTrust, vise à construire des espaces de données souverains, décentralisés et centrés sur l’humain, dédiés à l’éducation, aux compétences et à la formation en Europe. Un réseau de dizaines de partenaires, répartis dans plusieurs pays de l’Union européenne, y développe des services cloud-to-edge « plug-and-play » qui rendent interopérables les données sur les parcours d’apprentissage, les compétences, les formations et le marché du travail. Le partage de ces données est sécurisé et consenti, dans le respect de la souveraineté de chaque personne : établissements, organismes de formation, employeurs et apprenant peuvent ainsi mieux articuler enseignement, formation professionnelle et besoins réels du marché de l’emploi.

Dans ce cadre, Video4XR répond à un constat simple : avec le développement des formations en réalité virtuelle (VR), dont Le Cnam est pionnier notamment grâce au projet CAP’VR, le retour pédagogique après la session est devenu un enjeu central. Or le formateur ne sait pas précisément ce que l’apprenant a fait, puisque celui-ci évolue casque sur la tête dans un environnement virtuel. Le problème traite donc du manque de visibilité sur les sessions VR une fois celles-ci terminées, particulièrement sensible dans les disciplines techniques et scientifiques, comme la chimie, la mécanique des structures, où la précision des gestes et la compréhension des procédures sont essentielles.

La solution produit des rapports détaillés et des enregistrements vidéo des actions réalisées en VR. Les formateurs peuvent ainsi revenir sur des gestes précis, souligner les erreurs et renforcer les apprentissages par la réflexion. Le dispositif repose sur quatre étapes :

• Captation : les simulateurs immersifs, paramétrables depuis le Learnig Management System du Cnam - Moodle, génèrent automatiquement les traces d’apprentissage (au format xAPI) et les enregistrements vidéo de chaque session.
• Transmission : ces données sont mises à disposition d’UbiCast via le Skills & Education Data Space.
• Analyse et annotation : UbiCast produit des replays automatiquement chapitrés et annotés, qui mettent en évidence les moments clés de la session, avec des statistiques associées.
• Accès et interaction : les contenus enrichis, qui intègrent les vidéos chapitrées et un système de chat, sont restitués dans le LMS du Cnam, où enseignants et étudiants peuvent les consulter, les commenter et échanger à postériori de la session.

L’intégration est transparente pour les équipes pédagogiques : le module (Plugin LTI) Moodle s’ajoute facilement à toute session VR, et traite et organise les données de feedback sans configuration manuelle dans un tableau de bord enrichi d’analyse en intelligence artificielle. L’innovation de Video4XR tient à la combinaison du suivi d’activité en VR, de l’analyse vidéo automatisée et du retour pédagogique, qui transforme une expérience jusque-là isolée en un processus d’apprentissage collaboratif fondé sur les données.

Le dispositif apporte des bénéfices à chaque catégorie d’acteurs :

• Pour les apprenants : revoir ses sessions, comprendre ses erreurs et ses réussites, recevoir un feedback ciblé et en différé, et progresser à son rythme.
• Pour les enseignants : paramétrer le déroulé de la session en VR, évaluer les sessions a posteriori, identifier les axes de progression, personnaliser les retours et ouvrir des discussions structurées fondées sur des données réelles de performance.
• Pour les établissements : suivre précisément les compétences acquises, adapter en continu les parcours et former davantage d’apprenants sans être limité par la capacité des laboratoires physiques, ce qui réduit les besoins en nouvelles infrastructures.

Un premier cas d’usage illustre la démarche : les 15 modules conçus dans le cadre du projet CAP’VR pour les filières liées aux industries chimiques, agroalimentaires et pharmaceutiques et génie des procédés servent de simulateur test. Grâce à Video4XR, l’enseignant rejoue la session, repère les moments clés, annote les actions de l’étudiant et observe si les protocoles de sécurité sont respectés et si les bonnes décisions sont prises. Ce débriefing individualisé est plus riche qu’un simple score ou un rapport texte que propose la majorité des simulations en VR.
 

Le module Moodle VR Simulator
 

Video4XR s’appuie sur le Skills & Education Data Space, conçu par Prometheus-X et opéré via VisionsTrust. Fondé sur des composants open source interopérables et conforme aux standards GAIA-X et IDSA, cet espace de données garantit la traçabilité des consentements, une gestion éthique des données pédagogiques et la mise en relation avec d’autres fournisseurs de services. Les établissements conservent ainsi la maîtrise de leurs données. Ce cadre fait du projet un démonstrateur de formation immersive conforme aux exigences européennes, dont le modèle est reproductible dans d’autres contextes éducatifs, en France comme en Europe.

Le dispositif est développé avec plusieurs partenaires :

• Mimbus : conçoit la solution technique, capte les données de session, transmet les vidéos et les traces, et fournit les modules d’intégration Moodle ;
• UbiCast : traite et transforme les vidéos et les données pour produire les contenus pédagogiques chapitrés et annotés remis aux formateurs ;
• VisionsTrust : fournissent l’infrastructure de data space qui sécurise les échanges et le consentement.

Au sein du Cnam, le projet teste le service en conditions réelles d’apprentissage pour ses formations en VR et assure l’intégration avec l’infrastructure LMS de l’établissement.

Prometheus-X est un projet européen qui rassemble 7 grandes thématiques d’usage, de l’Analyse et prévision décentralisées des compétences » aux « Learning Analytics en Réalité Virtuelle » en passant par « Analyse des données d'apprentissage à distance au service d'une éducation personnalisée » qui sont décomposé en 22 Cas d’usage, dont Video4XR. Le projet est actuellement dans sa phase finale de test utilisateur. Cette étape consiste à finaliser le produit et à travailler étroitement avec les formateurs du Cnam qui utilisent déjà la VR dans leurs cours (depuis 2021, s’il vous plaît) : ils participent à cette phase et font part de leurs retours pour affiner la solution. À travers Video4XR, le Cnam et ses partenaires souhaitent rendre la formation en réalité virtuelle plus transparente, plus interactive et plus efficace, en comblant l’écart entre expérience immersive et résultats d’apprentissage mesurables. Enseignants, organismes de formation et spécialistes du digital learning sont invités à rejoindre cette initiative.