Les usages du Quest Pro en entreprise

2 mars 2023

Les usages du Quest Pro en entreprise

Sorti en octobre 2022, on ne vous présentera plus le casque Meta Quest Pro, qui a été maintes fois mis au banc d’essai de la presse spécialisée. Mais après avoir développé nos premières applications sur ce nouveau casque, nous voulions partager avec vous notre retour d’expérience sur les usages applicables à vos projets en réalité virtuelle et augmentée.

Application de formation à l'utilisation de la glace carbonique et de l'azote liquide, réalisée par Conseil3D. Sur quest Pro, on peut passer d'un mode 100% virtuel à un mode Réalité Mixte.

Un bon casque autonome de réalité virtuelle

À son nouveau prix réduit de 1200 euros, et en attendant de pouvoir évaluer les futurs casques de sa catégorie comme le Vive XR Elite ou le très français Lynx R1, le Quest pro est à nos yeux l’option la plus pertinente pour un casque XR autonome dans un usage professionnel : après avoir migré l’une de nos applications VR de Vive focus 3 vers Quest Pro, la différence se ressent instantanément : sa puce Snapdragon XR2+ tient la route et nous a permis de presque doubler le framerate de l’application, avec pour conséquence d’augmenter sensiblement le confort d’utilisation et diminuer les risques de cinétose (mal de mer). En outre, ses deux écrans LCD (1 800 x 1920 pixels par œil) lui donnent la meilleure résolution du marché pour un casque autonome, et ont permis de réduire drastiquement l’effet de crénelage qu’il aurait fallu, sinon, traiter de manière logicielle, réduisant les performances.

Quid de l’usage en Réalité Mixte ?

La grande nouveauté de ce casque par rapport à ses prédécesseurs concerne son système de passthrough couleur et stéréoscopique, qui donne pour la première fois à un casque de VR une vraie possibilité pour un usage en MR (réalité mixte). À l’image filmée et transmise aux lentilles, on peut superposer nos personnages, objets et décors virtuels, et passer à tout moment de scènes 100% virtuelles à des scènes de réalité augmentée, comme vous pouvez le voir dans cet extrait d’une de nos applications ci-dessous:

Dans une scène MR, l’apprenant ne perd pas le contact avec le réel: il peut voir et entendre son environnement, discuter avec les personnes qui l’entourent, ne risque pas de se cogner, et diminue fortement le risque de cinétose. Les éléments et personnages virtuels viennent apporter de l’information, ou le guider dans une procédure, les manettes lui permettent de pratiquer ses connaissances, et l’expérience globale devient ludique et immersive à souhait.
On peut donc imaginer pour ce casque un large champ d’applications possibles pour vos projets, qu’il s’agisse de visualisation industrielle, architecture, formation, maintenance, ou marketing.

Un concurrent à l’HoloLens 2 ?

On serait alors en droit de penser : peut-il remplacer HoloLens 2 de Microsoft qui ne peut “que” faire de la réalité mixte ? La réponse n’est pas binaire car chacun de ces deux appareils a ses avantages : les deux caméras du Quest Pro ne remplacent pas la visière transparente de l’HoloLens et s’accompagnent donc nécessairement d’une perte de qualité sur la perception du réel : champs de vision plus limité, résolution insuffisante pour pouvoir lire un texte sur support papier réel, effet “grain” en cas de faible luminosité de la pièce, contrastes mal équilibrés (les lumières sont trop vives et s’accompagnent d’un halo envahissant), les lignes droites se tordent, et certaines lumières “clignotent”… Mais, à l’inverse, la qualité des “hologrammes” (en termes de netteté et respect des couleurs) est impeccable dans le Quest Pro là où elle laisse à désirer sur HoloLens, les textes virtuels sont parfaitement lisibles, et le champs de vision de 106° (en horizontal) est sans comparaison avec les 43° de l’HoloLens. Enfin la puissance de calcul et d’affichage du Quest Pro dépasse nettement celle de l’HoloLens et permet d’envisager des scènes 3D plus riches et complexes.

On notera par ailleurs une différence conséquente dans les autorisations accordées aux applications sur l’accès à la caméra : l’HoloLens est le plus permissif : le flux vidéo de la caméra peut être traité par une application pour, par exemple, afficher le “spatial mapping” (maillage 3D) de la pièce dans laquelle on se trouve, rechercher un objet particulier, ou encore trouver des marqueurs ou lire des QR codes. Tandis que Meta, sans doute échaudé par ses démêlés passés avec la justice concernant l’accès aux données personnelles, a décidé de ne donner aucun accès à ce flux de caméra aux développeurs d’applications, interdisant ainsi toutes ces possibilités, et obligeant, entre autres, l’utilisateur à “dessiner” lui-même les sols, murs, et tables de sa pièce avant qu’une application puisse exploiter ces informations pour, par exemple, faire apparaître automatiquement des objets sur les tables ou des affichages aux murs.

En résumé, le choix de l’un de ces appareils pour vos idées de projet devra dépendre des objectifs recherchés et de l’utilisation envisagée :
Si votre application doit être aussi peu intrusive que possible, présenter le plus de sécurité en milieu industriel et seulement compléter le réel par de l’information, l’HoloLens sera notre solution de prédilection.
En revanche, si l’accent doit être mis sur l’immersion, la qualité des éléments virtuels, ou que votre application se prête plus au jeu, préférez le Quest pro.

Meta pas parlé du Metaverse ?

Non car ce n’est pas le sujet 🙂. En revanche on peut dire deux mots sur l’usage collaboratif du casque dans notre cadre habituel de développement d’applications sur mesure : sa connectivité nous permet le développement d’applications multi-utilisateurs; elle est en cela renforcée par sa fonctionnalité shared spatial anchors, pour synchroniser la perception de la pièce de sorte que la position des hologrammes soit la même pour tous les utilisateurs jouant dans une même pièce.
Par ailleurs, le système d’avatars de Meta permet à ces utilisateurs de choisir, personnaliser et conserver un même avatar entre toutes ses applications.
Enfin, le suivi de d’expressions du visage et l’eye-tracking viennent renforcer le réalisme de ces avatars et humaniser les relations au cours de ces sessions.

Exemples d'avatars. Leurs corps et leurs expressions reproduisent celles de leurs utilisateurs.

Nos conclusions

Réservé à un usage professionnel, le Quest Pro ne révolutionne pas le marché des casques VR ou MR mais sa capacité à mélanger les deux, ses performances générales, et son lot de nouveautés apportent une alternative intéressante aux appareils existants.
Les limites techniques s’effacent, les possibilités s’élargissent, et notre enthousiasme à exploiter ces nouveaux potentiels est plus élevé que jamais, alors n’hésitez pas à nous faire part de vos projets, nous serons ravis de vous accompagner !


Digital Twin 3D des futures salles de supervision

RTE

Digital Twin 3D des futures salles de supervision

Qui est RTE ?

RTE, Réseau de transport d’électricité, exploite, maintient et développe le réseau d’électricité haute tension en France métropolitaine. Fort de 8500 salariés, il est le garant du bon fonctionnement et de la sûreté du système électrique. RTE envisage une forte transformation à l’horizon 2025/2026 impliquant l’ensemble des métiers et salariés.

Problématique

Cette transformation aura pour conséquence une évolution profonde des activités opérationnelles de RTE, et de leur répartition géographique.

Cela inclut notamment la mise en place de 5 salles de supervision des matériels et infrastructures qui permettront de superviser 24h-7j l’ensemble du réseau électrique.

La communication autour de ce projet de transformation important et structurant pour RTE est fondamentale. L’objectif est à la fois de permettre aux salariés de comprendre les nouveautés associées à la mise en œuvre du projet mais également de pouvoir s’y préparer.

Solution

Conseil 3D a conçu et développé une solution 3D et de réalité virtuelle pour que les équipes RTE puissent se projeter dans leur nouvel environnement de travail.

L’application est utilisable via un navigateur web ou un casque de VR. Les interactions sont différentes selon la plateforme utilisée.

Il existe 3 modes différents :

  • Le mode visite guidée : Accompagné par R-bot, un petit robot qui vous montrera les points d’intérêts principaux, vous pourrez rencontrer plusieurs membres de l’équipe technique, par exemple Martin, le chargé d’affaire technique ou Samuel, le responsable d’affaire technique.
  • Mode libre : Visite des locaux en libre accès et interaction avec les différents métiers de la salle de supervision.
  • Scénarios métiers : Appréhender le fonctionnement de la salle par la réalisation de mise en situation métiers, par exemple : Procédure à respecter lors du déclenchement d’une alarme PSEM.


Ce qui nous attend en RA-RV fin 2022 et début 2023

Ce qui nous attend en RA-RV fin 2022 et 2023

Cette fin d’année sera très riche en lancement de nouveaux produits et avancées technologiques.

Découvrez en quelques unes :

Projet Cambria : le futur casque VR de Meta se dévoile avant l’heure

Les fuites et les rumeurs indiquent que le Quest Pro apportera de bien meilleures performances graphiques, des écrans plus lumineux grâce à la technologie Mini-LED ou Micro-OLED, des contrôleurs améliorés qui n’ont plus besoin des boucles de suivi circulaire, et peut-être même la capacité de remplacer un ordinateur portable.

Mark Zuckerberg souhaite également faire de ce casque un produit parfait pour les interactions sociales dans le métavers.  Une fonctionnalité accentuera notamment le sentiment de présence sociale lors des interactions entre utilisateurs, puisqu’elle améliorera la communication non verbale des avatars.

Comment ? Le casque du projet Cambria inclut une technologie de suivi du regard ainsi que du visage. Et grâce à cela, les avatars des utilisateurs seront en mesure de reproduire des expressions faciales précises.

La date de sortie précise n’a pas été annoncée mais vraisemblablement fin 2022. Ce casque sera aussi plus coûteux, avec un prix qui dépassera les 600 euros.

Magic Leap 2

Magic Leap a dévoilé 3 versions de son Magic Leap 2, son prochain casque de réalité mixte et concurrent direct de l’HoloLens 2 :

Magic Leap 2 Base, vendu 3 299 dollars, avec une garantie d’un an.

Magic Leap 2 Developer Pro, vendu 4 099 dollars, avec une garantie d’un an. Donne accès à des outils de développements, des échantillons de code, des fonctionnalités avancées.

Magic Leap 2 Entreprise, vendu 4 999 dollars, avec une garantie de deux ans. Inclut deux ans d’accès à des fonctionnalités pour grandes entreprises et à des mises à jour, plus la possibilité de gérer une flotte d’appareils au travers de solutions UEM ou MDM.

Le lancement est prévu le 30 septembre 2022.

Les lunettes auront droit à une résolution de 1440 x 1760 pour chaque œil, soit de 2,5M pixels de chaque côté, à un taux de rafraîchissement de 120 Hz. La firme annonce aussi un champ de vision jusqu’à 70° et la prise en charge de 16,8 millions de couleurs.

Lynx, un casque 100% français

 Lynx, un casque français 

La start up française Lynx va lancer son casque alliant RA et RV. Il est présenté comme une alternative à l’Oculus Quest 2 et l’HoloLens 2. Lancé à 530 euros, il pourra en séduire plusieurs.  

Du côté des caractéristiques techniques, le Lynx-R1 offre une résolution de 1600 x 1600 pixels par œil à une fréquence de rafraîchissement de 90 Hz. Son champ de vision diagonal est de 90° et bénéficie d’une grande netteté grâce à des optiques catadioptriques (composées à la fois de lentilles et de miroirs).  

 

 

Logitech lance ses écouteurs Chorus pour Meta Quest 2 

 

Logitech vient de lancer la précommande pour ses écouteurs Chorus pour le meta Quest 2 au tarif de 99.99$. Ceux-ci seront compatibles avec les 3 sangles officielles du Quest 2 car ils seront fixés directement sur les branches. Une des fonctionnalités intéressantes de ces écouteurs est le fait que ceux-ci passeront en mode sourdine s’ils sont relevés.  

L’immersion semble être le point d’honneur de ce produit. La date de sortie officielle n’est pas encore annoncée mais le constructeur assure que le produit sera bientôt disponible sur son site et chez les revendeurs.   

Un écran en réalité simulée

Dimenco présente un écran PC gamer 3D qui a les avantages d’un casque VR, sans l’inconvénient de le porter.

La sensation de profondeur que propose cet écran s’apparente sur le papier à la VR, mais, bien sûr, sans l’immersion totale permise par cette technologie. L’écran mélange trois technologie lentilles lenticulaires, le processing d’image et le tracking des yeux. L’écran est grand de 32 pouces avec une résolution de 8k.

Ce jouet révolutionnaire demande tout de même un pc très puissant et est affiché au « doux » prix de 9 990 €. Une version de Sony, « SR ready » est aussi disponible à un prix plus bas : 4 000 euros.

En espérant que la technologie pourra se démocratiser et être proposé à un prix plus abordable.

Viture One : des lunettes de réalité mixte qui cartonnent sur Kickstarter

 

En un mois et demi, la société Viture a récolté 2,5 millions de dollars, loin des 20  000 $ initiaux. Un succès qui dépasse même la campagne de l’Oculus Rift de l’époque.

Cette start-up à crée une annonce kick starter et celle-ci a explosée. L’intérêt de ces lunettes est le look beaucoup plus discret que les casques déjà existant sur le marché. Avec un look de lunette de soleil classique, elles sont beaucoup plus pratiques à transporter.

Ce produit se compose de deux parties ; les lunettes et le tour de cou.

Avec cet équipement, il sera possible de regarder vos films préférés ou jouer en mode nomade. Prenant en charge les jeux sur pc, ou console grâce à Steam Link ou Shadow, cet accessoire permet de jouer à l’abri des regard indiscrets.

Les lunettes possèdent des fonctionnalités plus qu’intéressantes :

Le passage d’un mode immersif (verre assombri, écran en position centrale) à ambiant (verre moins opaque grâce au réglage du film électrochimique, écran réduit en bas du champ de vision) d’un simple geste

La possibilité pour les porteurs de lunettes (myopes uniquement) d’ajuster la correction avec une molette de réglage (jusqu’à -5,0)

Avec le succès de la campagne de financement participatif, les fans sont impatients de voir ce que va donner ce produit. Si les dates sont respectées, on devrait avoir une sortie en octobre 2022.

Xiaomi va faire ses premiers pas dans les lunettes de réalité augmentée

Les lunettes Xiaomi présenté le 1 er aout, sont une paire de lunettes connectées équipé d’un écran de réalité augmentée, les Mijia Glass. Les Mijia sont équipées d’un écran MicroLED de Sony, ainsi que d’un double capteur photo et vidéo. Le capteur principal grand angle de 50 mégapixels est associé à un téléobjectif périscopique de 8 mégapixels avec stabilisation optique, et zoom optique 5x ou hybride 15x. Le point fort de ces lunettes est le poids : seulement 100 grammes. Elles embarquent un processeur ainsi que des ram et du stockage.

Cet appareil permet de prendre des photos et enregistrer des séquences vidéo. Ces dernières pourront être transférés directement sur le smartphone à l’aide d’une application.

Google lance les tests des lunettes de réalité augmentée

La réalité augmentée aide à interagir avec le monde autour de nous. Par exemple les lunettes développées par Google permettront d’accéder à une solution de traduction en temps réel qui s’affiche dans le champ de vision du porteur des lunettes ou d’avoir des indications de navigation.

L’entreprise a déclaré vouloir tester dès le mois d’août des prototypes de ses lunettes de réalité augmentée en condition réel. L’objectif est de mieux appréhender certains facteurs extérieurs comme la variabilité des conditions climatiques.

Les tests vont débuter à petite échelle dans des lieux publics avec des prototypes portés par quelques dizaines de personnes préalablement sélectionnées. “Ces prototypes comprendront des écrans, des microphones et des caméras intégrés à l’objectif, mais ils auront des limitations strictes sur ce qu’ils peuvent faire”.

Lenovo legion VR700 – Lancement en Chine  

 

L’annonce d’un nouveau casque VR autonome de la marque Lenovo suscite de l’intérêt. Le casque serait équipé d’une puce Snapdragon XR2 qui lui permettrait de fonctionner sans ordinateur. Un événement s’est déroulé le 18 août de cette année afin d’en savoir plus sur l’innovation de Lenovo. Ce casque sera probablement une sortie chinoise dans un premier temps.  

Après avoir assisté à l’événement, voici ce qui en est ressorti :  

 Le casque vient d’être lancé en Chine avec des spécification très similaire au Meta Quest 2 pour un prix inférieur. (Environ 430€) Cependant, peu d’avancées technologiques sont proposé par rapport à son prédécesseur. Voici les détails :  

  • Ecran LCD 3664 x 1920 pixels 
  • Champ de vision 93° 
  • 72/90 Hz 
  • Suivi interne 6 degrés de liberté 
  • Processeur Snapdragon XR2 
  • 8 Go de RAM 
  • 256 Go de stockage 
  • Streaming PC VR avec ou sans fil 
  • Seulement 25 jeux pour le lancement (dont Angry Birds VR, Arizona Sunshine, Fruit Ninja VR…) 


La RA au service de la force commerciale

Vertiv

La RA au service de la force commerciale

Qui est Vertiv ?

Vertiv est une entreprise américaine, leader mondial dans la fabrication d’équipements pour les data centers : serveurs, onduleurs refroidissement… Vertiv compte 24 000 employés et distribue ses produits dans plus de 130 pays.

L’application

Le logiciel permet de visualiser en réalité augmentée les différents services et produits de Vertiv à échelle réelle.

Dans un menu, on peut sélectionner le produit qu’on veut visualiser. Une explication technique est présente sous forme de texte pour chaque objet. Des animations 3D renforçant l’immersion sont aussi présentes.

Expérience interactive, ludique et originale pour découvrir les produits Vertiv et promouvoir une image de marque innovante. Cela permet de présenter le catalogue.

L’application est disponible sur Android et iOS.

 

 


Framatome e-learning

Framatome

Framatome e-learning

Qui est Framatome ?

En France, Framatome réalise des activités de conception, de fourniture, de construction, d’entretien et de modernisation de chaudières nucléaires, ainsi que des activités de conception et de fabrication du combustible. En 2018, il devient une filiale d’EDF.

Problématique

Lorsqu’il s’agit de formation, il peut être compliqué de former les nouveaux employés en environnement dangereux.

La formation

Pour résoudre ce problème, nous avons élaboré plusieurs modules e-learning combinant 3D, 2D, réalité augmentée…

Cinq modules ont été élaboré avec l’équipe. Des exécutables ainsi que des versions LMS sont jouables.

  • Modules E-learning de formation des sites EPR
  • Web et hébergés sur LMS Framatome
  • Animation 2D/3D en phase d’apprentissage
  • Schémas 2D et Modèles 3D interactifs
  • Navigation dans des environnements 3D
  • Validation des modules sous différentes formes :
  • QCM
  • Jeu « glisser/déposer »
  • Jeu « remise dans le bon ordre »
  • Jeu « mise en situation »
  • Jeu « recherche d’anomalie »
  • Jeu « relier les éléments »
  • Jeu « sélection des systèmes »


Formation interactive dans les biotechnologies

Immerscio.bio

Formation interactive dans les biotechnologies

Qui est Immerscio.bio ?

Immerscio.bio est une plateforme de formation nouvelle génération dans le secteur stratégique de la bioproduction. Ces formations sont ouvertes à tous, professionnels, salariés en reconversion ainsi que jeunes diplômés.

Cette plateforme française est le fruit de la collaboration de 4 laboratoires pharmaceutiques : bioMérieux, NovasepSanofi et Servier. A travers Immerscio, ils commercialisent des formations digitales et innovantes au service des biotechnologies.  

Problématique

Immerscio.bio est une plateforme de formation comme il en existe d’autres. Pour se démarquer ils ont choisis de proposer des formations ludiques et interactives combinant l’état de l’art des technologies immersives et le savoir faire d’experts métiers.

Notre application

13 parcours sont prévus, contenant plusieurs modules qui couvrent l‘ensemble des métiers de la Bioproduction : du remplissage jusqu’au conditionnement des produits. Chaque parcours aura son propre format allant du e-learning en réalité virtuelle, au serious game 3D ou à l’application de réalité augmentée.

Ces projets engendrent une réflexion particulière au niveau de l’UX et l’UI afin que les expériences proposées soient les plus intuitives possibles pour les apprenants, souvent non familiers à l’utilisation de ces technologies.

Par exemple le module présenté dans la vidéo est composé de plusieurs mini exercices comme le vide de ligne, l’étiquetage et la sérialisation. Les élèves devront ramasser les matières dangereuses sur les machines de production (morceaux de verres gant oubliés), vérifier la lisibilité des étiquettes et s’assurer que le numéro de série est le bon. Conseil 3D a conçu et développé ce module e-learning qui sera directement accessible depuis un navigateur.

Nous travaillons également sur un module de réalité virtuelle qui traitera de la manipulation de produits dans différents types de stockage, plus ou moins dangereux.

Le but est de manipuler les fioles rapidement et précisément. Une exercice sur les bonnes pratiques d’habillement est proposé aux apprenants.


Configurateur en RA pour l'aide à la vente

Stannah / Envisage

Configurateur en RA pour l’aide à la vente

Qui est Stannah ?

Crée en 1867, Stannah est une société pionnière dans la fabrication de monte-escaliers. Avec plus de 150 ans d’expérience, Stannah est le leader mondial dans son domaine. Présent dans 60 pays à travers le monde, sur tous les continents, ses spécialistes ont équipé et apporté satisfaction à plus de 750 000 clients. Stannah fabrique 3 produits : monte-escaliers, plate-formes et ascenseurs.

La problématique

Les monte-escaliers sont destinés aux personnes en perte de mobilité. Ces ventes se déroulant généralement à domicile, il est difficile pour le client de se projeter et d’imaginer le produit chez lui. Pour cette raison, une solution de visualisation en réalité augmentée à domicile est nécessaire.

L’application

Conseil 3D a conçu et développé une application d’aide à la vente en réalité augmentée pour visualiser les produits en 3D au domicile des particuliers à l’aide d’un iPad ou d’un smartphone. Les commerciaux peuvent donc positionner et montrer à leur client les différent monte-escaliers Stannah.

Par ailleurs, l’application permet de personnaliser et de mettre en situation les monte-escaliers : rails, matériaux, couleur. Cela permet d’imaginer plus facilement le produit dans l’environnement réel et accélérer les délais de vente.

Cette expérience visuelle, interactive et originale permet de découvrir la gamme de produits et choisir celui qui s’adapte au mieux aux besoins et aux envies du client. L’application utilise Vuforia Engine, une technologie de pointe computer vision, développée par notre partenaire PTC. Vuforia Engine offre une fonction de reconnaissance de forme (Model Target) qui scanne les escaliers du client pour positionner et ancrer le modèle 3D d’un monte-escalier.

fauteuil Stannah plié


Films 3D molécule

Film 3D au service de la santé

Ipsen / Film 3D

Film 3D au service de la santé

Qui est Ipsen ?

Ipsen est un groupe biopharmaceutique français fondé en 1929, spécialisé en oncologie, en neurosciences, dans les maladies rares, ainsi qu’en santé familiale. L’entreprise réalise un chiffre d’affaires de 2,6 milliards d’euros (2019) et commercialise une vingtaine de médicaments dans 115 pays. Il réunit plus de 5 700 salariés dans le monde.

Problématique

Pour les visiteurs médicaux il est plus efficace de disposer d’un support visuel afin de présenter les molécules au personnel médical. Ce support permet une meilleure compréhension du mode d’action d’un médicament dans le traitement des patients. Cela entraine une augmentation des prescriptions et une dynamisation des ventes.

La solution

Conseil 3D a réalisé un film 3D mettant en scène de manière didactique le mode d’action du Decapeptyl, une molécule prescrite pour traiter les cancers de la prostate.  Cette approche décalée permet d’aborder un sujet sensible en conservant une légèreté dans la communication.

Notre équipe a réalisé l’intégralité du projet :

  • Etape 1 : Animations des workshops avec les spécialistes : médecins et ingénieurs pédagogiques
  • Etape 2 : Réalisation du storyboard
  • Etape 3 : Création des éléments 3D et animations
  • Etape 4 : Sound design
  • Etape 5 : Montage et post production

Le film 3D, en plus d’être utilisé comme support d’aide à la vente a été présenté lors de conventions.

Films 3D molécule


Digital Twin 3D d'un environnement dangereux

Framatome / RxMCG VR

Digital Twin 3D d’un environnement dangereux

Qui est Framatome ?

En France, Framatome réalise des activités de conception, de fourniture, de construction, d’entretien et de modernisation de chaudières nucléaires, ainsi que des activités de conception et de fabrication du combustible. En 2018, Framatome devient une filiale d’EDF.

Problématique

Il est compliqué d’effectuer des exercices en situation réelle pour les équipes techniques. Cela limite les possibilités de formation des nouveaux employés.

L’application

Conseil 3D a conçu et développé un “Digital Twin” d’une centrale nucléaire. Les employés peuvent réaliser la visite virtuelle en sécurité du bâtiment et se former à la réalisation d’opérations de maintenance. Cette mise en situation réaliste se fait à travers un casque de réalité virtuelle.

La solution est évolutive et composée de 3 parties :

  • Visite virtuelle du bâtiment réacteur : C’est un mode destiné à des personnes non techniques qui permet de s’immerger dans le bâtiment et de visualiser la procédure de remplacement d’un organe technique de la centrale.
  • Formations outillages : C’est une zone multi métier à travers laquelle les apprenants peuvent s’entraîner rapidement à l’utilisation d’équipements. Le 1er équipement retenu est l’équilibreur. L’utilisateur est mis en situation sur un couvercle de cuve et doit régler l’équilibreur.
  • Scénarios métiers : L’utilisateur peut réaliser des procédures métiers complexes. A ce jour 5 métiers sont prévus : Découpeur, Opérateur MCBD, Opérateur ITV Adaptateur, Opérateur Ragnum (Usineur) et Soudeur.


Le scan et la reconnaissance d'éléments réels avec Vuforia Engine

1 mars 2022

Le scan et la reconnaissance d’éléments réels avec Vuforia Engine

Un besoin récurrent exprimé par nos clients est celui de créer une application capable de “voir” (au travers d’une caméra) un produit ou un environnement, de le reconnaitre, et de “l’augmenter” par des informations virtuelles : données sur le produit, instructions d’utilisation, vues en transparence, animations, options de personnalisation..

Les usages de ces augmentations sont multiples :

  • Configurateur de produit permettant aux clients de prévisualiser un produit personnalisé chez eux,
  • Outil d’aide à la vente pour les commerciaux,
  • Modes opératoires pour donner les instructions de montage, de maintenance ou d’utilisation sur un équipement réel,
  • Guidage des nouveaux arrivants sur les lieux de leur nouvelles entreprise,
  • Dans la construction comparaison “As designed” et “As built”,
  • Afficher en transparence les éléments cachés d’un équipement ou d’un bâtiment,
  • Informations aux consommateurs sur un produit avant l’achat,
  • Outil d’aménagement/ameublement/agencement d’espace.

L’étape cruciale dans la réalisation de ce type d’applications est la reconnaissance de l’objet/produit/environnement; on souhaite que l’information apparaisse dès que l’application voit le produit, et que cette information ou ces éléments virtuels se positionnent de façon très précise par rapport au produit.

En réalité augmentée, on nomme cette reconnaissance et ce suivi d’objets 3D “Object Tracking” (ou Environment/Area tracking dans le cas d’environnements complets); elle fait suite à la longue (mais rapide) série d’innovations qui ont eu lieu ces dernières années :

  • L’image tracking (suivi de marqueurs ou d’images 2D)
  • Le device tracking (suivi de la position du mobile dans l’espace)
  • Le plane tracking (détection et suivi de plans, comme des sols ou des tables)
  • Le face tracking (suivi de visages)
  • Le body tracking (suivi de corps et de gestes)

Vuforia Engine a été l’un des précurseurs sur ce sujet en rendant l’object tracking accessible dès 2017, et nous avons obtenu de très bons résultats pour le compte de Renault dans notre application Scan’R, mais la technologie souffrait alors de plusieurs limitations :

  • Pour apprendre à reconnaitre le produit, il fallait disposer d’un modèle 3D fidèle de ce produit (comprenez : la CAO de ce produit),
  • Pour l’utilisateur final, il fallait présenter ce produit à la caméra sous un angle prédéfini, et superposer une silhouette 2D sur le produit réel, avant que le tracking ne puisse commencer,
  • La technologie était bien adaptée au tracking d’objets, mais moins à celui de la reconnaissance et du tracking d’environnements prédéfinis.

Ces limitations sont maintenant levées depuis la version 9 de Vuforia Engine et continuent d’évoluer en version 10 :

  • Il n’est plus nécessaire de posséder la CAO du modèle, on peut maintenant scanner l’objet/environnement réel avec un appareil doté d’un capteur de profondeur comme le Lidar du dernier iPad Pro (voir notre précédent article, et soumettre ce scan à l’application Model Target Generator de Vuforia, chargée d’apprendre à reconnaitre ce modèle.
  • Cette application Model Target Generator est maintenant dotée d’une IA en ligne, capable d’apprendre à reconnaitre l’objet présenté sous n’importe quel angle, plutôt qu’un seul angle prédéfini.
  • Mieux encore, la création d’Area Targets pour la reconnaissance d’environnements peut se faire soit sur PC à partir de données scannées, soit directement sur iPad en moins d’une minute grâce à une appli dédiée crée par Vuforia

Nous sommes particulièrement satisfaits des résultats obtenus lors de nos tests, le tracking final est fiable et précis, comme vous pouvez le voir dans la vidéo en haut de page.

Les seules limitations notables que nous avons relevées :

  • La qualité du tracking final sur les objets peut varier et impactée par les éléments suivant,
    • Des spécificités de l’objet d’origine : Vuforia préfère les objets aux couleurs variées, non uniformes, et aux formes non lisses, peu réfléchissantes, peu symétriques,
    • De la qualité et de la fidélité du scan,
    • Du fait que l’objet final soit mobile ou non. Des options sont disponibles en ce sens, mais des pertes de tracking peuvent malgré tout survenir.

L’appli ne saura pas distinguer plus d’une dizaine de modèles par “database”. On peut toutefois créer plusieurs databases et laisser l’utilisateur choisir entre ces databases.
On ne peut tracker que deux objets simultanément au maximum.
Le scan d’environnements est limité à 50m² en utilisant l’appli mobile dédiée de Vuforia mais d’autres méthodes de scan permettent de créer des environnements plus grands

D’autres technologies permettent d’arriver à des résultats similaires, nous pouvons citer par exemple l’appli de scan et de détection d’Apple pour Arkit. Mais les objets scannés par cette appli ne sont ensuite reconnaissables que sur un iPad, tandis que la technologie Vuforia permet cette reconnaissance sur tout device doté d’une caméra (PC, iPad, Android ou Hololens).

Nous sommes donc particulièrement enthousiastes à l’idée des possibilités ouvertes par ces nouvelles fonctionnalités, et avons hâte de vous accompagner sur vos idées et vos projets !