Le scan et la reconnaissance d’éléments réels avec Vuforia Engine

En réalité augmentée, on nomme cette reconnaissance et ce suivi d’objets 3D “Object Tracking” (ou Environment/Area tracking dans le cas d’environnements complets); elle fait suite à la longue (mais rapide) série d’innovations qui ont eu lieu ces dernières années :

• L’image tracking (suivi de marqueurs ou d’images 2D)
• Le device tracking (suivi de la position du mobile dans l’espace)
• Le plane tracking (détection et suivi de plans, comme des sols ou des tables)
• Le face tracking (suivi de visages)
• Le body tracking (suivi de corps et de gestes)

Vuforia Engine a été l’un des précurseurs sur ce sujet en rendant l’object tracking accessible dès 2017, et nous avons obtenu de très bons résultats pour le compte de Renault dans notre application Scan’R, mais la technologie souffrait alors de plusieurs limitations :

• Pour apprendre à reconnaitre le produit, il fallait disposer d’un modèle 3D fidèle de ce produit (comprenez : la CAO de ce produit),
• Pour l’utilisateur final, il fallait présenter ce produit à la caméra sous un angle prédéfini, et superposer une silhouette 2D sur le produit réel, avant que le tracking ne puisse commencer,
• La technologie était bien adaptée au tracking d’objets, mais moins à celui de la reconnaissance et du tracking d’environnements prédéfinis.

Ces limitations sont maintenant levées depuis la version 9 de Vuforia Engine et continuent d’évoluer en version 10 :

• Il n’est plus nécessaire de posséder la CAO du modèle, on peut maintenant scanner l’objet/environnement réel avec un appareil doté d’un capteur de profondeur comme le Lidar du dernier iPad Pro (voir notre précédent article, et soumettre ce scan à l’application Model Target Generator de Vuforia, chargée d’apprendre à reconnaitre ce modèle.
• Cette application Model Target Generator est maintenant dotée d’une IA en ligne, capable d’apprendre à reconnaitre l’objet présenté sous n’importe quel angle, plutôt qu’un seul angle prédéfini.
• Mieux encore, la création d’Area Targets pour la reconnaissance d’environnements peut se faire soit sur PC à partir de données scannées, soit directement sur iPad en moins d’une minute grâce à une appli dédiée crée par Vuforia

Nous sommes particulièrement satisfaits des résultats obtenus lors de nos tests, le tracking final est fiable et précis, comme vous pouvez le voir dans la vidéo en haut de page.

Les seules limitations notables que nous avons relevées :

• La qualité du tracking final sur les objets peut varier et impactée par les éléments suivant,
  • Des spécificités de l’objet d’origine : Vuforia préfère les objets aux couleurs variées, non uniformes, et aux formes non lisses, peu réfléchissantes, peu symétriques,
  • De la qualité et de la fidélité du scan,
  • Du fait que l’objet final soit mobile ou non. Des options sont disponibles en ce sens, mais des pertes de tracking peuvent malgré tout survenir.

L’appli ne saura pas distinguer plus d’une dizaine de modèles par “database”. On peut toutefois créer plusieurs databases et laisser l’utilisateur choisir entre ces databases.
On ne peut tracker que deux objets simultanément au maximum.
Le scan d’environnements est limité à 50m² en utilisant l’appli mobile dédiée de Vuforia mais d’autres méthodes de scan permettent de créer des environnements plus grands