Les caméras RealSense et leur SDK pour UE4

Les caméras Intel RealSense utilisent la lumière infrarouge pour calculer la profondeur en plus de la réception des images RVB normales et de la vidéo.  En fait, trois caméras (une caméra HD 1080p, une caméra infrarouge et un projecteur laser infrarouge) agissent comme une seule et « voient » comme l’œil humain pour détecter la profondeur et suivre les mouvements.

Pour faciliter le développement d’applications avec leur technologie, Intel a créé le SDK RealSense, une bibliothèque d’algorithmes dont la reconnaissance faciale, la segmentation d’images, et la numérisation 3D.

IntelRealSense_Banner-770x250-825128189

Ce plugin résulte de la collaboration entre des professionnels des jeux vidéo et Intel afin d’exposer les caractéristiques du SDK RealSense au système de script visuel Blueprints en UE4, vous pouvez consulter le code source de plugin et un exemple de projet ici.

Le plugin est architecturé comme un ensemble de composants Actors, chacun encapsule un ensemble de fonctionnalités du SDK. Vous pouvez ajouter des capacités de détection 3D à presque tout actor, et vous pouvez accéder à ces données partout en instanciant simplement une autre instance du même composant.

realsense2
Actuellement, le plugin propose ces trois composants RealSense:

  • Composant Caméra  Streams: accède à la couleur et la profondeur vidéo de la caméra RealSense.
  • Composant 3D Numérisation: numérisation des objets du monde réel et des visages humains (ci – dessus).
  • Composant Head Tracking (Preview): détection et suivi de la tête (position et l’ orientation d’un utilisateur).

intel-realsense-sdk-plug-in-for-unreal-engine-4-fig3

Bientôt, vous pourrez voir les composants suivants ajoutés au plugin:

  • Composant Head Tracking Component (complet): Des fonctions supplémentaires pour la détection et le suivi (jusqu’à 76 points du visage de repère, la fréquence du pouls, et les expressions faciales).
  • Composant Segmentation de fond: Séparer le premier plan d’une image arrière-plan pour créer des effets “écran vert” sur la vidéo en direct.
  • Composant de numérisation de scène: Génère des modèles 3D de grandes scènes (environ 2m x 2m dans la zone) pour aider à la création de contenus générés par l’ utilisateur et des expériences de réalité augmentée.
  • Composante Suivi main: Détecte et suit le squelette de la main avec 22 points caractéristiques, reconnaît 14 gestes.
  • Composant Reconnaissance vocale: Transcrit la parole en texte par la dictée et la détection de mots-clés (interfaces à commande vocale).

Pour pouvoir développer avec cet outil, il vous faudra:

  • les caméras RealSense
    • F200 / SR300 Front-Facing RealSense à 99$ en précommande puis 129$ (utilisation en intérieur sur faible distance pour identifier les visages et/ou leurs  mouvements, les mouvements des mains et des doigts, Segmentation dynamique de l’arrière-plan, numérisation 3D)
    • ou R200 World-Facing RealSense à 99€ (comporte une caméra Full HD avec fonction de détection de la profondeur permettant de numériser des objets, visages, gens et environnements en 3D, de changer la mise au point dans les vidéos et d’utiliser des filtres sélectifs, d’une simple pression du doigt, réalité augmentée avec accentuation de la profondeur, photographie et vidéo enrichies avec accentuation de la profondeur, mesures, détection et suivi du visage)
  • un processeur de 4ème Generation Intel(R) ou plus
  • le SDK Intel(R) RealSense(TM) R5
  • Unreal Engine 4.8 ou plus
  • Windows 8.1 or 10
  • Visual Studio 2013 ou plus

A quoi vont-elles servir?

  • Numériser un objet réel ou un corps avec la caméra Intel® RealSense™ et le placer dans l’univers virtuel du jeu, d’un monde virtuel ou sur un réseau social.
  • Remplacer facilement son arrière-plan pour des chats vidéo dans un monde virtuel
  • Jouer avec ses mains sur des jeux vidéo
  • Feuilleter un livre sans toucher l’écran, pratique pour éviter de salir l’ordinateur
  • robotique, drones, solutions de réalité virtuelle

Sources:

https://www.unrealengine.com/blog/intel-realsense-plugin-for-unreal-engine-4

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.