Les caméras RealSense et leur SDK pour UE4

Les caméras Intel RealSense utilisent la lumière infrarouge pour cal­culer la pro­fondeur en plus de la récep­tion des images RVB nor­males et de la vidéo.  En fait, trois caméras (une caméra HD 1080p, une caméra infrarouge et un pro­jecteur laser infrarouge) agis­sent comme une seule et « voient » comme l’œil humain pour détecter la pro­fondeur et suiv­re les mou­ve­ments.

Pour faciliter le développe­ment d’applications avec leur tech­nolo­gie, Intel a créé le SDK RealSense, une bib­lio­thèque d’algorithmes dont la recon­nais­sance faciale, la seg­men­ta­tion d’images, et la numéri­sa­tion 3D.

IntelRealSense_Banner-770x250-825128189

Ce plu­g­in résulte de la col­lab­o­ra­tion entre des pro­fes­sion­nels des jeux vidéo et Intel afin d’exposer les car­ac­téris­tiques du SDK RealSense au sys­tème de script visuel Blue­prints en UE4, vous pou­vez con­sul­ter le code source de plu­g­in et un exem­ple de pro­jet ici.

Le plu­g­in est archi­tec­turé comme un ensem­ble de com­posants Actors, cha­cun encap­sule un ensem­ble de fonc­tion­nal­ités du SDK. Vous pou­vez ajouter des capac­ités de détec­tion 3D à presque tout actor, et vous pou­vez accéder à ces don­nées partout en instan­ciant sim­ple­ment une autre instance du même com­posant.

realsense2
Actuelle­ment, le plu­g­in pro­pose ces trois com­posants RealSense:

  • Com­posant Caméra  Streams: accède à la couleur et la pro­fondeur vidéo de la caméra RealSense.
  • Com­posant 3D Numéri­sa­tion: numéri­sa­tion des objets du monde réel et des vis­ages humains (ci — dessus).
  • Com­posant Head Track­ing (Pre­view): détec­tion et suivi de la tête (posi­tion et l’ ori­en­ta­tion d’un util­isa­teur).

intel-realsense-sdk-plug-in-for-unreal-engine-4-fig3

Bien­tôt, vous pour­rez voir les com­posants suiv­ants ajoutés au plu­g­in:

  • Com­posant Head Track­ing Com­po­nent (com­plet): Des fonc­tions sup­plé­men­taires pour la détec­tion et le suivi (jusqu’à 76 points du vis­age de repère, la fréquence du pouls, et les expres­sions faciales).
  • Com­posant Seg­men­ta­tion de fond: Sépar­er le pre­mier plan d’une image arrière-plan pour créer des effets “écran vert” sur la vidéo en direct.
  • Com­posant de numéri­sa­tion de scène: Génère des mod­èles 3D de grandes scènes (env­i­ron 2m x 2m dans la zone) pour aider à la créa­tion de con­tenus générés par l’ util­isa­teur et des expéri­ences de réal­ité aug­men­tée.
  • Com­posante Suivi main: Détecte et suit le squelette de la main avec 22 points car­ac­téris­tiques, recon­naît 14 gestes.
  • Com­posant Recon­nais­sance vocale: Tran­scrit la parole en texte par la dic­tée et la détec­tion de mots-clés (inter­faces à com­mande vocale).

Pour pou­voir dévelop­per avec cet out­il, il vous fau­dra:

  • les caméras RealSense
    • F200SR300 Front-Fac­ing RealSense à 99$ en pré­com­mande puis 129$ (util­i­sa­tion en intérieur sur faible dis­tance pour iden­ti­fi­er les vis­ages et/ou leurs  mou­ve­ments, les mou­ve­ments des mains et des doigts, Seg­men­ta­tion dynamique de l’arrière-plan, numéri­sa­tion 3D)
    • ou R200 World-Fac­ing RealSense à 99€ (com­porte une caméra Full HD avec fonc­tion de détec­tion de la pro­fondeur per­me­t­tant de numéris­er des objets, vis­ages, gens et envi­ron­nements en 3D, de chang­er la mise au point dans les vidéos et d’utiliser des fil­tres sélec­tifs, d’une sim­ple pres­sion du doigt, réal­ité aug­men­tée avec accen­tu­a­tion de la pro­fondeur, pho­togra­phie et vidéo enrichies avec accen­tu­a­tion de la pro­fondeur, mesures, détec­tion et suivi du vis­age)
  • un processeur de 4ème Gen­er­a­tion Intel® ou plus
  • le SDK Intel® RealSense™ R5
  • Unre­al Engine 4.8 ou plus
  • Win­dows 8.1 or 10
  • Visu­al Stu­dio 2013 ou plus

A quoi vont-elles servir?

  • Numéris­er un objet réel ou un corps avec la caméra Intel® RealSense™ et le plac­er dans l’univers virtuel du jeu, d’un monde virtuel ou sur un réseau social.
  • Rem­plac­er facile­ment son arrière-plan pour des chats vidéo dans un monde virtuel
  • Jouer avec ses mains sur des jeux vidéo
  • Feuil­leter un livre sans touch­er l’écran, pra­tique pour éviter de salir l’ordinateur
  • robo­t­ique, drones, solu­tions de réal­ité virtuelle

Sources:

https://www.unrealengine.com/blog/intel-realsense-plugin-for-unreal-engine-4

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.