Facebook lance un sdk 360 capture #facebook #f8 #360vr

0
220
Facebook lance un sdk 360 capture #facebook #f8 #360vr
5 (100%) 1 vote

Facebook est en bonne forme au niveau innovations cette année. Après avoir annoncé un partenariat avec la société giroptic plus tôt dans la journée, facebook a lancé un sdk de capture 360°.

Ils ont dait un post complet où ils expliquent comment ils traitent les vidéos 360. Celles-ci sont en 1080 pour la résolution, mais prévoient des résolutions beaucoup plus élevées.

Voici la source de l’article

https://code.facebook.com/posts/1868610470046578/announcing-360-capture-sdk/

Je vous en propose une traduction automatique en attendant un post en français, ce que l’on peut retenir c’est que facebook utilise du cubemapping au lieu du stitching.

La réalité virtuelle est une technologie immersive qui vous permet d’expérimenter n’importe quoi, n’importe où. Cependant, il a été difficile de partager ces expériences avec des personnes qui ne sont pas physiquement avec vous, jusqu’à maintenant. Nous avons créé un moyen simple de capturer et de partager vos expériences PC VR à travers 360 photos et vidéos.

Nous avons résolu le problème en repensant la façon dont le contenu 360 est créé. En règle générale, le processus commence par la capture de diverses photos, les cousant ensemble, puis les encodent finalement. Auparavant, nous avions besoin de capturer le contenu dans un moteur de jeu, tout en nous assurant que nous pourrions produire une image de haute qualité rapidement et sur le matériel de base pour VR. Maintenant, tout cela est possible avec le SDK 360 Capture. Avec le nouveau SDK, les expériences VR peuvent être capturées sous forme de 360 ​​photos et vidéos instantanément puis téléchargées pour être visualisées dans News Feed ou un casque VR.

Le SDK 360 Capture utilise la cartographie cubique versus la couture, la méthode traditionnelle pour créer une image panoramique à 360 degrés ou gigapixel. Il en résulte trois différences principales:

  • Accessibilité : les gens n’ont plus besoin d’un superordinateur pour capturer leur expérience VR. Parce que le cartographie cube requiert moins de puissance informatique pour capturer le contenu 360, le SDK Capture 360 ​​fonctionne sur le matériel recommandé de référence pour VR sans compromettre l’expérience. C’est-à-dire, il maintient l’exigence de 90 images par seconde (fps) pour VR. Les développeurs trouveront également le plugin SDK compatible avec plusieurs moteurs de jeux tels que Unity et Unreal, et même des moteurs natifs.
  • Qualité : Nous maintenons une expérience de visionnement de haute qualité pour les personnes qui voient le contenu 360 capturé dans VR ou sur News Feed. Par exemple, la résolution minimale pour une expérience de visualisation de qualité sur News Feed est 1080p et 4K pour VR. Notre SDK est capable de capturer les deux résolutions.
  • Vitesse : nous maintenons des performances de 90 fps sur des systèmes de réalité virtuelle comme Rift, tout en capturant une vidéo 360 de qualité VR à 30 images par seconde en une seule seconde.

Cela vous permet de faire des choses comme le contenu du jeu de capture en 360, créer facilement des vidéos de marketing à travers 360 expériences de contenu rendu et rendre les expériences de VR plus sociales avec des choses comme VR 360 selfies.

Capture de photos et de vidéos dans 360 caméras

En utilisant le cartographie des cubes, nous avons réussi à rendre les expériences VR accessibles et visibles en haute qualité, avec le bénéfice supplémentaire que le contenu peut être rapidement capturé. Pour arriver à ce point, nous nous sommes concentrés sur les trois étapes d’une capture de caméra 360 pour VR:

  1. Capturez une variété de photos qui couvrent tous les 360 degrés de la vue; Cela entraîne des images superposées.
  2. Utilisation d’un processus de vision par ordinateur (couture) pour combiner ces photos en un seul fichier panoramique en détectant le chevauchement des fonctionnalités sur diverses images puis en les combinant dans un cadre panoramique final.
  3. Encodage et sauvegarde de la photo finale à haute résolution pour une qualité de visualisation maximale.

Le défi

Nous savions que la capture de contenu 360 alors que VR serait difficile. Les jeux et les applications VR emploient déjà des ordinateurs à usage général à leur limite pour maintenir une expérience de haute qualité, puisque VR doit rendre le contenu à 90 fps. Nous ne savions pas si un ordinateur pouvait capturer plusieurs photos, couper et coder en temps quasi réel pour une photo 360.

L’enquête

Nous avons commencé par étudier des plugins qui imitaient les trois étapes d’une capture de caméra 360 dans un moteur de jeu. Les plugins capturent plusieurs photos, les associent et sortent un cadre 360. Malheureusement, il a fallu 20 à 40 secondes pour capturer et couper 360 photos, parfois même plus longtemps. Nous voulions une solution capable de capturer 360 contenu à partir de VR presque instantanément.

Inverser le problème

Lors de la construction de 360 vidéos pour News Feed , nous avons trouvé que la cartographie des cubes a permis une meilleure livraison et une meilleure qualité de diffusion. La projection de la carte cube est une combinaison de six faces du cube. Les cartes Cube ont été utilisées dans l’infographie pendant une longue période, principalement pour créer des skybox (cubes recouverts de six cents qui sont dessinés derrière tous les graphiques) et des réflexions. Il existe quelques avantages d’utiliser des cartes de cube:

  • Ils n’ont pas de distorsion géométrique dans les visages, de sorte que chaque visage ressemble exactement à la recherche de l’objet avec une caméra en perspective qui déforme ou transforme un objet et sa zone environnante. Ceci est important car les codecs vidéo assument les vecteurs de mouvement comme des lignes droites. C’est pourquoi il encode mieux qu’avec des mouvements pliés en format équirectangulaire.
  • Leurs pixels sont bien répartis: chaque visage est tout aussi important. Il n’y a pas de pôles comme dans la projection équirectangulaire, qui contient des informations redondantes.
  • Ils sont plus faciles à projeter. Chaque face est cartographiée uniquement sur la face correspondante du cube.
12

Nous avons réalisé que nous pourrions sauter le processus de couture et plutôt utiliser le moteur de jeu pour capturer de manière native une carte de cube, ce qui nous permet de gagner des performances et d’accélérer nos efforts. En prime, le contenu de la carte de cube était en fait une qualité supérieure par rapport au contenu du point, car nous n’avons pas perdu de qualité dans la couture et la conversion en équirectangulaire.

Résultats de capture de carte de cube

Nous avons décidé de tirer parti de la cartographie des cubes pour capturer l’expérience VR au lieu de reproduire le processus de la caméra 360. En conséquence, nous pourrions maintenir des performances de 90 fps sur Rift, tout en capturant la vidéo 360 de qualité VR à 30 images par seconde sans aucun compromis notable d’expérience, en moins d’une seconde.

Nous pourrions également maintenir une image de haute qualité pour les personnes qui voient la capture VR; Le SDK est capable de capturer des vidéos 360 en temps réel à des résolutions jusqu’à 4K. En capturant directement la carte de cube, la qualité de la source brute est supérieure à celle de la méthode de couture, où la carte du cube est la sortie finale et perd de la qualité des étapes de conversion. En fait, la qualité perceptuelle du format de carte de cube à 720p est presque équivalente à celle du format équidiégial de 1080p.

Notez que pour les photos, nous n’utilisons pas le format de la carte cubique 2×3. Au lieu de cela, nous utilisons une bande de cube de 6×1, qui est effectivement la carte de cube dans une disposition différente.

Nous pourrions même utiliser un shader pour convertir la sortie de la carte cubique vers le format équivalent le plus souvent supporté que la plupart des plateformes 360 supportent, tout en conservant notre format avancé de cube ou cube strip pour une qualité maximale et une compatibilité avec Facebook 360.

Compatibilité écosystémique

360 Capture SDK a été conçu pour une large compatibilité. Pour les développeurs, notre SDK prend en charge plusieurs moteurs de jeux comme Unity and Unreal, et même des moteurs natifs pour obtenir l’adoption de développeurs de masse. Le support d’unité est disponible avec notre script de capture et DLL, qui gère l’encodage de 360 ​​photos et vidéos sur PC ainsi que l’injection de métadonnées. Pour les personnes capturant leur expérience VR, elles peuvent le faire sur des matériels tels que les GPU NVIDIA et AMD.

Les développeurs qui souhaitent intégrer 360 Capture SDK dans leur version de jeu ou de la réalité virtuelle peuvent trouver un exemple de SDK ici .

Nous sommes ravis d’aider les gens à explorer le monde de VR avec 360 Capture SDK et nous sommes impatients de voir VR 360 selfies, expériences, e-sports et plus, tous en 360.

 

NO COMMENTS

LEAVE A REPLY