Reprenons là où nous nous sommes arrêtés ! Cette fois, nous allons montrer quelques améliorations dans l'intégration 3D et compléter notre clip vidéo personnalisé.
Dans notre précédent article de cette série en deux parties, nous avons présenté quelques excellentes fonctionnalités de PFTrack. Non seulement ce logiciel résout les mouvements réels de la caméra, mais il effectue également le suivi des objets 3D.
Dans un premier temps, nous avons sorti un court extrait de moi-même sur un écran vert. Deuxièmement, nous avons introduit un masque 3D qui doit suivre le plus précisément possible les mouvements de ma tête. Jusqu'ici, tout va bien !
En jouant cette courte séquence, nous remarquons comment nous avons adapté le masque 3D à la rotation de la tête.
Le suivi d'objets 3D en action. Le masque suit la rotation de la tête tout au long du clip.
Cependant, il y a encore du travail à faire sur le masque car les lacets, par exemple, n’ont pas une forme adaptée autour de la tête. De la même manière, nous souhaitons préparer le clip pour le rendu final, mais le plan nécessite quelques éléments supplémentaires pour un résultat efficace.
En un mot, nous avons encore besoin d’ajustements et d’intégrations supplémentaires pour produire un travail 3D de qualité. Ce que nous venons de voir est le résultat du suivi des objets.
Le résultat final ressemblera à ceci :
Il y a de nombreuses activités à entreprendre avant d'arriver à ce résultat final.
Voici la liste de contrôle :
- Résoudre les positions des dentelles
- Création de géométries de cache
- Géométries de cache d'ombrage
- Créer un réseau d'ombrage pour le masque
- Éclairage et rendu
- Suppression de l'écran vert
- Compositing, correction des couleurs et exportation finale
Passons au logiciel 3D et commençons notre voyage !
Lecture du plan dans un logiciel 3D
Après l'exportation depuis PFTrack, le plan est lu dans notre logiciel 3D préféré comme prévu. Néanmoins, nous sommes confrontés à deux problèmes majeurs.
Les lacets latéraux n’entourent pas correctement la tête sur quelques images. Pire encore, ils sont visibles à travers le trou du masque, car aucune géométrie 3D ne masque l'arrière de la scène.
Dès que nous lisons le clip, deux problèmes importants surgissent. Nous devons les réparer ! Passons en revue ces principaux problèmes et trouvons une solution appropriée.
Résoudre la position de la dentelle
Honnêtement, cette étape peut prendre un certain temps pour obtenir un résultat décent. Le masque comporte trois lacets :un en haut et deux sur les côtés. Ils doivent correspondre exactement au profil de la tête.
Généralement, il n’existe pas d’outil spécifique à utiliser, mais en règle générale, l’adoption de techniques moins destructrices est monnaie courante. N'oubliez pas de parcourir le clip à plusieurs reprises et de vérifier que les lacets sont parfaits pour chaque image.
Si vous avez d'autres alternatives, évitez d'utiliser la manipulation directe du sommet pour remodeler les lacets. Cela peut fonctionner dans certaines occasions, comme déplacer de petites portions du maillage, mais ici, nous devons appliquer de gros changements. Selon le logiciel utilisé, vous devez profiter de modificateurs n'entraînant globalement ni effets d'étirement, ni déformations étranges.
Dans Maya, par exemple, j'ai trouvé l'outil de treillis une excellente solution. Il crée simplement un nombre personnalisable de sommets de contrôle, appelés points de réseau, autour de la géométrie, chacun contrôlant une partie spécifique du maillage. Par conséquent, vous modifiez la forme du lacet en déplaçant les points du réseau dans l'espace 3D. De cette façon, il est facile de manipuler le modèle sans provoquer de déformations étranges.
L'outil de treillis est un bon choix. Si vous ajoutez quelques points du réseau, vous pouvez modifier la forme globale. En augmentant le nombre de points du réseau, vous pouvez mieux travailler sur les détails. 
Examen des lacets sous différents points de vue. Il faut être le plus précis possible.
Lisser la géométrie en appliquant quelques outils de sculpture. Malgré l'utilisation d'un déformateur comme un treillis, vous pouvez quand même introduire de petits effets d'étirement. Pour éviter cela, Maya propose une série d'outils de sculpture.
Pour moi, le lisse , détendez-vous , et saisir les outils font leur travail !
Masquage des parties cachées
Si vous pensez faire un rendu avec le masque et les lacets, vous préparez mal votre scène !
S’il est vrai que le masque cache une partie importante de la tête, on voit encore malheureusement une partie des lacets à travers les trous. Alors, comment cacher ce qui doit l’être selon le point de vue de la caméra ?
La réponse est relativement simple. Nous devons ajouter quelques maillages supplémentaires fonctionnant comme des géométries mates.
En termes simples, tout ce qui se cache derrière une géométrie mate, du point de vue actuel, est invisible et non rendu. Puisque les lacets apparaissent à travers les trous, dupliquez une partie de la géométrie du masque de Jason mais n'oubliez pas de remplir les petits trous. Ensuite, positionnez-le juste derrière le masque d'origine.
Si cela peut paraître un peu compliqué, simplifions les choses grâce à des images explicites.
Pendant que le personnage tourne, les lacets ne sont pas rendus comme prévu. En particulier, depuis la vue latérale, nous observons le lacet du côté opposé :il devrait être bloqué par une fausse tête 3D.
Créons maintenant une forme de tête 3D approximative se comportant comme une géométrie mate.
N'oubliez pas de ne pas passer beaucoup de temps à affiner l'apparence de ces géométries. La seule exigence est de se rapprocher le mieux possible de la forme de la tête.
Nous avons presque terminé le réglage, mais nous devons encore attribuer un shader correct à ces géométries.
Comme vous l'avez probablement remarqué, nous utilisons largement le terme « matte » lorsque nous parlons de ces maillages.
Ici, le terme est communément appelé masque (à ne pas confondre avec notre masque de Jason) car il empêche le logiciel de restituer ce qui se trouve derrière le masque en fonction de l'image actuelle.
Jetons un coup d'œil rapide aux propriétés d'ombrage.
Propriétés d'ombrage sur les géométries supplémentaires
Peu importe que vous utilisiez Maya, 3ds Max, etc. lorsque vous travaillez avec l'ombrage. Il suffit de comprendre comment appliquer les bons paramètres.
Dans notre cas, nous utilisons Arnold comme moteur de rendu. Si vous êtes plus habitué à utiliser un autre outil, n'hésitez pas !
Arnold propose un shader de surface polyvalent appelé « aiStandardSurface ». Cochez « Activer le cache » dans la section « Cache », où vous disposez également de deux options simples :
- Couleur mate
- Opacité mate
Les premiers ont créé une couleur – du noir pur dans notre cas. Cette dernière a un impact sur la Chaîne Alpha .
En résumé, nous créons un masquage approprié du point de vue de la caméra, mais sans obscurcir la séquence originale.
Par exemple, puisque la dentelle arrière apparaît à travers le masque de Jason sur une image spécifique, nous devons attribuer aux différentes géométries une couleur noire mate et définir l' Opacité mate. à 0. La couleur noire masquera la dentelle arrière au moment du rendu, tandis que le canal alpha laissera les yeux de la séquence originale réapparaître là où ils devraient être !
Voyons un exemple visuel.
L'opacité du cache définie sur 0 crée un alpha où les trous ont une couleur noire. Cela garantit que les images originales seront visibles à travers les trous.
Si nous avions réglé l'opacité mate sur 1, le canal alpha aurait été totalement blanc, ce qui signifie qu'il aurait été impossible de fusionner les images originales en post-production.
Par conséquent, gardez à l’esprit la configuration simple précédente qui fonctionne presque tout le temps. Vous devez intégrer des modèles 3D avec des clips vidéo.
Un réseau d'ombrage simple pour le masque de Jason
De nos jours, presque tous les éléments 3D contiennent un ensemble approprié de textures PBR .
Pour rafraîchir vos idées, PBR signifie « Physically Based Rendering », une tendance en CGI qui vise à améliorer la façon dont la lumière interagit avec les objets 3D. Cela signifie de meilleurs matériaux, des ombres précises, etc.
Cela étant dit, le masque de Jason possède un ensemble de textures PBR qui sont :
- la carte de l'Albédo qui contient uniquement les informations de couleur
- la Carte de rugosité indique où la surface présente des reflets flous ou nets
- la carte de métallurgie est utilisé pour indiquer les parties métalliques du maillage.
- la Carte normale stocke les normales à la surface afin de simuler de faux détails tels que des bosses, des crevasses, des aspérités, etc…
Travailler avec les textures précédentes signifie adopter un workflow métal/rugosité.
La carte d'albédo est représentée par quelques saletés. Nous avons modifié les valeurs de rugosité pour obtenir une réflexion floue et superficielle. La métallurgie n'a un impact que sur les boutons métalliques, tandis que la texture normale affecte principalement les lacets, et cela sera visible dans notre rendu final.
Voici le réseau d'ombrage dans Maya avec quelques ajustements simples sur la rugosité, la métallurgie et la couleur générale du masque.
Un simple réseau d'ombrage dans Arnold pour un matériau PBR . Quelques considérations sur l'éclairage
Dans les images originales, comme mentionné dans la première partie de cette série, j'ai utilisé deux softbox :une à gauche et une à droite. De plus, l’intention n’était pas d’ajouter des éclairages trop forts sur le sujet. Au lieu de cela, les softbox servaient de sources lumineuses pour l’écran vert. En fait, la suppression de l'arrière-plan lors du compositing est beaucoup plus facile si l'arrière-plan vert est uniformément éclairé.
Cela dit, comme le personnage original n’a pas une lumière très forte provenant d’une direction précise, nous avons suffisamment de place pour personnaliser notre éclairage Maya. J'ai décidé d'opter pour un système d'éclairage à 2 points.
J'ai ensuite ajouté un look plus dramatique au masque en diminuant l’intensité de la lumière de la zone gauche.
Dans le test de rendu suivant, vous pouvez voir le sentiment dramatique dû au contraste et aux couleurs sombres du tissu. De plus, le rapport d'éclairage —clé à remplir—est suffisamment haut pour augmenter la tension.
Un test de rendu rapide utilisant un schéma d'éclairage à 2 points. Nous avons volontairement conservé la géométrie mate, juste pour voir comment les géométries mates couvraient les parties nécessaires. Nous produirons un rendu différent dans notre photo finale, mais avec cette expérience, je voulais vous montrer comment obtenir un look dramatique avec seulement deux lumières et un peu de composition.
Alternativement, je vous invite à tester votre scène Maya avec une image HDR et votre schéma d'éclairage.
Il est temps de rendre l'animation
Rendons le masque de Jason à l'aide de nos précédentes géométries mates !
Par conséquent, nous aimerions qu’un calque indépendant dans After Effects soit composé sur le métrage original.
De plus, nous avons ajouté un peu de brouillard provenant de la bibliothèque Shutterstock.
Pour le moment, ce que vous voyez dans la vidéo ci-dessous est le résultat pur du moteur de rendu Maya Arnold. —aucune autre correction n'a été apportée jusqu'à présent.
Le rendu du masque avec une couche de brouillard supplémentaire.
A partir du rendu précédent, nous pouvons tester l'opacité et la présence de parties de rendu correctes au fur et à mesure du déplacement du masque. Le brouillard, par exemple, est visible à travers les trous du masque et le rendu dentelle fonctionne correctement.
Jusqu'ici, tout va bien !
Désormais, la séquence d'images suivante représente la correction des couleurs appliquée au masque pour faire correspondre la séquence principale avec une image d'arrière-plan.
Les effets suivants ont été appliqués pour améliorer l'intégration avec l'environnement d'arrière-plan, mais également pour faire correspondre simultanément les couleurs du masque avec le métrage original.
Un peu de contraste ajouté au rendu original 
Effet de niveaux 
Effet de grain et courbes 
Effet de teinte 
Effet de flou 
Effet de niveaux pour le rendre un peu plus sombre
Bien que la correction des couleurs soit un élément de la post-production, il existe de nombreuses façons de parvenir à une bonne intégration.
Je travaille généralement sur les composants RVB séparément, en travaillant sur des canaux uniques. Alternativement, une solution peu coûteuse et rapide permet d’ajouter un effet de teinte à un calque cible en échantillonnant les points blancs et noirs d’un autre.
Essayez les deux solutions et évaluez celle qui vous convient le mieux !
Ajout du métrage original à After Effects
Avant de me concentrer sur la séquence principale, j'aimerais dire quelques mots sur la suppression de l'écran vert du sujet principal.
Comme vous le savez, la couleur verte est la chroma key et peut être facilement extrait par un plugin dans After Effects nommé Keylight —version 1.2, dans mon cas.
Il propose plusieurs options, mais dans l’ensemble, c’est assez simple. Cependant, le réglage varie selon les cas. Voici une liste rapide des principales étapes essentielles à suivre.
- Reprenez la couleur de l'arrière-plan. Choisissez la zone la plus propre et la plus uniforme de l'écran vert
- et ajustez le gain de l'écran et Équilibre de l'écran pour affiner le résultat
- Dans la Correction des couleurs des bords section, jouez avec presque tous les paramètres. Cette section est cruciale lorsque l’on travaille sur les zones proches des bords. Sans un réglage correct, votre sujet risque de présenter un contour évident et artificiel.
Parfois, la Suppression des couleurs des bords la sous-section pourrait aider. Dans mon cas, je ne l'ai pas utilisé car j'en avais déjà obtenu un bon et un excellent avec les options précédentes.
Séquence originale 
Extraction d'écran vert 
Effet de teinte mais toujours pas de correspondance de couleur 
Effet de couleur Lumetri 
Un peu de flou gaussien Détail montrant le bord de la veste
J'ai trouvé le Effet Couleur Lumetri particulièrement utile. Cela permet de jouer avec les hautes lumières, les ombres, les blancs, les noirs, et ainsi le cas précédent; cela m'a aidé à atténuer le reflet spéculaire sur ma veste tout en établissant une bonne correspondance de couleur avec l'arrière-plan.
Dans la dernière image, vous pouvez apprécier la belle transition de la veste vers l'arrière-plan.
Ajoutons à nouveau le masque
L’arrière-plan, le masque et les images originales fonctionnent bien ensemble. Si vous observez à nouveau la composition finale, vous remarquerez à quel point il est important de consacrer du temps aux détails.
Le nettoyage de l'animation du masque est l'une des premières tâches à considérer lors des premières étapes de l'ensemble du processus. Une fois que l'animation est PFTrack, vous pourriez rencontrer quelques images à peaufiner.
Dans mon cas, heureusement, je n'ai eu que peu ou pas de problèmes car le suivi de la géométrie a bien fonctionné dès le début, et c'est pourquoi nous n'en avons pas parlé.
Pensez simplement à vérifier l'animation image par image et, au cas où, utilisez un éditeur dans votre logiciel 3D pour affiner le résultat.
Pensez également à travailler sur des détails comme la position des lacets, qui doit correspondre au mouvement de la tête pendant le clip.
Voici quelques images de la vidéo montrant la position des lacets. J'ai utilisé une LUT différente pour ajouter plus de contraste.
Nous voyons une toute petite partie de l'oreille apparaître comme elle devrait l'être 
D'un point de vue différent, les 2 lacets englobent la tête Lorsque la tête tourne, les lacets supérieurs et latéraux semblent être attachés à la tête si vous remarquez que la position du lacet doit être ajustée après quelques images, vous pouvez continuellement en post-production et ajouter un effet bénéfique appelé Mesh Warp. Il crée une grille dans laquelle chaque point contrôle une zone de métrage particulière, similaire au Lattice Deformer que nous avons utilisé dans le logiciel 3D.
Puisqu’il est recommandé de l’appliquer pour des ajustements mineurs, assurez-vous d’une animation presque parfaite et solide à partir du logiciel 3D.
Un effet de déformation de maillage appliqué Considérations finales
J'espère que vous avez beaucoup appris de cette série en deux parties et que vous comprenez désormais le flux de travail impliquant l'intégration d'éléments dans des séquences personnalisées.
Voici un nouveau clip exporté avec plus de contraste et une LUT différente.
Nous avons utilisé un masque couvrant le visage, de sorte que les marqueurs noirs d'origine sont presque tous recouverts, même si quelques-uns apparaissent dans le clip mais ne distraient pas du tout le spectateur et fonctionnent bien dans le plan final.
Si les marqueurs avaient été si visibles sur la peau (ce qui n'est pas notre cas), vous auriez pu utiliser le Content-Aware Fill. dans After Effects pour les supprimer de la composition originale.
Avec marqueurs noirs 
Sans marqueurs noirs Grâce à cette fonctionnalité, vous pouvez tracer un masque autour de chaque marqueur noir et After Effects trouve la meilleure zone d'échantillonnage à remplacer.
Si l'article vous intéresse, je vous invite à me suivre sur ma page Linkedin pour d'autres nouveautés à venir.