Intégration de modèles 3D dans des séquences vidéo :suivi de caméra expert avec PFTrack – Partie I

Découvrez les techniques les plus efficaces pour intégrer de manière transparente des modèles 3D dans des séquences d'action en direct.

Dans le cinéma contemporain, les créatures, les elfes et les super-héros sont souvent rendus en 3D et composites sur des images du monde réel. Le succès de ces prises de vue dépend d'un travail de post-production méticuleux qui fait correspondre les couleurs, l'éclairage et le mouvement de la caméra.

La post-production n'est que le dernier maillon d'une chaîne d'étapes qui assurent la réussite du projet :

1. Analyse détaillée des clips vidéo, y compris la répartition des microactivités. Les clips importés peuvent recevoir une correction des couleurs ou un calibrage de la distorsion de l'objectif avant le suivi.
2. Exportation du clip vers une application de suivi dédiée. Dans cette série, nous nous concentrons sur PFTrack de The Pixel Farm.
3. Création de la scène finale dans un package 3D tel que Maya, basé sur les données PFTrack.

Dans l’image ci-dessus, les cinéastes ont capturé une séquence réelle et l’ont composée sur un fond numérique. Un écran bleu a été utilisé, mais les croix rouges bien visibles représentent des marqueurs de suivi.

Quel rôle jouent ces marqueurs ?

Pourquoi utiliser des marqueurs de suivi ?

Les marqueurs de suivi servent de points de référence pour la caméra physique pendant la prise de vue. Même si les scènes statiques n'en nécessitent pas, elles deviennent essentielles pour les prises de vue impliquant des mouvements de caméra.

L'objectif est d'enregistrer le mouvement réel de la caméra et de le transférer vers une caméra virtuelle :ce que l'industrie appelle le suivi de caméra ou le déplacement de match.

Le suivi par caméra est crucial dans deux scénarios principaux :

• De vrais acteurs sur le plateau avec un arrière-plan CGI, comme dans l'exemple de Life of Pi.
• Environnements réels avec accessoires numériques ajoutés en post-production.

Sans un suivi précis de la caméra, l'intégration de séquences d'action en direct avec des rendus 3D produirait des décalages évidents.

PFTrack pour le suivi de caméra

Alors que de nombreux NLE, tels qu'After Effects, incluent des outils de suivi de base, PFTrack est une solution dédiée largement adoptée dans les pipelines VFX professionnels.

Vous trouverez ci-dessous un instantané de PFTrack après le chargement d'une scène.

Le flux de travail basé sur les nœuds de PFTrack maintient le pipeline organisé. Le panneau de gauche répertorie les nœuds actifs, le centre affiche le métrage et la chronologie, et le panneau inférieur affiche les commandes spécifiques aux nœuds.

Un outil riche en fonctionnalités

Pour une référence complète, consultez la documentation officielle de PFTrack ici . Le panneau des nœuds est regroupé en onglets fonctionnels :

• Suivi
• Résoudre
• Distorsion
• Géométrie
• Photos
• Profondeur Z
• Sphérique
• Stéréo
• Exporter
• Utilitaires
• Python

Catégories clés :

• Suivi extrait les fonctionnalités du clip. Les utilisateurs peuvent choisir le suivi automatique ou placer manuellement des points personnalisés.
• Résolution crée le mouvement de la caméra virtuelle à partir des fonctionnalités suivies.
• Distorsion corrige les artefacts de l'objectif tels que la distorsion en barillet ou en coussinet.
• Géométrie vous permet d'insérer des objets de test pour valider la précision du suivi.
• Exporter envoie les données de la caméra vers Maya, 3DS Max, After Effects, etc.
• Utilitaires incluent « Estimer la focale » pour corriger les inexactitudes de distance focale et « Orienter la scène » pour aligner le système de coordonnées.

Premiers pas

Nous utiliserons un extrait de la bibliothèque Shutterstock ici . Importez-le dans PFTrack sous forme de séquence d'images et démarrez le processus de suivi.

Les algorithmes avancés de PFTrack estiment généralement automatiquement la distance focale correcte. Si vous avez besoin d'un contrôle plus fin, l'Estimate Focal Le nœud peut affiner la perspective en spécifiant manuellement les points de fuite.

Dans certains cas, comme les photos prises d'en haut, le fait de fournir les trois axes (X, Y, Z) donne à PFTrack les données nécessaires.

Suivi automatique ou suivi des utilisateurs

PFTrack propose à la fois Auto et Suivi utilisateur nœuds. Le premier identifie automatiquement les fonctionnalités stables; ce dernier vous permet de placer manuellement des trackers pour les zones critiques.

Directives pour le placement manuel :

• Choisissez des régions à contraste élevé (par exemple, des pixels sombres sur des arrière-plans clairs).
• Placez des marqueurs physiques sur le décor à l'endroit où vous souhaitez insérer des éléments 3D.
• Ajustez la luminosité et le contraste dans PFTrack pour rendre les fonctionnalités plus visibles.

Dans notre exemple, nous avons ajouté 12 à 17 trackers d'utilisateurs le long du trottoir, des murs et d'autres emplacements stratégiques.

Résolution de caméra

Avec des fonctionnalités établies, le Camera Solver Le nœud estime le mouvement de la caméra virtuelle. Utilisez l'action « Résoudre tout » pour effectuer le calcul.

La sortie du solveur utilise un code couleur :

• Vert :projection réussie.
• Blanc :projection inactive pour l'image actuelle.
• Rouge :échec de la projection (erreur > 2 px).
• Orange :erreur modérée (1 à 2 px).

Pour améliorer la précision, examinez le Graphique d'erreur. . Coupez les pics d'erreur élevés avec l'outil de coupe, stabilisant ainsi la ligne d'erreur moyenne vers zéro.

Si un tracker fonctionne systématiquement mal, désactivez-le dans l'onglet "Trackers" et résolvez le problème.

Pour définir une nouvelle origine, sélectionnez un tracker vert, puis cliquez sur « Définir l'origine » dans le Camera Solver. nœud.

Orienter la scène

D'origine fiable, la Scène d'Orient Le nœud aligne la grille 3D pour qu'elle corresponde au monde réel.

Choisissez trois trackers précis sur une surface plane (par exemple, un trottoir) et réglez-les sur le plan X‑Z. Ajustez l'orientation verticale de la grille afin qu'elle affleure la surface.

Test des objets

Une fois la grille correctement orientée, importez des modèles 3D simples à l'aide de l'Objet de test. nœud pour valider la qualité du suivi.

Pour un placement précis, accrochez les objets aux points 3D calculés. Lorsque vous travaillez avec des élévations variables, comme un seuil de porte, ajoutez des trackers sur les points d'angle, construisez un parallélépipède approximatif et positionnez l'objet sur sa face supérieure.

Lisez toute la séquence pour confirmer la cohérence. Cette phase de test exclut l'éclairage, les textures ou les ombres, se concentrant uniquement sur la précision de la position.

De PFTrack à Maya

La dernière étape de PFTrack consiste à exporter. Utilisez l'outil Exporter nœud pour générer des données de caméra et de scène dans un format compatible avec votre package 3D. Pour ce didacticiel, nous exportons vers Autodesk Maya.

Lorsque vous ouvrez la scène exportée dans Maya, l'animation de la caméra est déjà prédéfinie et vos objets 3D conservent leur position par rapport à la séquence d'action en direct.

À ce stade, vous êtes prêt à appliquer des textures, de l'éclairage et à rendre votre scène pour la composition finale.

Ceci conclut la première partie de notre série. Vous savez maintenant comment utiliser le suivi de caméra pour intégrer des maillages 3D dans des images réelles.

Dans le prochain épisode, nous aborderons :

• Animation d'objets 3D dans un clip vidéo.
• Techniques d'éclairage et de rendu 3D réalistes
• Conseils pour réaliser une intégration transparente entre les séquences 3D et les séquences d'action en direct.

Si vous avez apprécié cet article, suivez-moi sur LinkedIn pour plus d'informations.

Vous débutez dans la création d'actifs 3D ? Consultez ces articles connexes :

• Création d'un flux de travail ACES pour un éclairage réaliste en 3D
• Améliorez la qualité du rendu grâce à la composition des calques dans After Effects
• Des modifications apportées par les fans de Call of Duty aux clips de Russ :une interview avec l'artiste 3D Vollut
• Exploitez la puissance de la 3D dans After Effects avec Helium
• Comment créer un véritable terrain 3D dans Blender (sans plugins)