Au fil des ans, les cinéastes ont expérimenté une myriade d'idées et de méthodologies artistiques. Établir et enfreindre les règles crée de nouvelles voies à travers le médium, changeant et affinant la façon dont les films sont assemblés.
Tout comme l'avènement des nouvelles technologies.
Au début, les cinéastes intéressés par l'idée du montage procédural créaient des équations mathématiques complexes pour déterminer comment les scènes pouvaient être coupées pour créer de la tension ou ajouter du drame. Ils peuvent également couper pour correspondre à une longueur de partition ou pour obtenir une congruence mathématique avec une autre variable de leur projet.
L'introduction des imprimantes optiques a permis aux cinéastes de refaire des bandes de film, ouvrant ainsi les portes à la créativité et aux effets spéciaux.
Au cours des dernières années, du matériel et des logiciels puissants, ainsi que des langages de programmation, ont permis aux artistes de prendre de nouvelles mesures pour développer leur travail. Alors que les approches d'édition procédurale supplantent les idées de créativité et de vision pour les mathématiques et les sciences, elles contiennent une méthode. Considérées comme des outils permettant de communiquer une vision ou de développer la créativité, les mathématiques et les sciences ont beaucoup à offrir au cinéaste.
Un exemple d'idée ou de concept qui a été utilisé, sous une forme ou une autre, pendant la majeure partie d'un siècle est l'édition algorithmique.
Qu'est-ce que l'édition algorithmique ?
Bien que cela semble complexe, le montage algorithmique dans sa forme la plus simple fait référence au montage de séquences selon un schéma ou un plan.
Ce schéma pourrait être aussi simple que "toutes les quatre images, passer de la caméra A à la caméra B pendant deux images, puis revenir à la caméra A", ou encore plus simple :"utiliser une image de séquence de A et une de B, et répéter ."
Cette idée que les images suivront une feuille de route pré-planifiée ou une approche procédurale directe est la base du montage algorithmique. En termes simples, il s'agit d'une technique de découpage et de réassemblage de séquences basée sur un schéma, un contour ou un modèle.
Avant d'aller trop loin, un algorithme lui-même est, selon les bonnes gens d'Oxford, "un processus ou un ensemble de règles à suivre dans les calculs ou d'autres opérations de résolution de problèmes, en particulier par un ordinateur."
C'est une manière parfaite de décrire et d'introduire l'édition algorithmique. Les premiers cinéastes visionnaires tels que Dziga Vertov et Sergei Eisenstein ont adopté une approche mathématique et schématique de leurs montages et scènes dans leurs films, créant des tableaux de montage complexes pour guider leurs projets.
Alors que la vision d'Eisenstein permettait au public de voir l'aspect idéologique des films qu'ils regardaient à travers l'influence émotionnelle et psychologique imprégnée par son utilisation de cette technique, Vertov croyait en fait que ses techniques mathématiques nettoyaient le processus et pouvaient conduire à l'amélioration de l'humanité en raison de à la méthode infaillible et absolument précise qu'il a suivie.
Quelques articles incroyables du cinéaste basé à Winnepeg, Clint Enns, décrivent l'histoire et l'application pratique du montage algorithmique avec plus de détails que cet écrivain ne peut même comprendre. En complément de cet article, nous vous conseillons vivement la lecture de ses ouvrages.
Le mettre à profit
De nombreux autres cinéastes de la première heure ont utilisé avec succès des techniques de montage algorithmique, dont beaucoup dans la création de films expérientiels. Le concept se prête certainement à des approches plus avant-gardistes de la réalisation de films.
Prenez, par exemple, l'idée d'un film de scintillement de base. À l'aide de deux séquences, l'une entièrement noire, l'autre entièrement blanche, montez ensemble une séquence qui prend une image d'un clip, puis de l'autre, en répétant jusqu'à la fin des clips. Cette technique donnerait un résultat tout à fait unique et probablement nauséabond. Cela dit, c'est une approche algorithmique très pure.
La nature linéaire de cette pièce, cependant, n'a pas besoin d'être la norme pour les projets édités de manière algorithmique. De nombreux algorithmes développés dans des logiciels contiendront des variables aléatoires susceptibles de modifier une partie de l'équation.
Nous prendrions donc le même projet, mais ajouterions une variable aléatoire pour gérer le nombre d'images à sélectionner dans le deuxième clip uniquement, ne laissant qu'une seule image du premier clip. Ce que nous aurions au final serait une image du clip un, un nombre aléatoire d'images du clip deux, une autre image unique du clip un… etc.
Qu'est-ce qui est différent ?
Bien qu'il s'agisse d'une approche peu orthodoxe de l'édition, cela semble également presque impossible à utiliser avec les outils que la plupart d'entre nous utilisons tous les jours. Cela nous amène à la différence entre le montage algorithmique et notre approche filmique.
Lorsque nous montons des clips dans Premiere Pro, FCPX, Media Composer ou toute autre plate-forme préférée, nous considérons nos séquences comme un clip - quelque chose avec un début, un milieu et une fin - que nous allons couper. C'est très basé sur la chronologie, et à juste titre; nos plateformes de montage sont basées sur le montage de films. Lorsque nous déposons un clip dans notre timeline, nous regardons l'équivalent numérique d'un clip de film analogique.
Dans le montage algorithmique, la démarche consiste à considérer le métrage différemment, on n'y accède pas de la même manière. Nous ne regardons pas l'intégralité du clip et ne décidons pas de ce qu'il faut garder et de quoi se débarrasser. En utilisant cette technique, nous envisageons un accès direct à n'importe quelle image de n'importe quel clip dans un emplacement. Cet emplacement peut être une base de données ou simplement un dossier sur votre machine.
Il ne s'agit pas d'enlever nos plates-formes d'édition - elles nous permettent certainement d'accéder à chaque image de chaque clip que nous importons - mais de créer une composition même en utilisant un schéma simple comme "une image de A, une image de B , répétez" serait onéreux et chronophage.
Écrire un extrait de code pour gérer le même processus prendrait très peu de temps. Le code accède au métrage non pas comme un morceau de film, mais comme un conteneur plein de données, donc un dossier ou une base de données est comme un conteneur géant rempli de données audio et vidéo de chaque image qu'il contient.
Donc, si le code peut accéder directement à n'importe quelle image de n'importe quel clip dans un conteneur, alors il devrait y avoir une tonne de possibilités pour utiliser l'édition algorithmique de manière créative. Il est possible d'utiliser les variables existant dans un morceau de métrage, telles que la variation de pixels et les déviations audio, pour déterminer par programmation où faire des coupes et comment reconstituer un morceau de métrage.
Selon cette description, le modèle des points de montage peut même être une partition musicale. Cory Arcangel a fait une poignée d'expériences impressionnantes en utilisant la musique comme pilote d'édition. Un exemple de son travail comprend une vidéo YouTube du Cinquième Caprice de Paganini, éditée à partir de centaines de vidéos pédagogiques pour la guitare. Cela a probablement été accompli en utilisant la pièce originale et en écrivant un algorithme qui a analysé la base de données de vidéos YouTube à la recherche de notes qui correspondraient. Bien que difficile à regarder, la réalisation est un excellent exemple d'édition algorithmique au travail.
Qui le fait ?
Devon Crawford, un brillant jeune programmeur canadien qui a exploré les logiciels et l'ingénierie électrique à travers ses propres recherches et les a documentées sur YouTube, est un excellent exemple d'un talent moderne utilisant l'édition algorithmique et démontrant exactement comment il le fait.
La chaîne de Devon couvre une large gamme de sujets d'intérêt pour les développeurs de logiciels favorables à la technologie, tels que la révision d'un jeu qu'il a codé en première année d'université, le téléchargement de vos données privées Google et la découverte de choses folles à ce sujet, comment il est entré dans codage, etc.
Devon, semble-t-il, est depuis passé à des projets plus importants qui ne sont pas documentés aussi étroitement en ligne, mais l'une de ses expériences les plus intéressantes consiste à utiliser des algorithmes pour éditer des clips pour lui en fonction du code.
Dans cette vidéo, il écrit un programme qui édite une vidéo pour lui, dans laquelle il expérimente un peu avec des variables pour différents résultats. Au fur et à mesure qu'il perfectionne l'application, il utilise la détection de mouvement (vous vous souvenez de la variation des pixels ?) pour déterminer les coupes de sa vidéo, en créant essentiellement une vidéo qui utilise des parties de ses clips avec la plus grande différenciation.
Plutôt intéressant, non ? Ces dernières années, certaines entreprises espéraient tirer parti de ce type de technologie pour éditer automatiquement des images de caméras d'action. Avec un ciel bleu vif et des wakeboards rose vif, un algorithme comme celui de Devon aurait probablement fait un aussi bon travail qu'un éditeur physique.
D'autres organisations ont expérimenté l'édition automatisée ou algorithmique. Disney a créé un algorithme de montage multi-caméras qui utilise différentes variables pour déterminer les points de montage. Dans leur projet, le logiciel estime le mouvement 3D de chaque caméra, lui permettant de se verrouiller sur ce à quoi les caméras accordent le plus d'attention. Cela permet au logiciel de déterminer correctement quand et où effectuer une coupe vers une autre caméra. L'algorithme de Disney peut également déterminer quelle caméra a la meilleure vue du sujet et basculer vers celle-ci, de sorte que la coupe n'est pas seulement opportune, mais elle est intelligente.
Pas tout à fait un éditeur humain, mais certainement de plus en plus proche.
Ce que l'avenir nous réserve…
Alors que beaucoup d'entre nous resteront fidèles à notre approche filmique du montage, il convient de noter que l'apprentissage automatique et l'application d'algorithmes nous entourent déjà depuis un certain temps. Les algorithmes déterminent la mise à l'échelle et l'optimisation du rendu, l'interpolation des images clés et d'autres aspects de notre travail. Des algorithmes plus complexes continueront de façonner l'ensemble de notre travail, car des entreprises comme Adobe continuent de se concentrer sur l'apprentissage automatique avec Adobe Sensei.
Pas totalement convaincu ? Jetez un œil à la fonctionnalité de remplissage sensible au contenu d'After Effects. Il examine les pixels environnants et effectue une estimation pour combler un vide en temps réel.
Ainsi, que nous choisissions d'aborder le montage sous un angle programmatique ou de nous en tenir à notre approche traditionnelle, les algorithmes existent dans le cinéma depuis un siècle et continueront d'être de plus en plus intrinsèques à nos fonctions de montage au fil du temps. L'édition algorithmique deviendra-t-elle à l'avenir une "édition automatisée" ? Probablement dans certains cas, mais il y a probablement un argument pour cela.
Alors, le futur du cinéma a-t-il une utilité pour le montage algorithmique ? Imaginez un scénario dans lequel un logiciel coupe et sort automatiquement 25 premières coupes d'un film. Le studio rassemble des auditoires de test pour regarder les brouillons tandis que des caméras, des capteurs et des logiciels supplémentaires mesurent leurs réactions à chaque image de la vidéo. Sur la base de ces données, le studio assemble une "coupe parfaite" finale.