L'année dernière, un groupe d'informaticiens allemands a fait des vagues en présentant un nouvel algorithme capable de transformer n'importe quelle image fixe numérique en une œuvre d'art imitant les styles picturaux de maîtres tels que Vincent van Gogh, Pablo Picasso et Edvard Munch. Bien que ce soit un exploit impressionnant, appliquer la même technique aux images en mouvement semblait scandaleux à l’époque. Mais maintenant, un autre groupe de chercheurs a compris, produisant rapidement et de manière transparente des chefs-d’œuvre numériques en mouvement, écrit Carl Engelking pour Discover .
Contenu connexe
- Ce film d'animation sur Van Gogh est entièrement composé de peintures à l'huile
- Ce réseau de neurones artificiels génère des lignes de captation absurdes
Dans une démonstration vidéo, les programmeurs démontrent les capacités artistiques de leur algorithme en transformant des scènes de films et d'émissions de télévision telles que Ice Age et Miss Marple en animations de peinture ressemblant à un clic de souris. Mais développer l'algorithme n'était pas un mince exploit.
Pour créer une transformation aussi détaillée, l'informaticien Leon Gatys et ses collègues de l'université de Tübingen ont développé un algorithme d'apprentissage en profondeur utilisant un réseau de neurones artificiels. En imitant la manière dont les neurones du cerveau humain établissent des connexions, ces systèmes d’apprentissage automatique peuvent effectuer des tâches beaucoup plus complexes que n’importe quel ordinateur portable ancien.
Voici comment cela fonctionne: lorsque vous regardez une image d’une peinture ou que vous regardez un film sur votre ordinateur portable, vous êtes témoin du fait que votre ordinateur décode les informations contenues dans un fichier et les présente correctement. Mais lorsque ces images sont traitées via un réseau de neurones, l’ordinateur est capable de prendre les nombreuses couches d’informations contenues dans ces fichiers et de les séparer pièce par pièce.
Par exemple, un calque peut contenir les informations sur les couleurs de base dans Starry Night de van Gogh, tandis que le suivant ajoute un peu plus de détails et de texture, etc., selon le MIT Technology Review . Le système peut ensuite modifier chaque couche individuellement avant de les rassembler pour créer une nouvelle image.
«Nous pouvons manipuler les deux représentations de manière indépendante pour produire de nouvelles images ayant un sens perceptuel.» Gatys a écrit dans une étude publiée sur le serveur prépresse arXiv.
En appliquant ce système d’apprentissage par couches aux peintures de Picasso et van Gogh, pour ne citer que quelques-unes, les chercheurs ont pu développer un algorithme qui «enseignait» à l’ordinateur d’interpréter toutes ces informations de manière à séparer le contenu d’une peinture de son style. Une fois qu’il avait compris comment Van Gogh utilisait les coups de pinceau et les couleurs, il pouvait ensuite appliquer ce style comme un filtre Photoshop à une image et la recréer efficacement dans son style iconique, écrivait Matt McFarland pour le Washington Post . Mais appliquer cette technique à la vidéo présentait un nouvel ensemble de problèmes.
«Autrefois, redessiner manuellement une image dans un certain style artistique demandait un artiste professionnel et longtemps», écrivent Manuel Ruder et son équipe de l'Université de Fribourg dans leur nouvelle étude, également publiée sur arXiv. "Faire cela pour une séquence vidéo toute seule dépassait l'imagination."
Lorsque Ruder et ses collègues ont pour la première fois essayé d'appliquer l'algorithme aux vidéos, l'ordinateur a lancé gobbledygook. Finalement, ils se sont rendus compte que le programme traitait chaque image de la vidéo comme une image fixe distincte, ce qui provoquait un clignotement irrégulier de la vidéo. Pour résoudre ce problème, les chercheurs ont imposé des contraintes à l'algorithme qui empêchait l'ordinateur de trop s'écarter des trames, écrit Engelking. Cela a permis au programme de s'installer et d'appliquer un style cohérent à l'ensemble de la vidéo.
L'algorithme n'est pas parfait et a souvent du mal à gérer des mouvements plus grands et plus rapides. Toutefois, cela représente toujours un progrès important dans la manière dont les ordinateurs peuvent restituer et modifier la vidéo. Bien qu’il en soit à ses débuts, les algorithmes futurs pourraient appliquer cet effet aux vidéos prises avec une application pour smartphone, ou même rendre des versions de réalité virtuelle de vos peintures préférées, rapporte le MIT Technology Review .
L'idée de réduire le style d'un artiste à un ensemble de points de données peut déranger certaines personnes, elle ouvre également les portes à de nouveaux types d'art jamais imaginés auparavant.
