L’apprentissage automatique et l’art (2 de 2)
L’apprentissage automatique (Machine Learning en anglais) et l’apprentissage profond (Deep Learning en anglais) bouleversent de plus en plus de sphères de la société, permettant notamment d’améliorer l’intelligence artificielle, de freiner la propagation des logiciels malveillants et beaucoup plus encore. Il n’y a toutefois pas que les scientifiques qui s’y intéressent ; les artistes aussi…
Bien que l’expression « apprentissage automatique » existe depuis 1959, la démocratisation de cette technologie permettant aux ordinateurs de maîtriser par eux-mêmes certaines tâches est tout de même récente. Alors que l’apprentissage automatique dans les arts est surtout utilisé à des fins de traitement, d’organisation et d’analyse d’images, la technologie commence aussi à être appliquée dans d’autres domaines, dont ceux de la musique et des jeux vidéo.
Présentation de deux expériences artistiques liées à l’apprentissage automatique dans le cadre d’un atelier intitulé Machine Learning for Art, A Residency at the Google Cultural Institute à la Google I/O 2016, par l’artiste codeur Mario Klingemann et l’artiste en interactions numériques Cyril Diagne.
Les deux artistes résident actuellement au Google Cultural Institute avec l’équipe CILEx, présentée par Damien Henry de Google dans un entretien accordé récemment à FMC Veille.
Lucid Dreaming de Mario Klingemann
Crédit photo : Maxime Johnson
Le plus récent artiste en résidence au CILEx est Mario Klingemann, un artiste codeur, c’est-à-dire quelqu’un qui « utilise le code et les algorithmes pour produire des choses qui ont l’air intéressant et que certains pourraient qualifier d’art. »
Dans ses premières expériences avec l’apprentissage profond, l’artiste allemand a notamment découvert DeepDream, un programme de vision par ordinateur mis au point par Google. DeepDream utilise un réseau neuronal convolutif pour repérer et renforcer les structures détectées dans des images. Plus simplement dit, l’outil permet de produire des œuvres un peu psychédéliques à partir d’images en apparence tout à fait normales.
« J’ai eu du plaisir pendant quelques semaines avec DeepDream, mais je me suis dit que je pouvais améliorer ce code », a expliqué Mario Klingemann pendant sa présentation à la Google I/O 2016.
Son objectif était de permettre à l’utilisateur de mieux contrôler les images créées par l’outil et d’ainsi transformer DeepDream en Lucid Dreaming.
Crédit photo : Mario Klingemann
Pour offrir un tel niveau de contrôle, Mario Klingemann a modifié DeepDream afin de pouvoir modifier la saturation des couleurs dans les images. Aussi, il a permis de supprimer temporairement certaines catégories de formes reconnues par DeepDream, ce qui permet à l’algorithme de produire des images plus abstraites notamment.
Enfin, il a fait en sorte que le réseau neuronal de DeepDream apprenne à reconnaître des lettrines grâce à la technique du réglage précis (fine-tuning), afin de modifier l’allure générale des images créées par l’outil.
Les œuvres que Mario Klingemann a créées à l’aide de Lucid Dreaming ont notamment été présentées pendant l’exposition DeepDream: The Art of Neural Networks de la Gray Area Foundation for the Arts.
Portrait Finder de Cyril Diagne
Crédit photo : Maxime Johnson
« Je ne connaissais pas l’apprentissage automatique il y a un an à peine », a avoué Cyril Diagne au Google I/O 2016. L’artiste en interactions numériques a commencé à s’y intéresser lorsque Damien Henry lui a posé une question toute simple : « Que pourrais-tu faire avec sept millions d’artefacts? »
Cyril Diagne a alors tenté de réorganiser les œuvres dans la collection du Google Cultural Institute de différentes façons, par exemple par ordre chronologique ou par couleur. « Tu trouves des choses intéressantes, mais je me disais qu’avec tout ce matériel incroyable et toute cette technologie, il devait y avoir quelque chose de plus à faire. »
C’est à ce moment-là que l’artiste français s’est mis à s’intéresser à l’apprentissage automatique, tout particulièrement à l’annotation en langage naturel. Il a ainsi pu indexer les sept millions d’artefacts à l’aide de la même technologie qui permet, par exemple, d’entrer le mot-clé « forêt » dans Google Photos pour trouver des clichés d’arbres.
« Quand j’ai reçu les résultats, je suis tombé en bas de ma chaise », a raconté Cyril Diagne, semblant toujours aussi excité par l’expérience plusieurs mois plus tard. Les algorithmes d’apprentissage automatique ont rassemblé les images en plus de 4 000 étiquettes différentes, permettant ainsi de réunir des tableaux d’époques variées ou ayant des thèmes étranges, comme « femmes qui attendent ».
« Nous allons publier le tout prochainement », a promis l’artiste.
Crédit photo : Montage de Cyril Diagne
Parmi les expériences réalisées à partir de ces données, Cyril Diagne a développé Portrait Finder, un outil permettant de découvrir, à partir d’une photo d’une personne, un tableau qui lui ressemble parmi les 40 000 portraits que renferme la collection.
L’outil utilise notamment le modèle FaceNet, aussi développé par Google.
Le résultat est particulièrement amusant. « Tout le monde veut trouver son sosie dans la base de données », raconte l’artiste, qui a aussi trouvé des portraits rappelant certaines célébrités, notamment le président américain Barack Obama et les acteurs de la télésérie Silicon Valley sur HBO.
À surveiller dans tous les secteurs
L’utilisation de l’apprentissage automatique dans l’art est encore modeste et devrait continuer de prendre de l’ampleur au cours des prochaines années puisque les outils offerts ne cessent de s’améliorer et les artistes s’intéressent de plus en plus à cette technologie.
Déjà, le projet Magenta de Google a dévoilé le 1er juin sa première chanson générée par apprentissage automatique, une mélodie de piano de 90 secondes.
Que ce soit pour générer automatiquement une trame sonore en fonction de ce qui se passe à l’écran pendant un film, pour permettre la découverte de contenu vidéo archivé ou encore pour permettre l’élaboration automatique de certaines parties de jeux vidéo, l’apprentissage automatique a le potentiel de bouleverser de nombreuses facettes de l’art et de l’industrie culturelle.
De plus, les plus grandes nouveautés à venir n’ont probablement même pas encore été imaginées…
Pour lire la première partie de ce billet, cliquez ici.
