« La musique à l’heure de la réalité étendue » est le deuxième article du dossier « La conquête des mondes virtuels par les musiques actuelles ».
Le lundi 25 juin 2020, John Legend crée l’événement en s’associant à la société de réalité virtuelle Wave XR pour proposer un concert virtualisé en livestream à ses fans. Le développement récent des technologies de réalité étendue (XR), à savoir la réalité virtuelle (VR), la réalité augmentée (AR) et la réalité mixte (MR), a ouvert l’horizon des possibles dans la musique, encore faut-il pouvoir mesurer les conséquences de son essor sur le long terme.
Temps de lecture : 12 min
La réalité étendue : des technologies naissantes ?
Contrairement aux idées reçues, la réalité virtuelle n’est pas une technologie récente. Pour reprendre les mots d’Aurélie Leduc de l’Institut français, « la réalité virtuelle c’est une immersion dans un univers virtuel en 360°, créé à partir de prises de vue réelles ou en 3D ». Si la prise de vue réelle a dû attendre pour se parfaire, le développement récent de caméras en 360°, la création d’univers en 3D ne datent pas d’hier. En 1966, l’ingénieur Thomas A. Furness III crée le premier simulateur de vol en réalité virtuelle pour l’armée de l’air américaine. Et dans les années 1970, le premier casque et le premier gant envoyant des données à l’interface sont développés dans une université de l’Utah. Dès 1982, la société Atari se lance dans l’aventure mais est contrainte de fermer sa branche suite au krach affectant l’industrie naissante du jeu vidéo. L’une des problématiques qui freine son essor est la puissance de calcul limitée développée par les ordinateurs de l’époque. La véritable accélération intervient donc au mitan des années 2010, alors que les technologies et la puissance de calcul induite des ordinateurs et supports ont explosé. À l’instar du développement du livestream, c’est l’évolution technologique qui a permis le développement à destination du grand public de ces technologies. Le rachat de la société Oculus, qui se spécialise dans les casques en réalité virtuelle, par Facebook en 2014 provoque une ruée de beaucoup d’acteurs vers ce secteur encore commercialement ouvert.
La réalité augmentée, que l’on peut définir comme une « superposition à la réalité d’éléments virtuels », pour reprendre les mots d’Aurélie Leduc, est une technologie plus récente. Cette technologie superpose une couche virtuelle à la réalité physique. Elle a été développée dans les années 1990 en premier lieu par l’US Air Force. En France, dès 2009, on peut noter que le label Mercury avait intégré des contenus en AR scannables dans les CD de l’album de Sinik. Cette technologie est désormais assez répandue, accessible via Snapchat ou Instagram notamment. On la trouve aussi dans le jeu Pokemon Go qui y intègre en plus la géolocalisation. Au niveau hardware, outre le téléphone qui en est le support privilégié, Microsoft HoloLens a développé des lunettes de réalité augmentée qui permettent d’intégrer des éléments virtuels directement dans son champ de vision : c’est ce que l’on appelle une réalité mixte. Les porteurs de ces casques-lunettes peuvent interagir aussi bien avec les éléments virtuels qu’avec les éléments physiques, les déplacer, les réorganiser. Dans la réalité mixte il y a donc une idée d’interaction. Les lunettes de Microsoft comme celles développées par Magic Leap, voire Optinvent, sont là encore des développements récents.
Peut-on parler de démocratisation des technologies de réalité étendue ?
Pas vraiment. Une étude de Futuresource Consulting relayée par Forbes table sur une pénétration de 2 % au sein de la population mondiale de l’équipement en casque de VR d’ici 2023. Ce n’est donc pas encore une démocratisation à proprement parler. 2 % de pénétration au sein de la population mondiale ne signifie d’ailleurs pas mondialisation de l’adoption. Les taux de pénétration seront sans doute plus conséquents dans les pays développés que dans les pays émergents. Le prix peut être tout de même prohibitif pour une bonne partie de la population qui peut avoir du mal à voir l’intérêt de la technologie. En fait, plus que le prix, c’est bien cette compréhension des possibilités offertes par la technologie qui fait défaut. Aurélie Leduc poursuit en ce sens : « La technologie n’est pas encore parvenue au grand public. Peu de publicités à destination du grand public sont faites à la télévision ou sur les autres supports médiatiques pour les casques, cela reste encore un produit à destination de l’industrie ou de la communauté gaming notamment, mais cela commence à changer. On l’a notamment vu avec la sortie du casque Oculus Quest (sans fil et à un prix “abordable”) qui s’adresse au grand public intéressé par une autre expérience de jeu ! » Dans notre précédent focus on observait que des plateformes ouvertes de jeu en ligne telles que Roblox intégraient désormais la VR à l’expérience offerte aux utilisateurs. La propension de ces nouveaux archipels en ligne à brouiller les frontières entre jeu, expérience sociale et univers artistiques est un phénomène qui peut amplifier l’adoption des supports. Les plateformes s’intéressent d’ailleurs de plus en plus à la musique comme levier de développement, le recrutement de Bertrand Lévy, ex-VP international d’Universal Music Group, ou la récente performance avatarisée de Lil Nas X dans Roblox vont dans ce sens.
Quels usages dans les musiques actuelles ?
Malgré le déficit d’utilisateurs de ces nouvelles technologies, musiques actuelles et réalité étendue tendent donc désormais à se rapprocher. Nous sommes encore en phase d’expérimentation de ces nouvelles technologies. Une phase qui a commencé dans le milieu des années 2010 et qui se caractérise par trois types d’usages.
Un usage créatif
Créer de la musique de manière totalement virtuelle : c’est peut-être l’usage le moins connu des trois et pourtant c’est un usage sur lequel plusieurs acteurs se sont positionnés. À l’image d’applications de création musicale qui se sont développées ces dernières années sur téléphone, les applications de création musicale virtuelle ont aussi le vent en poupe. L’application Lyra VR par exemple permet aux utilisateurs de composer et de créer de la musique virtuellement sur une palette de cinq instruments dans 6 environnements différents, instruments jouables via l’utilisation des manettes HTC. 42 Tones s’est pour sa part spécialisé dans la virtualisation d’instruments analogiques dédiés à la composition de musiques électroniques. Certaines applications ont même poussé le curseur un peu plus loin, Instrument Studio VR recréant carrément un studio d’enregistrement pour donner la possibilité aux utilisateurs de l’application de créer un morceau complet.
Tout une gamme d’applications est donc en train de se développer sans pour autant être disponible sur tous supports. À l’instar des jeux vidéo qui doivent répondre aux contraintes des hardwares qui vont supporter le jeu, les applications de VR connaissent là aussi le même souci. Ainsi Instrument Studio VR n’est disponible pour le moment qu’avec le casque Oculus Rift. Autre contrainte dans la création, l’équipement. Pouvoir accéder à cet environnement créatif c’est bien, mais encore faut-il pouvoir manipuler les instruments de la manière la plus proche du réel. Pour ce faire, il vaut mieux se procurer des gants haptiques qui vont permettre de reproduire les sensations de toucher et donc renforcer l’effet de réel prodigué par cette pratique virtuelle.
David Dvořáček
via Unsplash
Un autre moyen c’est de créer ses propres touches de contrôle pour pouvoir taper dessus via des manettes HTC standard. C’est ce que fait Exa Music VR, qui propose aussi une expérience partagée pour pouvoir composer et jouer avec les autres membres de son groupe. Certaines applications vont même permettre d’exporter sa création et de la streamer en live. C’est le cas de Tribe XR, une application qui permet d’apprendre à mixer des morceaux que l’on apporte dans un espace virtuel qui reproduit contrôleurs et platines CDJ. L’application propose d’exporter le set vers une chaîne Twitch pour en faire profiter les followers de la chaîne. Petit bémol cependant, pas sûr que cette fonctionnalité soit toujours d’actualité avec les contentieux actuels auxquels la plateforme fait face par rapport à sa gestion des droits musicaux.
Un usage promotionnel
En matière d’utilisation de la VR comme support promotionnel, les artistes électroniques, notamment français, ont été pionniers. Dès 2015, comme le soulignait alors le magazine Trax, l’artiste de musiques électroniques Rone s’associe avec le collectif Blogothèque et le studio parisien Okio Studio pour réaliser le clip de son titre « Quitter la ville » en 360°. Dans le hall d’un terminal de Roissy déserté, le spectateur peut ainsi regarder l’interprétation du titre par Rone et François Marry. Une démarche novatrice qui suscite les interrogations de son cercle proche. Utiliser la réalité virtuelle pour promouvoir son art, n’est-ce pas s’adresser à un public de niche ?
La question à se poser est plutôt celle du sens : qu’est-ce que peut permettre la réalité virtuelle que d’autres médias ne peuvent pas ? La réponse tient dans la connexion que cette expérience permet de créer avec le spectateur. L’expérience est celle d’une ambiance intimiste, la réalité virtuelle est un médium qui permet d’effectuer un lien différent avec l’artiste, un lien de proximité accru. C’est ce que souligne Aurélie Leduc notamment pour expliquer le choix de Molécule et Zorba Production de créer une expérience VR accompagnant l’album de Molécule -22,7°C enregistré au Groenland « Molécule voulait partager son expérience vécue au Groenland de la manière la plus juste possible avec son public : partager ses émotions, son aventure intime qui relevait presque de la transe, l’expérience de la solitude et du silence total. Et le seul médium qui nous paraissait le plus à même de retranscrire ça et de mettre le spectateur à la place de Molécule, c’était la réalité virtuelle ». Avec ce type de médiums on peut faire passer plus d’émotion, encore faut-il être muni d’un casque « là où l’on a l’expérience la plus optimale ». Le casque étant ici le support qui permet de retranscrire cette sensation d’intimité, de lien avec l’œuvre et l’artiste.
Le problème de cette technologie c’est le temps que cela peut prendre à financer l’objet. Comme le rappelle Aurélie Leduc « la VR est un médium de niche, qui coûte cher à produire et dont les vannes de financements sont encore réduites. Cela nécessite donc souvent du temps pour réunir les fonds nécessaires. Il faut donc des investisseurs privés qui puissent financer la production, mais il faut aussi très souvent faire appel à des financements publics (comme l’aide du CNC) pour compléter le plan de financement, ce qui rallonge encore les délais de production ». Un allongement du temps de production qui ne s’aligne pas forcément avec le temps de production et de promotion d’un album. Outre la production du contenu, il faut aussi pouvoir avoir des supports de diffusion dudit contenu. Ce n’est qu’en mars 2015, peu avant la sortie du clip de Rone, que YouTube a permis à ses utilisateurs d’uploader et de visionner des vidéos en 360°. Arte en France est l’un des «principaux acheteurs de contenu VR aujourd’hui » et permet aux internautes d’accéder au contenu via son site web. Arte, YouTube et désormais Facebook ont intégré la technologie leur permettant de diffuser ce type de vidéos, mais les contenus que ces plateformes hébergent ne se limitent pas au domaine musical, loin de là.
La VR, comme indiqué plus haut, ne concerne pas que la production de film en 360°, la 3D peut aussi servir à promouvoir les enregistrements de shows en 360°. Dès 2016, la plateforme VRtuoz développée par la startup Owl Perception mêle les deux technologies. Cette dernière propose des rooms immersives que l’on choisit via sa plateforme modélisée en 3D pour assister à des concerts filmés en 360° « On propose une expérience adaptée aux devices. Avec les casques, on travaille avec des contenus 360° pour donner l’illusion au fan qu’il vit une expérience particulière avec un artiste, sur scène ou en privé, en direct ou en replay », nous indiquait alors son fondateur Gildas Dussauze.
Un usage expérientiel
L’usage expérientiel des contenus VR musicaux a été permis par la création de multiples plateformes dédiées à cette création et à la diffusion de cette dernière. Ces plateformes spécialisées voient le jour au milieu des années 2010. Ce sont des projets qui vont utiliser l’animation en 3D pour supporter de nouvelles formes de concerts et d’expériences musicales. Wave en 2016 à Los Angeles, MelodyVR en 2015 à Londres. À ces dernières on peut ajouter Sensorium là encore à Los Angeles et Oculus Venue de Facebook (bien que cette dernière ne se limite pas à des contenus musicaux). MelodyVR vient d’ailleurs tout juste d’acquérir la marque Napster après avoir passé une série d’accords sur l’utilisation des droits musicaux dans la production de contenus sur sa plateforme. Sensorium a, quant à elle, sécurisé une série de concerts de David Guetta qui se dérouleront dans Prism, une discothèque virtuelle créée en partenariat avec les propriétaires de deux clubs emblématiques d’Ibiza. Une discothèque virtuelle qui pourrait accueillir d’autres artistes dans les temps prochains. Le projet VRrOOm porté par le média du même nom a quant à lui hébergé le concert donné par Jean-Michel Jarre pour cette fête de la musique 2020 si particulière.
Mais c’est Wave la startup qui a le plus fait parler d’elle ces derniers mois. Cette dernière a en effet organisé les concerts de John Legend et Tinashe. Concerts popularisés par l’horizon créatif du confinement mais qui n’étaient pas les premiers puisque, en 2019, la violoniste Lindsey Stirling avait déjà réalisé un concert capté par l’application, et Jean- Michel Jarre (encore lui) s’était déjà produit sur la plateforme en 2018. L’utilisation « des technologies de motion capture » comme l’indique Aurélie Leduc est prégnante pour réaliser techniquement cette expérience. C’est la combinaison Xsens qui a permis à John Legend cette reproduction en temps réel de ses mouvements dans le monde virtuel via son avatar.
Si la réalité virtuelle apparaît peu pertinente pour des concerts en présentiel, les technologies de réalité mixte ont en revanche leur carte à jouer. Les casques et lunettes développés par Magic Leap, Optinvent ou Microsoft HoloLens permettent de superposer et de mélanger des éléments virtuels au sein d’un concert live opéré par un artiste. Ainsi le spectateur pourrait profiter d’une expérience de concert augmenté sans avoir à sortir son téléphone. Frein à l’adoption de ces supports : leur coût actuel. Un coût qui se chiffre en milliers d’euros. On peut cependant imaginer que certaines salles ou promoteurs puissent investir dans du matériel pour offrir une forme d’expérience réservée à un carré VIP par exemple. Si le coût des supports baissait, on pourrait assister à une démocratisation de ces productions hybrides avec une expérimentation croissante qui permettrait de dépasser les formes actuelles de concert.
Les limites écologiques de ces nouvelles technologies
À l’heure où de nombreuses voix se lèvent ici ou là pour appeler à une transformation écologique des pratiques dans la musique, la démocratisation de l’usage de la réalité virtuelle ou mixte peut faire cependant débat. Des problématiques trop souvent ignorées se posent. Le coût environnemental de la production des équipements et supports, et le coût carbone sur la borne passante des fichiers vidéo.
Sur l’impact environnemental de la production des équipements de XR peu d’études existent. Cependant on peut noter que les appareils supports sont composés d’un mélange de polymères et de composants électroniques qui, comme l’indique industriel.net, pose des problèmes de recyclage de ces déchets important. Et, au-delà du recyclage, la logique commerciale de production constante de supports améliorés peut poser souci. Surtout quand on considère la problématique de l’extraction des ressources permettant la fabrication des composants électroniques des supports, bien que ces derniers soient loin d’être les principaux objets requérant ces fameux matériaux.
Sur l’utilisation de la bande passante, Samuel Valensi, le corédacteur du volet culture du plan de décarbonation de l’économie française créé par The Shift Project, pointait à juste titre « le numérique n’était pas une alternative sobre. […] ce qui pourrait devenir un gros problème dans les mois et les années qui viennent c’est le développement d’autres techniques de diffusion […] Le problème c’est la qualité, c’est la tâche des fichiers… si demain il y avait une croissance exponentielle sur la taille des fichiers, cela poserait un problème.[…] Aujourd’hui un fichier de réalité virtuelle pour un concert d’une heure et demie ou deux heures c’est entre 100 et 160 gigas ». À titre de comparaison, un fichier d’un film en 1080 p équivaut à 2 gigas sur une durée similaire. Cette consommation potentielle en bande passante pourrait s’avérer catastrophique écologiquement parlant si une adoption massive de ces usages se produisait. La sobriété numérique n’étant clairement pas l’amie de ces nouvelles technologies (pour le moment).
Mais c’est bien la question de l’usage qu’il faut interroger. Si la réalité virtuelle peut être massivement utilisée par les gamers dans leurs expériences de jeux, expérimenter la VR pour un concert récréatif ne constitue en revanche qu’un événement sporadique, loin d’un usage intensif. La sobriété résiderait alors dans la rareté de l’expérience. Une rareté de l’expérience potentiellement garantie par le coût d’accès au concert virtuel ou bien réservée à des super-fans par un système d’abonnement. Deux logiques qui pourraient permettre une plus juste rémunération des artistes.
Les technologies de réalité étendue augmentent donc l’horizon créatif des artistes. Ces technologies s’inscrivent dans un phénomène de basculement des arts vers le numérique où les barrières entre réel et virtuel s’effondrent les unes après les autres. Cependant, tant que le problème de volume de fichiers ne sera pas réglé, la démocratisation de la réalité étendue entre en contradiction avec la sobriété numérique nécessaire pour accompagner la transition écologique de nos modèles de développement. La solution à cette équation réside peut-être dans une forme d’économie de la rareté qui contribuerait à rendre ces expériences exceptionnelles.