Une nouvelle façon de vivre la musique

mathias

Updated on:

Depuis quatre ans, Daniel Belquer travaille sur un appareil qui traduit la musique en direct pour les personnes qui ne peuvent pas entendre.

Alors que la plupart des gens considèrent la musique comme une expérience auditive, Belquer, qui a rédigé son mémoire de maîtrise sur l’écoute, s’était déjà intéressé aux aspects physiques du son, allant jusqu’à construire des haut-parleurs en verre pour intégrer des vibrations dans ses compositions musicales.

Not Impossible Labs, une société d’innovation sociale basée à Los Angeles, voulait qu’il fasse passer cette expérience au niveau supérieur. Ils voulaient qu’il aide à traduire la joie de s’éclater devant un groupe en direct en une expérience physique pour la communauté des sourds. Pour ce faire, Belquer s’est plongé dans le monde du son et des vibrations, a travaillé en étroite collaboration avec des membres de la communauté des sourds et a réalisé des centaines et des centaines de tests utilisateurs.

L’année dernière, Belquer et son équipe ont dévoilé le dernier prototype de leur produit Music : Not Impossible vibratory wearable. Le système se connecte à la table d’harmonie par le biais d’un signal radio à longue portée, puis traduit la musique en une série d’impulsions vibratoires envoyées à 24 points du corps, créant ainsi une « expérience de corps environnant ».

M. Belquer a expliqué comment le dispositif est passé d’une proverbiale esquisse sur une serviette de table à un prototype fonctionnel, et comment Not Impossible Labs prévoit de le développer.

Une approche DIY construite à partir d'objets bon marché est souvent la meilleure solution pour les premiers prototypes. Cela vous donne la liberté d'expérimenter et de casser les choses rapidement. 
Demandez des commentaires et des conseils aux membres de la communauté pour laquelle vous créez la technologie. 
Testez. Testez. Testez. L'essai des prototypes sur vous-même et sur d'autres personnes permet de déceler les défauts de conception et de trouver des pistes d'amélioration. 
Adoptez la simplicité. Aussi intelligente que soit votre technologie, elle ne sera pas adoptée si les gens ne savent pas comment l'utiliser. 
L'innovation ne signifie pas nécessairement qu'il faille tout créer à partir de zéro. La compatibilité avec des logiciels ou des appareils plus couramment utilisés peut permettre à votre outil de toucher un public plus large.

Comprendre la science derrière la musique

Chaque projet de Not Impossible Labs, basé à Los Angeles, commence par ce qu’Ebeling appelle une absurdité. Ce terme est un raccourci utilisé par Ebeling pour décrire les défis qu’une personne rencontre et qui soulignent un besoin sociétal plus important.

Il peut s’agir d’un skateur privé de sa vue et donc de sa capacité à patiner, d’un graffeur autrefois aventureux, paralysé et cloué au lit à cause de la SLA, ou du défi sociétal que représente le fait que les gens aient faim. Dans chaque cas, Ebeling et son équipe se chargent de trouver une solution technologique.

L’entreprise a depuis créé un eyewriter – un dispositif qui transmet le mouvement de l’œil d’une personne à un système de projection – pour permettre au graffiteur d’écrire à nouveau sur les murs, une plateforme de messagerie textuelle qui relie les personnes privées de nourriture et une technologie sonore qui permet de faire du skateboard sans avoir la vue.

Vidéo via Not Impossible Labs

Lorsqu’il s’agit de musique en direct, une personne sourde a souvent des moyens limités pour participer à l’expérience. Elle peut soit se tenir près des enceintes pour sentir les vibrations de la musique, soit tenir un ballon ou un verre d’eau pour la ressentir. Cependant, dans une salle bondée, les haut-parleurs peuvent être bloqués par la foule et les équipements, et tenir un verre d’eau n’est pas toujours facile.

Perspectives du produit :
L’équipe produit de How Not Impossible a fondé sa conception sur les commentaires de la communauté.

Pour mieux comprendre cette expérience et la traduire en technologie, l’équipe a fait appel au Dr David Putrino, neuroscientifique, qui dirige un laboratoire d’innovation en réadaptation à Mount Sinai.

Putrino a expliqué la science derrière la façon dont le cerveau s’engage dans la musique. Comme la musique se résume à des vibrations, le cortex auditif n’est pas la seule partie du cerveau responsable de l’interprétation des sons. L’hippocampe, le cervelet et l’amygdale travaillent ensemble pour traduire les vibrations de la musique en réponses émotionnelles, physiques et mémorielles que vous ressentez en dansant sur Beyonce ou en groovant sur The Grateful Dead.

Ce constat a fourni la base dont Not Impossible Labs avait besoin pour commencer à développer des prototypes.

Développer un dispositif portable, en commençant par des pagers de la vieille école

À ce stade, Not Impossible Labs disposait d’une théorie selon laquelle la musique pouvait être traduite en vibrations sur la peau, et d’une esquisse pour y parvenir. Il était temps de commencer à expérimenter.

En l’absence de recherches approfondies sur la technologie des vibrations sonores, Belquer et son équipe se sont largement appuyés sur l’essai de prototypes bricolés.

« L’approche DIY est très pratique car elle permet d’essayer des choses sans craindre d’endommager un équipement de 3 000 dollars », explique Belquer. « Les choses brûlent et les trucs explosent au début ».

Pour le premier prototype, Belquer s’est tourné vers un appareil qui a connu son dernier moment de gloire dans un clip des années 1990 avec Notorious B.I.G. – les pagers. Armé de buzzers, de fils, de pinces coupantes et de colle chaude, Belquer a assemblé un dispositif. Il l’a ensuite branché dans la prise casque de l’ordinateur et l’a relié aux fichiers sonores de la plateforme musicale Ableton Live pour le tester.

Le dispositif bourdonnait, mais il était loin de reproduire l’expérience musicale. Néanmoins, cela a donné à Belquer un point de départ et lui a permis de savoir qu’il devait acheter des actionneurs capables de distinguer des vibrations plus fines.

« Les moteurs n’étaient pas assez bons, ils n’étaient pas assez rapides, ils étaient bruyants et consommaient beaucoup d’énergie », a déclaré Belquer. « Mais vous apprenez beaucoup du premier prototype, puis vous passez à la version suivante, où vous trouverez d’autres problèmes. »

Les autres prototypes comprenaient :

Une matrice complexe de huit par huit de moteurs cousus à la main dans des pochettes et portés en travers de la poitrine.
Un pantalon qu'il a transformé en une sangle avec des poches contenant des moteurs.
Un gilet d'attrapeur de baseball avec des moteurs fixés dessus. 

Mais l’équipe devait également trouver un moyen de connecter les moteurs à la musique sans fil afin de donner aux spectateurs la liberté de bouger et de danser. Cela signifiait que les moteurs devaient avoir une latence nulle entre le son et la vibration. M. Belquer a étudié la possibilité de connecter le dispositif via Bluetooth et XDS avant de se décider pour le Wi-Fi, qui présente l’avantage d’être bon marché et facile à installer.

Les appareils communiquent ensuite avec la table d’harmonie de la salle par le biais d’Open Sound Control, explique Belquer. Bien que le processus ait fonctionné dans le vide, l’équipe de Not Impossible a eu du mal à assurer la connectivité Wi-Fi lorsqu’elle a essayé de le brancher dans une salle bondée.

Néanmoins, le processus d’essai et d’erreur de ces premiers prototypes a permis à l’équipe de se concentrer sur ce qui fonctionnait et ce qui ne fonctionnait pas.

Les réactions de la communauté des sourds et d’autres utilisateurs lors des tests ont également été déterminantes dans ce processus.

Music Not Impossible Accessibility TechLa chanteuse et compositrice Mandy Harvey essaie le dispositif avant le spectacle de Greta Van Fleet Life Is Beautiful. Photo via Zappos.

Leçons tirées de plus de 600 tests de produits

Dès le départ, Not Impossible Labs s’est fixé pour objectif de créer un appareil qui comblerait le fossé entre les personnes malentendantes et la communauté sourde. L’appareil devait être facile à utiliser et sa sortie devait être immédiatement comprise comme de la musique.

Depuis la création de l’appareil, Belquer estime qu’ils ont effectué plus de 600 tests pour affiner ses capacités et répondre aux besoins de la communauté sourde.

Pour mieux comprendre cette perspective, Not Impossible Labs a fait appel, dès le début, à Mandy Harvey, une chanteuse et compositrice sourde, pour tester l’appareil et donner son avis. Ils l’ont également testé avec le compositeur sourd Jay Zimmerman, et lors de divers petits spectacles, notamment au SXSW en 2015.

La plupart des gens ne peuvent pas percevoir d'infimes variations de vibrations sans une formation adéquate, mais les sourds et Mandy le peuvent. Elle a aidé le système à atteindre un niveau plus raffiné."

Harvey a aidé Not Impossible à mieux comprendre où concentrer les vibrations pour obtenir la meilleure expérience utilisateur. Ils ont appris que si elles étaient trop élevées, les femmes étaient mal à l’aise. Si elles étaient trop basses, elles résonnaient trop avec l’estomac. Les premiers testeurs les ont également aidés à affiner les sons et les vibrations pour créer une gamme d’expressions.

« Mandy tenait absolument à ce que les vibrations soient plus subtiles, précises et délicates », a déclaré M. Belquer. « La plupart des gens ne peuvent pas percevoir d’infimes variations de vibrations sans une formation adéquate, mais les sourds et Mandy le peuvent. Elle a aidé le système à atteindre un niveau plus raffiné. »

Music Not ImpossibleL’interprète de musique Amber Galloway a participé au spectacle de Greta Van Fleet à Life Is Beautiful. Photo via Zappos.

Pendant ce temps, l’interprète musicale ASL Amber Galloway a organisé un atelier pour aider l’équipe à mieux comprendre la communauté sourde. Ses idées sur cette communauté ont aidé Belquer à se connecter au projet à un niveau plus profond, et ont influencé les fonctionnalités qu’il a conçues, dit-il.

« C’est devenu une sorte de croisade pour moi personnellement », a déclaré M. Belquer. « Je ne voulais pas seulement inclure la communauté des sourds en tant qu’utilisateurs, je voulais leur donner du pouvoir en tant que créateurs. »

Explorer d’autres cas d’utilisation pour améliorer l’adoption

Après quatre ans d’essais et d’erreurs, Not Impossible Labs a dévoilé son neuvième prototype lors d’un spectacle de Greta Van Fleet dans le cadre du festival de musique de Las Vegas, Life Is Beautiful.

Le dernier prototype comporte 24 points de vibration différents, répartis entre le torse, le dos, les poignets et les chevilles. Chaque actionneur possède une LED correspondante qui s’allume lorsqu’il est utilisé. Les moteurs sont dotés d’un signal radio à longue portée qui permet à des centaines d’appareils de communiquer avec le logiciel et d’interpréter la musique en même temps.

Les moteurs ont ensuite été calibrés pour interpréter les notes sur cinq octaves, avec 64 pas entre chaque demi-pas d’une note, soit un total de 3 900 fréquences, ce qui reproduit essentiellement la gamme de sons que la plupart d’entre nous perçoivent avec nos oreilles.

Lors du spectacle Life Is Beautiful, Not Impossible Labs a testé les appareils sur un public à moitié sourd et à moitié malentendant. Tout le monde a porté le gilet et a vécu la même expérience pour la première fois.

« La moitié des personnes présentes dans la salle étaient sourdes et l’autre moitié entendait, et vous ne pouviez pas faire la différence », a déclaré Belquer. « C’était un moment magnifique pour le projet où la vision était enfin réalisée ».

Mais ce n’est là qu’une partie de la mission de Not Impossible Labs. L’entreprise s’est fixé pour objectif de faire tomber les barrières que la communauté des sourds rencontre dans la musique, ce qui signifie que la technologie doit être adoptée et mise à l’échelle.

Cette accessibilité a continué d’influencer à la fois la conception finale et le logiciel qui alimente l’appareil. L’équipe d’ingénieurs a créé une plateforme modulaire sur Ableton Live (un logiciel auquel la plupart des musiciens ont accès), dans laquelle les utilisateurs peuvent facilement apporter des modifications aux modèles de vibration, aux couleurs des LED, etc.

L’équipe prévoit de lancer un réseau de créateurs en décembre pour former et encourager les artistes de diverses disciplines à jouer avec ce logiciel et à concevoir de nouvelles expériences. Certains artistes travaillent déjà à l’intégration de ce logiciel dans une expérience cinématographique et pour un spectacle au Museum of Moving Images dans le Queens, à New York.

Pour les concerts, l’équipe collabore avec les salles de spectacle afin d’affiner le processus de chargement, le stockage et la livraison des appareils. Leur objectif est d’aplanir toutes les difficultés grâce à des tests supplémentaires avant de lancer officiellement le projet.

« Mon rêve est que les artistes et les créateurs utilisent cette technologie afin que les gens puissent vivre des expériences sans se soucier de leur niveau d’audition ou de leur vue », a déclaré M. Belquer. « J’aimerais que ce soit un outil artistique puissant pour tout le monde ».

M. Belquer considère l’appareil comme un nouvel instrument plutôt que comme un accessoire musical. À cette fin, il est déjà en train de rassembler des idées pour trouver des moyens de s’exprimer artistiquement grâce à lui. Mais surtout, le fait de travailler sur ce projet a permis à Belquer d’accéder à un état d’esprit différent en matière de créativité.

« J’ai été contaminé par ce virus de l’accessibilité », a déclaré Belquer. « Même les trucs que je pense à développer, je ne peux pas m’empêcher d’y penser d’un point de vue inclusif. Surtout les sourds, je ne peux plus les laisser de côté. »