AV����Ƶ

��

LeJournal: En quoi consiste la «sonification»?
Éric Sanchez: Il s’agit de transformer une donnée en son. Cela se fait déjà et depuis longtemps dans des domaines pratiques ou artistiques. Le compteur Geiger, qui code l’intensité d’une source radioactive, en est un exemple. De notre côté, nous cherchons à utiliser ce procédé pour interpréter des données. Plutôt que de représenter ces dernières de manière visuelle par des tableaux ou des graphiques, nous les convertissons en sons de manière à produire de la musique. Concrètement, cela revient à attribuer à chaque donnée une note, caractérisée par une hauteur, un volume et un timbre. Nous générons ainsi une séquence de sons qui peut être écoutée pour analyser les données.

Avez-vous un exemple?
Dans notre équipe, nous étudions comment le jeu Tamagocours que nous avons développé et qui s’apparente à un Tamagochi multijoueur – un personnage virtuel dont il faut prendre soin – permet d’apprendre les règles du droit d’auteur/trice. Nous recueillons toutes les interactions du/de la joueur/euse avec l’interface de jeu pour comprendre la manière dont il ou elle sélectionne les ressources pour nourrir le Tamagochi. Ces données sont ensuite transformées en sons: si le/la joueur/euse respecte le droit d’auteur/trice et nourrit bien son Tamagotchi, on entend une note; si il ou elle le nourrit mal, c’est une autre note. Et quand il ou elle envoie un message à un membre de son équipe, encore une autre.

C’est donc un nouveau langage à adopter?
C’est une autre façon de coder les données et il faut apprendre la sémantique de ce langage. Nous nous sommes rendu compte qu’il était important qu’elle soit en lien avec les codes musicaux. Par exemple, lorsque, au cours du jeu, les joueurs/euses s’envoient des messages, on préfère coder cette action par une note de flûte, car notre cerveau associe facilement ce timbre à la conversation. Pour la même raison, les erreurs sont souvent codées par des graves, les réussites par des aiguës.

Quels types de données peuvent être transformés en sons?
L’application SON4LA peut «sonifier» toutes les données séquentielles, c’est-à-dire toute donnée qui, à une heure d’enregistrement (timestamp), fait correspondre une description de ce qui s’est passé. L’application produit automatiquement une première séquence de sons, mais celle-ci va être difficile à interpréter. Le travail du chercheur ou de la chercheuse consiste dès lors à modifier les correspondances entre les sons et les événements pour rendre la séquence plus facile à comprendre.

De quelle façon?
Nous avons constaté qu’il existait des contraintes physiologiques importantes auxquelles veiller. Premièrement, il est essentiel de choisir des sons qui permettent d’obtenir une séquence musicale, car, dans le cas contraire, l’écoute est difficile et se révèle fatigante. Deuxièmement, notre mémoire de travail est limitée et il faut donc faire attention à ne pas coder trop d’événements (maximum cinq ou six correspondances). Enfin, comme je le disais, la sémantique utilisée est importante.

Quels résultats obtenez-vous grâce à cette méthode d’analyse?
La «sonification» est très efficace pour détecter des événements peu fréquents. Elle est également intéressante pour coder les contextes de survenue des données. Dans les jeux, cela peut être le niveau où se trouve le/la joueur/euse au moment où il ou elle fait son action. Cette information est primordiale pour comprendre le processus d’apprentissage et compliquée à représenter visuellement. A contrario, du fait que les données sont séquentielles, il ne nous est pas possible d’avoir une vue d’ensemble rassemblant l’entièreté des données. Les deux méthodes, «sonification» et visualisation, ne doivent donc pas être opposées, mais envisagées comme complémentaires. La première servant surtout dans une phase exploratoire.

L’analyse de données sonores fait-elle appel à des compétences particulières?
Certaines personnes ont des capacités plus développées que d’autres pour analyser les sons. Les personnes aveugles ou malvoyantes, par exemple, le font au quotidien. Par ailleurs, disposer de compétences musicales, savoir ce qu’est un timbre ou une hauteur de note, peut aider, mais n’est pas indispensable. Dans tous les cas, un apprentissage est nécessaire: de la même manière que l’on apprend à visualiser les données, il faut apprendre à les «sonifier».

��

��