Interactions geste-musique par vision
artificielle
Gesture-music interactions by
artificial vision
F. Bardet T. Chateau F. Jurie M. Naranjo
thierry.chateau@lasmea.univ-bpclermont.fr
Résumé
Nous développons un système d’interaction hommemachine, permettant de
produire de la musique à partir de la vision par ordinateur, du geste
humain. La solution présentée suit les gestes des deux mains d’une
personne, à partir d’un flux vidéo couleur temps réel, pour déclencher
des événements sonores et pour contrôler continument des paramètres du
son. Des gestes codifiés font évoluer le système dans une séquence
prédéterminée, modélisée sous forme de machine d’état. Les applications
visées par ces travaux sont, entre autres, le spectacle vivant ou
l’enseignement.
Abstract
We are developping a human-machine vision-based interaction system,
allowing the user to generate music from his gestures. The prototype we
present here, tracks and analyses both hand gestures of a human, from a
single camera in real time, in order to trigger sound events and to
continuously change sound parameters. Some known gestures allow the
system to evolve along a sequence. The application we are developping
shows interesting possibilities in live performances and in education.