MODELISATION ET SUIVI 3D DE LA MAIN

English version

Objectif

Suivre les mouvements de la main à partir d'une séquence vidéo unique et sans marqueur sur la main de l'utilisateur.

Notre approche

Recalage d'un modèle 3D articulé obéïssant à des contraintes anthropométriques et biomécaniques.

Les dimensions du modèle sont ajustées à la morphologie de  l'opérateur sur une image de la main est ouverte perpendiculairement à l'axe de la caméra.

Puis le modèle est recalé sur les images de la séquence. Ses paramètres (position et orientation globales + angles des articulations) sont ajustés par minimisation de la différence entre la silhouette de l'image et celle du modèle 3D projeté. Les contraintes biomécaniques sont intégrées dans le processus d'optimisation.

Exemples de résultats

Translations de la main :	MPEG (272 ko).
Abductions & aductions :	MPEG (519 ko).
Flexions & extensions :	MPEG (232 ko), MPEG (262 kB), MPEG (295 kB).

Applications potentielles

• Codage orienté objet des mouvements de la main dans des séquences vidéo suivant les spécifications du groupe MPEG-4 / SNHC / FBA pour le codage et l'animation de la main,
• animation d'humanoïde pour la téléprésence (avatars),
• interaction homme-machine et commande par le geste,
• reconnaissance de la langue des signes.

Publications

• H. Ouhaddi, P. Horain, "Vers la modélisation du geste par la vision", Traitement du signal, volume 16 numéro 1 spécial Réalité virtuelle, pp. 15-29, 1999.

 
• H. Ouhaddi, P. Horain, "3D Hand Gesture Tracking by Model Registration", Proceedings of Int. Workshop on Synthetic - Natural Hybrid Coding and Three Dimensional Imaging (IWSNHC3DI'99), September 15-17 1999, Santorini, Greece.
• H. Ouhaddi, P. Horain, "Modélisation 3D du geste par la vision", Actes des Journées d'études et d'échanges "Compression et REprésentation des Signaux Audiovisuels" (CORESA'99), Sophia Antipolis, France, 14-15 juin 1999, pp. 277-283.
• H. Ouhaddi, P. Horain, "Hand tracking by 3D model registration", Actes du Colloque Scientifique International Réalité virtuelle et prototypage, 3-4 juin 1999, Laval, France, éditeur G. Subsol, pp. 51-59.
• P. Horain, "3D modeling for multimedia applications", Proceedings of Korea-France Workshop on Multimedia, Seoul, Korea (Invited conference), July 1998, pp. 35-38.
• H. Ouhaddi, P. Horain, K. Mikolajczyk, "Modélisation et suivi de la main", Actes des 4^èmes journées d'études et d'échanges "Compression et REprésentation des Signaux Audiovisuels" (CORESA'98), Lannion, France, juin 1998, pp. 109-114.
• H. Ouhaddi, P. Horain, "Conception et ajustement d'un modèle 3D articulé de la main", Actes des 6^èmes journées du Groupe de Travail Réalité Virtuelle, Issy-les-Moulineaux, France, mars 1998, pp. 83-90.
• F. Prêteux, P. Horain, H. Ouhaddi, M. Preda, "Report on Core Experiment 3 on Hand BAPs interpretation", ISO/IEC JTC1/SC29/WG11, MPEG97/M3332, Tokyo, Japan, March 1998.