Perception visuelle de la parole en vue de la lecture labiale

Abstract

Dans le but de mettre en évidence la perception visuelle de la parole, et afin de contribuer à la lecture labiale, notre travail vise particulièrement l’extraction automatique en temps réel, des contours des lèvres et des paramètres labiaux d’une séquence vidéo, sans contraintes d’éclairage ou de maquillage. Notre étude comporte deux étapes essentielles: l’initialisation semi-automatique pour l’extraction du contour externe des lèvres de la première image d’une séquence vidéo, et le suivi des mouvements des lèvres en vue de la Lecture Labiale (L.L). Pour cela, nous avons proposé des algorithmes pour la détermination de certains Points Caractéristiques (PC) des lèvres, ainsi qu’une méthode de pente optimale permettant de tracer les cubiques formant les contours initiaux des lèvres. Pour le suivi des PC, nous nous sommes basés sur la méthode de la mise en correspondance. La minimisation des erreurs de suivi se fait à l’aide d’un algorithme de recalage afin de suivre convenablement les contours des lèvres. Finalement, pour s’assurer de la performance de nos algorithmes, nous avons utilisé aussi une initialisation manuelle des PC.Les résultats obtenus ont montré la rigueur de nos algorithmes et cela en comparant les graphes obtenus par l’initialisation manuelle avec ceux de l’initialisation semi-automatique.