Redes Neuronales para la interpretación del lenguaje de señas

Abstract

Los diferentes idiomas existentes alrededor del mundo no siempre cumplen con el objetivo de la comunicación, entre estos idiomas existe uno en particular que puede lograr que dos personas de regiones e idiomas diferentes lleguen a ser capaces de comunicarse fluidamente, este idioma se diseñó para las personas que sufren sordera o invalidez del habla. Aunque el lenguaje de señas permite la comunicación entre personas con estas incapacidades, no siempre estas personas se pueden comunicar con su ambiente social, porque la mayoría de las personas que no sufren estas incapacidades ignoran el lenguaje de señas. Este trabajo presenta un sistema que tiene el objetivo de comunicar a las personas sordas o mudas con personas sin estas incapacidades a través de la interpretación del lenguaje de señas. Para lograr este objetivo se utilizó métodos de proceso de imágenes y redes neuronales que son parte del IDE de desarrollo de Matlab. El prototipo del sistema captura la imagen de la seña hecha con un guante verde, entonces se procedió con el tratamiento de la imagen hasta obtener los arreglos de la matriz y el vector característico relevante. Con los resultados obtenidos se procedió a interpretar la seña y la reproducción oral subsecuente. Finalmente, con el prototipo desarrollado se realizaron experimentos, éstos demostraron la fiabilidad del prototipo, obteniendo resultados satisfactorios bajo ciertas condiciones controladas de iluminación y distancia.