Reconocimiento e interpretación del alfabeto dactilológico de la lengua de señas mediante tecnología móvil y redes neuronales artificiales

Abstract

Los procesos comunicativos son de vital importancia para el desarrollo de cualquier individuo y de una sociedad, estos permiten manifestar ideas, sentimientos, necesidades entre otras emociones. La lengua de señas ayuda a las personas sordas a llevar una vida con comunicación, ya que es el medio con el que podemos comunicarnos personas oyentes y no oyentes. Este lenguaje que podría incluir en mayor medida a las personas con sordera o invalidez del habla, es conocido por un número muy reducido de individuos sin estas discapacidades de nuestra sociedad, lo que hace difícil la comunicación con el resto de la población que no conocen de la lengua de señas. Esto puede llegar a provocar sentimientos de soledad, frustración, depresión y baja autoestima en la persona que padece sordera. La lengua de señas está compuesta por un conjunto estructurado de gestos, movimientos, posturas y expresiones faciales que corresponden a letras o palabras. Para poder representar las diferentes letras del alfabeto se hace uso del alfabeto dactilológico, el cual sirve para comunicarse cuando no se conoce o no existe una seña. El presente trabajo de grado presenta un sistema de reconocimiento e interpretación del alfabeto dactilológico mediante una red neuronal artificial desarrollada en TensorFlow y siguiendo la metodología de visión artificial apoyada por la librería OpenCV. Para la construcción de la red neuronal se utilizó la técnica de transferencia de aprendizaje reentrenando una red neuronal convolucional previamente entrenada. Posteriormente se optimizó este modelo de red neuronal para ser implementado en una aplicación para dispositivos móviles con sistema operativo Android. Finalmente se hicieron experimentos con la aplicación móvil para evaluar la fiabilidad del sistema, del cual, se obtuvieron resultados satisfactorios bajo ciertas condiciones controladas de distancia e iluminación.