Reconocimiento de gestos para la interacción por computador con realidad aumentada

Abstract

El uso de gesto para comunicarse con aplicaciones esta a la orden del día, especialmente tras la aparición de los dispositivos con pantalla táctiles, aunque esta características no es la única este tipo de dispositivos con pantallas táctiles, aunque esta característica no es única de este tipo e dispositivos, sino que están apareciendo en el mercado nuevos terminales que permiten una iteración persona-maquina sin ningún tipo de contacto, ya sea a través del análisis de imágenes o utilizando algún otro tipo de sensores. La comunicación a través de gestos, además de tratar de ofrecer una manera más sencilla e intuitiva de comunicarse con otros sistemas o aplicaciones, también aporta importantes avances a personas que poseen algún tipo de problema de movilidad, de manera que para ellas, realizar tareas que antes, llevarlas a cabo utilizando únicamente periféricos como teclado o ratón eran muy costoso e incluso imposibles, con estos nuevos métodos de comunicación, muchas aplicaciones podrán llegar a ser accesibles para un mayor número de usuarios. A modo de contextualización se presenta una revisión del estado del arte en el ámbito de las metodologías y herramientas de reconocimiento gestual. El objetivo general planteado corresponde al diseño, implementación y validación de una plataforma de software para el reconocimiento de la mano en tiempo real a través de una pantalla virtual, y esta a su vez tiene eventos de interacción, dando un principio hacia la realidad aumentada, utilizando métodos ya establecidos y validados, como lo son el algoritmo Haar para detección de gestos. Para la ejecución de pruebas, del clasificador se impuso la mano sobre la pantalla y en 3segundos lo reconoció, también es importante la resolución que se esté manejando de lascámaras. Después del estudio del clasificador y analizar los resultados podemos determinar que hemosrealizado estudio exhaustivo sobre la clasificación de manos y la certeza de poder generar unentrenamiento guiado que nos ha llevado a un clasificador de manos basado en los característicasde Haar y a un clasificador ADABoost. Una vez dicho esto, hemos valorado el resultado quehemos obtenido con nuestro clasificador. En cuanto a eficacia, hemos obtenido una media de87,4% de porcentaje de acierto, lo que nos permitiría sobradamente detectar objetos en unentorno controlado. Las conclusiones obtenidas sobre las librerías que se estudió para el reconocimiento gestual, se pudo determinar a través de resultados obtenidos la más recomendable es OpenCV, siendo este que un potente procesador de imágenes, que también tiene otras funcionalidades de detección de rostro, detección de formas, detección de movimiento, a comparación de otras librerías limitadas como AForge.Net.