Reconocimiento dinámico de la Lengua de Señas Mexicana basado en modelos transformers para aplicaciones de comunicación asistida
Archivos
Fecha
Autores
Título de la revista
ISSN de la revista
Título del volumen
Editor
Resumen
Esta tesis aborda las barreras de comunicación que enfrentan las personas sordas mediante el diseño y la evaluación de un sistema de reconocimiento dinámico en tiempo real de la Lengua de Señas Mexicana (LSM), basado en modelos Transformer y orientado a aplicaciones accesibles de comunicación asistida.
La investigación presenta dos contribuciones. MX-ITESO-100 es un conjunto de datos con 5,000 videos de 100 señas dinámicas, distribuidas en siete categorías gramaticales y grabadas en condiciones no controladas. Encoded Landmarks from Transformers (ELT) es una arquitectura que extrae 21 puntos articulares por mano, los organiza en vectores de 126 dimensiones y clasifica sus secuencias temporales mediante un codificador Transformer con preentrenamiento inspirado en BERT. Esta representación reduce la dependencia de imágenes completas y concentra el análisis en la estructura articulatoria del movimiento.
En una evaluación de diez señas sobre la partición de validación de MX-ITESO-100, ELT alcanza una precisión de 98.16%, frente al 94.82% de una línea base LSTM bidireccional, y reduce el tiempo de entrenamiento en 28%. Una evaluación con cuatro señantes externos, sobre 309 videos, obtiene una exactitud de 95.16%. El componente estático, basado en RetinaNet, alcanza una exactitud de 99.46% para 21 gestos. Los resultados respaldan la viabilidad del reconocimiento de señas dinámicas mediante puntos articulares y modelos de atención. El trabajo aporta un recurso de datos para investigación y una arquitectura integrable en sistemas de asistencia. Sus limitaciones incluyen la diversidad de señantes y condiciones de captura, el vocabulario acotado y la necesidad de validación con la comunidad sorda.
