Reconocimiento dinámico de la Lengua de Señas Mexicana basado en modelos transformers para aplicaciones de comunicación asistida
| dc.contributor.advisor | Villalón-Turrubiates, Iván E. | |
| dc.contributor.advisor | Cervantes-Álvarez, José F. | |
| dc.contributor.author | Martínez-Sánchez, Víctor H. | |
| dc.date.accessioned | 2026-11-17T20:53:55Z | |
| dc.date.available | 2026-11-17T20:53:55Z | |
| dc.date.issued | 2026-09 | |
| dc.description.abstract | Esta tesis aborda las barreras de comunicación que enfrentan las personas sordas mediante el diseño y la evaluación de un sistema de reconocimiento dinámico en tiempo real de la Lengua de Señas Mexicana (LSM), basado en modelos Transformer y orientado a aplicaciones accesibles de comunicación asistida. La investigación presenta dos contribuciones. MX-ITESO-100 es un conjunto de datos con 5,000 videos de 100 señas dinámicas, distribuidas en siete categorías gramaticales y grabadas en condiciones no controladas. Encoded Landmarks from Transformers (ELT) es una arquitectura que extrae 21 puntos articulares por mano, los organiza en vectores de 126 dimensiones y clasifica sus secuencias temporales mediante un codificador Transformer con preentrenamiento inspirado en BERT. Esta representación reduce la dependencia de imágenes completas y concentra el análisis en la estructura articulatoria del movimiento. En una evaluación de diez señas sobre la partición de validación de MX-ITESO-100, ELT alcanza una precisión de 98.16%, frente al 94.82% de una línea base LSTM bidireccional, y reduce el tiempo de entrenamiento en 28%. Una evaluación con cuatro señantes externos, sobre 309 videos, obtiene una exactitud de 95.16%. El componente estático, basado en RetinaNet, alcanza una exactitud de 99.46% para 21 gestos. Los resultados respaldan la viabilidad del reconocimiento de señas dinámicas mediante puntos articulares y modelos de atención. El trabajo aporta un recurso de datos para investigación y una arquitectura integrable en sistemas de asistencia. Sus limitaciones incluyen la diversidad de señantes y condiciones de captura, el vocabulario acotado y la necesidad de validación con la comunidad sorda. | |
| dc.identifier.citation | Martínez-Sánchez, V. H. (2026). Reconocimiento dinámico de la Lengua de Señas Mexicana basado en modelos transformers para aplicaciones de comunicación asistida. Tesis de doctorado, Doctorado en Ciencias de la Ingeniería. Tlaquepaque, Jalisco: ITESO. | |
| dc.identifier.uri | https://hdl.handle.net/11117/12680 | |
| dc.language.iso | eng | |
| dc.publisher | ITESO | |
| dc.rights.uri | https://creativecommons.org/licenses/by-nc-nd/4.0/deed.es | |
| dc.subject | Mexican Sign Language MSL | |
| dc.subject | Assisted Communication | |
| dc.subject | Landmarks | |
| dc.subject | Transformers | |
| dc.subject | Dynamic Sign Recognition | |
| dc.subject | Sign Language | |
| dc.subject | Language | |
| dc.title | Reconocimiento dinámico de la Lengua de Señas Mexicana basado en modelos transformers para aplicaciones de comunicación asistida | |
| dc.title.alternative | Dynamic Recognition of Mexican Sign Language Based on Transformer Models for Assisted Communication Applications | |
| dc.type | info:eu-repo/semantics/doctoralThesis | |
| dc.type.version | info:eu-repo/semantics/publishedVersion |
