Reconocimiento dinámico de la Lengua de Señas Mexicana basado en modelos transformers para aplicaciones de comunicación asistida

dc.contributor.advisorVillalón-Turrubiates, Iván E.
dc.contributor.advisorCervantes-Álvarez, José F.
dc.contributor.authorMartínez-Sánchez, Víctor H.
dc.date.accessioned2026-11-17T20:53:55Z
dc.date.available2026-11-17T20:53:55Z
dc.date.issued2026-09
dc.description.abstractEsta tesis aborda las barreras de comunicación que enfrentan las personas sordas mediante el diseño y la evaluación de un sistema de reconocimiento dinámico en tiempo real de la Lengua de Señas Mexicana (LSM), basado en modelos Transformer y orientado a aplicaciones accesibles de comunicación asistida. La investigación presenta dos contribuciones. MX-ITESO-100 es un conjunto de datos con 5,000 videos de 100 señas dinámicas, distribuidas en siete categorías gramaticales y grabadas en condiciones no controladas. Encoded Landmarks from Transformers (ELT) es una arquitectura que extrae 21 puntos articulares por mano, los organiza en vectores de 126 dimensiones y clasifica sus secuencias temporales mediante un codificador Transformer con preentrenamiento inspirado en BERT. Esta representación reduce la dependencia de imágenes completas y concentra el análisis en la estructura articulatoria del movimiento. En una evaluación de diez señas sobre la partición de validación de MX-ITESO-100, ELT alcanza una precisión de 98.16%, frente al 94.82% de una línea base LSTM bidireccional, y reduce el tiempo de entrenamiento en 28%. Una evaluación con cuatro señantes externos, sobre 309 videos, obtiene una exactitud de 95.16%. El componente estático, basado en RetinaNet, alcanza una exactitud de 99.46% para 21 gestos. Los resultados respaldan la viabilidad del reconocimiento de señas dinámicas mediante puntos articulares y modelos de atención. El trabajo aporta un recurso de datos para investigación y una arquitectura integrable en sistemas de asistencia. Sus limitaciones incluyen la diversidad de señantes y condiciones de captura, el vocabulario acotado y la necesidad de validación con la comunidad sorda.
dc.identifier.citationMartínez-Sánchez, V. H. (2026). Reconocimiento dinámico de la Lengua de Señas Mexicana basado en modelos transformers para aplicaciones de comunicación asistida. Tesis de doctorado, Doctorado en Ciencias de la Ingeniería. Tlaquepaque, Jalisco: ITESO.
dc.identifier.urihttps://hdl.handle.net/11117/12680
dc.language.isoeng
dc.publisherITESO
dc.rights.urihttps://creativecommons.org/licenses/by-nc-nd/4.0/deed.es
dc.subjectMexican Sign Language MSL
dc.subjectAssisted Communication
dc.subjectLandmarks
dc.subjectTransformers
dc.subjectDynamic Sign Recognition
dc.subjectSign Language
dc.subjectLanguage
dc.titleReconocimiento dinámico de la Lengua de Señas Mexicana basado en modelos transformers para aplicaciones de comunicación asistida
dc.title.alternativeDynamic Recognition of Mexican Sign Language Based on Transformer Models for Assisted Communication Applications
dc.typeinfo:eu-repo/semantics/doctoralThesis
dc.type.versioninfo:eu-repo/semantics/publishedVersion

Archivos

Bloque original

Mostrando 1 - 1 de 1
Cargando...
Miniatura
Nombre:
main.pdf
Tamaño:
29.58 MB
Formato:
Adobe Portable Document Format

Bloque de licencias

Mostrando 1 - 1 de 1
Cargando...
Miniatura
Nombre:
license.txt
Tamaño:
4.92 KB
Formato:
Item-specific license agreed upon to submission
Descripción: