Reconocimiento dinámico de la Lengua de Señas Mexicana basado en modelos transformers para aplicaciones de comunicación asistida

Cargando...
Miniatura

Fecha

Título de la revista

ISSN de la revista

Título del volumen

Editor

ITESO

Resumen

Esta tesis aborda las barreras de comunicación que enfrentan las personas sordas mediante el diseño y la evaluación de un sistema de reconocimiento dinámico en tiempo real de la Lengua de Señas Mexicana (LSM), basado en modelos Transformer y orientado a aplicaciones accesibles de comunicación asistida.

La investigación presenta dos contribuciones. MX-ITESO-100 es un conjunto de datos con 5,000 videos de 100 señas dinámicas, distribuidas en siete categorías gramaticales y grabadas en condiciones no controladas. Encoded Landmarks from Transformers (ELT) es una arquitectura que extrae 21 puntos articulares por mano, los organiza en vectores de 126 dimensiones y clasifica sus secuencias temporales mediante un codificador Transformer con preentrenamiento inspirado en BERT. Esta representación reduce la dependencia de imágenes completas y concentra el análisis en la estructura articulatoria del movimiento.

En una evaluación de diez señas sobre la partición de validación de MX-ITESO-100, ELT alcanza una precisión de 98.16%, frente al 94.82% de una línea base LSTM bidireccional, y reduce el tiempo de entrenamiento en 28%. Una evaluación con cuatro señantes externos, sobre 309 videos, obtiene una exactitud de 95.16%. El componente estático, basado en RetinaNet, alcanza una exactitud de 99.46% para 21 gestos. Los resultados respaldan la viabilidad del reconocimiento de señas dinámicas mediante puntos articulares y modelos de atención. El trabajo aporta un recurso de datos para investigación y una arquitectura integrable en sistemas de asistencia. Sus limitaciones incluyen la diversidad de señantes y condiciones de captura, el vocabulario acotado y la necesidad de validación con la comunidad sorda.

Descripción

Palabras clave

Mexican Sign Language MSL, Assisted Communication, Landmarks, Transformers, Dynamic Sign Recognition, Sign Language, Language

Citación

Martínez-Sánchez, V. H. (2026). Reconocimiento dinámico de la Lengua de Señas Mexicana basado en modelos transformers para aplicaciones de comunicación asistida. Tesis de doctorado, Doctorado en Ciencias de la Ingeniería. Tlaquepaque, Jalisco: ITESO.