Stable Diffusion for the Synthetic Image Generation of Manufacturing Defects. An Evaluation Against a CVAE-GAN Baseline Model

Abstract

Este trabajo de tesis aborda el problema de la escasez de datos y el desequilibrio de clases en la inspección visual automatizada de manufactura industrial, enfocándose en la síntesis de defectos de fundición en impulsores metálicos de bombas sumergibles. Para resolver esto, seproponeyevalúaunaarquitecturabasadaenModelosdeDifusiónLatente(LDM), específicamente Stable Diffusion v1.5 adaptada de manera eficiente mediante matrices de Bajo Rango (LoRA) y condicionamiento geométrico estricto por medio de ControlNet (usando mapas de bordes Canny). Esta propuesta se compara cuantitativa y cualitati-vamente frente a un modelo base híbrido personalizado de Red Neuronal Convolucional Condicional Variacional Autoencoder y Red de Confrontación Adversaria (AC-CVAE-GAN) entrenado desde cero. Los resultados cuantitativos demuestran la superioridad del modelo de difusión, alcanzando una distancia de Fréchet (FID) de 67.65 para la clase nominal y 96.17 para la clase con defectos (en comparación con 209.36 y 180.72 del modelo base). Perceptualmente, la métrica LPIPS confirma una mayor diversidad y realismo estructural en las muestras generadas por la propuesta de difusión. Cualitativamente, Stable Diffusion logra sintetizar detalles de alta frecuencia y texturas metalúrgicas realistas (como porosidad), aunque se documentan desafíos inherentes como el concepto de sangrado (concept bleeding) y la dislocación espacial de fallas. En conclusión, la integración de LoRA y ControlNet en Stable Diffusion ofrece un marco de trabajo altamente robusto y escalable para la generación de datos sintéticos realistas, mitigando de manera efectiva la escasez de fallas físicas en líneas de producción optimizadas.