Proyecto IKUN: Grandes Modelos Multimodales para revolucionar la Industria Inteligente

El proyecto IKUN, financiado por el programa ELKARTEK del Gobierno Vasco, ha logrado avances clave en la detección de anomalías, la generación de datos sintéticos para el aseguramiento de la calidad y la creación de asistentes conversacionales para los operarios de planta. 

El proyecto ha tenido como objetivo central la investigación y adaptación de los Grandes Modelos Multimodales (MLLM) a la exigente realidad de las fábricas de producción. El reto consistía en superar barreras como la falta de grandes volúmenes de datos etiquetados para entrenar a la inteligencia artificial, facilitando así la mejora de los sistemas de calidad y dotando a los trabajadores de interfaces más naturales para consultar cuadros de mando e interactuar con la maquinaria. En este escenario, Vicomtech ha liderado el desarrollo global del proyecto, garantizando la robustez tecnológica de los modelos en condiciones reales de operación. 

Entre los resultados más destacados del proyecto se encuentra la creación de complejas bases de datos multimodales. Destacan, por ejemplo, los sistemas para la detección de anomalías en chorros de colada de procesos de fundición y en centros de mecanizado, donde se han combinado más de 1,5 millones de datos de sensores procesados en el propio borde (Edge) con miles de imágenes de alta resolución de las herramientas de corte. 

La combinación de datos de sensores e imagen permite mejorar la detección de anomalías en procesos industriales.

 Para solucionar la falta de ejemplos de fallos reales, el equipo ha empleado modelos de difusión latente y algoritmos generativos orientados a crear de forma sintética defectos visuales. Gracias a esto, se han generado con éxito imágenes artificiales de defectos de pintura (como cráteres o piel de naranja), fallos en placas de circuitos electrónicos (PCBs) según normativas técnicas, e incluso imágenes hiperespectrales de residuos electrónicos. 

Los resultados muestran que la generación de datos sintéticos permite entrenar modelos en escenarios con escasez de fallos reales.

Paralelamente, IKUN ha logrado un importante avance en la interacción entre el operario y la fábrica. Se han diseñado asistentes virtuales basados en arquitecturas de generación aumentada por recuperación (RAG) que integran manuales técnicos y permiten el análisis de telemetría en tiempo real. Como muestra de su capacidad operativa, el sistema puede generar código bajo demanda para calcular indicadores de rendimiento como el OEE y comprender el léxico específico de la máquina-herramienta, reduciendo drásticamente la tasa de error del reconocimiento de voz del 33,33% a un 9,56% en entornos industriales ruidosos. 

Todos estos logros se han validado en cuatro demostradores reales centrados en la detección de anomalías en fundición y mecanizado, la clasificación de residuos de construcción con cámaras hiperespectrales para mejorar su reciclaje, la generación de imágenes sintéticas y la asistencia multimodal conversacional para la resolución de incidencias técnicas. 

Liderado por Vicomtech, el equipo de IKUN ha contado con el conocimiento especializado de TECNALIA, IKERLAN, TEKNIKER y AZTERLAN, además de la participación de la Universidad del País Vasco (EHU), la unidad de I+D empresarial IKOR TECHNOLOGY CENTER y el agente de intermediación IMH Campus. Toda la investigación ha sido respaldada y financiada por el programa ELKARTEK 2024, impulsado por el Gobierno Vasco