Aumento del lenguaje para el Humanverse

LUMINOUS tiene como objetivo la creación de la próxima generación de sistemas XR aumentados por el lenguaje, donde la comunicación basada en el lenguaje y los Modelos de Lenguaje Multimodales (MLLM) permitan la adaptación a necesidades de usuario no predefinidas y a entonos imprevistos. Esto permitirá que los futuros usuarios XR interactúen con fluidez con su entorno, al mismo tiempo que tengan acceso instantáneo a conocimientos actualizados a nivel global y específico de dominio para describir nuevas tareas bajo demanda del usuario. Estas tareas se comunican a través de una interfaz de voz y/o de un avatar adaptable a la tarea (por ejemplo, un entrenador o profesor) en términos de diferentes ayudas visuales y pasos procedimentales para la realización de la tarea. La especificación del lenguaje del estilo, las expresiones faciales y los atributos específicos de los avatares virtuales facilitarán una comunicación generalizable y consciente de contexto en múltiples casos de uso y diferentes sectores. Los LLM se beneficiarán paralelamente de la identificación de nuevos objetos que no formaban parte de sus datos de entrenamiento y luego describiéndolos de manera que se vuelvan reconocibles visualmente. Nuestros resultados se prototiparán y probarán en tres proyectos piloto, centrados en la neurorrehabilitación (apoyo a pacientes con ictus con trastornos del lenguaje), la formación en seguridad industrial inmersiva y la revisión del diseño arquitectónico 3D. Un consorcio de seis destacados institutos de I+D en seis disciplinas diferentes (IA, Visión Aumentada, PLN, Gráficos por Computador, Neurorrehabilitación y Ética) seguirá una agenda de trabajo desafiante, con el objetivo de inaugurar una nueva era en la intersección de dos de los desarrollos tecnológicos actuales más prometedores (LLM/IA y XR), hechos en Europa.