BAZKARIA: Comer en compañía gracias a la telepresencia

El reto

La telepresencia inmersiva se basa en tecnologías de Realidad eXtendida (XR) para crear conexiones e interacciones remotas que superan las barreras físicas. A diferencia de los sistemas tradicionales de videocomunicación, permite interacciones más naturales, realistas y colaborativas.

Pese a las décadas de investigación básica en este campo, estas tecnologías aún se encuentran en una fase temprana de desarrollo. Persisten retos significativos en torno a la representación de los usuarios, su interacción con el espacio, la comunicación con otras personas, la integración coherente entre objetos digitales y reales, o su aplicación práctica fuera del laboratorio.

La comensalidad, entendida como el acto cultural y socialmente significativo de comer en compañía, favorece la conexión, el sentido de pertenencia y la creación de significados compartidos. Comer acompañado, en lugar de hacerlo solo o frente a pantallas, ha demostrado tener efectos positivos en la salud y el bienestar.

Una mesa de comedor refleja culturas, jerarquías y normas sociales. Por ello, la comensalidad representa un caso de uso ideal para estudiar cómo las personas se relacionan y comunican. Además, las tecnologías de telepresencia inmersiva desarrolladas en este contexto pueden aplicarse de forma eficiente a muchos otros ámbitos.

BAZKARIA (palabra euskalduna que significa comida o almuerzo) explora el futuro de la telepresencia inmersiva a través de un caso en el que dos personas comparten una comida desde mesas distintas.

Compartir una mesa de restaurante de manera remota implica “teletransportar” no solo a los comensales, sino también otros elementos esenciales de la experiencia, como la comida o el entorno. Además, estos elementos digitales deben integrarse de forma coherente con el espacio físico del usuario: su mesa, sus platos, su ambiente. Los camareros también forman parte del ritual, y por tanto, debían ser incluidos en la experiencia.

La solución propuesta

BAZKARIA se desarrolló sobre la tecnología VHOLO, la solución de telepresencia inmersiva de Vicomtech. A partir de un proceso iterativo y de co-creación, se fue adaptando la tecnología a las necesidades del caso de uso y al espacio de despliegue en el restaurante Mugaritz. Durante todo el proceso se realizaron evaluaciones continuas, combinando datos del sistema y la retroalimentación de los usuarios.

Los aspectos más relevantes de la solución fueron los siguientes:

Teletransportar los elementos de la experiencia

El sistema se basa en vídeo volumétrico con nubes de puntos, una tecnología que combina información de color y profundidad de varias cámaras para generar hologramas tridimensionales. En este caso, se emplearon dos cámaras RGBD por mesa, cuya información permitió reconstruir una nube de puntos que representaba al usuario, la comida y otros elementos relevantes.

Uno de los desafíos clave consistía en garantizar que se capturaran únicamente los elementos necesarios, preservando la privacidad de los participantes. Para ello, se desarrolló un pipeline de segmentación para vídeo volumétrico que permite identificar y aislar los distintos elementos de la escena. Esta capacidad constituye la base para crear experiencias inmersivas basadas en objetos, donde cada elemento se gestiona de forma independiente.

Crear la ilusión de compartir mesa

Una vez capturados los elementos y generados los hologramas mediante vídeo volumétrico, era necesario presentarlos de forma realista al usuario en la otra mesa. Para lograrlo, se desarrolló una interfaz de realidad mixta basada en la web, compatible con distintos dispositivos de visualización (gafas de realidad virtual). La realidad mixta utiliza el vídeo captado por las cámaras externas del dispositivo para generar un entorno tridimensional en el que se integran los objetos digitales.

En BAZKARIA, esta tecnología permitió alinear los hologramas de la mesa remota con la mesa física local, creando la ilusión de estar compartiendo un mismo espacio. Los comensales podían verse y hablar en tiempo real, tanto entre ellos como con el camarero. Cuando este se acercaba físicamente a una de las mesas, su holograma aparecía en la otra, permitiendo que los tres participantes interactuasen en una misma escena coherente y natural.

El resultado

El proyecto dio lugar a un conjunto diverso de resultados:

• Prototipo BAZKARIA de telepresencia inmersiva para restaurantes, que incluye todas las mejoras tecnológicas necesarias para los pilotos realizados en Mugaritz. Parte de estos avances se integraron en la solución base VHOLO, como el nuevo pipeline de segmentación de vídeo volumétrico.
• Evaluación con más de 50 usuarios en distintas experiencias gastronómicas. Se recopilaron grabaciones de vídeo y audio, datos de movimiento, interacciones y encuestas o entrevistas.

La combinación de información cualitativa y cuantitativa dio lugar a un valioso conjunto de datos que amplía el conocimiento sobre las tecnologías inmersivas y su aplicación en entornos sociales reales.