Análisis de vídeo a gran escala en la nube

El objetivo de Cloud-LSVA es la creación de plataformas cloud para la anotación masiva de datos, que pueda aplicarse al sector de la automoción, de cartografía u otros. En particular, en el proyecto se han investigado tecnologías como cloud computing, deep learning, real-time inference, y visualización web 3D.

Durante el proyecto, se han creado herramientas específicas para la anotación de grabaciones multi-sensor capturadas con vehículos de test equipados con cámaras, lídares, DGPS, y sistemas de grabación y ejecución. Estas herramientas básicamente se agrupan en dos categorías: herramientas de back-end, y herramientas de front-end. En el back-end se ha trabajado con tecnologías cloud, como Docker y Kubernetes, para la automatización, distribución y optimización de la ejecución de tareas de cómputo automáticas, como por ejemplo la pre-anotación de imágenes y nubes de puntos con algoritmos de deep learning. Gran parte del trabajo se ha centrado en el desarrollo de estos algoritmos, así como en la creación de pipelines que ejecutan los algoritmos en el orden adecuado y distribuyendo la computación en los recursos cloud disponibles. La parte front-end ha consistido en la utilización de tecnologías web para construir interfaces de usuario web con capacidad de visualización síncrona de múltiples vídeos y secuencias de nubes de puntos (usando WebGL), así como en la navegación temporal y la utilización de herramientas de usuario para crear, borrar, modificar y guardar anotaciones de distinta naturaleza (e.g. bounding boxes, cuboids, polilíneas 3D, áreas, etc.).

El rol de Vicomtech ha sido el liderazgo administrativo, de innovación y técnico del proyecto. En este sentido, Vicomtech ha sido protagonista indiscutible en el proyecto, liderando la integración de los distintos prototipos generados, de las demostraciones realizadas con los vehículos de test (incluyendo el vehículo autónomo de Vicomtech), así como de las capacidades de computación en la nube, y los algoritmos deep learning optimizados para su ejecución en plataformas tiempo real integradas en el vehículo (como el NVIDIA Drive PX 2 y el Intel Halocreek).

Como conclusión del proyecto, Vicomtech ha adquirido un know-how y unas herramientas prototipo que le sitúan como uno de los centros de investigación con mayor experiencia en el creciente campo de la anotación semi-automática de contenido multimedia.

Cloud-LSVA es un proyecto europeo, financiado por la Comisión Europea, en el marco H2020, liderado por Vicomtech y que cuenta con un consorcio de empresas, universidades y centros de investigación (incluyendo actores destacados del sector de la automoción como Valeo, TomTom, y de la computación como IBM o Intel). El proyecto se ha ejecutado en 36 meses, desde enero 2016 hasta diciembre 2018, y ha concluido exitosamente superando la revisión de la Comisión Europea.