Sistema de percepción de cámara envolvente 3D de extremo a extremo (NVIDIA)

Investigadores de NVIDIA han publicado un nuevo documento tecnológico titulado “NVAutoNet: Realización visual 3D de 360° rápida y precisa para la conducción autónoma”.

un resumen
“La percepción poderosa en tiempo real del mundo 3D es esencial para un vehículo autónomo. Presentamos un sistema integral de percepción periférica de cámara para la conducción autónoma. Nuestro sistema de percepción es una nueva red multicámara multitarea que toma un conjunto variable de tiempo -imágenes de cámara sincronizadas como entrada y produce un amplio conjunto de señales 3D como tamaños, orientaciones, ubicaciones de obstáculos, lugares de estacionamiento, espacios libres, etc. Nuestra red de percepción es modular y completa: 1) Las salidas pueden ser consumidas directamente por módulos posteriores sin cualquier posprocesamiento, como agregación y fusión: optimización de la velocidad de implementación del modelo y pruebas en el vehículo 2) El entrenamiento se realiza Toda la cuadrícula en una etapa: mejora la velocidad de optimización del modelo y las iteraciones La cuadrícula está bien diseñada para tener alta fidelidad mientras se ejecuta a 53 fps en NVIDIA Orin SoC (System on a Chip) La cuadrícula es resistente a las variaciones de montaje del sensor (dentro de algunas tolerancias) y se puede personalizar rápidamente para diferentes tipos de vehículos mediante el ajuste fino del modelo gracias a su capacidad para tomar parámetros de calibración como entradas durante el entrenamiento y las pruebas. Lo que es más importante, nuestra red se ha implementado y probado con éxito en carreteras reales”.

encontrar Ficha técnica aquí. Publicado (antes de la impresión) marzo de 2023.

Pham, Trung, Mehran Magome, Wanli Jiang, Bala Siva Sashank Jogiyavarapu, Mehdi Sagadi Chen Liu, Hsuan Chu Lin, Bor Jing Chen et al. “NVAutoNet: visualización 3D 360^{\circ}$ rápida y precisa de la conducción autónoma”. Versión introductoria de arXiv arXiv: 2303.12976 (2023).