Accessible Requires Authentication Published by Oldenbourg Wissenschaftsverlag May 7, 2021

Fusion of sequential LiDAR measurements for semantic segmentation of multi-layer grid maps

Fusion von Sequentiellen LiDAR Messungen für die Semantische Segmentierung von Multi-Layer Grid Maps
Frank Bieder, Sascha Wirges, Sven Richter and Christoph Stiller
From the journal tm - Technisches Messen

Abstract

In this work, we improve the semantic segmentation of multi-layer top-view grid maps in the context of LiDAR-based perception for autonomous vehicles. To achieve this goal, we fuse sequential information from multiple consecutive LiDAR measurements with respect to the driven trajectory of an autonomous vehicle. By doing so, we enrich the multi-layer grid maps which are subsequently used as the input of a neural network. Our approach can be used for LiDAR-only 360 ° surround view semantic scene segmentation while being suitable for real-time critical systems. We evaluate the benefit of fusing sequential information using a dense semantic ground truth and discuss the effect on different classes.

Zusammenfassung

Im Rahmen dieser Arbeit verbessern wir die semantische Segmentierung von mehrschichtigen Top-View Rasterkarten im Kontext der LiDAR-basierten Umfeldwahrnehmung für das automatisierte Fahren. Um dieses Ziel zu erreichen, fusionieren wir sequenzielle Informationen aus mehreren aufeinanderfolgenden LiDAR-Messungen unter Berücksichtigung der gefahrenen Strecke eines autonomen Fahrzeugs. Hierdurch reichern wir die mehrschichtigen Rasterkarten mit den Informationen aus vergangenen Zeitschritten an und verwenden diese anschließend als Input eines neuronalen Netzes. Unser Ansatz kann für die semantische Segmentierung der 360 ° Rundumsicht verwendet werden und ist gleichzeitig für echtzeitkritische Systeme geeignet. Wir evaluieren den Nutzen der Fusion von sequenziellen Informationen auf Basis einer dichten, semantischen Ground Truth. Anschließend werden die Auswirkungen auf verschiedene semantische Klassen diskutiert.

Acknowledgment

The authors thank Daimler AG for the fruitful collaboration and the support for this work. In addition, they like to express their gratitude to Johannes Janosovits, who made contributions in the development of the underlying framework.

References

1. J. Behley, M. Garbade, A. Milioto, et al.“SemanticKITTI: A Dataset for Semantic Scene Understanding of LiDAR Sequences”. In: Proc. of the IEEE/CVF International Conf. on Computer Vision (ICCV). 2019 Search in Google Scholar

2. F. Bieder, S. Wirges, J. Janosovits, et al.“Exploiting Multi-Layer Grid Maps for Surround-View Semantic Segmentation of Sparse LiDAR Data”. In: IEEE Intelligent Vehicles Symposium, Proceedings. 2020 Search in Google Scholar

3. L. C. Chen, G. Papandreou, I. Kokkinos, et al.“DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs”. In: IEEE Transactions on Pattern Analysis and Machine Intelligence (2018) Search in Google Scholar

4. M. Everingham, S. M. Eslami, L. Van Gool, et al.“The Pascal Visual Object Classes Challenge: A Retrospective”. In: International Journal of Computer Vision (2014) Search in Google Scholar

5. A. Geiger, P. Lenz, and R. Urtasun. “Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite”. In: Conference on Computer Vision and Pattern Recognition (CVPR). 2012 Search in Google Scholar

6. GoogleResearch. “TensorFlow: Large-scale machine learning on heterogeneous systems”. In: Google Research (2015) Search in Google Scholar

7. A. Krizhevsky, I. Sutskever, and G. E. Hinton. “ImageNet classification with deep convolutional neural networks”. In: Communications of the ACM (2017) Search in Google Scholar

8. D. Nuss, T. Yuan, G. Krehl, et al.“Fusion of laser and radar sensor data with a sequential Monte Carlo Bayesian occupancy filter”. In: IEEE Intelligent Vehicles Symposium, Proceedings. 2015 Search in Google Scholar

9. S. Richter, S. Wirges, H. Königshof, et al.“Fusion of range measurements and semantic estimates in an evidential framework”. In: tm - Technisches Messen (2019) Search in Google Scholar

10. S. Wirges, C. Stiller, and F. Hartenbach. “Evidential Occupancy Grid Map Augmentation using Deep Learning”. In: IEEE Intelligent Vehicles Symposium, Proceedings. 2018 Search in Google Scholar

11. S. Wirges, Y. Yang, S. Richter, et al.“Learned Enrichment of Top-View Grid Maps Improves Object Detection”. In: IEEE Conference on Intelligent Transportation Systems (ITSC), Proceedings. 2020 Search in Google Scholar

Received: 2021-02-15
Accepted: 2021-04-19
Published Online: 2021-05-07
Published in Print: 2021-06-26

© 2021 Walter de Gruyter GmbH, Berlin/Boston