Skip to content
Licensed Unlicensed Requires Authentication Published by Oldenbourg Wissenschaftsverlag May 7, 2021

Kombinierte Augmented Reality und 3D-Vermessung zur Inspektion großer mechanischer Bauteile

Combined augmented reality and 3D scanning for the inspection of large mechanical parts
  • Steffen Sauer

    Steffen Sauer studierte Informatik an der Otto-von-Guericke-Universität in Magdeburg und ist seit 2006 wissenschaftlicher Mitarbeiter in der Abteilung Fertigungsmesstechnik und digitale Assistenzsysteme der Fraunhofer Institut für Fabrikbetrieb und –automatisierung (IFF), Magdeburg. Sein Forschungsschwerpunkt liegt in der 2- und 3-dimensionalen Messtechnik, der Simulation von optischen Messdaten sowie der Anwenderunterstützung durch Augmented Reality.

    EMAIL logo
    , Michael Heizmann

    Michael Heizmann ist Professor für Mechatronische Messsysteme am Institut für Industrielle Informationstechnik (IIIT) am Karlsruher Institut für Technologie (KIT). Seine Forschungsschwerpunkte umfassen automatische Sichtprüfung und Bildverarbeitung, Bild- und Informationsfusion, Messtechnik, maschinelles Lernen und künstliche Intelligenz sowie deren industrielle Anwendungen.

    and Dirk Berndt

    Dirk Berndt studierte Elektrotechnik an der Technischen Universität Ilmenau. Seit 1992 arbeitet er am Fraunhofer Institut für Fabrikbetrieb und –automatisierung (IFF) und leitet dort seit 1997 die Abteilung Fertigungsmesstechnik und digitale Assistenzsysteme. 2008 promovierte er am Fraunhofer IFF zum Thema „Optische 3-D-Messung in der industriellen Anwendung“. Seit 2021 leitet er stellvertretend das Fraunhofer IFF. Sein Forschungsprofil umfasst die fertigungsgerechte 3-dimensionelle, optische Messtechnik, digitale Assistenztechnologien sowie die Konzeption und Entwicklung von Sensornetzwerken.

From the journal tm - Technisches Messen

Zusammenfassung

In dieser Arbeit stellen wir einen neuen Ansatz zur geometrischen Inspektion großer mechanischer Bauteile vor. Dazu benutzen wir ein Portal, das auf einer Linearachse manuell verschoben werden kann. An dem Portal sind ein frei beweglicher 3D-Streifenlichtsensor und eine zusätzliche Augmented-Reality-Kamera angebracht. Insgesamt deckt das Portal einen Arbeitsraum von 8,0×3,0×0,8m3 ab, wobei die Position und Orientierung der Sensoren in einem globalen Koordinatensystem durch ein optisches Motion-Capturing-System bestimmt werden. Es wird gezeigt, dass Nutzer mittels Augmented Reality sehr schnell und intuitiv grobe Geometrieabweichungen erkennen können. Zur detaillierten, metrischen Vermessung können 3D-Punktewolken aufgenommen und automatisiert ausgewertet werden.

Abstract

This paper presents a novel approach for interactive inspection of large mechanical parts. Therefore, we use a linear moveable portal which is equipped with a multi sensor head that consists of a fringe projection sensor and an augmented reality camera system. The portal covers a measuring volume of 8.0×3.0×0.8m3 and uses an optical motion capturing system to track the sensor’s position and orientation in a global reference frame. We show that using augmented reality a user can easily detect rough geometry deviations. For detailed quality inspection a user can acquire 3D point clouds which are evaluated automatically.

Award Identifier / Grant number: FKZ 03ZZ0446H

Funding statement: Die hier vorgestellten Ergebnisse beruhen auf Arbeiten, die im Forschungsprojekt Zwanzig20 - Allianz 3Dsensation: 3D-KOSYMA, FKZ 03ZZ0446H durch das BMBF gefördert wurden. Die Autoren möchten sich für die Unterstützung bedanken.

Über die Autoren

Steffen Sauer

Steffen Sauer studierte Informatik an der Otto-von-Guericke-Universität in Magdeburg und ist seit 2006 wissenschaftlicher Mitarbeiter in der Abteilung Fertigungsmesstechnik und digitale Assistenzsysteme der Fraunhofer Institut für Fabrikbetrieb und –automatisierung (IFF), Magdeburg. Sein Forschungsschwerpunkt liegt in der 2- und 3-dimensionalen Messtechnik, der Simulation von optischen Messdaten sowie der Anwenderunterstützung durch Augmented Reality.

Michael Heizmann

Michael Heizmann ist Professor für Mechatronische Messsysteme am Institut für Industrielle Informationstechnik (IIIT) am Karlsruher Institut für Technologie (KIT). Seine Forschungsschwerpunkte umfassen automatische Sichtprüfung und Bildverarbeitung, Bild- und Informationsfusion, Messtechnik, maschinelles Lernen und künstliche Intelligenz sowie deren industrielle Anwendungen.

Dirk Berndt

Dirk Berndt studierte Elektrotechnik an der Technischen Universität Ilmenau. Seit 1992 arbeitet er am Fraunhofer Institut für Fabrikbetrieb und –automatisierung (IFF) und leitet dort seit 1997 die Abteilung Fertigungsmesstechnik und digitale Assistenzsysteme. 2008 promovierte er am Fraunhofer IFF zum Thema „Optische 3-D-Messung in der industriellen Anwendung“. Seit 2021 leitet er stellvertretend das Fraunhofer IFF. Sein Forschungsprofil umfasst die fertigungsgerechte 3-dimensionelle, optische Messtechnik, digitale Assistenztechnologien sowie die Konzeption und Entwicklung von Sensornetzwerken.

Literatur

1. W. Chang, J. Hsu, and B. Hsu, “3d scanning system of structured light for aiding workpiece position of cnc machine tool,” in 2018 IEEE International Conference on Advanced Manufacturing (ICAM), 2018, pp. 388–391.10.1109/AMCON.2018.8614757Search in Google Scholar

2. H. Ben Abdallah, I. Jovančević, J.-J. Orteu, and L. Brèthes, “Automatic inspection of aeronautical mechanical assemblies by matching the 3d cad model and real 2d images,” Journal of Imaging, vol. 5, no. 10, p. 81, 2019.10.3390/jimaging5100081Search in Google Scholar PubMed PubMed Central

3. T. Kersten, D. Starosta, and M. Lindstaedt, “Zum Genauigkeitspotential aktueller handgeführter 3D-Scanner,” in Photogrammetrie, Laserscanning, Optische 3D-Messtechnik - Beiträge der Oldenburger 3D-Tage, 2018.Search in Google Scholar

4. E. Lilienblum and B. Michaelis, “Optical 3d surface reconstruction by a multi-period phase shift method,” JCP, vol. 2, no. 2, pp. 73–83, 2007.10.4304/jcp.2.2.73-83Search in Google Scholar

5. A. M. Aurand, J. S. Dufour, and W. S. Marras, “Accuracy map of an optical motion capture system with 42 or 21 cameras in a large measurement volume,” Journal of Biomechanics, vol. 58, no. 1, 2017.10.1016/j.jbiomech.2017.05.006Search in Google Scholar PubMed

6. P. Eichelberger, M. Ferraro, U. Minder, T. Denton, A. Blasimann, F. Krause, and H. Baur, “Analysis of accuracy in optical motion capture – a protocol for laboratory setup evaluation,” Journal of Biomechanics, vol. 49, no. 10, pp. 2085–2088, 2016.10.1016/j.jbiomech.2016.05.007Search in Google Scholar PubMed

7. T. Dunker and S. Sperling, “A calibration strategy for systems with 2-d laser sensors,” in 10th IMEKO Symposium Laser Metrology for Precision Measurement and Inspection in Industry, 2011, pp. 265–272.Search in Google Scholar

8. S. Rusinkiewicz and M. Levoy, “Efficient variants of the icp algorithm,” in Proceedings Third International Conference on 3-D Digital Imaging and Modeling, 2001, pp. 145–152.10.1109/IM.2001.924423Search in Google Scholar

9. S. Sauer, T. Dunker, and M. Heizmann, “Ein Framework zur Simulation optischer Sensoren,” in 20. GMA/ITG-Fachtagung Sensoren und Messsysteme 2019. Nürnberg: AMA, 2019.10.5162/sensoren2019/1.1.1Search in Google Scholar

10. “VDI/VDE-Richtlinie 2617 Blatt 6.2: Genauigkeit von Koordinatenmessgeräten – Kenngrößen und deren Prüfung,” 2005.Search in Google Scholar

11. S. J. Ahn, Least Squares Orthogonal Distance Fitting of Curves and Surfaces in Space. Heidelberg: Springer, 2004.10.1007/b104017Search in Google Scholar

12. “VDI/VDE-Richtlinie 2634 Blatt 2: Optische 3-D-Messsysteme Bildgebende Systeme mit flächenhafter Antastung,” 2012.Search in Google Scholar

13. “VDI/VDE-Richtlinie 2634 Blatt 1: Optische 3D-Messsysteme Bildgebende Systeme mit punktförmiger Antastung,” 2002.Search in Google Scholar

Erhalten: 2021-02-16
Angenommen: 2021-04-19
Online erschienen: 2021-05-07
Erschienen im Druck: 2021-06-26

© 2021 Walter de Gruyter GmbH, Berlin/Boston

Downloaded on 1.12.2023 from https://www.degruyter.com/document/doi/10.1515/teme-2021-0027/html
Scroll to top button