Skip to content
Licensed Unlicensed Requires Authentication Published by Oldenbourg Wissenschaftsverlag May 4, 2021

Detektion von Weizenähren mithilfe neuronaler Netze und synthetisch erzeugter Trainingsdaten

Wheat ear detection using neural networks and synthetically generated training data
Lukas Lucks

Lukas Lucks studierte bis 2017 Geodäsie und Geoinformation an der Universität Bonn. Seit 2017 ist er als wissenschaftliche Mitarbeiter am Fraunhofer Institut für Optronik, Systemtechnik und Bildauswertung (IOSB) in Ettlingen tätig. Sein Forschungsgebiet umfasst die 3D Rekonstruktion von Objekten mittels photogrammetrischen Aufnahmeverfahren und die Detektion und Analyse von Objekten mit Methoden des maschinellen Lernens.

EMAIL logo
, Laura Haraké

Laura Haraké studierte von 2007 bis 2015 Computervisualistik an der Universität Koblenz-Landau und ist seit 2015 als wissenschaftliche Mitarbeiterin am Fraunhofer Institut für Optronik, Systemtechnik und Bildauswertung (IOSB) in Ettlingen tätig. Ihr Forschungsgebiet ist die Verknüpfung der Themenfelder Computergrafik mit Fernerkundung.

and Lasse Klingbeil

Lasse Klingbeil studierte Experimentalphysik an der Universität Bonn und promovierte dort 2006 zum Thema „Positions- und Orientierungsbestimmung bewegter Objekte“. Nach einem Aufenthalt als Postdoctoral Fellow am CSIRO in Australien (2006–2008) und einer Tätigkeit als Wissenschaftler in der Hahn-Schickard Gesellschaft in Villingen-Schwenningen (2008–2011), ist er seit 2012 akademischer Oberrat am Institut für Geodäsie und Geoinformation der Universität Bonn. Dort leitet der die Arbeitsgruppe „GNSS und kinematische Multisensorsysteme“ und forscht in verschiedenen Bereichen der mobilen Vermessung, unter anderem für agrarwissenschaftliche Anwendungen.

From the journal tm - Technisches Messen

Zusammenfassung

Diese Arbeit untersucht die Eignung und Übertragbarkeit von synthetisch erzeugten Trainingsdaten zur Detektion von Weizenähren mithilfe neuronaler Netze aus dem Bereich der semantischen Bildsegmentierung. Zur Erstellung dieser Daten werden detaillierte Szenen von Weizenfeldern bestehend aus wenigen manuell erstellten 3D Modellen mit hochaufgelösten Texturen und definierten Materialeigenschaften geschaffen. Dabei bilden die generierten Szenen verschiedene Reifegrade der Weizenpflanzen ab. Anschließend werden photorealistische Farbbilder der Szene synthetisiert und zusätzlich binäre Bildmasken, die die Positionen der modellierten Ähren enthalten. Die so erhaltenen Bildpaare werden anschließend als Trainingsgrundlage für zwei neuronale Netze (U-Net und DeepLabv3+) genutzt, ohne dass manuelle Annotationen notwendig sind. Zur Untersuchung, ob diese Daten eine Domänenadaption ermöglichen, werden die trainierten Netze anhand von realen Weizenfeldaufnahmen evaluiert. Der IoU-Wert von ca. 0,66 zeigt, dass eine Informationsübertragung aus den synthetischen Bildern auf reale Bilder möglich ist. Abschließend werden die Ergebnisse auf Luftbilder, die mithilfe eines UAVs aufgenommen wurden, übertragen. Es zeigt sich, dass die verminderte Auflösung dieser Bilder die Erkennungsrate deutlich vermindert.

Abstract

This paper investigates the usability of synthesized training data for the recognition of wheat ears using neural networks in the context of semantic image segmentation. For this purpose, we create detailed scenes of wheat fields consisting of 3D models with high-resolution textures and defined material properties. The generated scenes represent different states of maturity of the wheat plants. Afterwards, photo-realistic color images are synthesized, which also contain a binary image mask with the locations of the ear models. The resulting image pairs are then used as training data for two neural networks (U-Net and DeepLabv3+). To determine whether these data allow domain adaptation the trained networks are evaluated using real wheat field images. The IoU value of about 0.66 shows that information transfer from the synthesized images to real images is possible. Finally, we transfer the results to aerial images taken from an UAV. It is shown that the reduced resolution of these images significantly decreases the recognition rate.

Über die Autoren

Lukas Lucks

Lukas Lucks studierte bis 2017 Geodäsie und Geoinformation an der Universität Bonn. Seit 2017 ist er als wissenschaftliche Mitarbeiter am Fraunhofer Institut für Optronik, Systemtechnik und Bildauswertung (IOSB) in Ettlingen tätig. Sein Forschungsgebiet umfasst die 3D Rekonstruktion von Objekten mittels photogrammetrischen Aufnahmeverfahren und die Detektion und Analyse von Objekten mit Methoden des maschinellen Lernens.

Laura Haraké

Laura Haraké studierte von 2007 bis 2015 Computervisualistik an der Universität Koblenz-Landau und ist seit 2015 als wissenschaftliche Mitarbeiterin am Fraunhofer Institut für Optronik, Systemtechnik und Bildauswertung (IOSB) in Ettlingen tätig. Ihr Forschungsgebiet ist die Verknüpfung der Themenfelder Computergrafik mit Fernerkundung.

Lasse Klingbeil

Lasse Klingbeil studierte Experimentalphysik an der Universität Bonn und promovierte dort 2006 zum Thema „Positions- und Orientierungsbestimmung bewegter Objekte“. Nach einem Aufenthalt als Postdoctoral Fellow am CSIRO in Australien (2006–2008) und einer Tätigkeit als Wissenschaftler in der Hahn-Schickard Gesellschaft in Villingen-Schwenningen (2008–2011), ist er seit 2012 akademischer Oberrat am Institut für Geodäsie und Geoinformation der Universität Bonn. Dort leitet der die Arbeitsgruppe „GNSS und kinematische Multisensorsysteme“ und forscht in verschiedenen Bereichen der mobilen Vermessung, unter anderem für agrarwissenschaftliche Anwendungen.

Literatur

1. Tahani Alkhudaydi, Daniel Reynolds, Simon Griffiths, Ji Zhou, and Beatriz Iglesia. An exploration of deep-learning based phenotypic analysis to detect spike regions in field conditions for uk bread wheat. Plant Phenomics, 2019:1–17, 07 2019.10.34133/2019/7368761Search in Google Scholar PubMed PubMed Central

2. Liang-Chieh Chen, Yukun Zhu, George Papandreou, Florian Schroff, and Hartwig Adam. Encoder-decoder with atrous separable convolution for semantic image segmentation. In Proceedings of the European Conference on Computer Vision (ECCV), pages 801–818, 2018.10.1007/978-3-030-01234-2_49Search in Google Scholar

3. E. David, S. Madec, P. Sadeghi-Tehran, H. Aasen, B. Zheng, S. Liu, N. Kirchgessner, G. Ishikawa, K. Nagasawa, M. A. Badhon, C. Pozniak, B. de Solan, A. Hund, S. C. Chapman, F. Baret, I. Stavness, and W. Guo. Global wheat head detection (gwhd) dataset: a large and diverse dataset of high resolution rgb labelled images to develop and benchmark wheat head detection methods, 2020.10.34133/2020/3521852Search in Google Scholar PubMed PubMed Central

4. Sambuddha Ghosal, Bangyou Zheng, Scott Chapman, Andries Potgieter, David Jordan, Xuemin Wang, Asheesh Singh, Arti Singh, Masayuki Hirafuji, Seishi Ninomiya, Baskar Ganapathysubramanian, Soumik Sarkar, and Wei Guo. A weakly supervised deep learning framework for sorghum head detection and counting. 2019, 06 2019.10.34133/2019/1525874Search in Google Scholar PubMed PubMed Central

5. Željana Grbović, Marko Panić, Oskar Marko, Sanja Brdar, and Vladimir Crnojevic. Wheat ear detection in rgb and thermal images using deep neural networks. 10 2019.Search in Google Scholar

6. S. Khan, Buu Phan, Rick Salay, and K. Czarnecki. Procsy: Procedural synthetic dataset generation towards influence factor studies of semantic segmentation networks. In CVPR Workshops, 2019.Search in Google Scholar

7. L. Liu and H. Qi. Learning effective binary descriptors via cross entropy. In 2017 IEEE Winter Conference on Applications of Computer Vision (WACV), pages 1251–1258, 2017.10.1109/WACV.2017.144Search in Google Scholar

8. Juncheng Ma, Yunxia Li, Keming Du, Feixiang Zheng, Lingxian Zhang, Zhihong Gong, and Weihua Jiao. Segmenting ears of winter wheat at flowering stage using digital images and deep learning. Computers and Electronics in Agriculture, 168:105159, 2020.10.1016/j.compag.2019.105159Search in Google Scholar

9. Sergey I. Nikolenko. Synthetic data for deep learning. CoRR, abs/1909.11512, 2019.Search in Google Scholar

10. Olaf Ronneberger, Philipp Fischer, and Thomas Brox. U-net: Convolutional networks for biomedical image segmentation. CoRR, abs/1505.04597, 2015.Search in Google Scholar

11. Pouria Sadeghi-Tehran, Nicolas Virlet, Eva Ampe, Piet Reyns, and Malcolm Hawkesford. Deepcount: In-field automatic quantification of wheat spikes using simple linear iterative clustering and deep convolutional neural networks. Frontiers in Plant Science, 10:1176, 09 2019.10.3389/fpls.2019.01176Search in Google Scholar PubMed PubMed Central

12. Apostolia Tsirikoglou, Joel Kronander, Magnus Wrenninge, and Jonas Unger. Procedural modeling and physically based rendering for synthetic data generation in automotive applications. CoRR, abs/1710.06270, 2017.Search in Google Scholar

13. I. Weber, J. Bongartz, and R. Roscher. Learning with real-world and artificial data for improved vehicle detection in aerial imagery. ISPRS Annals of Photogrammetry, Remote Sensing and Spatial Information Sciences, V-2-2020:917–924, 2020.10.5194/isprs-annals-V-2-2020-917-2020Search in Google Scholar

14. Chengquan Zhou, Dong Liang, Xiaodong Yang, Hao Yang, Jibo Yue, and Guijun Yang. Wheat ears counting in field conditions based on multi-feature optimization and twsvm. Frontiers in Plant Science, 9:1024, 2018.10.3389/fpls.2018.01024Search in Google Scholar PubMed PubMed Central

15. Yanjun Zhu, Zhiguo Cao, Hao Lu, Yanan Li, and Yang Xiao. In-field automatic observation of wheat heading stage using computer vision. Biosystems Engineering, 143:28–41, 2016.10.1016/j.biosystemseng.2015.12.015Search in Google Scholar

Erhalten: 2021-02-14
Angenommen: 2021-04-20
Online erschienen: 2021-05-04
Erschienen im Druck: 2021-08-27

© 2021 Walter de Gruyter GmbH, Berlin/Boston

Downloaded on 6.12.2022 from frontend.live.degruyter.dgbricks.com/document/doi/10.1515/teme-2021-0018/html
Scroll Up Arrow