Accessible Unlicensed Requires Authentication Published by De Gruyter November 15, 2021

Increasing the Image Sharpness of Light Microscope Images Using Deep Learning

Erhöhung der Bildschärfe in Lichtmikroskopieaufnahmen mittels Deep Learning
P. Krawczyk, A. Jansche, T. Bernthaler and G. Schneider
From the journal Practical Metallography

Abstract

Image-based qualitative and quantitative structural analyses using high-resolution light microscopy are integral parts of the materialographic work on materials and components. Vibrations or defocusing often result in blurred image areas, especially in large-scale micrographs and at high magnifications. As the robustness of the image-processing analysis methods is highly dependent on the image grade, the image quality directly affects the quantitative structural analysis. We present a deep learning model which, when using appropriate training data, is capable of increasing the image sharpness of light microscope images. We show that a sharpness correction for blurred images can successfully be performed using deep learning, taking the examples of steels with a bainitic microstructure, non-metallic inclusions in the context of steel purity degree analyses, aluminumsilicon cast alloys, sintered magnets, and lithium-ion batteries. We furthermore examine whether geometric accuracy is ensured in the artificially resharpened images.

Kurzfassung

In der Materialographie von Werkstoffen und Bauteilen ist die qualitative und quantitative Gefügeanalyse mittels Aufnahmen aus hochauflösenden Lichtmikroskopen fester Bestandteil. Besonders bei hohen Vergrößerungen und großflächigen Mikroskopieaufnahmen entstehen aufgrund von Schwingungen oder Defokussierung oft unscharfe Bildbereiche. Die Bildqualität der Aufnahmen hat einen direkten Einfluss auf die quantitative Gefügeanalyse, da die Robustheit der bildverarbeitenden Analysemethoden stark von der Güte der Aufnahmen abhängig ist. Wir stellen ein Deep Learning Modell vor, mit welchem unter Verwendung passender Trainingsdaten die Bildschärfe von Lichtmikroskopieaufnahmen erhöht werden kann. Am Beispiel von Stählen mit bainitischem Gefüge, nichtmetallischen Einschlüssen bei der Stahlreinheitsgradanalyse, Aluminium-Silizium-Gusslegierungen, Sintermagneten und Lithium-Ionen-Batterien zeigen wir, dass unscharfe Aufnahmen erfolgreich mittels Deep Learning nachgeschärft werden können. Des Weiteren wird untersucht, ob die geometrische Genauigkeit in den künstlich nachgeschärften Aufnahmen gewährleistet ist.

4

4 Acknowledgements

We would like to thank Gaby Ketzer, Elvira Reiter, Alexander Banholzer, Dominic Hohs, and Tim Schubert for the valuable materialographic support and Amit Kumar Choudhary for his assistance with the segmentation models. We would also like to thank the Federal Ministry of Education and Research (BMBF) for financing the research project EBiMA (13FH176PX8) under the FHProfUnt funding program.

4

4 Danksagung

Wir danken Gaby Ketzer, Elvira Reiter, Alexander Banholzer, Dominic Hohs und Tim Schubert für die wertvolle materialographische Unterstützung, sowie Amit Kumar Choudhary für die Unterstützung bei den Segmentierungsmodellen. Dank gilt dem Bundesministerium für Bildung und Forschung (BMBF) für die Finanzierung des Forschungsprojekts EBiMA (13FH176PX8) im Rahmen des FHProfUnt-Förderprogramms.

References / Literatur

[1] S. Nah, T. H. Kim, and K. M. Lee: Deep multiscale convolutional neural network for dynamic scene deblurring, 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, p. 257–265. DOI: 10.1109/CVPR.2017.35 Search in Google Scholar

[2] S. Brehm, S. Scherer and R. Lienhart: High-Resolution Dual-Stage Multi-Level Feature Aggregation for Single Image and Video Deblurring, 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2020, pp. 1872–1881. DOI: 10.1109/CVPRW50498.2020.00237 Search in Google Scholar

[3] H. Zhang, Y. Dai, H. Li, and P. Koniusz: Deep stacked hierarchical multi-patch network for image deblurring, 2019 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019, pp. 5971–5979. DOI: 10.1109/CVPR.2019.00613 Search in Google Scholar

[4] P. Krawczyk, H. Baumgartl, A. Jansche, T. Bernthaler, R. Buettner, G. Schneider: Comparison of deep learning methods for imagedeblurring on light optical materials microscopy data, 2021 IEEE 17th International Conference on Automation Science and Engineering (CASE), 2021. Search in Google Scholar

[5] U. Sara, M. Akter, and M. Uddin: Image quality assessment through FSIM, SSIM, MSE and PSNR-a comparative study, Journal of Computer and Communications, Vol. 7, pp. 8–18, 2019. DOI: 10.4236/jcc.2019.73002 Search in Google Scholar

Received: 2021-07-14
Accepted: 2021-09-06
Published Online: 2021-11-15

© 2021 Walter de Gruyter GmbH, Berlin/Boston, Germany