Accessible Published by Oldenbourg Wissenschaftsverlag May 5, 2021

Vergleichende Bewertung von Algorithmen zur Lokalisierung von Flammen und Glut

Comparing evaluation of algorithms for the localization of flames and embers
Fabian Stoller, Felix Kümmerlen and Alexander Fay
From the journal tm - Technisches Messen

Zusammenfassung

Die Zulassung von Feuerlöschern erfordert die Durchführung von Versuchen für den Nachweis des Löschvermögens eines Feuerlöschermodells. Damit dieser Versuch unabhängig von den Fähigkeiten menschlicher Löschmeister ist, soll die Durchführung automatisiert werden. Dafür wird der Stand der Forschung auf Algorithmen untersucht, die mithilfe einer Farb- und einer Infrarotkamera Flammen und Glutnester lokalisieren können. Diese Informationen sollen genutzt werden, um den Löschversuch effektiv und effizient durchzuführen. Dafür werden in diesem Beitrag sechs Algorithmen zur Lokalisierung von Flammen in Farbbildern und drei Algorithmen zur Lokalisierung von Glut in den Bildern einer Infrarotkamera anhand der Kriterien Sensitivität, Falsch-Positiv-Rate, Intersection over Union und durchschnittlicher Ausführungsdauer verglichen. Anhand des Ergebnisses des Vergleichs wird jeweils ein Algorithmus für das automatisierte Löschen des Normbrandversuchs ausgewählt.

Abstract

The approval of fire extinguishers requires the conduction of tests to prove the extinguishing capacity of a fire extinguisher model. In order for this test to be independent of the abilities of human firefighters, the performance is to be automated. To this end, the state of the art in research is being examined for algorithms that can localise flames and embers with the help of a colour and an infrared camera, respectively. This information is to be used to carry out the extinguishing attempt effectively and efficiently. For this purpose, six algorithms for the localisation of flames in colour images and three algorithms for the localisation of embers in infrared images are compared. The comparison is conducted on the basis of the criteria sensitivity, false positive rate, intersection over union and mean execution time. Based on the comparison results, one algorithm each is selected for the automated extinguishing of the standard fire test.

PACS: 42.30.−d

1 Einführung

Tragbare Feuerlöscher sind ein zentraler Bestandteil von Brandschutzmaßnahmen an Arbeitsstätten und im öffentlichen Nahverkehr. Die Menge an Feuerlöschern, die bereitzustellen ist, richtet sich zum einen nach der jeweiligen Brandgefahr und zum anderen nach dem Löschvermögen des Feuerlöschers [1]. In der DIN EN 3-7 [2] sind sowohl die Anforderungen an Feuerlöscher als auch deren Zertifizierung beschrieben. Für die Prüfung des Löschvermögens eines tragbaren Feuerlöschers schreibt die angegebene Norm das Löschen eines Prüfobjekt mit definiertem Aufbau vor. Die DIN EN 3-7 [2] definiert für verschiedene Brandklassen eigene Prüfobjekte. Diese Arbeit bezieht sich auf das Löschen des Normbrands der Brandklasse A (Feststoffe, die unter Bildung von Glut brennen [3], z. B. Holz). Die Norm definiert außer dem Prüfobjekt auch die Bedingungen, unter denen der Versuch durchzuführen ist und den Ablauf der Versuchsdurchführung. Aktuell wird diese Prüfung von menschlichen Löschmeistern durchgeführt, die auf Basis langjähriger Erfahrung ihre Vorgehensweise beim Löschen des Testbrandes an die begrenzt verfügbare Menge an Löschmittel in einem Feuerlöscher angepasst haben. Damit sie das Feuer effektiv bekämpfen können, differenzieren sie zwischen Flammen und Glut und wenden verschiedene Löschtechniken an, um diese jeweils zu bekämpfen. Mit dem Ziel, die Vergleichbarkeit der Ergebnisse dieser Prüfung und somit die Qualität der Zertifizierung insgesamt zu verbessern, soll der Löschvorgang zur Zertifizierung von Feuerlöschern automatisiert werden. Dafür müssen Flammen und Glut in einem Brand lokalisiert werden. Folglich gilt es Bildverarbeitungsalgorithmen zu finden, mit denen sich geeignete Zielbereiche für das Auftragen des Löschmittels vorgeben lassen. Das Ziel dieser Arbeit ist es, Methoden aus dem Stand der Forschung zur Lokalisierung von Flammen und Glut vergleichend zu evaluieren, um so jeweils einen für das automatisierte Löschen eines Normbrandes geeigneten Algorithmus auszuwählen.

Im Folgenden wird in Abschnitt 2 ein Überblick über den Stand der Forschung zur Lokalisierung von Flammen bzw. Glut präsentiert. In Abschnitt 3 werden anschließend die Kriterien für die vergleichende Bewertung hergeleitet. Abschnitt 4 beschreibt die Randbedingungen zum Training und Test der implementierten Algorithmen bevor in Abschnitt 5 die Ergebnisse der vergleichenden Bewertung von Algorithmen zur Flammenlokalisierung und Glutlokalisierung beschrieben sind. Der darauffolgende Abschnitt 6 diskutiert die Ergebnisse mit Bezug auf den Einsatz beim automatisierten Löschen des Normbrandversuchs und Abschnitt 7 enthält eine Zusammenfassung der Ergebnisse sowie einen Ausblick auf zukünftige Arbeiten.

2 Stand der Forschung

Das automatisierte Löschen des Normbrandes erfordert die separate Lokalisierung von Flammen und Glut. Dementsprechend werden im Folgenden verschiedene Ansätze für die kamerabasierte Lokalisierung von Flammen präsentiert. Diese Ansätze basieren zum Teil auf maschinellen Lernverfahren. Daher werden in Unterabschnitt 2.2 einige veröffentlichte Datensätze für die Detektion von Feuer vorgestellt. Anschließend werden ebenfalls Ansätze zur Lokalisierung von Glutnestern und heißen Stellen vorgestellt.

2.1 Lokalisierung von Flammen

Kamerabasierte Systeme für die Detektion von Flammen sind gegenüber herkömmlichen Brandmeldern im Vorteil: Sie können im Freien eingesetzt werden, haben keine nennenswerte Verzögerung zwischen Entstehung des Brandes und der Detektion und sie können zusätzliche Informationen über den Brand bereitstellen [4]. Viele der Algorithmen, die für die Detektion von Feuer entwickelt worden sind, können allerdings nur bestimmen, dass ein Bild oder eine Bildsequenz Feuer enthält. Sie können jedoch sehr häufig nicht bestimmen, wo sich das Feuer im Bild befindet [5]. Für den Einsatz beim automatisierten Feuerlöschen ist aber genau die Information über de Position erforderlich

Ein Ansatz, der die Lokalisierung von Flammen anhand von Farbkameras ermöglicht, ist [6]. Dort wird ein lernender Ansatz gewählt, um einzelne Pixel anhand ihrer Farbe der Klasse Feuer zuzuordnen. Um Fehlalarme durch Objekte mit feuerähnlichen Farben zu verhindern, wird das charakteristische Flackern (siehe [7]) von Flammen als zweites Merkmal zur Segmentierung der Flammen herangezogen [6]. Die Arbeit [4] präsentiert eine pixelweise Klassifikation, bei der anhand von Trainingsdaten ein feuertypisches Farbhistogramm gelernt wird. Diese Methode verwendet die Farbe als einziges Merkmal und ist daher anfällig für Fehldetektionen bei Objekten mit ähnlichen Farben.

In [8] wird dieser farbbasierte Ansatz weiterentwickelt. Die Besonderheit in [8] ist, dass hier verschiedene Farbräume für die pixelweise Klassifikation kombiniert werden. Die Farbkanäle der verwendeten Farbräume werden dafür jeweils einzeln betrachtet und beliebig zu Tripeln kombiniert. Für die pixelweise Klassifikation werden diejenigen Tripel verwendet, die sich empirisch als am besten für die Klassifikation geeignet herausgestellt haben. Zusätzlich werden die so detektierten Bereiche anhand ihrer Entropie nochmals auf Basis ihrer Textur klassifiziert, um falsch-positive Detektionen durch Farbähnlichkeit zu vermeiden.

Auch in [9] werden die Flammen anhand von Farb- und Texturmerkmalen pixelweise segmentiert. Dafür wird ein Bayes-Schätzer für die Bestimmung der charakteristischen Farbe einer Flamme trainiert. Als zweites Merkmal werden lokale Binärmuster (LBP) als Texturmerkmale mit einer Support Vector Machine (SVM) als Klassifikator verwendet. Die Segmentierungen beider Klassifikatoren werden pixelweise mit einem logischen Und-Operator zusammengefasst.

Ein Ansatz, der speziell für die Lokalisierung von Deflagrationen[1] entwickelt worden ist, wird in [10] dargelegt. Dieser Ansatz kombiniert farbbasierte Segmentierung im RGB- und YCbCr-Farbraum mit einem Vordergrundmodell und einem Kriterium zu Veränderung der Intensität in aufeinanderfolgenden Bildern einer Bildsequenz. Es werden nur solche Pixel in die Segmentierung aufgenommen, die von allen Kriterien erkannt werden.

Neben diesen ausschließlich auf Farbkameras aufbauenden Algorithmen wird zum Beispiel in [11] eine Methode zur Lokalisierung von Flammen vorgestellt, die neben verschiedenen Merkmalen im Bereich des sichtbaren Lichts auch die Informationen von Infrarotkameras und TOF-Kameras verwendet. Da die Merkmale in den drei verwendeten Modalitäten jeweils unabhängig voneinander sind, verspricht diese Methode eine robuste Detektion des Feuers. Allerdings muss dafür eine stark erhöhte Komplexität in Kauf genommen werden, da mehrere Sensorsysteme erforderlich sind. Außerdem ist eine multimodale Kalibrierung der Systeme zueinander erforderlich.

Neben diesen auf expliziten, konstruierten Merkmalen basierenden Algorithmen, werden vermehrt Algorithmen entwickelt, die auf Deep Learning basieren. Die meisten dieser Ansätze für die Lokalisierung von Flammen verwenden ein Convolutional Neural Network (CNN), welches mit einem sehr großen Datensatz aus alltäglichen Gegenständen vortrainiert wurde. Die Parameter in den letzten Schichten des Netzes werden mit einem kleineren, speziell auf die jeweilige Aufgabe konzentrierten Datensatz für diese Aufgabe neu trainiert, sodass ein spezialisiertes CNN entsteht. Diese Vorgehensweise nennt sich Transfer Learning und ist für die Lokalisierung von Flammen erfolgreich auf verschiedene CNN-Architekturen angewendet worden. In [12] wird zum Beispiel ein vortrainiertes CNN mit der Squeezenet-Architektur (siehe [13]) verwendet und mit einem Datensatz bestehend aus Bildern mit Flammen an die Lokalisierung von Flammen angepasst. Das CNN selbst leistet bei diesem Algorithmus nur eine bildweise Klassifikation, für die Lokalisierung der Flammen im Bild werden Aktivierungen von drei verborgene Schichten aus der Mitte des CNN verwendet.

In der Arbeit [14] präsentieren die Autoren vier mit Transfer Learing an die Detektion von Flammen angepasste CNNs basierend auf den CNN-Architekturen YOLO [15], Faster-RCNN [16], SSD [17] und R-FCN [18]. Von diesen Algorithmen zeigt der auf YOLO basierende Ansatz die beste Performance [14].

Ein weiterer Ansatz, der als Ausgang eine semantische Segmentierung mithilfe der DeepLabV3-Architektur [19] bietet, wird in [20] vorgestellt.

2.2 Datensätze für die Flammendetektion

Für das Training der Methoden zur Detektion von Flammen, die auf dem Einsatz von maschinellem Lernen basieren, existieren verschiedene frei zugängliche Datensätze mit variierenden Grundwahrheiten. Der Datensatz aus [9] besteht aus 240 Bildausschnitten zum Training von Farb- und Texturklassifikatoren (Siehe Abb. 1). Zusätzlich beinhaltet dieser Datensatz auch einen Testdatensatz mit 226 Einzelbildern aus Brandszenen und der jeweils zugehörigen binärer Ergebnismaske als Grundwahrheit. In [21] wird ein Datensatz bestehend aus 30 Videos vorgestellt, wobei die Grundwahrheiten nicht weiter thematisiert sind. Der Datensatz aus [22] ist eine Kompilation aus mehreren Datensätzen und enthält sowohl Einzelbilder als auch Videos. Der Datensatz enthält 9448 Bilder und 88 Videos, die zum Teil aus [23], [9] und [21] stammen. Hinzu kommen noch Bilder und Videos, die von den Autoren auf einer Online-Plattform für Bilder, Flickr,[2] gesammelt worden sind. Der Datensatz nach [22] enthält als Grundwahrheiten hauptsächlich eine Klassifikation der einzelnen Bilder. Zusammenfassend lässt sich feststellen, dass es zwar einige Datensätze für die Detektion von Flammen gibt, diese verfügen jedoch in der Regel nur über eine bildweise Klassifikation als Grundwahrheit. Diese Datensätze enthalten jeweils Bilder und Videos mit Feuer und Rauch. Für die Detektion von Glut gibt es hingegen keine vergleichbaren Datensätze.

2.3 Lokalisierung von Glut

Die bildverarbeitungsbasierte Lokalisierung von Glut ist bisher kaum als dezidiertes Problem erforscht. Es existieren jedoch verschiedene Ansätze für sehr ähnliche Probleme. Ein Einsatzgebiet ist zum Beispiel die Lokalisierung von schwelenden Torfbränden mit Erdbeobachtungssatelliten. In [24] werden anhand der Daten eines Infrarotspektrometers die Bildbereiche ausgewählt, die Temperaturen im für schwelende Torfbrände typischen Bereich aufweisen. Dieser liegt deutlich unterhalb der Temperaturen von mit Flammen brennenden Bereichen und deutlich oberhalb der Umgebungstemperatur. Der relevante Temperaturbereich für Torfbrände unterscheidet sich von dem für glühendes Holz, die Lokalisierung kann aber auf die gleiche Art durchgeführt werden. In [24] wird auch ein entsprechender Temperaturbereich für glühendes Holz genannt.

In [25] wird eine Methode zur Lokalisierung von Hotspots auf Photovoltaik-Anlagen vorgestellt. Dies lässt sich auch auf die Lokalisierung von Hotspots, also Glutnestern, in einem gelöschten Brand bertragen. Dabei setzen die Autoren auf den Einsatz von k-Means-Clustering, um Bereiche mit von der Umgebung stark abweichenden Temperaturen zu finden. Mit dieser Methode wird der große Temperaturunterschied zwischen Umgebung und dem Bereich von Interesse für eine Lokalisierung genutzt. Dieser Methode fehlt aber eine Berücksichtigung der absoluten Temperatur, sodass zu jedem Zeitpunkt zwei Temperaturcluster gesucht werden. Eine vergleichbare Vorgehensweise findet sich auf Kohlehalden, wo Schwelbrände lokalisiert werden sollen, die bei der Selbsterwärmung der Kohle entstehen können [26].

In [27] werden Brände mit einem Infrarotstereokamerapaar lokalisiert. Für die Identifikation von Pixeln wird ein Schwellwert für die Temperatur von T = 300 ° C festgelegt, da Brände eine deutlich höhere Temperatur besitzen als der Hintergrund der Szene. Zusätzlich wurde die Annahme getroffen, dass es sich bei dem Feuer um den größten segmentierten Bereich in den Aufnahmen handelt. Die Temperaturschwelle ist jedoch so gewählt, dass sie nicht nur Flammen einschließt, die Temperaturen ab etwa 450 ° C aufweisen [24], sondern auch Glutnester.

3 Kriterien für die Bewertung der Algorithmen zur Flammen- und Glutlokalisierung

Für die begründete Auswahl jeweils eines Algorithmus werden im Folgenden Kriterien für die vergleichende Bewertung der Algorithmen eingeführt. Auf Basis der Ergebnisse der einzelnen Algorithmen in dieser Bewertung wird jeweils ein Algorithmus für die Lokalisierung von Flammen beziehungsweise Glut für das automatisierte Löschen des Normbrandversuchs ausgewählt. Das Ziel der Lokalisierung soll in diesem Vergleich anhand der Bounding Box bewertet werden, die die detektierten Ereignisse einfasst. Bei denjenigen Algorithmen, die ihre Ergebnisse nicht als Bounding Box ausgeben, wurde diese anhand der jeweilige Ergebnisse nachträglich bestimmt.

Für das Löschen eines Brandes mit einer begrenzten Menge an Löschmittel muss dieses zielgenau appliziert werden. Daher sind die Algorithmen danach zu bewerten, wie gut sie die Flammen beziehungsweise Glutnester lokalisieren. Dafür wird zum einen die Sensitivität s als Kriterium verwendet, welche nach Gleichung (1) als Quotient aus den richtig positiv detektierten Merkmalen (RP) und der Summe aus RP und den falsch negativ detektierten Merkmalen (FN) berechnet. Somit werden die Algorithmen danach bewertet, wie wahrscheinlich sie eine Flamme beziehungsweise Glut auch tatsächlich als solche erkennen.

(1) s = R P F N + R P
Zum anderen wird bei den korrekt erkannten Flammen bestimmt, wie genau die Lokalisierung ist. Hierfür wird die Intersection over Union (IoU) als Kriterium angewendet. Diese berechnet sich nach Gleichung ( 2) als Quotient aus der Schnittfläche der Lokalisierung mit der Grundwahrheit A s und der Vereinigungsmenge A v dieser. Sie beschreibt, wie gut die Lokalisierungen der Algorithmen mit den Grundwahrheiten übereinstimmen.
(2) I o U = A s A v
Weiterhin ist es für das erfolgreiche Löschen beim Normbrandversuch von zentraler Bedeutung, dass Löschmittel nicht durch fehlerhafte Detektionen auf Bereiche gesprüht wird, die nicht Teil des Testobjekts sind beziehungsweise an denen kein Löscheffekt entsteht. Dafür wird die Falsch-Positiv-Rate (FPR) als Kriterium auf die Algorithmen eingeführt. Gleichung ( 3) zeigt, dass sich die FPR als Quotient aus den falsch positiv detektierten Merkmalen (FP) und der Summe der FP und der richtig negativ detektierten Flammen (RN) oder Glutnestern berechnet.
(3) F P R = F P F P + R N
Ein letztes Kriterium ist die durchschnittliche Ausführungsdauer T der Algorithmen für ein einzelnes Bild. Die Ausführungsdauer wird für jedes Bild im Testdatensatz gemessen und der arithmetische Mittelwert dieser Zeiten wird als Kriterium verwendet. Diese sollte möglichst gering sein, um die Steuerung des Löschvorgangs in Echtzeit zu ermöglichen und auf Veränderungen der Situation während des Brandversuchs reagieren zu können.

4 Experimente

Die Bewertung der Algorithmen mit den zuvor beschriebenen Kriterien erfordert die Anwendung der Algorithmen auf eine Menge an Testdaten mit bekannten Grundwahrheiten. Die vorgestellten Algorithmen aus dem Stand der Technik sind in Matlab anhand der zugehörigen Veröffentlichungen implementiert worden. Für das Training der auf maschinellem Lernen basierenden Methoden wurden jeweils passende Datensätze verwendet. Da die unterschiedlichen Algorithmen auf verschiedene Lernverfahren setzen, sind auch jeweils eigene Datensätze mit eigenen Grundwahrheiten erforderlich.

Bei der Implementierung von sowohl [8] als auch von [9] wurde der Datensatz aus [9] verwendet, da dieser auch in den jeweiligen Veröffentlichungen verwendet wird. Dieser Datensatz besteht aus kleinen Bildausschnitten, von denen in Abbildung 1 Beispiele für die Klasse Flammen dargestellt sind. Diese werden genutzt, um die Klassifikatoren der beiden Methoden zu trainieren, die flammentypische Farben und Texturen erkennen.

Die Methode in [10] erfordert keine Trainingsdaten, da hier keine maschinellen Lernverfahren eingesetzt werden. Für die Methode nach [12] sind 683 Einzelbilder, die zum Teil aus dem Datensatz [28] und zum Teil aus eigenen Aufnahmen stammen, verwendet worden. Da SqueezeNet nur das Bild als ganzes klassifiziert, bestehen die Grundwahrheiten aus der Klasse, der ein Bild jeweils zuzuordnen ist. Für das Training des Algorithmus nach [14] werden 354 Einzelbilder aus [28] zum Training verwendet. Ein Beispiel dafür ist in Abbildung 2 gezeigt. Anders als für das Training von [12] werden für das Training nur Positivbeispiele benötigt. Außerdem wird auch die Lokalisierung berücksichtigt, sodass die Grundwahrheiten, wie in Abbildung 2 gezeigt, in Form von Bounding Boxes in den Trainingsdaten benötigt werden.

Abb. 1 Zusammenstellung von Beispielen der Trainingsdaten aus [9].

Abb. 1

Zusammenstellung von Beispielen der Trainingsdaten aus [9].

Für das Transfer Learning des CNN, welches in [20] verwendet wird, ist ein Trainingsdatensatz aus 236 Einzelbildern aus [9] und [28] mit zugehöriger pixelgenauer Maske verwendet worden. Ein Beispiel eines solchen Bildes ist in Abbildung 3 gezeigt. Durch die zufällige Variation, das heißt zum Beispiel Spiegelungen, homogene Transformationen und geringfügige Veränderungen der Farbe der vorhandenen Bilder wird dieser Datensatz für das Training erweitert.

Abb. 2 Beispiel aus dem Trainingsdatensatz [28].

Abb. 2

Beispiel aus dem Trainingsdatensatz [28].

Die Auswertung erfolgt auf einem PC mit Intel Core i7-8565U Prozessor, 1,8 GHz Basistakt und 16 GB Arbeitsspeicher. Für Methoden zur Flammenlokalisierung und zur Glutlokalisierung wird jeweils ein geeigneter Datensatz verwendet.

Abb. 3 Bild aus dem Trainingsdatensatz [28] mit der Ergebnismaske als Overlay.

Abb. 3

Bild aus dem Trainingsdatensatz [28] mit der Ergebnismaske als Overlay.

Um die Algorithmen zur Lokalisierung von Flammen zu bewerten, wird ein Datensatz bestehend aus 65 Videos von jeweils zwei Sekunden Länge verwendet, welche sowohl aus dem frei verfügbaren Datensatz [22] als auch aus Aufnahmen aus eigenen Versuchen stammen. Insgesamt bestehen diese 65 Videos aus 4394 Einzelbildern, von denen einige beispielhaft in Abbildung 4 gezeigt sind. Für die Auswertung der Algorithmen sind Videosequenzen verwendet worden, da der Algorithmus nach [10] für die Segmentierung von Flammen Bildsequenzen benötigt. Auf die übrigen Methoden hat die Verwendung von Videos keinen Einfluss, da dort jedes Bild unabhängig von den übrigen Bildern des Videos ausgewertet wird. Im Vergleich zum Trainingsdatensatz besteht der Testdatensatz aus einer deutlich größeren Anzahl an Einzelbildern, die jedoch innerhalb eines Videos jeweils große Ähnlichkeiten aufweisen.

Abb. 4 Beispielbilder der Testdatensätze für Flammenlokalisierung 4a und 4b und Glutlokalisierung 4c und 4d. Die Bilder zeigen auch die Begrenzungsbox, die als Grundwahrheit verwendet wird.

Abb. 4

Beispielbilder der Testdatensätze für Flammenlokalisierung 4a und 4b und Glutlokalisierung 4c und 4d. Die Bilder zeigen auch die Begrenzungsbox, die als Grundwahrheit verwendet wird.

Bei der Auswertung der Algorithmen zur Lokalisierung von Glutnestern werden Infrarotbilder verwendet. Die Aufnahmen stammen aus eigenen Brandversuchen. Eine Hälfte der Bilder enthält Glut und zur anderen Hälfte sind die IR-Bilder komplett ohne Glut. Insgesamt besteht der Datensatz aus 86 Aufnahmen, von denen zwei Beispiele in Abbildung 4c und Abbildung 4d gezeigt sind. Für beide Testdatensätze gilt, dass die Grundwahrheiten in Form von Begrenzungsboxen manuell hinzugefügt werden mussten. Diese sind auf den Beispielbildern in Abbildung 4 als gelbe Kästen eingezeichnet.

5 Vergleich der Algorithmen

Für das automatisierte Feuerlöschen wird ein Algorithmus zur Lokalisierung von Flammen und ein Algorithmus zur Lokalisierung von Glut gesucht. Dafür werden im Folgenden Algorithmen aus dem Stand der Forschung anhand eines einheitlichen Datensatzes vergleichend bewertet. Anhand der Ergebnisse werden am besten für die beschriebene Applikation geeigneten Algorithmen ausgewählt. Zuerst werden die Ergebnisse des Vergleichs der Algorithmen zur Flammenlokalisierung präsentiert. Anschließend werden die Resultate des Vergleichs der Algorithmen zur Glutlokalisierung dargelegt.

5.1 Ergebnisse des Vergleichs der Algorithmen zur Flammenlokalisierung

Tab. 1

Übersicht an Algorithmen für die vergleichende Bewertung der Flammenlokalisierungsalgorithmen.

Bezeichner Algorithmus Inputtyp Extrahierte Merkmale Klassifikator Ausgabe
F1 [8] Einzelbild, RGB Farbmodell, Entropie Binäre Maske
F2 [9] Einzelbild, RGB Farbmodell, LBP Bayes-Schätzer, SVM Binäre Maske
F3 [10] Bildsequenz, RGB Farbe, Bewegung, zunehmende Helligkeit Binäre Maske
F4 [12] Einzelbild, RGB CNN (Squeezenet) Binäre Maske
F5 [14] Einzelbild, RGB CNN (YOLO) Bounding Box
F6 [20] Einzelbild, RGB CNN(DeepLab) Binäre Maske

Wie bereits in Abschnitt 2 dargelegt, gibt es für die Lokalisierung von Flammen in Kamerabildern verschiedene Ansätze. Tabelle 1 führt die zu vergleichenden Algorithmen auf und gibt jeweils nochmal eine kurze Zusammenfassung ihrer Funktionsweise. Diese Algorithmen werden anhand der in Abschnitt 3 hergeleiteten Kriterien auf ihre Eignung für den Einsatz beim automatisierten Löschen von Normbränden hin untersucht. Nach Anwendung der einzelnen Algorithmen auf den Testdatensatz ergeben sich für die gewählten Kriterien die in Tabelle 2 dargestellten Ergebnisse. Auf Basis dieser Ergebnisse lässt sich erkennen, dass die Sensitivität der Detektion von Flammen bei den Algorithmen F1, F3 und F4 am höchsten ist. Eine nur geringfügig niedrigere Sensitivität weisen F2 und F5 auf. Der Algorithmus nach F6 weist auf dem Testdatensatz die mit Abstand niedrigste Sensitivität auf. Die Auswertung der IoU zeigt, dass die Lokalisierungen des Algorithmus F4 die höchste Übereinstimmung mit den Grundwahrheiten besitzen und die Algorithmen F3 und F6 die niedrigsten. Diese beiden Algorithmen weisen zusätzlich jeweils eine hohe FPR auf. Die FPR ist insbesondere deshalb so hoch, da in jedem Testbild beliebig viele Fehler passieren können. Gute Ergebnisse für dieses Kriterium erreichen besonders die Algorithmen nach F1 und F5, die im Vergleich mit den übrigen Algorithmen deutlich niedrigere FPR aufweisen.

Tab. 2

Ergebnisse der Flammenlokalisierungsalgorithmen.

Bezeichner Sensitivität FPR IoU T
F1 83 , 59 % 18 , 63 % 53 , 12 % 72,75 ms
F2 72 , 53 % 69 , 73 % 51 , 46 % 20,71 ms
F3 82 , 12 % 93 , 04 % 26 , 13 % 8,24 ms
F4 81 , 95 % 69 , 27 % 60 , 08 % 30,46 ms
F5 74 , 85 % 1 , 86 % 45 , 22 % 81,87 ms
F6 43 , 81 % 92 , 02 % 14 , 78 % 583,6 ms

Die Auswertung der mittleren Ausführungsdauer ergibt, dass die Ausführung des auf DeepLab basierenden Algorithmus F6 um ein Vielfaches langsamer ist als die der übrigen Algorithmen. Das liegt wiederum an der hohen Komplexität der verwendeten CNN-Architektur. Am schnellsten ist die Ausführung eines Durchlaufs des Algorithmus F3, welcher auf eine hohe Ausführungsgeschwindigkeit spezialisiert ist. BOWFire (F2) und der auf SqueezeNet basierende Algorithmus F4 sind in etwa gleichauf, genauso wie die noch etwas langsameren Algorithmen F1 und F5. Dabei ist anzumerken, dass die Ausführungszeit der auf CNN basierenden Methoden weniger stark von der Größe der Eingangsbilder abhängt als die der übrigen Algorithmen, da die Eingangsschicht der CNN jeweils eine konstante Dimension besitzt.

Abb. 5 Beispielhafte Ergebnisbilder für die getesteten Methoden. Die roten Kästen sind jeweils die Lokalisierungsergebnisse. (a)-(c) zeigt Ergebnisse von F1. (d)-(f) zeigt Ergebnisse von F2. (g)-(i) stellt beispielhaft die Ergebnisse von F3 dar. (j)-(l) präsentiert Ergebnisse von F4. (m)-(o) bildet beispielhafte Lokalisierungsergebnisse von F5 ab und (p)-(r) zeigen Ergebnisse von F6.

Abb. 5

Beispielhafte Ergebnisbilder für die getesteten Methoden. Die roten Kästen sind jeweils die Lokalisierungsergebnisse. (a)-(c) zeigt Ergebnisse von F1. (d)-(f) zeigt Ergebnisse von F2. (g)-(i) stellt beispielhaft die Ergebnisse von F3 dar. (j)-(l) präsentiert Ergebnisse von F4. (m)-(o) bildet beispielhafte Lokalisierungsergebnisse von F5 ab und (p)-(r) zeigen Ergebnisse von F6.

Die Methoden aus F3 und F6 besitzen die niedrigsten IoU-Werte in diesem Vergleich. Obwohl F3 in diesem Kriterium einen vergleichsweise niedrigen Wert erreicht, zeigt Abbildung 5i doch, dass die Vielzahl kleiner Segmentierungen zusammengenommen im Wesentlichen der Flamme entspricht.

Abbildung 5 enthält beispielhafte Ergebnisbilder der Anwendung der Algorithmen aus Tabelle 1. In Abbildung 5k ist außerdem zu erkennen, dass die CNN-basierte Methode F4 scheinbar besonders auf farbliche Merkmale reagiert, da diese die roten Bereiche des im Bild enthaltenen Flatterbandes als Flamme erkennt. Die Methode F3 lokalisiert Flammen jeweils in den besonders transienten Bereichen einer Flamme, was in Abbildung 5h gut daran zu erkennen ist, dass besonders die Randbereiche erkannt werden und weniger der Kern der Flamme. Dadurch werden diejenigen Bereiche, welche sich kaum verändern, weil sie im Kern der Flamme sind, zum Teil nicht als Flamme erkannt. Dies ist ein Nachteil, der vermutlich von der Spezialisierung auf schnell ablaufende Deflagrationen sowie deren Entstehung verursacht wird.

Für die Methode F5 basierend auf YOLO scheinen insbesondere Szenen, in denen die Flammen zum Teil verdeckt sind, eine Herausforderung darzustellen, die zu mehreren an falsch-negativen Detektionen, wie in Abbildung 5n gezeigt wird, führt. Der Algorithmus F2 zeigt falsch-positive Detektionen besonders in Bereichen mit feuerähnlichen Farben. Dies ist etwa in Abbildung 5d zu sehen, wo Teile des gelben Schlauchs als Feuer erkannt werden.

Aus der Kombination der Ergebnisse folgt, dass als Algorithmus für das automatisierte Löschen eines Normbrandversuchs nach DIN EN 3-7 [2] die zwei Algorithmen nach F1 und F5 in Frage kommen. Dabei weist der Algorithmus nach F1 sowohl eine höhere Sensitivität bei der Erkennung von Flammen als auch eine höhere Genauigkeit in der Lokalisierung sowie eine geringfügig schnellere Ausführungsgeschwindigkeit auf. Der Algorithmus F5 hat hingegen die mit Abstand geringste FPR der verglichenen Algorithmen. Da F1 anhand der Ergebnisse die insgesamt bessere Lokalisierung von Flammen verspricht, wird dieser Algorithmus für den Einsatz im automatisierten Löschen ausgewählt und die etwas höhere FPR akzeptiert.

5.2 Ergebnisse des Vergleichs der Algorithmen zur Glutlokalisierung

Tab. 3

Übersicht an Algorithmen für die vergleichende Bewertung der Flammenlokalisierungsalgorithmen.

Bezeichner Algorithmus Inputtyp Extrahierte Merkmale Klassifikator Ausgabe
G1 [24] Einzelbild, IR Temperatur obere und untere Temperaturschwelle Binäre Maske
G2 [25] Einzelbild, IR Temperatur K-Means Binäre Maske
G3 [27] Einzelbild, IR Temperatur Untere Temperaturschwelle Binäre Maske

Die Detektion von Glutnestern und heißen Stellen, die zu einer Wiederentzündung des Brandes führen können, basiert ausschließlich auf dem Temperaturunterschied dieser Bereiche im Vergleich zum Hintergrund. Das Beispielbild in Abbildung 4c zeigt, dass sich diese Bereiche deutlich vom Hintergrund abheben. Im Folgenden werden die Methoden, welche in der Tabelle 3 aufgeführt sind, evaluiert. Dafür werden die oben beschriebenen Kriterien verwendet.

Tab. 4

Ergebnisse der Glutlokalisierung auf den Testdaten.

Bezeichner Sensitivität FPR IoU T
G1 99 , 15 % 41 , 89 % 71 , 62 % 0,1 ms
G2 99 , 15 % 91 , 76 % 64 , 58 % 8,35 ms
G3 99 , 15 % 6 , 52 % 81 , 04 % 0,1 ms

In Tabelle 4 sind die Ergebnisse der Anwendung der beschriebenen Methoden auf die Testdaten dargestellt. Die getesteten Methoden erkennen die Glutnester jeweils sehr zuverlässig, sodass alle Algorithmen eine sehr hohe Sensitivität erzielen. Auch die durchschnittliche Ausführungsdauer der Algorithmen ist insbesondere im Vergleich zur Flammenlokalisierung sehr gering, da die Komplexität der Methoden hier deutlich geringer ist. Außerdem besitzen die IR-Aufnahmen des Testdatensatzes eine geringere Auflösung und nur einen Intensitätskanal.

Der wesentliche Unterschied zwischen diesen Methoden zeigt sich bei der FPR, da insbesondere die auf k-Means-Clustering basierende Methode G2 hier deutlich schlechter abschneidet. Dies liegt darin begründet, dass diese Methode auch zwei Pixelcluster bildet, wenn keine Glutnester im Bild vorhanden sind und ein Bezug zu einer absoluten Temperatur fehlt. Die beiden anderen Methoden unterscheiden sich in erster Linie durch die angewendeten Temperaturschwellwerte, sodass sich dadurch ihre unterschiedliche Performance erklären lässt. Für die Detektion von Glut ist der Algorithmus nach G3 in allen betrachteten Kriterien führend und wird dementsprechend für die Umsetzung des automatisierten Normbrandversuchs eingesetzt, um Glutnester und heiße Stellen nach dem Ablöschen der Flammen in einem Brand zu lokalisieren.

6 Diskussion

Bei der Flammenlokalisierung hat sich gezeigt, dass keiner der Algorithmen in allen Kategorien dominiert. Die getroffene Entscheidung ist daher eine Abwägung. Für den Einsatz im automatisierten Feuerlöschen ist es von zentraler Bedeutung, dass das Löschmittel so eingesetzt wird, dass es seine Löschwirkung zur Anwendung bringt. Grundlegende Prinzipien dieser Löschwirkung sind die Abkühlung des Brennstoffes und das Ersticken der Flammen [29]. Zusätzlich ist es wichtig, dass die Abmessungen der Flammen und Glutnester erfasst werden können, da dies für den Ablauf des Löschvorgangs von Relevanz ist. Diese Kriterien werden von beiden Algorithmen weitestgehend erfüllt.

Die Flammenlokalisierung nach F1 zeigte insbesondere bei der Übereinstimmung der Form im Vergleich zu den anderen Algorithmen ein sehr gutes Ergebnis. Dadurch wird eine zielgenaue Applikation des Löschmittels ermöglicht. Da jedoch auch einige Fehldetektionen auftreten, bleibt es ein wichtiger Teil, diese etwa durch geeignete Nachbearbeitung der Lokalisierungsergebnisse soweit es geht zu vermeiden. Dafür bietet sich bei F1 zum Beispiel die Variation der Ergebnisse im Verlauf mehrerer aufeinanderfolgender Bilder an. Die Randbedingungen für die maximale Ausführungsdauer des Algorithmus folgt aus dem konkreten Aufbau des Versuchs. Sie hängt zum einen von der Auswurfgeschwindigkeit des Feuerlöschers ab und zum anderen von der Distanz des Feuerlöschers vom Testobjekt. Die daraus resultierende Flugzeit des Löschmittels lässt sich mit etwa T = 100 ms abschätzen. Daraus folgt, dass jegliche Änderung des Ziels in etwa diese Zeitspanne benötigt, um einen Effekt auf das Testobjekt zu haben. Im vorgestellten Vergleich ist nur F6 erheblich langsamer und würde diese Totzeit noch erheblich verlängern. Der ausgewählte Algorithmus F1 hingegen lässt sich in diesem Zeitintervall problemlos ausführen.

Bei der Bekämpfung der Glutnester in der zweiten Phase des Löschvorgangs zeigt der Algorithmus G3 die beste Performance. Dies ist insofern nachvollziehbar, als dass die Temperatur das einzige Merkmal ist, um diese Glutnester zu identifizieren. Eine Nachbearbeitung könnte nach einem ähnlichen Muster auch hier Vorteile bringen. Allerdings scheinen Störeinflüsse auf die Temperaturmessung mit einer Infrarotkamera im Kontext des kontrollierten Versuchsumfeldes des Normbrandversuchs eher unwahrscheinlich. Somit bietet die ausgewählte Methode G3 eine vielversprechende Möglichkeit zur automatisierten Lokalisierung von Glutnestern.

7 Zusammenfassung

Die Automatisierung des Normbrandversuchs nach DIN EN 3-7 [2] erfordert Bildverarbeitungsalgorithmen, die es ermöglichen, Flammen und Glut zu lokalisieren, um den Brand möglichst effizient bekämpfen zu können. Mehrere Algorithmen aus dem Stand der Forschung sind anhand ihrer Sensitivität, Falsch-Positiv-Rate, IoU und ihrer durchschnittlichen Ausführungsdauer verglichen worden, um den für diese Aufgabe am besten geeigneten Algorithmus zu bestimmen. Für die Flammenlokalisierung eignen sich besonders die Algorithmen F1 und F5. Die IoU und die Sensitivität sind bei F1 höher und auch die durchschnittliche Ausführungsdauer ist etwas geringer als bei dem Algorithmus F5. Mit F5 ist die FPR dagegen deutlich geringer als bei F1. Daraus resultiert zusammengenommen die Auswahl von F1 für die Lokalisierung von Flammen im Kontext des Normbrandversuchs.

Die Detektion von Glut bietet keinen vergleichbar breiten Stand der Forschung, da die Lokalisierung selten als eigenständiges Problem bearbeitet wird. Die getesteten Algorithmen basieren auf der Segmentierung anhand von Temperaturschwellen und sind aufgrund ihrer geringen Komplexität effizient zu berechnen. Für den Einsatz im Normbrandversuch wird entsprechend der Methode in G3 ein einfacher Schwellwert gewählt, um die Glut zu lokalisieren, da diese sowohl bezüglich der IoU als auch in der FPR und der Ausführungszeit die besten Ergebnisse liefert.

Die auf Basis des Vergleichs ausgewählten Methoden zur Lokalisierung von Flammen beziehungsweise Glut dienen als Grundlage für das gezielte Versprühen des Löschmittels bei der Durchführung des Normbrandversuchs nach DIN EN 3-7. Mithilfe der gewählten Algorithmen soll in der folgenden Arbeit die Löschtechnik erfahrener Löschmeister auf ein technisches System übertragen werden. Dafür müssen auf Basis der gewählten Algorithmen die Löschziele extrahiert und priorisiert werden. Ein weiterer wichtiger Schritt in der zukünftigen Bearbeitung des Themas ist die praktische Umsetzung des automatisierten Löschvorgangs.

Literatur

1. Bundesanstalt für Arbeitsschutz und Arbeitsmedizin. Maßnahmen gegen Brände, Mai 2018. Search in Google Scholar

2. DIN EN 3-7:2004-04. Portable fire extinguishers: Part 7: Characteristics, performance requirements and test methods. Search in Google Scholar

3. EN 2:1992 + A1:2004. Brandklassen. Search in Google Scholar

4. M. Wirth and R. Zaremba. Flame Region Detection Based on Histogram Backprojection. In Bob Werner, editor, 2010 Canadian Conference on Computer and Robot Vision (CRV 2010), pages 167–174, 2010. 10.1109/CRV.2010.29. Search in Google Scholar

5. A. Enis Çetin, Kosmas Dimitropoulos, Benedict Gouverneur, Nikos Grammalidis, Osman Günay, Y. Hakan Habiboǧlu, B. Uǧur Töreyin, and Steven Verstockt. Video fire detection – Review. Digital Signal Processing, 23 (6): 1827–1843, 2013. 10.1016/j.dsp.2013.07.003. Search in Google Scholar

6. W. Phillips, M. Shah, and N. Da Vitoria Lobo. Flame recognition in video. In Proceedings / Fifth IEEE Workshop on Applications of Computer Vision, WACV 2000, pages 224–229, Los Alamitos, Calif., 2000. IEEE Computer Society. ISBN 0-7695-0813-8. 10.1109/WACV.2000.895426. Search in Google Scholar

7. D. S. Chamberlin and A. Rose. The Flicker of Luminous Flames. Industrial and Engineering Chemistry, page 4, 1928. Search in Google Scholar

8. Bruno Miguel Nogueira de Souza and Jacques Facon. A fire color mapping-based segmentation: Fire pixel segmentation approach. In 2016 IEEE/ACS 13th International Conference of Computer Systems and Applications (AICCSA), pages 1–8. IEEE, 29.11.2016–02.12.2016. 10.1109/AICCSA.2016.7945741. Search in Google Scholar

9. Daniel Y. T. Chino, Letricia P. S. Avalhais, Jose F. Rodrigues, JR., and Agma J. M. Traina. BoWFire: Detection of Fire in Still Images by Integrating Pixel Color and Texture Analysis. In SIBGRAPI, Sociedade Brasileira de Computação et al. 2015–2015 28th SIBGRAPI Conference, pages 95–102. 2015. 10.1109/SIBGRAPI.2015.19. Search in Google Scholar

10. Jakob Krooß, Felix Kümmerlen, and Alexander Fay. Schnelle und präzise Segmentierung von beweglichen und morphologisch variablen Objekten am Beispiel der Deflagrationsdetektion. In Fernando Puente León, Michael Heinzmann, and Thomas Längle, editors, Forum Bildverarbeitung 2018, pages 241–252, Karlsruhe, 2018. KIT Scientific Publishing. ISBN 978-3-7315-0833-5. Search in Google Scholar

11. Steven Verstockt. Multi-modal Video Analysis for Early Fire Detection. Dissertation, Universiteit Gent, Gent, 14.12.2011. Search in Google Scholar

12. Khan Muhammad, Jamil Ahmad, Zhihan Lv, Paolo Bellavista, Po Yang, and Sung Wook Baik. Efficient Deep CNN-Based Fire Detection and Localization in Video Surveillance Applications. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 49 (7): 1419–1434, 2019. 10.1109/TSMC.2018.2830099. Search in Google Scholar

13. Forrest N. Iandola, Song Han, Matthew W. Moskewicz, Khalid Ashraf, William J. Dally, and Kurt Keutzer. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size. arXiv preprint arXiv:1602.07360, 2016. Search in Google Scholar

14. Pu Li and Wangda Zhao. Image fire detection algorithms based on convolutional neural networks. Case Studies in Thermal Engineering, 19: 100625, 2020. 10.1016/j.csite.2020.100625. Search in Google Scholar

15. Joseph Redmon and Ali Farhadi. YOLOv3: An Incremental Improvement, 2019. Search in Google Scholar

16. Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, 2015. Search in Google Scholar

17. Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, and Alexander C. Berg. SSD: Single Shot MultiBox Detector, 2016. Search in Google Scholar

18. Jifeng Dai, Yi Li, Kaiming He, and Jian Sun. R-FCN: Object Detection via Region-based Fully Convolutional Networks, 2016. URL https://arxiv.org/pdf/1605.06409. Search in Google Scholar

19. Liang-Chieh Chen, George Papandreou, Florian Schroff, and Hartwig Adam. Rethinking Atrous Convolution for Semantic Image Segmentation, 2017. Search in Google Scholar

20. Jozef Mlích, Karel Koplík, Michal Hradiš, and Pavel Zemčík. Fire Segmentation in Still Images. In Jacques Blanc-Talon, Patrice Delmas, Wilfried Philips, Dan Popescu, and Paul Scheunders, editors, Advanced Concepts for Intelligent Vision Systems, volume 12002 of Lecture Notes in Computer Science, pages 27–37. Springer International Publishing, 2020. 10.1007/978-3-030-40605-9_3. Search in Google Scholar

21. Waqar S. Qureshi, Mongkol Ekpanyapong, Matthew N. Dailey, Suchet Rinsurongkawong, Anton Malenichev, and Olga Krasotkina. QuickBlaze: Early Fire Detection Using a Combined Video Processing Approach. Fire Technology, 52 (5): 1293–1317, 2016. ISSN 0015-2684. 10.1007/s10694-015-0489-7. Search in Google Scholar

22. Mirela T. Cazzolato, Letricia P. S. Avalhais, Daniel Y. T. Chino, Jonathan S. Ramos, Jessica A. de Souza, Jose F. Rodrigues-Jr, and A. J. Traina. Fismo: A compilation of datasets from emergency situations for fire and smoke analysis. Proc. Satell. events, 2017. Search in Google Scholar

23. Rosario Di Lascio, Antonio Greco, Alessia Saggese, and Mario Vento. Improving Fire Detection Reliability by a Combination of Videoanalytics. In Aurélio Campilho and Mohamed Kamel, editors, Image analysis and recognition, volume 8814 of Lecture Notes in Computer Science, pages 477–484. Springer, Cham, 2014. ISBN 978-3-319-11757-7. 10.1007/978-3-319-11758-4_52. Search in Google Scholar

24. Christopher D. Elvidge, Mikhail Zhizhin, Feng-Chi Hsu, Kimberly Baugh, M. Rokhis Khomarudin, Yenni Vetrita, Parwati Sofan, Suwarsono, and Dadang Hilman. Long-wave infrared identification of smoldering peat fires in Indonesia with nighttime Landsat data. Environmental Research Letters, 10 (6), 2015. 10.1088/1748-9326/10/6/065002. Search in Google Scholar

25. April M. Salazar and Erees Queen B. Macabebe. Hotspots Detection in Photovoltaic Modules Using Infrared Thermography. MATEC Web of Conferences, 70, 2016. 10.1051/matecconf/20167010015. Search in Google Scholar

26. V. Fierro, J. L Miranda, C. Romero, J. M Andrés, A. Pierrot, E. Gómez-Landesa, A. Arriaga, and D. Schmal. Use of infrared thermography for the evaluation of heat losses during coal storage. Fuel Processing Technology, 60 (3): 213–229, 1999. 10.1016/S0378-3820(99)00044-2. Search in Google Scholar

27. Joshua McNeil. Autonomous Fire Suppression Using Feedback Control for a Firefighting Robot. Dissertation, Virginia Polytechnic Institute and State University, Blacksburg, 14.12.2015. Search in Google Scholar

28. Cristiano Rafael Steffens, Ricardo Nagel Rodrigues, and Silvia Silva da Costa Botelho. Non-stationary VFD Evaluation Kit: Dataset and Metrics to Fuel Video-Based Fire Detection Development. In Fernando Santos Osório and Rogério Sales Gonçalves, editors, Robotics, volume 619 of Communications in Computer and Information Science, pages 135–151. Springer International Publishing, Cham, 2016. 10.1007/978-3-319-47247-8_9. Search in Google Scholar

29. Kurt Klingsohr. Verbrennen und Löschen, volume 1 of Die roten Hefte. Kohlhammer, Stuttgart and Berlin and Köln, 17., überarb. aufl. edition, 2002. ISBN 3170169939. Search in Google Scholar

Erhalten: 2021-02-12
Angenommen: 2021-04-12
Online erschienen: 2021-05-05
Erschienen im Druck: 2021-06-26

© 2021 Walter de Gruyter GmbH, Berlin/Boston