Semantische Segmentierung

Die semantische Segmentierung ist eine grundlegende Aufgabe in der Computer Vision (CV), bei der es darum geht, jedem einzelnen Pixel eines Bildes eine spezifische Klassenbezeichnung zuzuweisen. Im Gegensatz zu anderen Bildverarbeitungsaufgaben, bei denen Objekte identifiziert oder das gesamte Bild klassifiziert wird, liefert die semantische Segmentierung ein dichtes, pixelgenaues Verständnis des Bildinhalts. Das bedeutet, dass nicht nur erkannt wird , dass ein Auto vorhanden ist, sondern auch genau umrissen wird , welche Pixel zur Kategorie Auto gehören, und sie von den Pixeln unterschieden werden, die zur Straße, zum Himmel oder zu den Fußgängern gehören. Ziel ist es, ein Bild in aussagekräftige Regionen aufzuteilen, die verschiedenen Objektkategorien entsprechen, und so ein umfassendes Verständnis der visuellen Umgebung zu vermitteln.

Wie funktioniert die semantische Segmentierung?

Das Hauptziel der semantischen Segmentierung besteht darin, jedes Pixel eines Bildes in eine vordefinierte Gruppe von Kategorien einzuordnen. In einem Bild mit mehreren Autos, Fußgängern und Bäumen würde ein semantisches Segmentierungsmodell beispielsweise alle Pixel eines Autos als "Auto", alle Pixel eines Fußgängers als "Fußgänger" und alle Pixel eines Baums als "Baum" bezeichnen. Es behandelt alle Instanzen der gleichen Objektklasse identisch.

Die moderne semantische Segmentierung stützt sich stark auf Deep Learning, insbesondere auf Convolutional Neural Networks (CNNs). Diese Modelle werden in der Regel mit überwachten Lerntechniken trainiert und erfordern große Datensätze mit detaillierten Anmerkungen auf Pixelebene. Bei diesem Prozess wird ein Bild in das Netzwerk eingespeist, das dann eine Segmentierungskarte ausgibt. Bei dieser Karte handelt es sich im Wesentlichen um ein Bild, bei dem der Wert jedes Pixels (häufig in Form einer Farbe) der vorhergesagten Klassenbezeichnung entspricht, wodurch verschiedene Kategorien wie "Straße", "Gebäude", "Person" usw. visuell voneinander getrennt werden. Die Qualität der Datenbeschriftung ist entscheidend für die Ausbildung genauer Modelle.

Hauptunterschiede zu anderen Segmentierungsaufgaben

Es ist wichtig, die semantische Segmentierung von verwandten Computer-Vision-Aufgaben zu unterscheiden:

• Bild-Klassifizierung: Weist dem gesamten Bild eine einzige Bezeichnung zu (z. B. "dieses Bild enthält eine Katze"). Es werden keine Objekte lokalisiert oder umrissen.
• Objekt-Erkennung: Identifiziert und lokalisiert Objekte mithilfe von Begrenzungsrahmen. Sie sagt Ihnen, wo sich Objekte befinden, gibt aber nicht ihre genaue Form auf Pixelebene an.
• Instanz-Segmentierung: Geht einen Schritt weiter als die semantische Segmentierung, indem nicht nur jedes Pixel klassifiziert wird, sondern auch zwischen verschiedenen Instanzen derselben Objektklasse unterschieden wird. So würde beispielsweise jedem einzelnen Auto in der Szene eine eindeutige ID und Maske zugewiesen. Weitere Einzelheiten finden Sie in diesem Leitfaden zum Vergleich von Instanz- und semantischer Segmentierung.
• Panoptische Segmentierung: Kombiniert semantische und instanzielle Segmentierung und liefert sowohl eine Kategoriebezeichnung für jedes Pixel als auch eindeutige Instanz-IDs für zählbare Objekte ("Dinge"), während nicht zählbare Hintergrundregionen ("Zeug") wie Himmel oder Straße gruppiert werden.

Anwendungen in der realen Welt

Das detaillierte Verständnis der Szene, das die semantische Segmentierung ermöglicht, ist für viele reale Anwendungen entscheidend:

• Autonomes Fahren: Selbstfahrende Autos nutzen semantische Segmentierung, um ihre Umgebung genau zu verstehen. Durch die Klassifizierung von Pixeln, die zu Straßen, Fahrbahnen, Gehwegen, Fußgängern, anderen Fahrzeugen und Hindernissen gehören, kann das autonome Fahrsystem sicherere Navigationsentscheidungen treffen. Dies ist eine Schlüsselkomponente der KI für Automobillösungen.
• Medizinische Bildanalyse: Im Gesundheitswesen hilft die semantische Segmentierung bei der Analyse medizinischer Scans wie MRTs oder CTs. Sie kann automatisch Organe abgrenzen, Tumore oder Läsionen identifizieren und messen und Anomalien mit pixelgenauer Genauigkeit hervorheben. Die YOLO-Modelle von Ultralytics können beispielsweise zur Tumorerkennung eingesetzt werden und unterstützen Radiologen bei der Diagnose und Behandlungsplanung auf der Grundlage detaillierter medizinischer Bildgebungsverfahren.
• Analyse von Satellitenbildern: Wird für die Klassifizierung der Bodenbedeckung, die Überwachung der Entwaldung, die Stadtplanung und landwirtschaftliche Anwendungen verwendet. Sie kann auf Satellitenfotos zwischen Wäldern, Gewässern, Feldern und bebauten Gebieten unterscheiden, wie die Beispiele des NASA Earth Observatory zeigen. Erfahren Sie mehr über den Einsatz von Computer Vision zur Analyse von Satellitenbildern.
• Robotik: Ermöglicht es Robotern, ihre Umgebung besser wahrzunehmen und mit ihr zu interagieren, indem sie die Anordnung und die Objekte innerhalb einer Szene verstehen. Erfahren Sie mehr über die Integration von Computer Vision in die Robotik.

Modelle und Werkzeuge

Bei der semantischen Segmentierung werden häufig Deep-Learning-Modelle eingesetzt, insbesondere Architekturen, die von CNNs abgeleitet sind.

• Architekturen: Zu den beliebten frühen Architekturen gehören Fully Convolutional Networks (FCN), bei denen vollständig verbundene Schichten in Klassifizierungsnetzen durch Faltungsschichten ersetzt wurden, um räumliche Karten auszugeben, und U-Net, das eine Encoder-Decoder-Struktur mit Skip-Verbindungen verwendet, die besonders effektiv für die biomedizinische Bildsegmentierung ist.
• Moderne Modelle: Hochmoderne Modelle wie Ultralytics YOLOv8 und das neueste YOLO11 bieten ebenfalls leistungsstarke Funktionen für verschiedene Segmentierungsaufgaben und sorgen für ein ausgewogenes Verhältnis zwischen Geschwindigkeit und Genauigkeit.
• Schulungsplattformen: Tools wie Ultralytics HUB bieten Plattformen zur Verwaltung von Datensätzen wie dem weit verbreiteten COCO-Segmentierungsdatensatz, zum Trainieren benutzerdefinierter Modelle und zur Erkundung von Modellbereitstellungsoptionen.
• Rahmenwerke: Bei der Entwicklung werden häufig Frameworks wie PyTorch und TensorFlow eingesetzt. Techniken wie Datenerweiterung werden häufig verwendet, um die Robustheit der Modelle zu verbessern.