Wenn Sie auf "Alle Cookies akzeptieren" klicken, stimmen Sie der Speicherung von Cookies auf Ihrem Gerät zu, um die Navigation auf der Website zu verbessern, die Nutzung der Website zu analysieren und unsere Marketingaktivitäten zu unterstützen. Mehr Infos
Cookie-Einstellungen
Wenn Sie auf "Alle Cookies akzeptieren" klicken, stimmen Sie der Speicherung von Cookies auf Ihrem Gerät zu, um die Navigation auf der Website zu verbessern, die Nutzung der Website zu analysieren und unsere Marketingaktivitäten zu unterstützen. Mehr Infos
Erfahren Sie, wie Sie Ultralytics YOLO11 einem Benchmarking unterziehen, die Leistung verschiedener Geräte vergleichen und verschiedene Exportformate zur Optimierung von Geschwindigkeit, Genauigkeit und Effizienz untersuchen können.
Bei der wachsenden Zahl der heute verfügbaren KI-Modelle ist die Auswahl des am besten geeigneten Modells für Ihre spezifische KI-Anwendung von entscheidender Bedeutung, um genaue und zuverlässige Ergebnisse zu erzielen. Jedes Modell unterscheidet sich in Bezug auf Geschwindigkeit, Genauigkeit und Gesamtleistung. Wie kann man also feststellen, welches Modell für eine bestimmte Aufgabe am besten geeignet ist? Dies ist besonders wichtig für Echtzeitsysteme wie autonome Fahrzeuge, Sicherheitslösungen und Robotik, bei denen eine schnelle und zuverlässige Entscheidungsfindung entscheidend ist.
Benchmarking hilft bei der Beantwortung dieser Frage, indem ein Modell unter verschiedenen Bedingungen bewertet wird. Es gibt Aufschluss darüber, wie gut das Modell unter verschiedenen Hardwarekonfigurationen funktioniert und ermöglicht so eine fundierte Entscheidungsfindung.
Ultralytics YOLO11 zum Beispiel ist ein Computer-Vision-Modell, das verschiedene Aufgaben der visuellen Datenanalyse wie Objekterkennung und Instanzsegmentierung unterstützt. Um seine Fähigkeiten vollständig zu verstehen, können Sie seine Leistung in verschiedenen Konfigurationen testen, um zu sehen, wie es mit realen Szenarien umgeht.
In diesem Artikel erfahren Sie, wie Sie Ultralytics YOLO-Modelle wie YOLO11 einem Benchmarking unterziehen, ihre Leistung auf verschiedenen Geräten vergleichen und sehen, wie sich verschiedene Exportformate auf ihre Geschwindigkeit und Effizienz auswirken. Legen wir los!
Was ist Modell-Benchmarking?
Wenn Sie ein KI-Modell von Vision in einer realen Anwendung einsetzen wollen, wie können Sie feststellen, ob es schnell, genau und zuverlässig genug sein wird? Ein Benchmarking des Modells kann Aufschluss über diese Frage geben. Beim Modell-Benchmarking werden verschiedene KI-Modelle getestet und verglichen, um herauszufinden, welches Modell am besten abschneidet.
Dazu gehört die Festlegung einer Vergleichsgrundlage, die Auswahl der richtigen Leistungskennzahlen (wie Genauigkeit oder Geschwindigkeit) und das Testen aller Modelle unter den gleichen Bedingungen. Anhand der Ergebnisse lassen sich die Stärken und Schwächen der einzelnen Modelle ermitteln, so dass Sie leichter entscheiden können, welches Modell für Ihre spezifische KI-Lösung am besten geeignet ist. Insbesondere ein Benchmark-Datensatz wird häufig verwendet, um faire Vergleiche anzustellen und zu bewerten, wie gut ein Modell in verschiedenen realen Szenarien abschneidet.
Abbildung 1. Warum Benchmarking von Computer Vision Modellen? Bild vom Autor.
Ein klares Beispiel dafür, warum Benchmarking so wichtig ist, sind Echtzeitanwendungen wie Überwachung oder Robotik, bei denen schon geringe Verzögerungen die Entscheidungsfindung beeinflussen können. Das Benchmarking hilft bei der Beurteilung, ob ein Modell Bilder schnell verarbeiten kann und dennoch zuverlässige Vorhersagen liefert.
Es spielt auch eine wichtige Rolle bei der Identifizierung von Leistungsengpässen. Wenn ein Modell langsam läuft oder zu viele Ressourcen verbraucht, kann das Benchmarking aufzeigen, ob das Problem auf Hardwarebeschränkungen, Modellkonfigurationen oder Exportformate zurückzuführen ist. Diese Erkenntnisse sind entscheidend für die Auswahl der effektivsten Konfiguration.
Modell-Benchmarking im Vergleich zur Modellbewertung und -prüfung
Modell-Benchmarking, -Evaluierung und -Test sind gängige KI-Begriffe, die zusammen verwendet werden. Obwohl sie ähnlich sind, sind sie nicht dasselbe und haben unterschiedliche Funktionen. Beim Testen von Modellen wird geprüft, wie gut ein einzelnes Modell funktioniert, indem es auf einem Testdatensatz ausgeführt wird und Faktoren wie Genauigkeit und Geschwindigkeit gemessen werden. Die Modellevaluierung hingegen geht einen Schritt weiter, indem sie die Ergebnisse analysiert, um die Stärken und Schwächen des Modells zu verstehen und zu ermitteln, wie gut es in realen Situationen funktioniert. Beide konzentrieren sich jeweils nur auf ein Modell.
Beim Modell-Benchmarking hingegen werden mehrere Modelle anhand derselben Tests und Datensätze nebeneinander verglichen. Es hilft herauszufinden, welches Modell für eine bestimmte Aufgabe am besten geeignet ist, indem es die Unterschiede in Bezug auf Genauigkeit, Geschwindigkeit und Effizienz zwischen den Modellen hervorhebt. Während sich Tests und Bewertungen auf ein einzelnes Modell konzentrieren, hilft das Benchmarking bei der Auswahl des richtigen (oder besten) Modells, indem es verschiedene Optionen fair vergleicht.
Abbildung 2. Der Unterschied zwischen Modell-Benchmarking und Bewertung und Prüfung. Bild vom Autor.
Ein Überblick über Ultralytics YOLO11
Ultralytics YOLO11 ist ein zuverlässiges Bildverarbeitungsmodell, das für die präzise Ausführung verschiedener Bildverarbeitungsaufgaben konzipiert ist. Es verbessert frühere Versionen des YOLO-Modells und ist vollgepackt mit Funktionen, die bei der Lösung realer Probleme helfen können. So kann es beispielsweise zur Erkennung von Objekten, zur Klassifizierung von Bildern, zur Segmentierung von Regionen, zur Verfolgung von Bewegungen und vielem mehr verwendet werden. Außerdem kann es in vielen Branchen eingesetzt werden, von der Sicherheit bis zur Automatisierung und Analyse.
Abb. 3. Ein Beispiel für die Verwendung von YOLO11 zur Segmentierung von Personen in einem Bild.
Einer der Hauptvorteile von Ultralytics YOLO11 ist seine Benutzerfreundlichkeit. Mit nur wenigen Codezeilen kann es jeder in seine KI-Projekte integrieren, ohne sich mit komplizierten Setups oder fortgeschrittenem technischem Know-how auseinandersetzen zu müssen.
Sie funktioniert auch reibungslos auf unterschiedlicher Hardware und läuft effizient auf CPUs (Central Processing Units), GPUs (Graphics Processing Units) und anderen spezialisierten KI-Beschleunigern. Egal, ob sie auf Edge-Geräten oder Cloud-Servern eingesetzt wird, sie liefert eine starke Leistung.
YOLO11 ist in verschiedenen Modellgrößen erhältlich, die jeweils für unterschiedliche Aufgaben optimiert sind. Mit Hilfe von Benchmarking lässt sich feststellen, welche Version am besten zu Ihren spezifischen Anforderungen passt. Eine wichtige Erkenntnis aus dem Benchmarking ist zum Beispiel, dass kleinere Modelle, wie Nano oder Small, tendenziell schneller laufen, aber möglicherweise Abstriche bei der Genauigkeit machen.
Wie man YOLO-Modelle wie YOLO11 vergleicht
Nachdem wir nun verstanden haben, was Benchmarking ist und wie wichtig es ist. Gehen wir nun durch, wie Sie YOLO-Modelle wie YOLO11 benchmarken und ihre Effizienz bewerten können, um wertvolle Erkenntnisse zu gewinnen.
Um loszulegen, können Sie das Ultralytics-Python-Paket installieren, indem Sie den folgenden Befehl in Ihrem Terminal oder Ihrer Eingabeaufforderung ausführen: "pip install ultralytics". Wenn Sie während der Installation auf Probleme stoßen, finden Sie in unserem Leitfaden für häufige Probleme Tipps zur Fehlerbehebung.
Sobald das Paket installiert ist, können Sie YOLO11 mit nur ein paar Zeilen Python-Code testen:
from ultralytics.utils.benchmarks import benchmark
# Benchmark on GPUbenchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, half=False, device=0)
Wenn Sie den oben gezeigten Code ausführen, wird berechnet, wie schnell das Modell Bilder verarbeitet, wie viele Bilder es in einer Sekunde verarbeiten kann und wie genau es Objekte erkennt.
Die Erwähnung von "coco8.yaml" im Code bezieht sich auf eine Dataset-Konfigurationsdatei, die auf dem COCO8-Datensatz (Common Objects in Context) basiert - einer kleinen Beispielversion des vollständigen COCO-Datensatzes, die häufig für Tests und Experimente verwendet wird.
Wenn Sie YOLO11 für eine bestimmte Anwendung testen, wie z.B. Verkehrsüberwachung oder medizinische Bildgebung, wird die Verwendung eines relevanten Datensatzes (z.B. eines Verkehrsdatensatzes oder eines medizinischen Datensatzes) genauere Erkenntnisse liefern. Das Benchmarking mit COCO liefert eine allgemeine Vorstellung von der Leistung, aber die besten Ergebnisse erzielen Sie, wenn Sie einen Datensatz wählen, der Ihrem tatsächlichen Anwendungsfall entspricht.
Verständnis der YOLO11-Benchmarking-Ergebnisse
Nach dem YOLO11-Benchmarking besteht der nächste Schritt darin, die Ergebnisse zu interpretieren. Nachdem Sie den Benchmark durchgeführt haben, sehen Sie verschiedene Zahlen in den Ergebnissen. Diese Kennzahlen helfen bei der Bewertung, wie gut YOLO11 in Bezug auf Genauigkeit und Geschwindigkeit abschneidet.
Hier sind einige bemerkenswerte YOLO11-Benchmarking-Kennzahlen, auf die Sie achten sollten:
mAP50-95: Er misst die Genauigkeit der Objekterkennung. Ein höherer Wert bedeutet, dass das Modell Objekte besser erkennen kann.
accuracy_top5: Dieser Wert wird häufig für Klassifizierungsaufgaben verwendet. Sie zeigt an, wie oft die richtige Bezeichnung in den fünf besten Vorhersagen erscheint.
Inferenzzeit: Die für die Verarbeitung eines einzelnen Bildes benötigte Zeit, gemessen in Millisekunden. Niedrigere Werte bedeuten eine schnellere Verarbeitung.
Abbildung 4. Ein Diagramm, das die Benchmark-Leistung von YOLO11 zeigt.
Andere Faktoren, die beim Benchmarking von YOLO11 zu berücksichtigen sind
Ein Blick auf die Benchmark-Ergebnisse allein sagt nur einen Teil der Wahrheit. Um ein besseres Verständnis der Leistung zu bekommen, ist es hilfreich, verschiedene Einstellungen und Hardware-Optionen zu vergleichen. Hier sind ein paar wichtige Dinge, die Sie beachten sollten:
GPU vs. CPU: GPUs können Bilder viel schneller verarbeiten als CPUs. Durch Benchmarking können Sie feststellen, ob eine CPU für Ihre Bedürfnisse schnell genug ist oder ob Sie von einem Grafikprozessor profitieren.
Genauigkeitseinstellungen (FP32, FP16, INT8): Diese steuern, wie das Modell mit Zahlen umgeht. Eine geringere Genauigkeit (wie FP16 oder INT8) lässt das Modell schneller laufen und verbraucht weniger Speicher, kann aber die Genauigkeit etwas verringern.
Formate exportieren: Wenn Sie das Modell in ein Format wie TensorRT konvertieren, kann es auf bestimmter Hardware viel schneller laufen. Dies ist nützlich, wenn Sie die Geschwindigkeit auf bestimmten Geräten optimieren wollen.
Wie man YOLO11 auf unterschiedlicher Hardware testet
Mit dem Ultralytics-Python-Paket können Sie YOLO11-Modelle in verschiedene Formate konvertieren, die auf bestimmter Hardware effizienter laufen und sowohl die Geschwindigkeit als auch die Speichernutzung verbessern. Jedes Exportformat ist für verschiedene Geräte optimiert.
Einerseits kann das ONNX-Format die Leistung in verschiedenen Umgebungen beschleunigen. Andererseits verbessert OpenVINO die Effizienz auf Intel-Hardware, und Formate wie CoreML oder TF SavedModel sind ideal für Apple-Geräte und mobile Anwendungen.
Schauen wir uns an, wie man YOLO11 in einem bestimmten Format benchmarken kann. Der folgende Code testet YOLO11 im ONNX-Format, das für die Ausführung von KI-Modellen sowohl auf CPUs als auch auf GPUs weit verbreitet ist.
from ultralytics.utils.benchmarks import benchmark
# Benchmark a specific export format (e.g., ONNX) benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, format="onnx")
Abgesehen von den Benchmarking-Ergebnissen hängt die Wahl des richtigen Formats von den Spezifikationen Ihres Systems und den Einsatzanforderungen ab. Zum Beispiel brauchen selbstfahrende Autos eine schnelle Objekterkennung. Wenn Sie planen, NVIDIA-GPUs zur Beschleunigung der Leistung zu verwenden, ist das TensorRT-Format die ideale Wahl für die Ausführung von YOLO11 auf einem NVIDIA-GPU.
Abb. 5. Einsatz von YOLO11 zur Objekterkennung in selbstfahrenden Autos.
Die wichtigsten Erkenntnisse
Das Ultralytics-Python-Paket erleichtert das Benchmarking von YOLO11, indem es einfache Befehle bereitstellt, die Leistungstests für Sie durchführen können. Mit nur wenigen Schritten können Sie sehen, wie sich verschiedene Konfigurationen auf die Geschwindigkeit und Genauigkeit von Modellen auswirken, so dass Sie fundierte Entscheidungen treffen können, ohne tiefgreifende technische Kenntnisse zu benötigen.
Die richtige Hardware und die richtigen Einstellungen können ebenfalls einen großen Unterschied ausmachen. Durch die Anpassung von Parametern wie der Modellgröße und dem Datensatz können Sie YOLO11 auf die beste Leistung abstimmen, egal ob Sie es auf einem High-End-Grafikprozessor oder lokal auf einem Edge-Gerät ausführen.