Lernen übertragen

Transferlernen ist eine Technik des maschinellen Lernens (ML), bei der ein für eine bestimmte Aufgabe entwickeltes Modell als Ausgangspunkt für ein Modell für eine zweite, verwandte Aufgabe wiederverwendet wird. Anstatt ein Modell von Grund auf neu zu erstellen, was erhebliche Daten- und Rechenressourcen erfordert, wird beim Transfer-Lernen das Wissen (Merkmale, Muster und Gewichte), das aus einer Ausgangsaufgabe gelernt wurde, genutzt, um das Lernen für eine Zielaufgabe zu verbessern. Dieser Ansatz ist besonders vorteilhaft, wenn die Zielaufgabe nur über begrenzte beschriftete Daten verfügt. Er beschleunigt den Trainingsprozess erheblich und führt oft zu einer besseren Leistung im Vergleich zum Training nur mit dem Zieldatensatz.

Wie Transferlernen funktioniert

Der Kerngedanke hinter dem Transferlernen ist, dass ein Modell, das auf einem großen und allgemeinen Datensatz trainiert wurde, wie ImageNet für Bildaufgaben oder einem umfangreichen Textkorpus für die Verarbeitung natürlicher Sprache (NLP), allgemeine Merkmale lernt, die für viele andere verwandte Aufgaben nützlich sind. In der Computer Vision (CV) beispielsweise können die ersten Schichten eines Convolutional Neural Network (CNN) lernen, Kanten, Texturen und einfache Formen zu erkennen, die grundlegende visuelle Elemente sind, die bei verschiedenen Problemen der Bilderkennung eingesetzt werden.

Bei der Anwendung des Transfer-Lernens beginnt man in der Regel mit einem vortrainierten Modell. Abhängig von der Ähnlichkeit zwischen den Quell- und Zielaufgaben und der Größe des Zieldatensatzes, können Sie:

1. Verwenden Sie das vorab trainierte Modell als Merkmalsextraktor: Frieren Sie die Gewichte der anfänglichen Schichten (das Rückgrat) ein und trainieren Sie nur die endgültigen Klassifizierungs- oder Erkennungsschichten mit dem neuen Datensatz. Dies ist üblich, wenn der Zieldatensatz klein ist. Ein Beispiel ist die Verwendung von YOLOv5 durch Einfrieren von Schichten.
2. Feinabstimmung des vortrainierten Modells: Heben Sie das Einfrieren einiger oder aller vortrainierten Schichten auf und setzen Sie das Training mit dem neuen Datensatz fort, in der Regel mit einer niedrigeren Lernrate. Dadurch kann das Modell die gelernten Merkmale spezifischer an die Feinheiten der Zielaufgabe anpassen. Dies ist eine gängige Strategie, wenn der Zieldatensatz größer ist. Die Feinabstimmung wird oft als eine spezielle Art des Transferlernens betrachtet.

Transfer Learning vs. Verwandte Konzepte

• Feinabstimmung: Obwohl eng verwandt und in manchen Kontexten oft austauschbar verwendet, bezieht sich die Feinabstimmung speziell auf den Prozess des Einfrierens und des weiteren Trainings der Gewichte eines vortrainierten Modells für eine neue Aufgabe. Es ist eine gängige Methode, die im Rahmen der umfassenderen Strategie des Transferlernens eingesetzt wird.
• Training von Grund auf: Dabei werden die Modellgewichte nach dem Zufallsprinzip initialisiert und das gesamte Modell ausschließlich mit dem Zieldatensatz trainiert. Dies erfordert eine große Menge an Daten und Rechenleistung, die durch das Transferlernen verringert werden soll.
• Zero-Shot Learning & Few-Shot Learning: Diese Techniken zielen darauf ab, Modelle in die Lage zu versetzen, Aufgaben mit sehr wenigen oder gar keinen Beispielen aus den Zielklassen zu erfüllen. Dabei wird das beim Vortraining gelernte Wissen oft auf komplexere Weise genutzt als beim Standard-Transfer-Lernen oder der Feinabstimmung. Modelle wie CLIP sind Beispiele, die in solchen Szenarien eingesetzt werden.

Anwendungen in der realen Welt

Transferlernen wird in vielen Bereichen eingesetzt:

• Computer Vision:
  • Objekt-Erkennung: Verwendung eines Modells, das zuvor auf einem großen Datensatz wie COCO trainiert wurde, und Feinabstimmung, um bestimmte Objekte zu erkennen, die im ursprünglichen Datensatz nicht vorhanden oder nicht gut vertreten sind, z. B. bestimmte Arten von Defekten in der KI in der Fertigung oder bestimmte Arten in der KI in der Wildtiererhaltung.
  • Medizinische Bildanalyse: Anpassung von Modellen, die auf allgemeinen Bildern trainiert wurden, um Anomalien wie Hirntumore oder andere Zustände in Röntgenbildern, CT-Scans oder MRTs zu erkennen, wo beschriftete medizinische Daten knapp sein könnten. Zum Beispiel die Verwendung von Ultralytics YOLO-Modellen für die Tumorerkennung.
  • Bildsegmentierung: Feinabstimmung von Modellen zur Segmentierung bestimmter Objekte wie Pflanzen oder Unkraut in der KI in der Landwirtschaft.
• Verarbeitung natürlicher Sprache (NLP):
  • Stimmungsanalyse: Feinabstimmung großer Sprachmodelle wie BERT oder GPT, die auf großen Mengen von Textdaten vortrainiert wurden, um die Stimmung bestimmter Textarten zu klassifizieren (z. B. Produktbewertungen, Beiträge in sozialen Medien). Hugging Face Transformers bietet viele solcher vortrainierten Modelle.
  • Erkennung von benannten Entitäten (NER): Anpassung von vorab trainierten Sprachmodellen zur Identifizierung bestimmter Entitäten (wie Namen, Orte, Organisationen) in domänenspezifischen Texten (z. B. juristische Dokumente, medizinische Aufzeichnungen).
  • Chatbots: Verwendung von vortrainierten Sprachmodellen als Grundlage für den Aufbau von Konversationsagenten, die in der Lage sind, Benutzeranfragen in bestimmten Bereichen zu verstehen und zu beantworten.

Tools und Rahmenwerke

Plattformen wie Ultralytics HUB vereinfachen den Prozess der Anwendung von Transfer Learning durch die Bereitstellung von vortrainierten Modellen (wie Ultralytics YOLOv8 und YOLO11) und Tools für einfaches benutzerdefiniertes Training auf benutzerspezifischen Datensätzen. Frameworks wie PyTorch und TensorFlow bieten ebenfalls umfangreiche Unterstützung und Tutorials für die Implementierung von Transfer-Learning-Workflows. Für ein tieferes theoretisches Verständnis bieten Ressourcen wie der Stanford CS231n Überblick über Transfer Learning oder akademische Umfragen wie"A Survey on Deep Transfer Learning" wertvolle Einblicke.