Bestärkendes Lernen in Computer-Vision-Projekten nutzen

Künstliche Intelligenz (AI) lässt sich einfach als ein Fachgebiet erklären, das sich damit befasst, menschliches Denken und Lernen nachzubilden. Daher stammt die Idee der Lernmethoden in der KI: Verschiedene Verfahren ermöglichen es Maschinen, ihre Leistung mit der Zeit zu verbessern – ähnlich wie Menschen.

Zuvor haben wir wichtige Lernmethoden der KI behandelt, darunter überwachtes und unüberwachtes Lernen, bestärkendes Lernen und Transferlernen. Außerdem haben wir erläutert, welche wichtige Rolle die einzelnen Methoden dabei spielen, KI-Modellen die Verarbeitung von Informationen und das Treffen von Entscheidungen zu ermöglichen.

Heute werfen wir einen genaueren Blick auf bestärkendes Lernen, eine Technik, mit der KI-Systeme durch Erfahrung lernen, indem sie mit einer Umgebung interagieren und sich anhand von Rückmeldungen verbessern. Konkret untersuchen wir, wie sich bestärkendes Lernen auf Computer Vision anwenden lässt – also auf Anwendungen und Systeme, mit denen Maschinen visuelle Informationen aus der Welt interpretieren und verstehen können.

Die Verbindung von Konzepten wie bestärkendem Lernen und Computer Vision eröffnet spannende neue Möglichkeiten und ist ein aktives Forschungsgebiet. Sie ermöglicht KI-Systemen, Gesehenes zu erkennen und auf Grundlage dieser visuellen Informationen fundierte Entscheidungen zu treffen.

Was ist bestärkendes Lernen?#

Beim bestärkenden Lernen lernt ein KI-Agent durch Handlungen und Rückmeldungen in Form von Belohnungen oder Strafen. Ziel ist es herauszufinden, welche Handlungen im Laufe der Zeit zu den besten Ergebnissen führen.

Du kannst dir bestärkendes Lernen wie das Training eines Hundes vorstellen. Setzt sich der Hund auf Kommando hin, bekommt er ein Leckerli. Nach einer Weile lernt er, dass das Hinsetzen zu einer Belohnung führt. Beim bestärkenden Lernen ist der KI-Agent oder das Modell wie der Hund, die Umgebung ist die Welt um ihn herum und die Belohnung hilft ihm zu verstehen, ob er die richtige Handlung ausgeführt hat.

Das unterscheidet sich vom überwachten Lernen, bei dem dem KI-Modell viele Beispiele mit den richtigen Antworten gezeigt werden. So könnte dem Modell etwa ein Bild eines Hundes gezeigt und gesagt werden: „Das ist ein Hund.“

Bestärkendes Lernen dagegen stützt sich nicht auf gekennzeichnete Daten. Stattdessen lernt das System, indem es verschiedene Handlungen ausprobiert und aus den Ergebnissen lernt – ähnlich wie beim Spielen eines Spiels, bei dem du herausfindest, welche Züge zum Sieg führen.

Abb. 1. Bestärkendes Lernen im Vergleich zu überwachtem Lernen.

Bestärkendes Lernen ist entscheidend für Aufgaben, bei denen Entscheidungen Schritt für Schritt getroffen werden und jede Wahl den weiteren Verlauf beeinflusst. Diese Lernmethode kommt in Strategiespielen Video zum Einsatz, um das Spielerlebnis anspruchsvoller und fesselnder zu gestalten.

Wie bestärkendes Lernen in KI-Lösungen funktioniert#

Denk daran, wie du Fahrradfahren lernst. Am Anfang fällst du vielleicht hin. Mit etwas Übung findest du jedoch heraus, wie du das Gleichgewicht hältst. Je mehr du fährst, desto besser wirst du. Du lernst durch Ausprobieren und nicht nur dadurch, dass man dir sagt, was du tun sollst.

Bestärkendes Lernen funktioniert bei KI ähnlich. Es lernt durch Erfahrung: indem es verschiedene Aktionen ausprobiert, beobachtet, was geschieht, und seine Fähigkeit, mit der Zeit die richtigen Entscheidungen zu treffen, schrittweise verbessert.

Abb. 2. So funktioniert bestärkendes Lernen.

Hier ein Überblick über einige der wichtigsten Bestandteile des bestärkenden Lernens:

• Agent: Der Agent ist der Lernende oder Entscheidungsträger. Er interagiert mit der Umgebung, indem er Aktionen ausführt, und verfolgt dabei ein bestimmtes Ziel.
• Umgebung: Die Umgebung umfasst alles, womit der Agent interagiert. Sie verändert sich als Reaktion auf die Aktionen des Agenten und gibt Rückmeldung zu deren Ergebnissen.
• Zustand: Ein Zustand bildet eine Momentaufnahme der aktuellen Situation in der Umgebung ab. Der Agent beobachtet den Zustand, um seine Umgebung zu verstehen und die nächste Aktion zu bestimmen.
• Aktion: Eine Aktion ist eine Bewegung oder Entscheidung des Agenten, die sich auf die Umgebung auswirkt. Jede Aktion führt zu einem neuen Zustand und kann zukünftige Belohnungen beeinflussen.
• Belohnung: Eine Belohnung ist eine Rückmeldung aus der Umgebung, die dem Agenten mitteilt, ob seine Aktion nützlich war. Positive Belohnungen ermutigen den Agenten, gute Aktionen zu wiederholen, während negative Belohnungen ihn von ungünstigen Aktionen abhalten.
• Strategie: Eine Strategie legt fest, wie der Agent seine Aktionen anhand des aktuellen Zustands auswählt. Mit der Zeit verfeinert der Agent seine Strategie, um die Summe der Belohnungen zu maximieren, die er erhalten kann.

Durch das gemeinsame Zusammenspiel dieser Komponenten können KI-Systeme mit bestärkendem Lernen wirksame Verhaltensweisen durch fortlaufendes Ausprobieren erlernen. Mit jedem Versuch wird der Agent besser darin, Aktionen auszuwählen, die zu höheren Belohnungen und besseren Ergebnissen führen.

Innovationen des bestärkenden Lernens in der Computer Vision#

Computer Vision wird für Aufgaben wie das Erkennen von Objekten in Bildern, das Klassifizieren der Bildinhalte und das Unterteilen eines Bildes in verschiedene Bereiche eingesetzt. Computer-Vision-Modelle wie Ultralytics YOLO11 unterstützen solche Aufgaben und können zum Aufbau wirkungsvoller Anwendungen genutzt werden, die visuelle Erkenntnisse gewinnen.

Werden diese Aufgaben der visuellen KI jedoch mit bestärkendem Lernen kombiniert, entsteht eine KI-Lösung, die nicht nur sieht, sondern auch lernt, auf Grundlage visueller Erkenntnisse zu handeln, und sich mit der Zeit verbessert.

Ein interessantes Beispiel für bestärkendes Lernen in Computer-Vision-Anwendungen sind Roboter in Lagerhäusern. Mit Kameras und Computer-Vision-Systemen ausgestattete Roboter können ihre Umgebung analysieren, den Standort jedes Artikels erkennen, dessen Form und Größe bestimmen und verstehen, wie er im Regal liegt.

Jedes Mal, wenn der Roboter versucht, einen Artikel aufzunehmen, erhält er eine Rückmeldung: Erfolg, wenn er den Artikel richtig aufnimmt, oder Misserfolg, wenn er ihn fallen lässt. Mit der Zeit lernt der Roboter, welche Aktionen für verschiedene Artikel am besten funktionieren. Statt festen Anweisungen zu folgen, verbessert er sich fortlaufend durch Erfahrung.

Abb. 3 Ein Roboterarm nutzt visuelle KI und bestärkendes Lernen, um Gegenstände aufzunehmen.

Anwendungen des bestärkenden Lernens in der Computer Vision#

Nachdem wir nun besser verstanden haben, was bestärkendes Lernen ist und welche Rolle es in der Computer Vision spielt, sehen wir uns einige Beispiele an, bei denen bestärkendes Lernen und Computer Vision gemeinsam eingesetzt werden.

Visuelle KI und bestärkendes Lernen für intelligentere Fahrzeuge kombinieren#

Autonome Fahrzeuge können sowohl auf visuelle KI setzen, um ihre Umgebung zu verstehen, als auch auf bestärkendes Lernen, um Entscheidungen auf Grundlage des Gesehenen zu treffen. Ein gutes Beispiel dafür ist AWS DeepRacer.

Der AWS DeepRacer ist ein vollständig autonomes Rennfahrzeug im Maßstab 1:18, das mithilfe einer Kamera und bestärkenden Lernens das Fahren erlernt. Statt Anweisungen zu erhalten, findet es durch Ausprobieren, Fehler und daraus gewonnenes Wissen selbst heraus, was zu tun ist.

Die Kamera des kleinen Autos funktioniert wie ein Augenpaar und nimmt die vor ihm liegende Strecke auf. Anhand dessen, was es sieht, lernt das Auto, wie es lenken und wie schnell es fahren muss. Mit jeder Runde wird es besser. So kann es beispielsweise aus früheren Versuchen lernen, weitere Kurven zu fahren oder vor engen Kurven abzubremsen.

Das Training für DeepRacer beginnt in einer virtuellen Umgebung, in der das Modell seine Fahrfähigkeiten übt und verbessert. Sobald es eine bestimmte Leistung erreicht, werden diese Fähigkeiten auf reale Strecken mit echten Fahrzeugen übertragen.

Abb. 4. Der AWS DeepRacer nutzt visuelle Wahrnehmung und bestärkendes Lernen für autonomes Fahren. Bildquelle: Amazon.

Auf dem Weg zu autonomen chirurgischen Robotern#

Ein spannendes Forschungsgebiet, das zunehmend Beachtung findet, ist die Integration von visueller KI und bestärkendem Lernen in der robotergestützten Chirurgie. Derzeit ist diese Anwendung noch weitgehend theoretisch. Forschende führen Simulationen in virtuellen Umgebungen durch.

Frühe Experimente zeigen jedoch vielversprechende Ergebnisse. Sie lassen darauf schließen, dass chirurgische Roboter künftig komplexe, heikle Eingriffe mit höherer Präzision, Anpassungsfähigkeit und minimalem menschlichem Eingreifen durchführen könnten.

Abb. 5. Chirurgische Roboter werden immer fortschrittlicher.

Stell dir zum Beispiel vor, ein Stück Gaze muss vorsichtig aus einem Operationsgebiet entfernt werden. Ein mit visueller KI ausgestatteter Roboter würde zunächst die Szene analysieren und mithilfe der Segmentierung die Gaze und das umliegende Gewebe erkennen.

Bestärkendes Lernen würde dem chirurgischen Roboter dann dabei helfen, das Vorgehen zu bestimmen: Er würde den besten Winkel zum Greifen der Gaze, den erforderlichen Druck und die richtige Hebebewegung ermitteln, ohne empfindliche Bereiche in der Nähe zu beeinträchtigen. Durch wiederholtes Üben in simulierten Umgebungen könnte der Roboter mit der Zeit lernen, diese feinen, entscheidenden Bewegungen immer geschickter und sicherer auszuführen.

Vor- und Nachteile des bestärkenden Lernens in der visuellen KI#

Bestärkendes Lernen ermöglicht es Systemen der visuellen KI, über die einfache Erkennung hinauszugehen und Entscheidungen auf Grundlage des Gesehenen zu treffen. Das eröffnet neue Möglichkeiten in Bereichen wie Robotik, Automatisierung und Interaktion in Echtzeit.

Hier sind einige der wichtigsten Vorteile der Integration von bestärkendem Lernen in Arbeitsabläufe der visuellen KI:

• Weniger Abhängigkeit von annotierten Daten: Diese Systeme können durch Interaktion lernen und benötigen daher zu Beginn keine riesigen annotierten Datensätze.
• Besserer Umgang mit Unsicherheit: Bestärkendes Lernen kann mit unvollständigen oder verrauschten visuellen Informationen umgehen, indem es Aktionen anhand von Rückmeldungen anpasst, statt sich ausschließlich auf perfekte Daten zu verlassen.
• Unterstützt langfristiges Lernen: Es hilft Modellen, sich mit der Zeit zu verbessern, indem sie aus Aktionsfolgen statt nur aus einzelnen Entscheidungen lernen.

Andererseits gibt es einige Einschränkungen des bestärkenden Lernens, die du beachten solltest:

• Problem der Zurechnung von Belohnungen: Für den Agenten kann es schwierig sein herauszufinden, welche konkreten Aktionen zu einem Endergebnis beigetragen haben, insbesondere bei langen Entscheidungsfolgen.
• Risiko unsicherer Erkundung: Während des Trainings kann der Agent unsichere oder unerwünschte Aktionen ausprobieren, die in realen Anwendungsbereichen wie dem Gesundheitswesen oder dem autonomen Fahren nicht akzeptabel wären.
• Langsame Konvergenz: Es kann lange dauern, bis das Modell eine gute Leistung erreicht, insbesondere bei komplexen Aufgaben.

Die wichtigsten Erkenntnisse#

Projekte zur Anwendung bestärkenden Lernens in der Computer Vision ermöglichen es KI-Systemen, ihre Umgebung zu verstehen und durch Erfahrung zu lernen, wie sie handeln sollen. Modelle wie Ultralytics YOLO11 ermöglichen die Objekterkennung in Echtzeit, sodass das System auf Grundlage seiner Wahrnehmungen fundierte Entscheidungen treffen kann.

Dieser Ansatz geht über herkömmliche Methoden hinaus, indem er KI ermöglicht, sich durch Ausprobieren und Rückmeldungen zu verbessern, statt sich ausschließlich auf gekennzeichnete Daten zu stützen. Er unterstützt kontinuierliches Lernen und trägt dazu bei, flexiblere, anpassungsfähigere und intelligentere Systeme der visuellen KI aufzubauen, die sich mit der Zeit verbessern.

Werde Teil unserer wachsenden Community. Besuche unser GitHub-Repository, um tiefer in die Welt der KI einzutauchen. Möchtest du eigene Computer-Vision-Projekte starten? Entdecke unsere Lizenzoptionen. Erfahre auf unseren Lösungsseiten mehr über KI in der Fertigung und visuelle KI in der Automobilindustrie.