Anfang
Im letzten Kapitel haben wir genauer kennengelernt, wie überwachtes maschinelles Lernen funktioniert und selbst ein eigenes Modell trainiert. Jetzt haben wir das notwendige Wissen, um genauer auf die Frage eingehen zu können:
" Was kann maschinelles Lernen? Was nicht? "
Außerdem haben wir in den letzten zwei Kapiteln einige Anwendungen von KI gesehen, wo es um die Bewertung von Aufgaben ging. Das sind allerdings nicht die einzigen Anwendungsmöglichkeiten von KI im Bereich Lehren & Lernen:
" Welche Anwendungsmöglichkeiten von KI gibt es noch im Bereich Lehren & Lernen? "
Zuletzt schauen wir uns die zwei weiteren Formen von maschinellem Lernen anhand von Beispielen an:
" Was ist unüberwachtes Lernen? Was ist verstärkendes Lernen? "
Was kann maschinelles Lernen? Was nicht?
Im letzten Kapitel haben wir gesehen, dass innerhalb vom Modell eine umfangreiche Formel berechnet wird, die aus den Eingabewerten die Ausgabewerte berechnet. Während des Trainings wurde diese Berechnung über die Modell-Parameter angepasst. Nach dem Training blieben die Parameterwerte allerdings gleich. Das bedeutet: Zeigen wir der KI zweimal hintereinander dieselbe Eingabe, werden wir auch dieselbe Ausgabe bekommen.
Eine weit verbreitete Vorstellung über KI ist:
" KI lernt kontinuierlich dazu. "
Aber ist das wirklich so? Unsere KI aus dem letzten Kapitel konnte nur während dem Training lernen. Beim Testen oder bei der regulären Benutzung der KI hat sich das Verhalten nicht verändert.
Denken wir noch einmal an unsere Klassifizierung von Winkeln aus dem vorherigen Kapitel.
Glaubst du, man könnte das Verfahren so ändern, dass die KI auch nach dem Training mit jeder Eingabe weiter dazulernt? Was wäre dafür notwendig?
Deine Eingaben werden nicht gespeichert und an keinen Server geschickt. Diese Aufgaben sollen dir nur beim Lernen helfen.
Nimm dir ein wenig Zeit für die Aufgabe. Wenn du fertig bist, klicke auf 'Weiter'.
Ja, es ist möglich, das Verfahren so anzupassen, dass das Modell auch während der regulären Benutzung weiter trainiert wird. Allerdings benötigt man dann natürlich auch für diese neuen Bilder eine korrekte Antwort. Ohne diese, ist es nicht klar, ob das Modell richtig eingeordnet hat und demzufolge, wie man die Modell-Parameter anpassen muss. In der Praxis würde das bedeuten, dass wir wiederum einen Menschen bräuchten, der bei jeder Einordnung der KI in spitz und stumpf noch einmal prüft, ob die Einordnung richtig ist.
Obwohl ein kontinuierliches Training möglich ist, bringt es einen Nachteil mit sich: Das Modell verändert sich kontinuierlich und müsste demzufolge regelmäßig neu getestet werden. Wir haben im letzten Kapitel herausgefunden, dass das Modell versucht Merkmale in den Trainingsdaten zu erkennen. Allerdings ist das Gelernte (die Modell-Parameter) innerhalb des Modells eine für uns unverständliche Liste an Werten, die keinen Aufschluss darüber zulässt, welche Merkmale genau beachtet werden. Deshalb müssen Modelle im Anschluss an das Training ausgiebig getestet werden. Ein Modell, welches kontinuierlich weiter dazulernt, kann also über die Zeit hinweg verändern, auf welche Merkmale geachtet wird. Beispielsweise könnte es passieren, dass eine solche KI bestimmte Winkel nur selten sieht und damit Stück für Stück verlernt, diese richtig einordnen zu können.
Viele Anwendungen von KI lernen nicht kontinuierlich dazu, während man sie benutzt, sondern werden einmal auf Grundlage eines geeigneten Trainingsdatensatzes trainiert.
Eine weitere weit verbreitete Vorstellung ist:
" KI lernt selbstständig, ohne dass der Mensch viel tun muss. "
Der praktische Teil aus dem letzten Kapitel hat dir schon gezeigt, dass diese Vorstellung nicht ganz zutrifft. Im letzten Kapitel war es deine Aufgabe, das Modell zu testen und die Trainingsdaten zu erstellen. Es ist also keineswegs so, dass es unsere einzige Aufgabe ist, dem Modell einen beliebigen Trainingsdatensatz zu geben und der Rest passiert automatisch. Wir müssen das Modell testen, die Trainingsdaten anpassen und diesen Prozess evtl. mehrmals durchlaufen.
Unsere Experimente auf Teachable Machines haben uns zudem eine Reihe an Aufgaben erspart, die bei “realer” KI-Entwicklung anfallen. Zum Beispiel:
- Es gibt eine Vielzahl an Vorlagen für die interne Struktur innerhalb des Modells. Auch diese müssen von den KI-EntwicklerInnen ausgewählt werden und ggf. angepasst werden.
- Trainingsdaten müssen teilweise verarbeitet werden, bevor sie für das Training genutzt werden können. Beispielsweise müssen Objekte auf den Bildern in der Mitte zentriert werden.
Viele solcher Aufgaben können nicht ohne einen Mensch mit Expertise erledigt werden.
Bei der Entwicklung mit maschinellem Lernen hat der Mensch eine Vielzahl an Aufgaben und Entscheidungen zu treffen, die nur teilweise automatisiert werden können.
Starke und schwache KI
Wir haben kennengelernt, wie KI mit überwachtem, maschinellem Lernen funktioniert. Vergleichen wir das mit unserem begrenzten Verständnis dafür, wie die menschliche Intelligenz funktioniert, stellen wir schnell fest:
Heutige künstliche Intelligenz funktioniert anders als die Intelligenz eines Menschen.
Zum Beispiel wird bei KI oft eine Formel berechnet oder eine Abfolge an Anweisungen ausgeführt, die sich nicht verändert. Im menschlichen Gehirn dagegen existiert ein komplexes Netzwerk aus Neuronen, in dem kontinuierlich Verbindungen verstärkt oder abgeschwächt werden.
Allerdings gibt es Bestreben in der Wissenschaft einer “menschenähnlichen” Intelligenz näher zu kommen, die stark vom Aufbau und den Abläufen im menschlichen Gehirn inspiriert sind. Damit diese zwei Formen von KI nicht verwechselt werden, wurden sie begrifflich voneinander getrennt:
Schwache KI gibt es heutzutage und jede KI, die wir aktuell nutzen, zählt zu dieser Kategorie. Die Intelligenz von schwacher KI ist in ihren Eigenschaften unterschiedlich zur menschlichen Intelligenz. Schwache KI kann nur einzelne, klar abgegrenzte Aufgaben lösen.
Starke KI ist eine ferne Zukunftsvision und obwohl es schon Forschung in diesem Bereich gibt, sind wir noch weit davon entfernt eine starke KI entwickeln zu können. Diese Form von KI soll in ihren Eigenschaften der Intelligenz von Menschen entsprechen und darüber hinaus gehen.
Diese beiden Typen von KI unterscheiden sich in vielen Aspekten. Das Forschungsfeld der starken KI ist für unser heutiges Leben mit KI nicht relevant, deshalb werden wir uns im gesamten Kurs nur mit schwacher KI beschäftigen.
Weitere Anwendungen von künstlicher Intelligenz im Bereich Lehren und Lernen
Wir haben in den ersten beiden Kapiteln bereits ein paar Anwendungsmöglichkeiten von KI im Bereich Lehren & Lernen kennengelernt. Es gibt allerdings noch viele weitere Anwendungsmöglichkeiten. In diesem Abschnitt werden wir einen Überblick bekommen und gehen außerdem anhand von Beispielen auf die zwei anderen Formen von maschinellem Lernen (unüberwachtes Lernen & verstärkendes Lernen) ein, die sich für bestimmte Anwendungen gut eigenen.
Automatische Bewertung von Aufgaben
Eine spannende Anwendung von KI im Bereich Lehren & Lernen ist die automatische Korrektur oder Bewertung von Aufgaben. Solche KI-Systeme könnten einerseits Lehrkräfte bei der Korrektur oder Bewertung entlasten. Andererseits könnten solche Systeme von den Lernenden selbst genutzt werden, um auch ohne die Lehrkräfte Feedback für bearbeitete Aufgaben zu bekommen.
Vor allem die Nutzung solcher System von Lernenden hat großes Potenzial. In den meisten Lernkontexten ist es nicht möglich, dass die Lernenden jederzeit individuelle Unterstützung bekommen können. Bei Hausaufgaben in der Schule beispielsweise bekommt man erst zur nächsten Unterrichtsstunde oder nach der Korrektur durch die Lehrkraft ein Feedback dazu. Es kann passieren, dass ein Fehler über einen langen Zeitraum immer wieder gemacht wird und erst nach einer langen Zeit erkannt wird. Das ist aus Sicht der Lerntheorie nicht optimal.
KI Systeme könnten solche und andere Probleme lösen, indem sie automatisches Feedback jederzeit und sofort bereitstellen. Man nennt diese Ansätze auch Intelligent Tutoring System. Solche Systeme gibt es bereits und sie sind in manchen Ländern auch schon in die Bildungssysteme integriert.
Auswertung von Bildern und Videos
Maschinelles Lernen findet in vielen Bereichen Anwendung, in denen Bilder oder Videos verarbeitet werden. Diese enthalten oft leichte Variationen, wie zum Beispiel leichte Veränderungen der Lichtverhältnisse oder der Perspektive, die allerdings kein Einfluss auf das Ergebnis haben sollen. Wissensbasierte KI hat es hierbei oft schwer, denn es ist oft nicht leicht, Regeln zu finden, die mit diesen Variationen umgehen können. Hier eignet sich maschinelles Lernen und eine datenbasierte KI oft deutlich besser, denn hier kann die Berechnung deutlich komplexer werden.
Welche Anwendungen fallen dir im Bereich Lehren & Lernen ein, bei denen man auch Bild- oder Videomaterial verarbeiten könnte?
Deine Eingaben werden nicht gespeichert und an keinen Server geschickt. Diese Aufgaben sollen dir nur beim Lernen helfen.
Nimm dir ein wenig Zeit für die Aufgabe. Wenn du fertig bist, klicke auf 'Weiter'.
Genauso wie unsere spitzen und stumpfen Winkeln, könnte man versuchen auch andere Aufgabentypen zu bewerten, bei denen etwas auf Papier gezeichnet wird. Uns fällt hier beispielsweise das Erkennen von geometrischen Grundformen in der Mathematik ein. Ebenso könnte man zum Beispiel in der Chemie versuchen, Strukturformeln zu erkennen.
Angenommen, wir würden versuchen ein Modell zu trainieren, welches einfache, mathematische, auf Papier gezeichnete Gleichungen auf Richtigkeit überprüft. Glaubst du, wir könnten hierfür denselben Ansatz nutzen für die Klassifizierung von Winkeln?
Deine Eingaben werden nicht gespeichert und an keinen Server geschickt. Diese Aufgaben sollen dir nur beim Lernen helfen.
Nimm dir ein wenig Zeit für die Aufgabe. Wenn du fertig bist, klicke auf 'Weiter'.
Bei dieser Herangehensweise würden wir schnell an Grenzen stoßen. Das Problem hierbei ist, dass unser Modell auf Teachable Machines darauf ausgelegt ist, nur visuelle Merkmale in Bildern zu erkennen. Es können also Objekte im Bild, wie zum Beispiel Zahlen, Rechenzeichen uns so weiter, erkannt werden. Allerdings ist es für solch ein Modell schwer zu lernen, wie diese Objekte angeordnet sein müssen, um eine korrekte Gleichung zu ergeben. Um solche Aufgaben lösen zu können, werden dann oft mehrere Systeme miteinander kombiniert. Zum Beispiel eine KI-gestützte Bilderkennung, welche das Bild in eine für den Computer verständliche Gleichungsformel übersetzt und anschließend ein System, welches diese Gleichung auf Fehler prüft.
Eine andere Anwendungsmöglichkeit von KI, die ebenfalls Bilder bzw. Videos verarbeitet, ist die Messung der Aufmerksamkeit von Lernenden über Kameras. Hierbei wird das Modell trainiert mit Bildern oder Videos von Personen, bei denen man gleichzeitig die Konzentration gemessen hat. Das Modell lernt während dem Training dann anhand der Gesichtszüge zu erkennen, wie konzentriert eine Person nach außen hin wirkt.
Es gibt zwei Möglichkeiten, eine solche KI zu nutzen:
Zum einen kann die Aufmerksamkeitsmessung in der Bildungsforschung im Rahmen einer Studie zum Einsatz kommen. Damit kann getestet werden, welche Unterrichtsformen und Rahmenbedingungen die Konzentration fördern. Aus den Ergebnissen können dann Erkenntnisse entstehen, wie man Unterricht verbessern kann. Außerhalb der Studie kommt die Konzentrationsmessung allerdings nicht zum Einsatz.
Zum anderen kann die Konzentrationsmessung auch außerhalb der Forschung im regulären Unterricht genutzt werden. Die Lehrkraft könnte dann die aktuelle Konzentration der SchülerInnen einsehen und entweder den Unterricht als ganzes anpassen oder einzelne Personen fördern. Solch eine permanente Überwachung klingt für viele von uns unangenehm und solche Systeme werden aktuell in Deutschland im Unterricht nicht eingesetzt. In China allerdings gibt es bereits Schulen, an denen solche Systeme während dem Unterricht zum Einsatz kommen.
Aufsätze bewerten
Computerlinguistik oder auf Englisch “Natural Language Processing” ist ein Teilbereich der KI, der sich damit beschäftigt menschliche Sprache zu analysieren und zu verstehen.
Solche Systeme können beispielsweise genutzt werden, um Aufsätze zu bewerten. Eher einfachere Systeme könnten die Wortwahl analysieren oder auf die Rechtschreibung achten und eine Bewertung zum Beispiel in Form einer Zahl zurückgeben. Hierfür ist noch kein Textverständnis notwendig, da man den Aufsatz Wort für Wort durchgehen kann.
Komplexere Systeme versuchen den Text stattdessen, als Ganzes zu betrachten und sind in der Lage, Bewertungen zu Inhalt oder Struktur zurückzugeben. Ebenso kann eine Bewertung abgegeben werden, wie gut der Aufsatz auf die Aufgabenstellung eingegangen ist. Ein sehr ambitioniertes Ziel bei solchen Systemen wäre nicht nur eine Bewertung, sondern auch ein individuelles Feedback für den Lernenden.
Welche Vor- und Nachteile hätte der Einsatz solcher Systeme im Schulunterricht deiner Meinung nach?
Deine Eingaben werden nicht gespeichert und an keinen Server geschickt. Diese Aufgaben sollen dir nur beim Lernen helfen.
Nimm dir ein wenig Zeit für die Aufgabe. Wenn du fertig bist, klicke auf 'Weiter'.
Die automatische Bewertung von Aufsätzen könnte eine Reihe an Vorteilen mit sich bringen. Allerdings gibt es auch einige Argumente dagegen.
KI-Systeme benötigen oft deutliche weniger Zeit für die Bewertung als eine Lehrkraft. Für Lehrkräfte könnte das eine deutliche Entlastung sein, denn das Bewerten von Aufsätzen nimmt in der Regel viel Zeit in Anspruch. Denkbar ist es hier auch, dass die Bewertung nicht vollständig von einer KI bestimmt wird, sondern in Kooperation mit einer Lehrkraft entsteht. Bei solch einem Vorgehen könnten sich dann auch Stärken der beiden Methoden ergänzen: Die KI übernimmt die Bewertung der Wortwahl, was für die Lehrkraft deutlich länger dauern würde, wohingegen die Lehrkraft den Inhalt bewertet, was wiederum für die KI deutlich schwerer ist. Hinzu kommt, dass eine KI auch von den Lernenden direkt benutzt werden könnte, ohne Zeit einer Lehrkraft in Anspruch nehmen zu müssen.
Ein weiteres Argument für den Einsatz von KI zur Bewertung von Aufsätzen ist, dass solche Systeme ein einheitliches Bewertungsverfahren umsetzen könnten. Zwei verschiedene Lehrkräfte bewerten denselben Aufsatz vermutlich leicht unterschiedlich. Eine einheitliche KI würde dagegen immer zum selben Ergebnis kommen. Vor allem bei Prüfungsleistungen könnten solche Systeme deutlich fairer sein.
Allerdings gibt es auch einige Argumente gegen die Benutzung von KI zur Bewertung von Aufsätzen. Heutige Systeme können noch kein persönliches Feedback für die Lernenden generieren, was an das einer guten Lehrkraft herankommt. Dafür muss nicht nur der Aufsatz inhaltlich verstanden werden, sondern es sollte auch auf die vergangenen Leistungen des/der SchülerIn eingegangen werden. Solch ein Feedback kann heutzutage nur eine gute Lehrkraft geben.
Des Weiteren haben wir bereits kennengelernt, dass es bei datenbasierter KI oft nicht erklärbar ist, auf welche Merkmale die KI achtet. Haben wir also eine KI trainiert, die Aufsätze bewertet, kann es passieren, dass diese auf Merkmale in den Aufsätzen achtet, die wir nicht beabsichtigt haben. Zum Beispiel könnte die KI auf die Anzahl an Kommas im Aufsatz achten und es wäre möglich durch das Einfügen von vielen Kommas eine ungerechtfertigte hohe Bewertung zu bekommen. Diese fehlende Transparenz weckt Zweifel daran, solche Systeme für Bewertungen, insbesondere bei Prüfungen, zu nutzen.
Unterrichtsplanung
Eine weitere Anwendungsmöglichkeit von KI ist die Unterstützung von Lehrkräften und Bildungseinrichtungen bei der Unterrichtsplanung. Solche Systeme können zum Beispiel Lerndaten über die Lernenden aufzeichnen, auswerten und Empfehlungen für die Unterrichtsplanung geben. Zum Beispiel könnte eine Lehrkraft, auf Grundlage der zuletzt bearbeiteten Aufgaben der Lernenden, von der KI Vorschläge für die nächste Unterrichtseinheit bekommen, in der dann bestenfalls die Schwächen der Lernenden wiederholt angegangen werden.
Solche Systeme gibt es vereinzelt bereits, allerdings oft noch im Entwicklungsstadium.
Lehre optimieren (Unüberwachtes Lernen)
Unüberwachtes Lernen ist eine weitere Gruppe an Verfahren des maschinellen Lernens, neben dem überwachten und verstärkenden Lernen. Unüberwachtes Lernen kann genutzt werden, um Muster bzw. Zusammenhänge in Daten aufzudecken. Im Gegensatz zum überwachten Lernen, welches wir im letzten Kapitel kennengelernt haben, werden beim unüberwachten Lernen keine Trainingsdaten benötigt, die vorgeben, was gelernt werden soll. Stattdessen geben wir dem Algorithmus einen Datensatz und lassen uns von diesem die Frage beantworten: “Welche Muster erkennst du in diesen Daten?” Um zu verstehen, wie das genau funktioniert, schauen wir uns wieder eine konkrete und reale Anwendung an. Hierbei haben wir allerdings einige Vereinfachungen gemacht.
Nehmen wir an, wir haben einen Onlinekurs, der von einem breiten Spektrum an Menschen genutzt wird. Leider gibt es einige, die den Kurs nicht erfolgreich abschließen und wir würden dieser Teilgruppe gerne zusätzliche Hilfestellungen bereitstellen. Jeder der Lernenden hat einen Account und wir sind in der Lage auf verschiedene Daten zuzugreifen wie zum Beispiel Alter, Geschlecht, Wohnort, Anzahl an Interaktionen im Forum und ob die Person den Kurs erfolgreich abgeschlossen hat. Man könnte sich jetzt die Frage stellen:
Gibt es Muster in diesen Daten und können wir sie nutzen, um bei neuen Teilnehmern abzuschätzen, ob die Person eventuell zusätzliche Hilfe benötigen könnten?
Wenn sich hier bisher unbekannte Zusammenhänge finden lassen, wäre es eventuell möglich, die Anzahl der nicht erfolgreichen Abschlüsse des Kurses zu verringern, indem man dieser Teilgruppe zusätzliche Hilfestellungen gibt.
Beim unüberwachten Lernen gibt es eine Vielzahl an Verfahren, die man wählen kann. Wir schauen uns hier das Verfahren k-mean clustering an.
Beim k-means clustering versucht der Algorithmus in unserem Beispiel die Lernenden in k Gruppen (auch Cluster genannt) aufzuteilen, wobei sich die Daten der Lernenden innerhalb der Gruppen möglichst ähnlich sein sollen.
Stellen wir uns vor, wir wählen k=3 und erhalten drei Gruppen:
Werfen wir einen Blick in Gruppe A stellen wir fest, dass hier im Vergleich zu den anderen Gruppen der Altersdurchschnitt deutlich geringer ist. Das könnte bedeuten, dass der Kurs vor allem jüngere Teilnehmer noch besser ansprechen könnte.
In Gruppe C ist der Altersdurchschnitt nicht auffällig. Allerdings fällt auf, dass die Personen in dieser Gruppe nur sehr selten das Forum benutzt haben. Das könnte darauf hindeuten, dass die Nutzung des Forums ein wichtiger Bestandteil des Kurses ist. Diese Information könnte man jetzt nutzen, um zum Beispiel im Kurs eine Erinnerung anzuzeigen, wenn der Account schon lange nicht mehr das Forum besucht hat.
Der k-means Clustering Algorithmus unterteilt die Eingabedaten in Gruppen auf. Dabei gibt es keine Garantie, dass die resultierende Gruppierung uns nachher neue Informationen oder Erkenntnisse liefert.
Wie könnte ein Beispiel aussehen für ein nutzloses Resultat?
Deine Eingaben werden nicht gespeichert und an keinen Server geschickt. Diese Aufgaben sollen dir nur beim Lernen helfen.
Nimm dir ein wenig Zeit für die Aufgabe. Wenn du fertig bist, klicke auf 'Weiter'.
Es könnte zum Beispiel passieren, dass sich nach dem Clustern die meisten Lernenden in einer Gruppe befinden und die anderen Gruppen fast leer sind. Diese Gruppierung an sich würde uns vermutlich keine neuen Einblicke geben. Allerdings kann ein solches Ergebnis auch nützlich sein, weil wir Sonderfälle (Lernende mit ungewöhnlichen Daten) erkennen können und ein erneutes Clustering durchführen können ohne diese Ausreißer in den Daten.
Genauso kann es passieren, dass man aus den Gruppen keine neuen Erkenntnisse gewinnen kann. Beispielsweise könnten Lernende nach dem Geschlecht in Gruppen aufgeteilt werden. Hat man dann in allen Gruppen einen ähnlichen Prozentsatz an erfolgreichen Kursabschlüssen, hat man keine Information gewonnen. Außer, dass es unterschiedliche Geschlechter unter den Lernenden gibt.
Es ist üblich, dass man bei Clustering viel Ausprobieren muss:
- Beim k-mean clustering unterschiedliche Werte für k, also die Anzahl der Cluster, ausprobieren.
- Außreißer in den Daten finden und ausschließen.
- Andere Verfahren, neben dem k-means clustering, ausprobieren.
- Bestimmen, welche Daten und in welcher Form dem Algorithmus gegeben werden.
Zusammenfassend kann man sagen:
Verfahren des unüberwachten Lernens haben das Potenzial neue Muster in Daten aufzudecken, ohne dass man als Mensch ein Ziel vorgeben muss. Dieses fehlende Ziel ist allerdings auch eine Schwäche dieser Verfahren, denn Ergebnisse lassen oft keine neuen Erkenntnisse zu und man muss viel ausprobieren.
Lernen optimieren (Verstärkendes Lernen)
Ein weiteres Verfahren beim maschinellen Lernen ist das Verstärkende Lernen.
Verstärkendes Lernen wird genutzt, um Modelle zu trainieren, die über einen Zeitraum hinweg Entscheidungen treffen und damit ein Ziel erreichen wollen.
Bevor wir darauf eingehen, wie das Training bei verstärkendem Lernen funktioniert, schauen wir uns wieder ein konkretes und reales Beispiel für ein KI-System an:
Beim Lernen von Vokabeln gibt es Lernmethoden, bei denen Vokabeln nach einer bestimmten Strategie abgefragt werden: Wird eine Vokabel falsch beantwortet, wird sie nach einem kurzen Zeitraum erneut abgefragt. Wird sie richtig beantwortet, wird sie erst nach einer längeren Zeit erneut abgefragt. Solche Strategien helfen dabei, die Vokabeln effizienter im Langzeitgedächtnis zu verankern.
Stellen wir uns vor, wir wollen eine KI trainieren, die versucht diesen Prozess möglichst effizient umzusetzen. Als Eingabe bekommt die KI alle bisherigen Antworten der lernenden Person und gibt uns als Ausgabe eine neue Vokabel zum Abfragen.
Wenn wir jetzt ein Modell trainieren wollen, stellen wir fest, dass wir nicht wie beim überwachten Lernen eine gewünschte Ausgabe (konkrete Vokabelabfrage) vorgeben wollen für eine bestimmte Eingabe (bisherige Antworten). Wir wissen ja nicht, welche Strategie an Vokabelabfragen am effizientesten ist. Viel wichtiger ist uns dagegen, dass die lernende Person nach möglichst wenig Abfragen die Vokabeln verinnerlicht hat.
Für das Training bedeutet das Folgendes: Wir geben kein gewünschtes Verhalten durch Eingabe-Ausgabe-Paare vor. Stattdessen lassen wir das Modell mehrere Schritte einfach machen und ausprobieren, ohne die Modellparameter anzupassen. Sollten wir allerdings auf eine Reihenfolge in der Vokabelabfrage stoßen, die effizient war, passen wir die Modellparameter an und das Modell wird in Zukunft eher zu ähnlichen Strategien tendieren. Diesen Vorgang nennt man häufig auch Belohnung.
Wichtig bei diesem Verfahren ist, dass das Modell sowohl nach der aktuellen Strategie entscheidet als auch hin und wieder Neues ausprobiert, um auf bessere Strategien zu stoßen.
Verstärkendes Lernen hat viele Parallelen zum Lernprozess von Tieren und Menschen. Wenn wir als Kleinkinder das Laufen lernen, interagieren wir kontinuierlich mit unserer Umgebung. Wir wiederholen, was gut funktioniert hat, probieren aber auch Neues aus, werden manchmal dafür belohnt (wenn wir nicht umgefallen sind) und passen unsere Strategie an. So lernen wir Schritt für Schritt durch die Interaktion mit unserer Umgebung etwas so Kompliziertes zu lernen, wie das Laufen.
Beim Training mit verstärkendem Lernen werden diejenigen Ausgaben “gestärkt”, bei denen man nach einer Anzahl weiterer Schritte eine Belohnung erhalten hat.
Verstärkendes Lernen nutzt in vielen Fällen Simulationen während dem Training. Das heißt, statt mit einem realen System zu interagieren, finden alle Interaktionen in einer Computersimulation statt. Simulationen bringen oft einige Vorteile mit sich. Zum Beispiel würden wir für unsere Vokabel-KI keine reale Person benötigen, die Vokabelabfragen beantwortet. Stattdessen würde das in der Simulation passieren, welche unter Umständen deutlich schneller antwortet und keine Pausen braucht. Allerdings gibt es dabei auch eine große Herausforderung. In vielen Bereichen ist es keine leichte Aufgabe, eine Simulation zu erstellen, welche die essenziellen Eigenschaften der Realität gut genug nachstellt. Die Realität ist oft sehr komplex, d.h. Simulationen sind meistens eine starke Vereinfachung. Trainieren wir ein Modell innerhalb der Simulation und sind zufrieden mit dem Resultat, kann es passieren, dass dasselbe Modell in der Realität nicht zufriedenstellend ist. Genauso wenig können wir die Simulation beliebig nahe an die Realität bringen.
Die Lernprozesse des Menschen sind schwer zu simulieren, da sie viele Einflussfaktoren haben und noch nicht ausreichend verstanden wurden. Daher werden Simulation eher in technischen Anwendungen verwendet, beispielsweise für die Simulation von Roboterarmen. In der Bildung wird daher öfter mit realen Daten gearbeitet.
Verstärkendes Lernen kann gute Strategien nur lernen durch das Ausprobieren. Dieser Prozess ermöglicht es Strategien zu finden, auf die ein Mensch eventuell nicht gekommen wäre. Gleichzeitig bedeutet das aber auch oft, dass die notwendige Trainingsdauer schnell zu groß wird und verstärkendes Lernen unpraktikabel wird. Gibt es zu viele Möglichkeiten und seltene Belohnungen, kann es jahrelanges Training benötigen, bis man zufällig einen Weg zur Belohnung gefunden hat.
Eine Möglichkeit dieses Problem anzugehen ist es, nicht nur für einen gewünschten Endzustand eine Belohnung zu geben, sondern auch für Zwischenzustände, von denen man glaubt, sie führen in die richtige Richtung. Sobald die Belohnung kommt, wird beim verstärkenden Lernen auch häufiger der Weg ausprobiert, der zur Belohnung geführt hat. Leider ist ein gutes Belohnungsschema in der Praxis oft auch keine triviale Aufgabe. Zum einen sind solche Zwischenbelohnungen oft nur eine Annahme, die falsch sein kann. Zum anderen kann das Modell versuchen, nur Wege zu diesen Zwischenbelohnungen zu finden statt zur eigentlichen Belohnung am gewünschten Ziel.
Beim verstärkenden Lernen gibt es eine Vielzahl an Aufgaben, die der Mensch lösen muss. Der Trainingsprozess selbst läuft zwar automatisch ab, allerdings müssen einige wichtige Aufgaben vorher und nachher getan werden, die in vielen Fällen nicht automatisch passieren.
Verstärkendes Lernen hat ein großes Potenzial für den Bereich Lehren & Lernen. Allerdings findet man vor allem in diesem Bereich noch viele Grenzen in der Anwendung.
Jetzt haben wir eine Vielzahl an Einsatzmöglichkeiten von KI im Bereich Lehren & Lernen kennengelernt. Außerdem haben wir einige Möglichkeiten & Grenzen von maschinellem Lernen im Allgemeinen verstanden. Das gibt uns eine Vorstellung davon, was mit KI möglich ist und auch worauf man beim Einsatz von KI achten sollte. Speziell bei datenbasierter KI gibt es zwei weitere Herausforderungen, die man berücksichtigen sollte, welche wir im nächsten Kapitel kennenlernen werden.