Mit sich selbst zu sprechen ist eine Eigenschaft, die sich von Natur aus menschlich anfühlt. Unsere inneren Monologe helfen uns, unsere Gedanken zu ordnen, Entscheidungen zu treffen und unsere Emotionen zu verstehen. Doch nicht nur der Mensch kann von solchen Selbstgesprächen profitieren. Veröffentlicht in Neuronale Berechnung„Wissenschaftler des Okinawa Institute of Science and Technology (OIST) haben das Potenzial der inneren Sprache zur Verbesserung des KI-Lernens demonstriert und gezeigt, wie KI-Modelle leichter auf verschiedene Aufgaben übertragen werden können, wenn sie sowohl durch die innere Sprache als auch durch das Kurzzeitgedächtnis unterstützt werden.
“Diese Studie unterstreicht die Bedeutung von Selbstinteraktionen beim Lernen. Indem wir Trainingsdaten so strukturieren, dass unser System lernt, mit sich selbst zu sprechen, zeigen wir, dass Lernen nicht nur von der Architektur unserer KI-Systeme geprägt wird, sondern auch von der Interaktionsdynamik, die in unsere Trainingsverfahren eingebettet ist, sagt Erstautor Dr. Jeffrey Queißer, Stabswissenschaftler bei OIST Forschungseinheit für kognitive Neurorobotik&.
Durch die Kombination von selbstgesteuertem ‘mumbling’ mit einer einzigartigen Arbeitsgedächtnisarchitektur verbesserten die Forscher die Art und Weise, wie ihre KI-Modelle lernten, sich an neue Situationen anpassten und Multitasking-Modelle durchführten.
Gehirninspirierte Modellierung für KI-Lernen
Das Team interessiert sich seit langem für die Verarbeitung inhaltsunabhängiger Informationen; die Fähigkeit, Aufgaben auszuführen, die über die genauen Situationen hinausgehen, mit denen wir zuvor konfrontiert waren, indem wir allgemeine Methoden und Abläufe erlernen.
“Schnelles Aufgabenwechseln und Lösen ungewohnter Probleme ist etwas, was wir Menschen jeden Tag problemlos tun. Aber für KI ist es viel anspruchsvoller, stellt” fest, Dr. Queißer. “Deshalb verfolgen wir einen interdisziplinären Ansatz und kombinieren Entwicklungsneurowissenschaften und -psychologie unter anderem mit maschinellem Lernen und Robotik, um neue Wege zu finden, über Lernen nachzudenken und die Zukunft der KI zu informieren.”
Die Forscher konzentrierten sich zunächst auf die KI-Modelle’-Speicherarchitektur und untersuchten die Bedeutung des Arbeitsgedächtnisses für die Aufgabenverallgemeinerung. Vom Erinnern an Anweisungen bis hin zur schnellen mentalen Mathematik ist das Arbeitsgedächtnis die kurzfristige Fähigkeit eines Systems, Informationen zu speichern und zu nutzen. Durch die Simulation von Aufgaben mit unterschiedlichem Schwierigkeitsgrad untersuchten sie die Wirksamkeit verschiedener Speicherstrukturen und zeigten, dass Systeme, die mehrere Arbeitsspeicherschlitze (temporäre Container für Informationsteile) enthielten, die kniffligen Aufgaben der Umkehrung der Reihenfolge und der Regeneration von Mustern besser verallgemeinern konnten.
Durch das Hinzufügen selbstmurmelnder Ziele, die dem System eine bestimmte Anzahl von Gesprächen mit sich selbst ermöglichen, erzielten die Forscher eine bessere Leistung, insbesondere beim Multitasking oder beim Erledigen von Aufgaben mit vielen Schritten.
“Unser kombiniertes System ist besonders spannend, da es mit spärlichen Daten arbeiten kann, anstatt mit den umfangreichen Datensätzen, die normalerweise erforderlich sind, um solche Modelle für die Verallgemeinerung zu trainieren. Es bietet eine ergänzende, leichte Alternative, betont” Dr. Queißer.
Lernen, besser zu lernen
Mit Blick auf die Zukunft planen die Forscher, die Dinge ‘messier’ zu machen. Dr. Queißer sagt, “In der realen Welt treffen wir Entscheidungen und lösen Probleme in komplexen, lauten und dynamischen Umgebungen. Um das menschliche Entwicklungslernen besser widerzuspiegeln, müssen wir diese externen Faktoren berücksichtigen.”
Dies steht im Einklang mit dem übergeordneten Ziel des Teams, die neuronalen Grundlagen des menschlichen Lernens zu verstehen. “Durch die Erforschung von Phänomenen wie innerer Sprache und das Verständnis der Mechanismen solcher Prozesse gewinnen wir grundlegende neue Einblicke in die menschliche Biologie und das menschliche Verhalten, schließt D. Dr. Queißer. “Wir können dieses Wissen auch anwenden, beispielsweise bei der Entwicklung von Haushalts- oder Agrarrobotern, die in unseren komplexen, dynamischen Welten funktionieren können.”
DOI
