Stell dir vor, ein Roboter könnte deine Anweisungen verstehen und genau das tun, was du möchtest. Forschende haben herausgefunden, wie das funktionieren kann.
Stell dir vor, du gibst einem Roboter den Befehl, dir ein Glas Wasser zu bringen. Der Roboter muss nicht nur verstehen, was du sagst, sondern auch wissen, wie er das Glas findet, es greift und es dir bringt. Das klingt wie Zauberei, oder? Forschende haben sich genau damit beschäftigt und herausgefunden, wie Roboter lernen können, komplexe Anweisungen zu verstehen und auszuführen.
Was die Forschenden herausgefunden haben
Die Forschenden haben drei verschiedene Methoden getestet, um Roboter zu lehren, Befehle zu verstehen und auszuführen. Eine Methode ist, dass der Roboter alles auf einmal lernt, also sowohl das Sehen als auch das Planen und Handeln. Eine andere Methode ist, dass der Roboter in zwei Teile geteilt wird: einer für das Sehen und Verstehen von Sprache und einer für das Handeln. Die dritte Methode ist ähnlich, aber sie nutzt große Sprachmodelle, die auch Bilder verstehen können. Sie haben herausgefunden, dass jede Methode ihre Vor- und Nachteile hat. Manchmal sind die Roboter sehr gut darin, neue Aufgaben zu lernen, aber manchmal brauchen sie viel mehr Daten, um das zu schaffen.
Wie haben sie das gemacht?
Um herauszufinden, welche Methode am besten funktioniert, haben die Forschenden verschiedene Tests gemacht. Zum Beispiel haben sie den Robotern komplizierte Anweisungen gegeben, wie „Bring mir das blaue Glas, das auf dem Tisch steht.“ Sie haben auch getestet, wie gut die Roboter lernen, wenn sie nur wenige Beispiele sehen. Dazu haben sie die Roboter in verschiedene Situationen gebracht und beobachtet, wie sie sich anpassen. Sie haben auch untersucht, wie gut die Roboter lernen, wenn sie nur wenige Beispiele sehen.
Warum ist das wichtig?
Diese Forschung ist wichtig, weil sie zeigt, wie Roboter in der Zukunft besser mit uns Menschen zusammenarbeiten können. Stell dir vor, ein Roboter könnte dir helfen, deine Hausaufgaben zu machen, indem er dir die richtigen Bücher bringt oder dir erklärt, wie du ein Experiment durchführst. Oder ein Roboter könnte dir helfen, wenn du krank bist, indem er dir Medikamente bringt oder dir beim Aufstehen hilft. Diese Forschung hilft uns, Roboter zu entwickeln, die uns im Alltag unterstützen können.
Du willst mehr über die Studie wissen?
Die Forschenden, die diese spannenden Entdeckungen gemacht haben, heißen Xiuchao Sui, Daiying Tian, Qi Sun, Ruirui Chen, Dongkyu Choi, Kenneth Kwok und Soujanya Poria. Ihr Artikel „From Grounding to Manipulation: Case Studies of Foundation Model Integration in Embodied Robotic Systems“ wurde 2025 veröffentlicht.