Stell dir vor, du könntest lernen, ohne alles auswendig zu lernen. Genau das machen Sprachmodelle.
Stell dir vor, du hast einen Freund, der immer die richtigen Antworten kennt, ohne alles auswendig zu lernen. Genau das können große Sprachmodelle. Diese Modelle können Fragen beantworten, indem sie Informationen aus dem Kontext ziehen, ohne vorher alles gelernt zu haben. Das nennt man „in-context learning“. Forschende haben herausgefunden, wie das genau funktioniert.
Was die Forschenden herausgefunden haben
Die Forschenden haben entdeckt, dass Sprachmodelle bestimmte Teile in sich haben, die wie kleine Helfer arbeiten. Diese Helfer, genannt „Attention Heads“, können Anweisungen verstehen und relevante Informationen aus dem Kontext herausfinden. Andere Helfer speichern Wissen über Beziehungen zwischen Dingen. Zum Beispiel, wenn du fragst, „Wer ist der beste Freund von Harry Potter?“, dann weiß das Modell, dass es nach „Ron Weasley“ suchen muss, weil es die Beziehung zwischen Harry und Ron kennt.
Wie haben sie das gemacht?
Um das herauszufinden, haben die Forschenden eine Methode entwickelt, die wie ein Detektiv arbeitet. Sie haben die Sprachmodelle beobachtet und herausgefunden, welche Teile der Modelle die wichtigen Informationen finden und speichern. Dann haben sie diese Teile ein bisschen verändert, um zu sehen, wie sie die Antworten beeinflussen. So konnten sie genau nachvollziehen, wie die Modelle lernen und Antworten finden.
Warum ist das wichtig?
Das ist wichtig, weil es uns hilft, Sprachmodelle besser zu verstehen und sicherer zu machen. Wenn wir wissen, wie sie lernen und Antworten finden, können wir sicherstellen, dass sie keine falschen Informationen geben. Das macht sie zuverlässiger und hilft uns, ihnen zu vertrauen.
Du willst mehr über die Studie wissen?
Die Forschenden, die das herausgefunden haben, heißen Patrick Kahardipraja, Reduan Achtibat, Thomas Wiegand, Wojciech Samek und Sebastian Lapuschkin. Sie haben ihre Ergebnisse in einem Artikel mit dem Titel „The Atlas of In-Context Learning: How Attention Heads Shape In-Context Retrieval Augmentation“ veröffentlicht.