Stell dir vor, du könntest eine Maschine fragen, wie gut ein Unternehmen abschneidet. Doch wie zuverlässig sind die Antworten?
Hast du schon mal von Sprachmodellen gehört? Das sind Computerprogramme, die Texte verstehen und schreiben können. Stell dir vor, du hast eine Frage zu einem Finanzbericht. Ein Sprachmodell kann dir helfen, die Antwort zu finden. Doch wie zuverlässig sind diese Antworten? Das haben sich die Forschenden Julian Junyan Wang und Victor Xiaoqi Wang gefragt.
Was die Forschenden herausgefunden haben
Die Forschenden haben herausgefunden, dass Sprachmodelle bei einfachen Aufgaben wie der Klassifizierung von Texten oder der Analyse von Stimmungen sehr zuverlässig sind. Bei komplexeren Aufgaben, wie dem Zusammenfassen von Texten oder dem Vorhersagen von Finanzdaten, gibt es jedoch größere Unterschiede. Interessanterweise sind die neueren Modelle nicht immer besser. Manchmal sind sie sogar weniger zuverlässig.
Wie haben sie das gemacht?
Um das herauszufinden, haben die Forschenden verschiedene Sprachmodelle von OpenAI getestet. Sie haben die Modelle 50 Mal hintereinander die gleichen Aufgaben lösen lassen. Dazu gehörten das Klassifizieren von Texten, das Analysieren von Stimmungen, das Zusammenfassen von Texten, das Generieren von Texten und das Vorhersagen von Finanzdaten. Sie haben über 3,4 Millionen Antworten von den Modellen erhalten. Diese Antworten basierten auf verschiedenen Finanzdokumenten, wie Geschäftsberichten, Nachrichtenartikeln und Finanzstatements.
Warum ist das wichtig?
Diese Ergebnisse sind wichtig, weil sie zeigen, dass Sprachmodelle in der Finanzwelt sehr nützlich sein können. Sie sind oft zuverlässiger als menschliche Experten. Das bedeutet, dass wir uns auf die Antworten der Modelle verlassen können, wenn wir Finanzdaten analysieren. Außerdem haben die Forschenden herausgefunden, dass man die Zuverlässigkeit der Modelle verbessern kann, indem man die Antworten mehrerer Durchläufe zusammenfasst.
Du willst mehr über die Studie wissen?
Die Forschenden Julian Junyan Wang und Victor Xiaoqi Wang haben diese Studie durchgeführt. Sie haben gezeigt, dass Sprachmodelle in der Finanzwelt sehr nützlich sein können, aber auch, dass man vorsichtig sein muss. Quelle: Julian Junyan Wang, Victor Xiaoqi Wang, 2025.