Stell dir vor, du könntest Videos verstehen und Fragen dazu beantworten. Forscher haben eine neue Methode entwickelt, um herauszufinden, wie gut Computer das können.
Weißt du, was ein Video-Detektiv ist? Nein? Dann lass dir erklären, was Forscher mit dem Projekt MINERVA herausgefunden haben. Stell dir vor, du schaust dir ein Video an und musst dann Fragen dazu beantworten. Zum Beispiel: „Was passiert zuerst im Video?“ oder „Warum macht der Charakter das?“ Das ist genau das, was MINERVA macht, aber mit Computern!
Was die Forschenden herausgefunden haben
Die Forschenden haben herausgefunden, dass Computer oft nur die richtige Antwort erraten, aber nicht wirklich verstehen, was im Video passiert. MINERVA hilft dabei, herauszufinden, ob ein Computer wirklich versteht, was er sieht. Sie haben auch festgestellt, dass Computer oft Probleme mit der Zeit haben, also wann etwas passiert, und manchmal auch Schwierigkeiten, genau zu sehen, was passiert.
Wie haben sie das gemacht?
Um das herauszufinden, haben die Forscher eine große Sammlung von Videos und Fragen dazu gemacht. Jede Frage hat fünf Antwortmöglichkeiten und detaillierte Hinweise, wie man zur richtigen Antwort kommt. Diese Hinweise sind wie ein Kompass, der den Computer durch das Video führt. Sie haben dann verschiedene Computerprogramme getestet und genau geschaut, wo sie Fehler machen. So konnten sie eine Art Fehlerkarte erstellen, die zeigt, was die Computer am schwierigsten finden.
Warum ist das wichtig?
Das ist wichtig, weil wir immer mehr Computerprogramme haben, die Videos verstehen sollen. Zum Beispiel in der Medizin, um Krankheiten zu erkennen, oder in der Überwachung, um sicherzustellen, dass alles in Ordnung ist. Wenn wir wissen, wo die Computer Fehler machen, können wir sie besser verbessern.
Du willst mehr über die Studie wissen?
Die Forscher, die an MINERVA gearbeitet haben, sind Arsha Nagrani, Sachit Menon, Ahmet Iscen, Shyamal Buch, Ramin Mehran, Nilpa Jha, Anja Hauth, Yukun Zhu, Carl Vondrick, Mikhail Sirotenko, Cordelia Schmid und Tobias Weyand. Mehr Informationen findest du auf der Seite https://github.com/google-deepmind/neptune?tab=readme-ov-file\#minerva.
