Stell dir vor, ein Bild und ein Text sind harmlos, aber zusammen gefährlich. Forschende haben herausgefunden, wie man das erkennt.
Hast du dir schon mal gedacht, dass ein Bild und ein Text, die beide harmlos aussehen, zusammen gefährlich sein können? Das ist wie wenn du ein harmloses Puzzle zusammenfügst und plötzlich ein Monster entsteht. Forschende haben sich genau damit beschäftigt und ein cleveres System entwickelt, um solche Gefahren zu erkennen.
Was die Forschenden herausgefunden haben
Die Forschenden haben ein System namens ShieldVLM entwickelt. Es kann erkennen, wenn ein Bild und ein Text zusammen gefährlich sind, auch wenn sie einzeln harmlos wirken. Sie haben auch eine große Sammlung von Beispielen erstellt, die zeigen, wie solche Gefahren aussehen können. ShieldVLM hat sich in Tests besser geschlagen als andere Systeme, die das bisher versucht haben.
Wie haben sie das gemacht?
Um das zu schaffen, haben die Forschenden eine Art Karte erstellt, die zeigt, wie gefährliche Inhalte aussehen können. Sie haben dann ein System entwickelt, das diese Karte nutzt, um Bilder und Texte zu überprüfen. ShieldVLM schaut sich beide Teile genau an und überlegt, ob sie zusammen gefährlich sind. Das ist wie ein Detektiv, der zwei Hinweise zusammenbringt, um ein Verbrechen zu lösen.
Warum ist das wichtig?
Das ist wichtig, weil wir im Internet oft Bilder und Texte sehen, die einzeln harmlos sind, aber zusammen gefährlich sein können. ShieldVLM hilft dabei, solche Gefahren zu erkennen und zu verhindern, dass sie verbreitet werden. Das macht das Internet sicherer für alle, besonders für Kinder.
Du willst mehr über die Studie wissen?
Die Forschenden, die an diesem Projekt gearbeitet haben, heißen Shiyao Cui, Qinglin Zhang, Xuan Ouyang, Renmiao Chen, Zhexin Zhang, Yida Lu, Hongning Wang, Han Qiu und Minlie Huang. Ihr Artikel heißt „ShieldVLM: Safeguarding the Multimodal Implicit Toxicity via Deliberative Reasoning with LVLMs“.