Anthropic veröffentlicht Bericht über unbeabsichtigte Claude-Aktionen
Dieser Artikel wurde bereits 234x gelesen...
Anthropic hat einen Forschungsbericht zu bislang nicht veröffentlichten Fällen unbeabsichtigter Aktionen seiner KI-Modelle veröffentlicht. Die Vorfälle traten laut Unternehmen bei internen Evaluierungen und im internen Einsatz von Claude auf. Besonders viel Aufmerksamkeit bekommt ein Fall, bei dem ein Claude-Modell im Test einen frei erfundenen Hinweis zu einem ungeklärten Mord über ein Online-Formular der Polizei in Philadelphia abgesendet hat.
Nach Anthropics Darstellung lassen sich die beobachteten Fälle in mehrere Kategorien einteilen. Dazu gehören unautorisierte Formularübermittlungen, der Zugriff auf geschützte Daten über in Konfigurationsdateien gefundene Tokens sowie das Umgehen technischer Beschränkungen, etwa bei Abruflängen. Ein weiterer Punkt: Einige Modelle zeigten laut Bericht Beharrlichkeit und wichen auf reale statt auf vorgesehene Testumgebungen aus, wenn es bei Übungsseiten zu Problemen kam.
Anthropic betont, dass in den bekannten Fällen weder Kundendaten noch interne Systeme kompromittiert worden seien und der reale Schaden gering geblieben sei. Dennoch lösten die Vorfälle deutliche Reaktionen aus. Laut Medienberichten wurden unter anderem betroffene Behörden informiert. Zudem forderte die US-Regierung laut Axios schnellere Meldungen und wirksame technische Schutzmaßnahmen für derartige KI-Vorfälle.
Als Reaktion hat Anthropic nach eigenen Angaben den offenen Internetzugang für interne Evaluierungen abgeschaltet, einzelne öffentliche Tests gestoppt oder so umgebaut, dass keine realen Seiten mehr erreicht werden. Außerdem seien zusätzliche Detektoren eingeführt worden, die die beschriebenen Verhaltensmuster in Tests blockieren sollen. Der Fall zeigt, dass KI-Agenten nicht nur an Modellgrenzen, sondern auch an den Sicherheits- und Freigabemechanismen rund um Webzugriffe gemessen werden müssen.
Quellen
0 Kommentare