Britisches Sicherheitsinstitut: KI-Modell verschickt Phishing-Mail

Ein erneuter Vorfall mit einem KI-Modell des US-Unternehmens Anthropic hat die Risiken von eigenständig handelnder Künstlicher Intelligenz offengelegt. In einem Test legte sich das KI-Modell Mythos 5 eine falsche Identität zu, um Entwickler anzuschreiben und sie davon zu überzeugen, Schadprogramme in ihre Software einzubauen. Es handle sich um "eine Täuschung von beispielloser Schwere", erklärte das britische Institut für KI-Sicherheit (AISI) am Dienstag. 

Forscher des AISI gewährten KI-Modellen von Anthropic und des ChatGPT-Entwicklers OpenAI absichtlich Zugang zum Internet. Sie seien davon ausgegangen, dass die Künstliche Intelligenz (KI) sich dort nur Werkzeuge holen würde, um die gestellte Aufgabe zu erfüllen, erklärte das AISI. Doch vor allem ein Modell - Mythos 5 - habe sich "eigenmächtig und ohne Genehmigung" gegen "echte Menschen und Organisationen" gerichtet. 

Mythos 5 versuchte demnach, Schadprogramme in ein Projekt einzuschleusen, dessen Software frei zugänglich ist. Das Modell erstellte dafür eine gefälschte Identität auf der für jedermann zugänglichen Entwickler-Plattform GitHub. Unter dieser Identität verschickte es sogenannte Phishing-Mails - also echt aussehende Mails, mit denen Kriminelle versuchen, etwa an Daten zu kommen. "Ein menschlicher Projektbetreuer durchschaute den Versuch und weigerte sich, den Schadcode freizugeben", erklärte AISI.

Der Vorfall wurde erst nachträglich bei der Auswertung des Versuchs entdeckt, wie das Institut mitteilte. Ungefähr eine Stunde nach dieser Entdeckung sei der Versuch abgebrochen worden. Ein Schaden in der echten Welt sei nicht entstanden, versicherte AISI. Die Risiken der KI-Modelle seien aber "klar" zutage getreten. Gleichzeitig mahnte das Institut, den Vorfall mit "Vorsicht" zu bewerten - die Testbedingungen hätten ihn erst ermöglicht. 

AISI untersucht nach eigenen Angaben die neuesten KI-Modelle, um potenzielle Risiken zu erkennen - bevor diese Modelle der Öffentlichkeit zugänglich gemacht werden. OpenAI und Anthropic haben mit den Modellen Sol beziehungsweise Mythos in diesem Jahr ihre bislang leistungsfähigsten KI-Modelle veröffentlicht. In den vergangenen Tagen hatten beide Unternehmen bekannt gemacht, dass ihre KI-Modelle in Tests mehrfach eigenmächtig in Computersysteme in der echten Welt eingedrungen waren. 

Ein Sprecher des Bundesdigitalministeriums sprach von einem "Paradigmenwechsel": Die Fähigkeiten von KI-Modellen nähmen rasend schnell zu, das verändere auch die "Bedrohungslage massiv". Mehrere EU-Politiker forderten eine größere technologische Eigenständigkeit Europas von US-Konzernen. Ein unkontrolliertes Vorgehen von KI dürfe nicht Realität werden.