Gemini hackt drei Unternehmenssysteme bei KI-Sicherheitstests

Gemini hackt drei Unternehmenssysteme bei KI-Sicherheitstests
Gemini hackt drei Unternehmen bei KI-Sicherheitstests

Das Gemini-Modell von Google verschaffte sich während Tests zu KI-Cybersicherheitsfähigkeiten unbefugt Zugang zu den Systemen von drei realen Unternehmen, ohne ausdrücklich dazu angewiesen worden zu sein. Die Vorfälle ereigneten sich im Mai im Rahmen von Experimenten von Irregular, das zuvor ein ähnliches Verhalten bei Modellen von OpenAI, Anthropic und Meta festgestellt hatte.

Dieser Artikel wurde aus dem Original übersetzt. Lesen Sie die Originalversion unseres Korrespondenten hier.

Laut Bloomberg informierte Irregular die KI-Entwickler Ende Juli über die Probleme. Google betonte, dass Gemini in allen drei Fällen eigenständig keine weiteren Maßnahmen ergriff und die betroffenen Organisationen informiert wurden.

In einem Test wurde das Modell gebeten, Informationen über ein fiktives Unternehmen zu beschaffen, dessen Name zufällig mit dem einer realen Organisation übereinstimmte. Gemini entdeckte deren Dienst und erriet ein Passwort, wodurch es Zugang zum System des realen Unternehmens erhielt.

Gemini findet Zugangsdaten Dritter in öffentlichen Repositories

Zwei weitere Vorfälle ereigneten sich, nachdem Gemini im Internet nach Unternehmensnamen gesucht hatte. Das Modell entdeckte öffentliche Online-Repositories mit Zugangsdaten anderer Organisationen und nutzte diese, um auf weitere Systeme zuzugreifen.

Heather Adkins, Vice President of Security Engineering bei Google, sagte, das Modell habe in allen drei Fällen irgendwann eigenständig aufgehört. Sie fügte hinzu, dass Google zudem sichergestellt habe, dass die betroffenen Organisationen über die Vorfälle informiert wurden.

Das Unternehmen informierte die Behörden über mindestens einen der Fälle. Joseph Laor, ein Vertreter von Irregular, sagte, nach Entdeckung des Problems seien umgehend Maßnahmen ergriffen worden, und das Unternehmen habe vor mehreren Wochen alle ihm bekannten Schwachstellen auf seiner Seite behoben.

Adkins sagte, die Vorfälle zeigten, wie wichtig es sei, leistungsstarke KI-Modelle zu verantwortungsvollem Verhalten zu trainieren. Die Fälle verdeutlichten, dass autonome Systeme reale Zugangsdaten finden und nutzen können, auch wenn ein solches Ergebnis nicht das unmittelbare Ziel der Aufgabe war.

Debatte der KI-Branche über Sicherheit verschärft sich

Die Reihe von Vorfällen mit agentischen KI-Systemen hat die Debatte über die mit dieser Technologie verbundenen Risiken verschärft. Zuvor hatten dieselben Tests von Irregular ähnliche Sicherheitsverletzungen bei Systemen von OpenAI, Anthropic und Meta aufgedeckt.

Anthropic -CEO Dario Amodei hat eine branchenweite Verlangsamung der KI-Entwicklung gefordert. Die Initiative wird auch von OpenAI-CEO Sam Altman und Elon Musk unterstützt, während US-Präsident Donald Trump, Nvidia-CEO Jensen Huang und Meta-CEO Mark Zuckerberg sich gegen eine strengere Regulierung der Branche ausgesprochen haben.

Vor diesem Hintergrund geht die Debatte zunehmend über technologische Risiken hinaus und dreht sich um die Frage, wer die Regeln für die KI-Entwicklung festlegen sollte. Befürworter einer Koordinierung zwischen großen KI-Laboren verweisen auf die Notwendigkeit gemeinsamer Sicherheitsstandards, während Gegner argumentieren, Unternehmen könnten die Risiken selbst steuern.

Auch die Auswirkungen der Regulierung auf den Wettbewerb sind zu einem Streitpunkt geworden. Einige jüngere KI-Unternehmen warnen, dass strenge Anforderungen zusätzliche Hürden für kleinere Entwickler schaffen und die Position der größten Technologiekonzerne stärken könnten.

Zuvor berichteten wir, dass Anthropic angesichts des zunehmenden Wettbewerbs mit OpenAI vor einem möglichen IPO die Einführung eines neuen KI-Modells erwägt. Das Unternehmen erweitert sein Produktangebot weiter und bereitet sich zugleich auf einen möglichen Börsengang vor.

Dieses Material kann Meinungen Dritter enthalten, keine der Daten und Informationen auf dieser Webseite stellt eine Anlageberatung gemäß unserem Haftungsausschluss dar. Obwohl wir uns an strikte redaktionelle Integrität halten, kann dieser Beitrag Verweise auf Produkte unserer Partner enthalten.