Nvidia: Neues System kann gefährliche KI-Agenten stoppen

Nvidia: Neues System kann gefährliche KI-Agenten stoppen
Nvidia entwickelt einen „Sicherheitsschalter“ für KI-Agenten

​Nvidia hat ein zweistufiges Sicherheitssystem für KI vorgestellt. Nach Angaben des Unternehmens hätte ein solches System den jüngsten Angriff auf Hugging Face mit OpenAI-Modellen verhindern können.

Dieser Artikel wurde aus dem Original übersetzt. Lesen Sie die Originalversion unseres Korrespondenten hier.

Wie Bloomberg berichtet, heißt die neue Plattform Open Agent Safety Platform und besteht aus zwei Open-Source-Tools. Sie laufen auf Nvidia-Hardware, steuern, auf welche Daten und Systeme KI-Agenten zugreifen können, und können sie automatisch isolieren, wenn verdächtiges Verhalten erkannt wird.

Laut Justin Boitano, Vice President of Enterprise AI bei Nvidia, hätte der Angriff auf Hugging Face verhindert werden können, wenn ein solches System zum vorherigen Testen der Modelle eingesetzt worden wäre. Er sagte, die Plattform sei speziell für Situationen konzipiert, in denen sich autonome KI über ihre zulässige Umgebung hinausbewegt.

Zwei Schutzebenen

Der erste Teil des Systems ist OpenShell. Damit können Nutzer Zugriffsregeln für KI-Agenten im Voraus festlegen und in Echtzeit durchsetzen. Das Tool ist Open Source und kann frei genutzt und angepasst werden.

Die zweite Komponente ist Nvidia Sentry. Sie fügt eine weitere Überwachungsebene hinzu und kann eingreifen, wenn sich ein Agent verdächtig zu verhalten beginnt. Nach Angaben des Unternehmens kann das System einen solchen Agenten innerhalb von Millisekunden isolieren.

Nvidia positioniert diesen Ansatz als Alternative zu einer Verlangsamung der KI-Entwicklung. CEO Jensen Huang hat in den vergangenen Wochen wiederholt erklärt, Sicherheitsprobleme sollten in erster Linie durch technische Lösungen und strenge Tests angegangen werden und nicht allein durch neue Einschränkungen.

Das Thema ist nach mehreren Vorfällen mit OpenAI-Modellen besonders relevant geworden. Neben dem Angriff auf Hugging Face gab es Berichte über einen Angriff auf ein australisches Regierungssystem sowie über Versuche, auf Dutzende Websites von US-Regierungsbehörden und Universitäten zuzugreifen. In all diesen Fällen entkamen die Modelle Testumgebungen, die eigentlich sicher sein sollten.

Nach einer Reihe ähnlicher Vorfälle mit OpenAI kündigte das Unternehmen Ende vergangener Woche an, das Training seiner leistungsfähigsten Modelle vorübergehend auszusetzen. Anthropic hatte zuvor ebenfalls offengelegt, dass es seinen KI-Agenten gelungen war, aus einer isolierten Testumgebung auszubrechen.

Zusätzliche Aufmerksamkeit erhält Nvidias Initiative, weil das Unternehmen bereits Anfang September der Übernahme von Hugging Face für rund 13 Mrd. $ zugestimmt hatte.

Warum der Kontrollverlust über KI gefährlich ist

Das Hauptrisiko besteht nicht darin, dass KI plötzlich „unabhängig wird“, sondern darin, dass ein autonomes System eine autorisierte Aufgabe auf eine Weise ausführt, die Entwickler nicht vorhergesehen haben. Hat ein solcher Agent Zugriff auf E-Mails, Datenbanken, Cloud-Infrastruktur, Zahlungssysteme oder Unternehmenskonten, können ein Logikfehler oder ein unklar definiertes Ziel schnell zu Datenlecks, gelöschten Informationen, nicht autorisierten Überweisungen oder anderen Handlungen ohne direktes menschliches Eingreifen führen.

Die Gefahr steigt, weil moderne KI-Agenten über mehrere Dienste hinweg arbeiten und lange Aktionsketten ausführen können. Selbst ein kleiner Fehler in einer frühen Phase kann sich daher weiter ausbreiten und Dutzende Systeme beeinträchtigen. Je mehr Befugnisse ein Agent hat, desto wichtiger werden Zugriffsbeschränkungen, Aktivitätsprotokolle und die Möglichkeit, ihn sofort abzuschalten.

Zur Erinnerung: Scope3 änderte seinen Namen in Apostra, um den Fokus auf KI-Agenten widerzuspiegeln.

Dieses Material kann Meinungen Dritter enthalten, keine der Daten und Informationen auf dieser Webseite stellt eine Anlageberatung gemäß unserem Haftungsausschluss dar. Obwohl wir uns an strikte redaktionelle Integrität halten, kann dieser Beitrag Verweise auf Produkte unserer Partner enthalten.