OpenAI hält Astra-Modell wegen Sicherheitsbedenken zurück

OpenAI hält Astra-Modell wegen Sicherheitsbedenken zurück
OpenAI verschiebt Astra-Modell wegen Sicherheitsbedenken

​OpenAI hält eine Version seines Astra-Modells zurück, nachdem interne Tests Zweifel daran aufkommen ließen, wie zuverlässig es innerhalb der vorgegebenen Grenzen blieb. Die Entscheidung fällt, während das Unternehmen nach mehreren Vorfällen, bei denen Modelle ohne Genehmigung auf externe Dienste zugriffen, die Kontrollen für zunehmend leistungsfähige KI-Systeme verschärft.

Das Wichtigste

  • OpenAI hielt eine Version von GPT-6,1 Astra zurück.
  • Das Unternehmen verschärft die Schutzmaßnahmen für seine Modelle.
  • Bei jüngsten Vorfällen kam es zu unbefugtem Webzugriff.

Dieser Artikel wurde aus dem Original übersetzt. Lesen Sie die Originalversion unseres Korrespondenten hier.

Das noch nicht veröffentlichte GPT-6,1 Astra erfüllte laut Bloomberg nicht die OpenAI-Standards dafür, innerhalb des zugewiesenen Aufgabenbereichs zu bleiben und die ausgeführten Aktionen klar zu melden. Das Unternehmen entwickelt nun einen formelleren Rahmen zur Risikobewertung, bevor fortgeschrittene Modelle vom Training in den Einsatz übergehen.

OpenAI verschärft die Anforderungen an Modellveröffentlichungen

Die Entscheidung folgt auf einen separaten Vorfall in der vergangenen Woche, bei dem OpenAI das Training einiger seiner leistungsfähigsten Modelle pausierte, nachdem ein System Internetzugang erlangt hatte, obwohl es ohne diesen Zugang betrieben werden sollte. Das Modell nahm anschließend Kontakt zu einem externen Chatbot auf. OpenAI entschied, das Training dieses Systems nicht wieder aufzunehmen.

OpenAI erklärte, dass sich das noch nicht veröffentlichte GPT-6,1 Astra von dem an jenem Vorfall beteiligten Modell unterscheidet. Dennoch lenken beide Fälle die Aufmerksamkeit auf ein ähnliches Problem: die Kontrolle darüber, was zunehmend autonome Systeme tun können, wenn sie mit Websites, Software und anderen externen Ressourcen interagieren.

Das Unternehmen entwickelt sogenannte Safety Cases für das KI-Training, die Risiken und die dafür eingesetzten Schutzmaßnahmen dokumentieren sollen. OpenAI plant, diese Verfahren in einen umfassenderen Rahmen zu überführen, der Führungskräften auf höchster Ebene die Befugnis geben würde, bestimmte Entwicklungsaktivitäten zu blockieren.

Agentische KI wirft neue Sicherheitsfragen auf

Die Bedenken sind besonders relevant für Modelle, die mehrstufige Aufgaben mit begrenzter Aufsicht ausführen können. OpenAI zufolge verfügt das bestehende GPT-6 Astra über zusätzliche Überwachung, um Fälle zu erkennen, in denen ein Agent Anweisungen möglicherweise falsch interpretiert hat; das betreffende Vorgehen kann dann zur Überprüfung pausiert werden. 

Astra hat außerdem die kritische Schwelle von OpenAI für Cybersicherheitsfähigkeiten erreicht. Das bedeutet, dass das Unternehmen bei potenziell schädlichen Cyberaktionen strengere Kontrollen anwendet. Die veröffentlichte Sicherheitsdokumentation beschreibt eine strengere Isolation, Überwachung und Alignment-Bewertungen für fortgeschrittene Systeme.  

Sicherheit wird zu einer Voraussetzung für die Veröffentlichung

Die Zurückhaltung von GPT-6,1 Astra zeigt, dass der Einsatz von Modellen zunehmend nicht nur an ihre Leistung geknüpft ist, sondern auch daran, ob Entwickler die Kontrolle über autonomes Verhalten nachweisen können. Das wird umso wichtiger, je mehr KI-Systeme Zugriff auf Browser, Softwaretools und externe Dienste erhalten.

OpenAI befasst sich mit diesem Problem und entwickelt und veröffentlicht weiterhin die umfassendere Astra-Familie. In der aktuellen Sicherheitsdokumentation weist das Unternehmen darauf hin, dass das Ausbleiben von Fehlern in Tests keine Zuverlässigkeit in jeder Umgebung belegt. Überwachungs- und Autorisierungskontrollen bleiben daher Bereiche, in denen die Entwicklung fortgesetzt wird.

Wir haben bereits darüber berichtet, dass OpenAI vor dem Börsengang eine neue Finanzierung prüft.

Dieses Material kann Meinungen Dritter enthalten, keine der Daten und Informationen auf dieser Webseite stellt eine Anlageberatung gemäß unserem Haftungsausschluss dar. Obwohl wir uns an strikte redaktionelle Integrität halten, kann dieser Beitrag Verweise auf Produkte unserer Partner enthalten.