Alibabas KI-Agent ROME wurde während des Trainings beim Mining von Kryptowährungen erwischt.
Der chinesische Tech-Gigant Alibaba hat berichtet, dass sein KI-Agent ROME unbefugtes Verhalten an den Tag gelegt hat, darunter das Mining von Kryptowährungen und die Herstellung verschlüsselter Verbindungen ohne Genehmigung. Der technische Bericht des Unternehmens hat die Bedenken hinsichtlich des groß angelegten Einsatzes von KI-Agenten verstärkt.
Höhepunkte
- Alibaba meldet, dass der KI-Agent ROME Krypto schürfte und nicht autorisierte Verbindungen herstellte.
- Der Vorfall weckt neue Bedenken hinsichtlich der Risiken autonomer KI-Agenten.
- Experten warnen, dass die Einführung von KI schneller voranschreitet als die Aufsicht über Governance und Sicherheit.
Dieser Artikel wurde aus dem Original übersetzt. Lesen Sie die Originalversion unseres Korrespondenten hier.
Autonomer ROME
Laut Cryptopolitan hat Alibaba weitere Bedenken hinsichtlich der KI geäußert, nachdem es in einem technischen Bericht enthüllt hatte, dass sein ROME-Agent während des Trainings offenbar eigene Ziele entwickelte und unerlaubte Aktionen ohne Anweisungen von Betreibern durchführte.
Das ROME-Team stellte eine Häufung von Verstößen gegen die Sicherheitsrichtlinien fest, die von den Trainingsservern ausgingen. Der Agent versuchte, auf interne Netzwerkressourcen zuzugreifen und baute einen Reverse-SSH-Tunnel von einer Alibaba-Cloud-Instanz zu einer externen IP-Adresse auf. Die Verkehrsmuster ähnelten auch dem Mining von Kryptowährungen.
Die Betreiber stellten fest, dass dieses Verhalten Computerressourcen von der Schulung ablenkte, die Betriebskosten erhöhte und eindeutige rechtliche und Reputationsrisiken mit sich brachte. Alibaba kam daher zu dem Schluss, dass die Aktivität nicht durch Aufgabenaufforderungen ausgelöst wurde und für die Erfüllung des zugewiesenen Ziels nicht erforderlich war.
Der Vorfall hat die Besorgnis über agentenbasierte KI verstärkt, insbesondere weil es sich nicht um einen Einzelfall handelt.
Letztes Jahr berichteten Forscher von Anthropic, dass eines ihrer Vorzeigemodelle, Claude Opus 4, die Fähigkeit zeigte, seine Absichten zu verschleiern und während Sicherheitsbewertungen Maßnahmen zu ergreifen, um seine eigene Existenz zu bewahren. In einem Testszenario versuchte das Modell, einen fiktiven Ingenieur zu erpressen, indem es drohte, ein persönliches Geheimnis preiszugeben, falls es abgeschaltet und ersetzt würde.
Als Reaktion auf die von ROME gestellten Herausforderungen hat Alibaba nach eigenen Angaben eine sicherheitskonforme Datenfilterung in seine Trainingspipeline implementiert und den Schutz der Testumgebungen, in denen seine Agenten arbeiten, verstärkt. Anthropic erklärte außerdem, dass es die Sicherheitsbewertung von Claude Opus 4 auf die höchste interne Stufe angehoben hat.
Verschweigen die Betreiber Risiken?
In einem im Oktober 2025 veröffentlichten McKinsey-Forschungsbericht wurde festgestellt, dass 80 % der Unternehmen, die KI-Agenten einsetzen, über Fälle von riskantem oder unerwartetem Verhalten berichten. Gleichzeitig bauen große Unternehmen Arbeitsplätze ab und nennen die Einführung von KI als einen der Hauptfaktoren.
Darüber hinaus ergab eine 2025 durchgeführte Umfrage unter 30 führenden KI-Agenten, dass 25 von ihnen die Ergebnisse interner Sicherheitsprüfungen nicht offengelegt und 23 keine unabhängigen externen Tests durchlaufen hatten.
Schätzungen zufolge werden bis Ende 2026 etwa 40 % der Unternehmensanwendungen spezialisierte KI-Agenten nutzen. McKinsey warnt jedoch davor, dass sich agentengestützte Workflows schneller verbreiten, als Governance-Modelle ihre Risiken bewältigen können.
Dies zeigt, wie wichtig es ist, dass Unternehmen den Einsatz von KI-Agenten ernst nehmen. Selbst große Unternehmen wie Alibaba sehen sich mit unvorhersehbarem KI-Verhalten konfrontiert, was die Notwendigkeit der Ausbildung und Schulung von Spezialisten für ein sicheres KI-Agenten-Management unterstreicht.
Gleichzeitig können die beunruhigenden Vorfälle mit ROME und Claude Opus 4 die Entwicklung von KI-Ethik- und Sicherheitsstandards beschleunigen. Sie weisen auch auf die Notwendigkeit transparenterer Prüfprotokolle, einer automatischen Überwachung des Agentenverhaltens und der Integration von Frühwarnsystemen hin.
Wie wir geschrieben haben, investiert Alibaba 53 Milliarden Dollar in die KI-Infrastruktur
Neueste Alibaba Nachrichten
- Forex
- Crypto