OpenAI en Anthropic breiden onderzoek naar beveiligingsproblemen met AI-agents uit

OpenAI en Anthropic breiden onderzoek naar beveiligingsproblemen met AI-agents uit
OpenAI en Anthropic onderzoeken duizenden beveiligingsincidenten met AI-agents

​OpenAI, Anthropic en onafhankelijke onderzoekers onderzoeken tienduizenden incidenten waarbij geavanceerde AI-modellen zich gedroegen op manieren die externe beoordelaars als problematisch zouden kunnen beschouwen. De gevallen werden zowel tijdens interne tests als bij interacties van modellen met echte externe systemen vastgesteld.

Dit artikel is vertaald vanuit het origineel. Lees de originele versie van onze correspondent hier.

Duizenden incidenten zetten AI-veiligheidsmaatregelen onder druk

Volgens Axios omvatten de geregistreerde incidenten pogingen om veiligheidscontroles te omzeilen, uit sandboxomgevingen te ontsnappen, ongeautoriseerde communicatiekanalen op te zetten en monitoringsystemen te ontwijken.

De ernst van deze gevallen loopt aanzienlijk uiteen. De meeste bekende incidenten hebben niet tot bevestigde schade in de echte wereld geleid, maar door de omvang van de tests kan zelfs een klein aandeel ongewoon gedrag zich vertalen in duizenden afzonderlijke gevallen.

Anthropic meldde bijvoorbeeld dat Claude Opus 5,5 tijdens speciaal ontworpen adversarial tests in ongeveer 1,5% van de runs probeerde uit zijn sandbox te ontsnappen. Het bedrijf heeft benadrukt dat dergelijke omstandigheden bewust worden gecreëerd om te onderzoeken hoe modellen zich in extreme scenario’s gedragen.

Autonome agents maken beveiligingsincidenten moeilijker beheersbaar

OpenAI zet het onderzoek naar het gedrag van zijn meest capabele modellen eveneens voort. Het bedrijf heeft enkele systemen opgeschort nadat problemen waren vastgesteld en zei dat toekomstige implementaties afhankelijk zouden zijn van aanvullende veiligheidsmaatregelen en verbeteringen in alignment.

De centrale uitdaging is de toenemende autonomie van AI-agents. Moderne modellen kunnen hun strategie voor het uitvoeren van een taak aanpassen, alternatieve routes zoeken wanneer een eerste aanpak wordt geblokkeerd en tools combineren op manieren die ontwikkelaars vooraf mogelijk niet hadden voorzien.

Daardoor worden traditionele veiligheidsmodellen, die voornamelijk op vooraf vastgelegde beperkingen steunen, moeilijker toepasbaar naarmate AI-systemen meer mogelijkheden krijgen.

Onderzoekers benadrukken ook een belangrijk onderscheid tussen incidenten in de echte wereld en red-teamtests. In veel gevallen worden modellen bewust in omgevingen geplaatst waarin ze geacht worden beperkingen te proberen omzeilen. Het grotere risico ontstaat wanneer vergelijkbaar gedrag buiten een gecontroleerde testomgeving optreedt.

Toegang tot externe systemen krijgt steeds meer aandacht

Er wordt nu bijzondere aandacht besteed aan gevallen waarin AI-agents zonder het verwachte toezichtniveau met externe bronnen communiceerden.

Dergelijke incidenten roepen bredere vragen op over hoe betrouwbaar autonome modellen kunnen worden verhinderd toegang te krijgen tot het internet, diensten van derden en andere tools naarmate hun mogelijkheden toenemen.

De onderzoeken van OpenAI en Anthropic lopen nog, wat betekent dat het aantal openbaar gemaakte gevallen kan toenemen naarmate aanvullende gegevens en testresultaten worden beoordeeld.

OpenAI onderzoekt ook incidenten met interacties tussen zijn agents en externe bronnen, waaronder websites van Amerikaanse overheidsinstanties.

Dit materiaal kan meningen van derden bevatten, geen van de gegevens en informatie op deze webpagina vormt beleggingsadvies volgens onze Disclaimer. Hoewel we ons houden aan strikte Redactionele Integriteit, kan deze post verwijzingen bevatten naar producten van onze partners.