Anthropic waarschuwt voor risico's van zelfverbeterende AI

Anthropic waarschuwt voor risico's van zelfverbeterende AI
Anthropic waarschuwde voor de dreiging van AI

Het in de VS gevestigde AI-bedrijf Anthropic heeft gewaarschuwd dat de ontwikkeling van kunstmatige intelligentie zo snel gaat dat AI-agents in de nabije toekomst onafhankelijk nieuwe systemen zouden kunnen creëren, trainen en verbeteren zonder menselijke tussenkomst. Tegen deze achtergrond heeft het bedrijf opgeroepen tot een vertraging in de ontwikkeling van neurale netwerken.

Dit artikel is vertaald vanuit het origineel. Lees de originele versie van onze correspondent hier.

In een blogpost zeiden Marina Favaro, hoofd van het Anthropic Institute, en medeoprichter van Anthropic Jack Clark dat AI-agents al in staat zijn om zelfstandig code uit te voeren, uren werk te delegeren aan andere agents en geleidelijk het punt naderen waarop ze de volledige ontwikkelingscyclus kunnen overnemen.

“Gedurende het grootste deel van de geschiedenis van AI hadden mensen de controle over elke fase van de ontwikkeling. Maar bij Anthropic delegeren we een steeds groter deel van de AI-ontwikkeling aan AI-systemen zelf, wat ons werk versnelt,” zeiden ze.

Volgens Favaro en Clark zou er, als deze trend zich voortzet en systemen voldoende rekenkracht krijgen, uiteindelijk AI kunnen ontstaan die in staat is om volledig autonoom zijn eigen opvolger te ontwerpen en te ontwikkelen.

Focus op veiligheid

De groei van dergelijke capaciteiten roept zorgen op over een scenario waarin AI uit zichzelf slimmer zou kunnen worden. In december zei OpenAI dat het veilige manieren bestudeert om steeds geavanceerdere AI-systemen te ontwikkelen en in te zetten, inclusief modellen die in staat zijn tot recursieve zelfverbetering.

OpenAI gaf aan dat het wil dat dergelijke systemen consequent de menselijke intentie volgen in complexe scenario's in de echte wereld en onder vijandige omstandigheden, catastrofaal gedrag vermijden, controleerbaar en auditeerbaar blijven, en afgestemd blijven op menselijke waarden.

Ze voegden eraan toe dat zodra de kwaliteit van door mensen geschreven en door AI geschreven code gelijkwaardig is, mensen mogelijk helemaal stoppen met het schrijven van code en alleen nog overstappen op het beoordelen ervan. Echter, als ze code niet zo snel kunnen beoordelen als Claude het genereert, zal menselijke beoordeling de belangrijkste bottleneck worden in de AI-ontwikkeling.

Waarom AI-ontwikkeling vertragen

Favaro en Clark zeiden ook dat het ideale scenario zou zijn om de ontwikkeling te vertragen, zodat de samenleving meer tijd heeft om de “immense” gevolgen van deze technologie te begrijpen.

In april weigerde Anthropic zijn AI-model Claude Mythos aan het publiek vrij te geven vanwege zorgen over wereldwijde cyberbeveiligingsdreigingen. Het model zou gemakkelijk software-exploits kunnen creëren, dus besloot het bedrijf het voorlopig niet openbaar te maken.

Op dezelfde dag publiceerde een groep technologieleiders, waaronder vertegenwoordigers van Anthropic en OpenAI, een open brief waarin ze wetgevers opriepen om strengere limieten voor AI in te voeren. De auteurs waarschuwden dat de technologie kwaadwillenden zou kunnen helpen om de “kennisbarrières” te overwinnen die hen er voorheen van weerhielden biologische wapens te maken.

Tegelijkertijd benadrukten ze dat simpelweg vertragen nieuwe risico's zou kunnen creëren als het minder voorzichtige spelers in staat stelt technologisch in te lopen op marktleiders. Zonder een wereldwijd coördinatiemechanisme zullen bedrijven en overheden gedwongen worden om moeilijke veiligheidsbeslissingen te nemen onder competitieve en geopolitieke druk.

Wat Claude waardevol maakt

Het vlaggenschipproduct van Anthropic is de AI-assistent Claude. Het is een familie van taalmodellen die zijn ontworpen om te werken met tekst, code, data en complexe taken waarbij niet alleen de reactiesnelheid telt, maar ook veiligheid, controleerbaarheid en betrouwbaarheid. Claude wordt gebruikt als een universele assistent: het kan teksten schrijven en bewerken, documenten analyseren, complexe onderwerpen uitleggen, helpen bij het programmeren, fouten in code vinden en samenvattingen, e-mails, rapporten en ander werkmateriaal voorbereiden.

Voor bedrijven is Claude waardevol omdat het een deel van het routinematige intellectuele werk kan overnemen. Het wordt gebruikt in klantenservice, analyse, softwareontwikkeling, juridische en financiële processen, marketing en interne bedrijfstools. Bedrijven gebruiken Claude als chatassistent, een API voor integratie in hun producten en een tool voor het automatiseren van taken die het snel verwerken van grote hoeveelheden informatie en het ontvangen van duidelijke antwoorden in natuurlijke taal vereisen.

Ter herinnering: Claude hielp bij het herstellen van het wachtwoord van een wallet met 5 Bitcoin.

Dit materiaal kan meningen van derden bevatten, geen van de gegevens en informatie op deze webpagina vormt beleggingsadvies volgens onze Disclaimer. Hoewel we ons houden aan strikte Redactionele Integriteit, kan deze post verwijzingen bevatten naar producten van onze partners.