Anthropic avverte dei rischi dell'IA capace di auto-miglioramento
La società di IA statunitense Anthropic ha avvertito che lo sviluppo dell'intelligenza artificiale sta accelerando così rapidamente che, nel prossimo futuro, gli agenti di IA potrebbero creare, addestrare e migliorare autonomamente nuovi sistemi senza il coinvolgimento umano. In questo contesto, l'azienda ha chiesto un rallentamento nello sviluppo delle reti neurali.
Questo articolo è stato tradotto dall'originale. Leggi la versione originale del nostro corrispondente qui.
In un post sul blog, Marina Favaro, responsabile dell'Anthropic Institute, e il co-fondatore di Anthropic Jack Clark hanno affermato che gli agenti di IA sono già in grado di eseguire codice autonomamente, delegando ore di lavoro ad altri agenti e avvicinandosi gradualmente al punto in cui potrebbero assumere il controllo dell'intero ciclo di sviluppo.
“Per la maggior parte della storia dell'IA, gli esseri umani hanno controllato ogni fase del suo sviluppo. Ma in Anthropic, stiamo delegando una quota crescente dello sviluppo dell'IA ai sistemi di IA stessi, il che sta accelerando il nostro lavoro”, hanno dichiarato.
Secondo Favaro e Clark, se questa tendenza continuerà e i sistemi riceveranno abbastanza potenza di calcolo, potrebbe alla fine emergere un'IA capace di progettare e sviluppare il proprio successore in modo completamente autonomo.
Focus sulla sicurezza
La crescita di tali capacità sta sollevando preoccupazioni su uno scenario in cui l'IA potrebbe diventare più intelligente da sola. A dicembre, OpenAI ha dichiarato di stare studiando modi sicuri per sviluppare e distribuire sistemi di IA sempre più avanzati, inclusi modelli capaci di auto-miglioramento ricorsivo.
OpenAI ha affermato di volere che tali sistemi seguano costantemente l'intento umano in scenari complessi del mondo reale e in condizioni avverse, evitino comportamenti catastrofici, rimangano controllabili e verificabili e restino allineati con i valori umani.
Hanno aggiunto che una volta che la qualità del codice scritto dall'uomo e di quello scritto dall'IA raggiungerà la parità, le persone potrebbero smettere del tutto di scrivere codice e passare solo alla sua revisione. Tuttavia, se non riusciranno a revisionare il codice con la stessa rapidità con cui Claude lo genera, la revisione umana diventerà il principale collo di bottiglia nello sviluppo dell'IA.
Perché rallentare lo sviluppo dell'IA
Favaro e Clark hanno anche affermato che lo scenario ideale sarebbe quello di rallentare lo sviluppo in modo che la società abbia più tempo per comprendere le “immense” conseguenze di questa tecnologia.
Ad aprile, Anthropic ha rifiutato di rilasciare al pubblico il suo modello di IA Claude Mythos a causa di preoccupazioni legate alle minacce alla sicurezza informatica globale. Il modello potrebbe facilmente creare exploit software, quindi l'azienda ha deciso di non renderlo pubblico per ora.
Nello stesso giorno, un gruppo di leader tecnologici, inclusi rappresentanti di Anthropic e OpenAI, ha pubblicato una lettera aperta esortando i legislatori a introdurre limiti più severi sull'IA. Gli autori hanno avvertito che la tecnologia potrebbe aiutare attori malintenzionati a superare le “barriere di conoscenza” che in precedenza impedivano loro di creare armi biologiche.
Allo stesso tempo, hanno sottolineato che il semplice rallentamento potrebbe creare nuovi rischi se permettesse ad attori meno cauti di raggiungere tecnologicamente i leader del settore. Senza un meccanismo di coordinamento globale, le aziende e i governi saranno costretti a prendere decisioni difficili sulla sicurezza sotto la pressione competitiva e geopolitica.
Cosa rende Claude prezioso
Il prodotto di punta di Anthropic è l'assistente IA Claude. Si tratta di una famiglia di modelli linguistici progettati per lavorare con testi, codici, dati e compiti complessi dove non conta solo la velocità di risposta, ma anche la sicurezza, la controllabilità e l'affidabilità. Claude viene utilizzato come assistente universale: può scrivere e modificare testi, analizzare documenti, spiegare argomenti complessi, aiutare con la programmazione, trovare errori nel codice e preparare sintesi, email, report e altri materiali di lavoro.
Per le aziende, Claude è prezioso perché può farsi carico di parte del lavoro intellettuale di routine. Viene utilizzato nel supporto clienti, nell'analisi, nello sviluppo software, nei processi legali e finanziari, nel marketing e negli strumenti aziendali interni. Le aziende utilizzano Claude come assistente chat, come API per l'integrazione nei propri prodotti e come strumento per automatizzare compiti che richiedono l'elaborazione rapida di grandi quantità di informazioni e la ricezione di risposte chiare in linguaggio naturale.
Come promemoria, Claude ha aiutato a recuperare la password di un wallet contenente 5 Bitcoin.
Ultime notizie su Anthropic
- Forex
- Crypto