Anthropic avertizează cu privire la riscurile IA cu auto-îmbunătățire
Compania de IA cu sediul în SUA, Anthropic, a avertizat că dezvoltarea inteligenței artificiale accelerează atât de rapid încât, în viitorul apropiat, agenții de IA ar putea crea, antrena și îmbunătăți independent noi sisteme, fără implicare umană. Pe acest fundal, compania a cerut o încetinire a dezvoltării rețelelor neuronale.
Acest articol a fost tradus din original. Citiți versiunea originală a corespondentului nostru aici.
Într-o postare pe blog, Marina Favaro, șefa Institutului Anthropic, și cofondatorul Anthropic, Jack Clark, au declarat că agenții de IA sunt deja capabili să ruleze cod pe cont propriu, delegând ore de muncă altor agenți și apropiindu-se treptat de punctul în care ar putea prelua întregul ciclu de dezvoltare.
„În cea mai mare parte a istoriei IA, oamenii au controlat fiecare etapă a dezvoltării sale. Dar la Anthropic, delegăm o cotă tot mai mare din dezvoltarea IA sistemelor de IA înseși, ceea ce ne accelerează munca”, au spus aceștia.
Potrivit lui Favaro și Clark, dacă această tendință continuă și sistemele primesc suficientă putere de calcul, ar putea apărea în cele din urmă o IA capabilă să proiecteze și să dezvolte complet autonom propriul succesor.
Accent pe siguranță
Creșterea unor astfel de capacități ridică îngrijorări cu privire la un scenariu în care IA ar putea deveni mai inteligentă de la sine. În decembrie, OpenAI a declarat că studiază modalități sigure de a dezvolta și implementa sisteme de IA tot mai avansate, inclusiv modele capabile de auto-îmbunătățire recursivă.
OpenAI a declarat că dorește ca astfel de sisteme să urmeze în mod constant intenția umană în scenarii complexe din lumea reală și în condiții adverse, să evite comportamentele catastrofale, să rămână controlabile și auditabile și să rămână aliniate cu valorile umane.
Aceștia au adăugat că, odată ce calitatea codului scris de om și a celui scris de IA va ajunge la paritate, oamenii ar putea înceta să mai scrie cod cu totul și să treacă doar la revizuirea acestuia. Totuși, dacă nu pot revizui codul la fel de repede cum îl generează Claude, revizuirea umană va deveni principalul blocaj în dezvoltarea IA.
De ce trebuie încetinită dezvoltarea IA
Favaro și Clark au mai spus că scenariul ideal ar fi încetinirea dezvoltării, astfel încât societatea să aibă mai mult timp să înțeleagă consecințele „imense” ale acestei tehnologii.
În aprilie, Anthropic a refuzat să lanseze public modelul său de IA Claude Mythos din cauza preocupărilor legate de amenințările cibernetice globale. Modelul ar putea crea cu ușurință exploit-uri software, așa că compania a decis să nu îl facă public pentru moment.
În aceeași zi, un grup de lideri din tehnologie, inclusiv reprezentanți ai Anthropic și OpenAI, au publicat o scrisoare deschisă prin care îndeamnă legiuitorii să introducă limite mai stricte pentru IA. Autorii au avertizat că tehnologia ar putea ajuta actorii rău intenționați să depășească „barierele de cunoaștere” care îi împiedicau anterior să creeze arme biologice.
În același timp, aceștia au subliniat că simpla încetinire ar putea crea noi riscuri dacă ar permite jucătorilor mai puțin precauți să recupereze decalajul tehnologic față de liderii industriei. Fără un mecanism de coordonare globală, companiile și guvernele vor fi forțate să ia decizii dificile de siguranță sub presiune competitivă și geopolitică.
Ce face ca Claude să fie valoros
Produsul emblematic al Anthropic este asistentul de IA Claude. Este o familie de modele de limbaj concepute pentru a lucra cu text, cod, date și sarcini complexe unde contează nu doar viteza de răspuns, ci și siguranța, controlabilitatea și fiabilitatea. Claude este utilizat ca asistent universal: poate scrie și edita texte, analiza documente, explica subiecte complexe, ajuta la programare, găsi erori în cod și pregăti rezumate, e-mailuri, rapoarte și alte materiale de lucru.
Pentru companii, Claude este valoros deoarece poate prelua o parte din munca intelectuală de rutină. Este utilizat în asistența clienților, analiză, dezvoltare software, procese juridice și financiare, marketing și instrumente corporative interne. Companiile folosesc Claude ca asistent de chat, API pentru integrare în produsele lor și instrument pentru automatizarea sarcinilor care necesită procesarea rapidă a unor volume mari de informații și primirea de răspunsuri clare în limbaj natural.
Ca reamintire, Claude a ajutat la recuperarea parolei unui portofel care conținea 5 Bitcoin.
Ultimele știri Anthropic
- Forex
- Crypto
-
1
TU score: 9.4/1082% din conturile de retail CFD pierd bani. -
2
TU score: 9.2/10Capitalul dumneavoastră poate fi în pericol. -
3
TU score: 9.1/10Capitalul dumneavoastră poate fi în pericol. -
4
TU score: 8.9/10Capitalul dvs este supus riscului. -
5
TU score: 8.7/10Capitalul dumneavoastră poate fi în pericol.