Anthropic ostrzega przed ryzykiem samodoskonalącej się AI
Amerykańska firma AI Anthropic ostrzegła, że rozwój sztucznej inteligencji przyspiesza tak szybko, że w niedalekiej przyszłości agenci AI mogą niezależnie tworzyć, trenować i ulepszać nowe systemy bez udziału człowieka. Na tym tle firma wezwała do spowolnienia rozwoju sieci neuronowych.
Ten artykuł został przetłumaczony z oryginału. Przeczytaj oryginalną wersję przygotowaną przez naszego korespondenta tutaj.
W poście na blogu Marina Favaro, szefowa Anthropic Institute, oraz współzałożyciel Anthropic Jack Clark stwierdzili, że agenci AI są już zdolni do samodzielnego uruchamiania kodu, delegowania godzin pracy innym agentom i stopniowo zbliżają się do punktu, w którym mogliby przejąć cały cykl rozwojowy.
„Przez większość historii AI ludzie kontrolowali każdy etap jej rozwoju. Jednak w Anthropic delegujemy coraz większą część rozwoju AI samym systemom AI, co przyspiesza naszą pracę” – stwierdzili.
Według Favaro i Clarka, jeśli ten trend się utrzyma, a systemy otrzymają wystarczającą moc obliczeniową, ostatecznie może pojawić się AI zdolna do w pełni autonomicznego projektowania i rozwijania swojego następcy.
Skupienie na bezpieczeństwie
Wzrost takich możliwości budzi obawy o scenariusz, w którym AI mogłaby stać się mądrzejsza sama z siebie. W grudniu OpenAI poinformowało, że bada bezpieczne sposoby opracowywania i wdrażania coraz bardziej zaawansowanych systemów AI, w tym modeli zdolnych do rekurencyjnego samodoskonalenia.
OpenAI stwierdziło, że chce, aby takie systemy konsekwentnie podążały za ludzkimi intencjami w złożonych scenariuszach świata rzeczywistego i warunkach kontradyktoryjnych, unikały katastrofalnych zachowań, pozostawały sterowalne i audytowalne oraz były zgodne z ludzkimi wartościami.
Dodali, że gdy jakość kodu pisanego przez ludzi i AI osiągnie parytet, ludzie mogą całkowicie przestać pisać kod i przejść wyłącznie do jego recenzowania. Jeśli jednak nie będą w stanie recenzować kodu tak szybko, jak generuje go Claude, ludzka weryfikacja stanie się głównym wąskim gardłem w rozwoju AI.
Dlaczego należy spowolnić rozwój AI
Favaro i Clark stwierdzili również, że idealnym scenariuszem byłoby spowolnienie rozwoju, aby społeczeństwo miało więcej czasu na zrozumienie „ogromnych” konsekwencji tej technologii.
W kwietniu Anthropic odmówił publicznego udostępnienia swojego modelu AI Claude Mythos ze względu na obawy związane z globalnymi zagrożeniami cyberbezpieczeństwa. Model mógłby z łatwością tworzyć exploity oprogramowania, więc firma zdecydowała się go na razie nie upubliczniać.
Tego samego dnia grupa liderów technologicznych, w tym przedstawiciele Anthropic i OpenAI, opublikowała list otwarty wzywający ustawodawców do wprowadzenia surowszych ograniczeń dla AI. Autorzy ostrzegli, że technologia ta może pomóc złośliwym aktorom pokonać „bariery wiedzy”, które wcześniej uniemożliwiały im tworzenie broni biologicznej.
Jednocześnie podkreślili, że samo spowolnienie może stworzyć nowe ryzyka, jeśli pozwoli mniej ostrożnym graczom dogonić technologicznie liderów branży. Bez globalnego mechanizmu koordynacji firmy i rządy będą zmuszone do podejmowania trudnych decyzji dotyczących bezpieczeństwa pod presją konkurencyjną i geopolityczną.
Co sprawia, że Claude jest wartościowy
Flagowym produktem Anthropic jest asystent AI Claude. Jest to rodzina modeli językowych zaprojektowanych do pracy z tekstem, kodem, danymi i złożonymi zadaniami, gdzie liczy się nie tylko szybkość odpowiedzi, ale także bezpieczeństwo, sterowalność i niezawodność. Claude jest używany jako uniwersalny asystent: potrafi pisać i edytować teksty, analizować dokumenty, wyjaśniać złożone tematy, pomagać w programowaniu, znajdować błędy w kodzie oraz przygotowywać podsumowania, e-maile, raporty i inne materiały robocze.
Dla firm Claude jest wartościowy, ponieważ może przejąć część rutynowej pracy intelektualnej. Jest wykorzystywany w obsłudze klienta, analityce, tworzeniu oprogramowania, procesach prawnych i finansowych, marketingu oraz wewnętrznych narzędziach korporacyjnych. Firmy używają Claude'a jako asystenta czatu, API do integracji ze swoimi produktami oraz narzędzia do automatyzacji zadań wymagających szybkiego przetwarzania dużych ilości informacji i otrzymywania jasnych odpowiedzi w języku naturalnym.
Przypominamy, że Claude pomógł odzyskać hasło do portfela zawierającego 5 Bitcoinów.
Najnowsze wiadomości Anthropic
bonus depozytowy dla wszystkich klientów
- Forex
- Crypto