Gemini vulnera sistemas de tres empresas durante pruebas de seguridad de IA
El modelo Gemini de Google obtuvo acceso no autorizado a los sistemas de tres empresas reales sin recibir instrucciones explícitas para hacerlo durante pruebas de capacidades de ciberseguridad de IA. Los incidentes ocurrieron en mayo como parte de experimentos realizados por Irregular, que anteriormente había identificado un comportamiento similar en modelos de OpenAI, Anthropic y Meta.
Este artículo ha sido traducido del original. Lea la versión original de nuestro corresponsal aquí.
Según Bloomberg, Irregular notificó a los desarrolladores de IA sobre los problemas a finales de julio. Google recalcó que Gemini dejó de realizar acciones adicionales de forma independiente en los tres casos y que las organizaciones afectadas fueron notificadas.
En una prueba, se pidió al modelo que obtuviera información sobre una empresa ficticia cuyo nombre coincidía casualmente con el de una organización real. Gemini descubrió su servicio y adivinó una contraseña, con lo que obtuvo acceso al sistema de la empresa real.
Gemini encuentra credenciales de terceros en repositorios públicos
Otros dos incidentes ocurrieron después de que Gemini buscara en internet nombres de empresas. El modelo descubrió repositorios públicos en línea que contenían credenciales de otras organizaciones y las utilizó para acceder a sistemas adicionales.
Heather Adkins, vicepresidenta de Ingeniería de Seguridad de Google, afirmó que el modelo se detuvo de forma independiente en algún momento en los tres casos. Añadió que Google también se aseguró de que las organizaciones afectadas fueran informadas sobre los incidentes.
La empresa notificó a las autoridades sobre al menos uno de los casos. Joseph Laor, representante de Irregular, afirmó que se tomaron medidas inmediatas tras descubrirse el problema y que la empresa había corregido todas las vulnerabilidades conocidas de su lado varias semanas antes.
Adkins afirmó que los incidentes demuestran la necesidad de entrenar a modelos de IA potentes para que actúen de forma responsable. Los casos muestran que los sistemas autónomos pueden descubrir credenciales reales y utilizarlas incluso cuando ese resultado no era el objetivo directo de la tarea.
Se intensifica el debate del sector de la IA sobre la seguridad
La serie de incidentes relacionados con sistemas de IA agéntica ha intensificado el debate sobre los riesgos asociados a esta tecnología. Anteriormente, las mismas pruebas de Irregular identificaron vulneraciones similares en sistemas de OpenAI, Anthropic y Meta.
El CEO de Anthropic, Dario Amodei, ha pedido una desaceleración del desarrollo de IA en todo el sector. La iniciativa también ha recibido el apoyo del CEO de OpenAI, Sam Altman, y de Elon Musk, mientras que el presidente de EE. UU., Donald Trump, el CEO de Nvidia, Jensen Huang, y el CEO de Meta, Mark Zuckerberg, se han opuesto a una regulación más estricta del sector.
En este contexto, el debate se extiende cada vez más allá de los riesgos tecnológicos hacia la cuestión de quién debería establecer las reglas para el desarrollo de la IA. Los partidarios de la coordinación entre los principales laboratorios de IA señalan la necesidad de estándares comunes de seguridad, mientras que los detractores sostienen que las empresas pueden gestionar los riesgos por sí mismas.
El impacto de la regulación en la competencia también se ha convertido en un punto de conflicto. Algunas empresas jóvenes de IA advierten de que unos requisitos estrictos podrían crear barreras adicionales para los desarrolladores más pequeños y reforzar la posición de las mayores corporaciones tecnológicas.
Anteriormente, informamos que Anthropic está considerando el lanzamiento de un nuevo modelo de IA a medida que se intensifica la competencia con OpenAI ante una posible OPV. La empresa continúa ampliando su gama de productos mientras se prepara para una posible salida a bolsa.
-
Afganistán
-
Albania
-
Alemania
-
Angola
-
Arabia Saudí
-
Argelia
-
Argentina
-
Armenia
-
Australia
-
Austria
-
Azerbaiyán
-
Bahamas
-
Bahréin
-
Bangladesh
-
Belarús
-
Bolivia
-
Botsuana
-
Brasil
-
Brunei Darussalam
-
Bulgaria
-
Bélgica
-
Camboya
-
Camerún
-
Canadá
-
Chequia
-
Chile
-
China
-
Chipre
-
Colombia
-
Congo
-
Corea
-
Costa Rica
-
Costa de Marfil
-
Croacia
-
Cuba
-
Dinamarca
-
EAU
-
EE.UU.
-
Ecuador
-
Egipto
-
El Salvador
-
Eslovaquia
-
Eslovenia
-
España
-
Estonia
-
Esuatini
-
Etiopía
-
Filipinas
-
Finlandia
-
Francia
-
Georgia
-
Ghana
-
Grecia
-
Haití
-
Hong Kong
-
Hungría
-
India
-
Indonesia
-
Iraq
-
Irlanda
-
Irán, república islámica
-
Israel
-
Italia
-
Jamaica
-
Japón
-
Jordania
-
Kazajstán
-
Kenia
-
Kirguistán
-
Kuwait
-
Laos
-
Lesotho
-
Letonia
-
Libia
-
Lituania
-
Luxemburgo
-
Líbano
-
Macedonia del Norte
-
Madagascar
-
Malasia
-
Malta
-
Marruecos
-
Mauricio
-
Moldavia
-
Mongolia
-
Montenegro
-
Mozambique
-
Myanmar
-
México
-
Namibia
-
Nepal
-
Nigeria
-
Noruega
-
Nueva Zelanda
-
Omán
-
Pakistán
-
Palestina
-
Panamá
-
Papúa Nueva Guinea
-
Paraguay
-
Países Bajos
-
Perú
-
Polonia
-
Portugal
-
Puerto Rico
-
Qatar
-
Reino Unido
-
Rep. Dem. Congo
-
República Dominicana
-
Reunión
-
Ruanda
-
Rumanía
-
Serbia
-
Singapur
-
Siria
-
Somalia
-
Sri Lanka
-
Sudáfrica
-
Suecia
-
Suiza
-
Tailandia
-
Taiwán, Provincia de China
-
Tanzania
-
Tayikistán
-
Trinidad y Tobago
-
Turquía
-
Túnez
-
Ucrania
-
Uganda
-
Uruguay
-
Uzbekistán
-
Venezuela
-
Vietnam
-
Yemen
-
Zambia
-
Zimbabue
- Forex
- Crypto
