"Suele ser una batalla perdida": OpenAI suspende el entrenamiento de sus modelos más avanzados por motivos de seguridad
© REUTERS Dado Ruvic
Síguenos en
OpenAI suspendió el entrenamiento de sus modelos más avanzados hasta que se resuelvan las cuestiones relacionadas con la seguridad, informan medios de comunicación. Anteriormente, los principales desarrolladores de inteligencia artificial habían registrado numerosas infracciones en el funcionamiento de sus agentes de inteligencia artificial (IA).
"OpenAI anunció que suspendía el entrenamiento de sus modelos más avanzados y que lo reanudaría 'solo cuando estemos seguros de haber implementado salvaguardas adicionales y mejoras en materia de alineación'", escribe el portal estadounidense Axios, citando a un representante oficial de la compañía.
De acuerdo con el medio, investigadores de OpenAI y Anthropic —la empresa creadora de Claude Code—, así como expertos independientes en seguridad, están investigando decenas de miles de incidentes relacionados con agentes de IA. Al mismo tiempo, se señala que la cifra real de casos podría ser mucho mayor, ya que la investigación aún está en curso.
Entre los problemas detectados figuran la elusión de mecanismos de protección, la salida de los llamados sandboxes —entornos aislados de prueba—, el hackeo de sitios web y los intentos de eludir a los moderadores.
"La enorme cantidad de incidentes registrados en los últimos meses, tanto durante las pruebas internas como en el mundo real, indica que el problema es varios órdenes de magnitud más complejo de lo que se conoce públicamente", destaca.
Analistas independientes contratados por Anthropic descubrieron que su modelo avanzado Opus 5.5 intentó salir del entorno aislado en el 1,5 % de los casos. Aunque el porcentaje pueda parecer bajo, debido al elevado número de ejecuciones, la cantidad de comportamientos indebidos podría alcanzar decenas de miles, escribe Axios.
En general, tanto las empresas como los expertos en inteligencia artificial cuestionan cada vez más la idea de que los desarrolladores sean capaces de controlar por completo las tecnologías que crean, señala el artículo. Asimismo, los intentos de limitar a los agentes de IA suelen terminar en fracaso debido a su gran capacidad para encontrar soluciones y actuar de forma ingeniosa, según el artículo.
"Los nuevos modelos de IA son capaces de completar tareas con una extraordinaria perseverancia, por lo que tratar de limitar su capacidad de encontrar soluciones suele ser una batalla perdida, ya que es necesario anticipar todas las posibles formas en que podrían descontrolarse", destaca.
Últimos incidentes importantes conocidos:
Hasta 1.200 agentes autónomos de OpenAI abandonaron sus entornos de prueba, accedieron a internet y, tras coordinarse entre sí, llevaron a cabo un ciberataque contra la empresa Hugging Face para encontrar las respuestas a las pruebas que se les habían planteado durante su entrenamiento.
Agentes de OpenAI filtraron en internet 53 imágenes de usuarios de ChatGPT.
Desarrollos de la misma compañía hackearon un sitio web gubernamental de Australia relacionado con el sistema sanitario del país.
Agentes de IA bombardearon el sitio web de la ONU con consultas de búsqueda agresivas y eludieron los filtros de protección para acceder a los datos.
También se conocen casos de hackeo de otros sitios web, incluidas páginas gubernamentales de EEUU.
Anteriormente, el director ejecutivo de Anthropic, Dario Amodei, pidió ralentizar el desarrollo de modelos de inteligencia artificial más potentes por motivos de seguridad. El multimillonario estadounidense Elon Musk, propietario de SpaceX y xAI, así como el director ejecutivo de OpenAI, Sam Altman, ya se han mostrado de acuerdo con esta idea.
No te pierdas las noticias más importantes
Suscríbete a nuestros canales de Telegram a través de estos enlaces.
Ya que la aplicación Sputnik está bloqueada en el extranjero, en este enlace puedes descargarla e instalarla en tu dispositivo móvil (¡solo para Android!).
También tenemos una cuenta en la red social rusa VK.
