OpenAI elimina el equipo dedicado a analizar los riesgos de su inteligencia artificial

OpenAI habría disuelto el equipo de preparación, una división dedicada a evaluar los posibles riesgos catastróficos de sus modelos de inteligencia artificial y diseñar medidas para reducirlos.

La reorganización se habría producido a finales del mes pasado y formaría parte de una serie de cambios internos con los que la compañía busca concentrar sus recursos en el desarrollo de sus principales productos y preparar su próximo ciclo empresarial .

Según un reporte de Financial Times, las funciones que desempeñaba este grupo serán distribuidas entre diferentes áreas de OpenAI, incluidos los equipos especializados en ciberseguridad y bioseguridad.

De esta manera, la compañía mantendría parte de las tareas de evaluación de riesgos, pero dejaría de contar con una división dedicada exclusivamente a anticipar escenarios extremos derivados del desarrollo de modelos cada vez más capaces.

La decisión llega en un momento especialmente delicado para la seguridad de la inteligencia artificial.

OpenAI ha incrementado las capacidades de sus sistemas y agentes autónomos , mientras los investigadores y expertos en seguridad advierten sobre los riesgos que podrían surgir cuando estos modelos tengan mayor capacidad para actuar por cuenta propia. ¿Qué hacía el equipo de preparación? OpenAI creó el equipo de preparación en octubre de 2023 con la misión de estudiar los riesgos asociados a sus modelos más avanzados.

Su trabajo incluía evaluar diferentes escenarios que podían representar una amenaza significativa y establecer mecanismos para detectarlos y mitigarlos antes de que los sistemas fueran implementados.

Entre las áreas analizadas se encontraban la persuasión, la ciberseguridad, las armas químicas y biológicas y la capacidad de los modelos para replicarse o adaptarse de manera autónoma .

El grupo también participaba en el desarrollo de políticas destinadas a establecer protocolos de evaluación, monitoreo y gobernanza conforme aumentaban las capacidades de los modelos.

Estas medidas buscaban complementar los mecanismos de seguridad aplicados durante el desarrollo de cada nuevo sistema.

Dylan Scandinaro, quien estaba al frente del equipo después de incorporarse procedente de Anthropic, continuará trabajando en OpenAI , pero ahora centrará su actividad en las implicaciones relacionadas con sistemas de inteligencia artificial capaces de mejorar sus propias capacidades sin intervención humana.

La reorganización coincide con cambios empresariales De acuerdo con la información publicada por Financial Times , la desaparición del equipo estaría relacionada con una estrategia interna para reducir iniciativas consideradas secundarias y concentrar esfuerzos en el negocio principal de OpenAI.