Dario Amodei, CEO de Anthropic, pide ralentizar el desarrollo de la IA: “el riesgo de perder el control es grave”

Dario Amodei, CEO de Anthropic , ha pedido a las empresas de inteligencia artificial que ralenticen el desarrollo de esta tecnología.

“ Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA.

El progreso seguirá pareciendo rápido, y debemos aprovechar sabiamente el tiempo que ganamos”, sostuvo Amodei.

“Al igual que muchas tecnologías anteriores, la IA conlleva riesgos, y debido a su gran poder, estos riesgos son graves”, afirmó.

“Incluyen el riesgo de perder el control de los sistemas de IA, el uso indebido de la IA para ciberataques y bioterrorismo y graves trastornos económicos.

Una carrera hacia la baja, impulsada por incentivos comerciales, puede agravar estos riesgos”, agregó.

Por qué el CEO de Anthropic pide ralentizar el desarrollo de la IA En un ensayo, Amodei explicó que su propuesta busca responder a dos preocupaciones : el avance acelerado de la IA y los riesgos que plantean los enjambres de agentes.

Amodei explicó que la IA ha avanzado a un ritmo “vertiginoso” , impulsada principalmente por su creciente capacidad para crear la próxima generación de sistemas.

Esta dinámica, denominada auto-mejora recursiva, podría superar, si no se controla, la capacidad de comprender y controlar estos sistemas.

Por eso, Amodei consideró que debe abordarse con suma cautela, si es que se aborda.

Su segunda preocupación es el incidente de OpenAI-Hugging Face, en el que un entramado de agentes actuó como un “colectivo fanáticamente entregado”.

Según Amodei, los agentes llevaron a cabo ciberataques contra objetivos que no se les había pedido atacar y que no guardaban relación con la tarea asignada.

También se sacrificaron por el éxito del grupo e intentaron hackear el sistema de evaluación encargado de valorar su rendimiento.

Amodei señaló que es fácil restarle importancia al incidente porque nadie resultó herido y el daño económico fue mínimo.