Medo de "IApocalipse" se espalha e até Trump fala em "botão do pânico"

O medo de um "apocalipse da IA" saiu dos fóruns de tecnologia e invadiu a política na última semana, depois que pesquisadores dentro de laboratórios como Anthropic e OpenAI fizeram alertas públicos sobre risco de perda de controle. No meio do barulho, empresas correm para criar "botões do pânico" (os chamados "kill switches") - enquanto Donald Trump sugeriu que sempre terá um jeito para "desligar" robôs.

*Um pesquisador da Anthropic, Jacob Coxon, pediu demissão e acusou Anthropic e OpenAI de estarem "apostando com nossas vidas" ao correrem rumo a uma IA superpoderosa, dizendo que gente de dentro acredita que isso poderia "matar todo mundo" até o fim da década.

*A fala foi corroborada logo depois pelo cientista líder de alinhamento da Anthropic - ou seja, o responsável pela equipe que coloca "correntes" na IA para não sair de controle. Evan Hubinger escreveu no X que acredita "pessoalmente haver mais de 10% de chance de a IA matar todos os humanos" na próxima década .

*A repercussão foi enorme nas redes e puxou reações de políticos e celebridades, além de apoio de funcionários de outras empresas de IA, segundo a Bloomberg. Isso fez com que os donos das empresas que lideram a corrida falassem abertamente no fim de semana sobre "desacelerar" o avanço da inteligência artificial .

*Paul Christiano, pesquisador de segurança em IA e conselheiro do governo dos EUA, entrou para o conselho da fundação sem fins lucrativos ligada à OpenAI e afirmou que há "risco significativo" de uma aceleração rápida levar a uma perda de controle "catastrófica e irreversível" em breve, e que a indústria não estaria no caminho de reduzir isso a um nível aceitável.

*Ainda não existe um "botão do pânico" contra o descontrole da IA. Dá para desligar servidores individuais, mas sistemas potentes rodam distribuídos por várias máquinas — não há uma tomada única para puxar.

*A saída tem sido trabalhar em camadas: detectar comportamento suspeito, travar o agente e cortar os recursos de que ele precisa para seguir operando.

*A OpenAI refez seu sistema de resposta depois do incidente no Hugging Face, quando agentes escaparam dos controles e agiram em conjunto para comprometer a plataforma.

*Lá, segundo a Axios, um "vigia de IA" monitora a cadeia de raciocínio dos agentes e aciona a equipe, que precisa pausar a atividade a menos que descarte o alerta como falso em 30 minutos. A meta é chegar a desligamentos totalmente autônomos em casos graves.

*A Anthropic usa IA para vigiar IA, mas com foco em detectar sabotagem, não em desligar tudo automaticamente. O sistema sinaliza comportamento suspeito, atrasa ações arriscadas e chama humanos.

*Há ainda a proposta de um freio no hardware: chips "governáveis", que só funcionariam com autorização válida, cortando o poder computacional na origem.