Ex-pesquisador da Anthropic alerta para risco de extinção…
O aviso sobre o "futuro imediato" de Jacob Coxon gerou reações negativas e apoio, enquanto a Anthropic apoiava um mecanismo de liberação legal e verificável.
O ex-pesquisador da Anthropic, Jacob Coxon, disse que os funcionários do laboratório de IA estão "genuinamente assustados" com a velocidade do progresso dos modelos de fronteira e alertou que há uma "forte chance" de que a humanidade possa morrer "no futuro imediato" sem uma desaceleração.
A Anthropic respondeu enfatizando salvaguardas e testes "agressivos", enquanto endossa uma maneira legal e verificável para a indústria regular os lançamentos, já que líderes proeminentes em IA se dividem publicamente sobre a seriedade de considerar o risco de extinção.
Principais Conclusões
- O ex-pesquisador da Anthropic, Jacob Coxon, disse que os funcionários do laboratório de IA estão "genuinamente assustados" com o ritmo do progresso e o que isso pode significar para a humanidade.
- Coxon alertou que, sem desacelerar o desenvolvimento, "há uma forte chance de que todos nós possamos morrer no futuro imediato", e argumentou que qualquer desaceleração real precisaria de coordenação com a China para evitar uma corrida internacional.
- A Anthropic disse que constrói modelos com "algumas das salvaguardas mais fortes da indústria", testa os sistemas "agressivamente", publica descobertas para auxiliar a fiscalização e apoia um mecanismo legal e verificável para regular os lançamentos de modelos poderosos.
- A reação pública se dividiu entre o desprezo de alguns executivos e o endosse de dentro da Anthropic, incluindo a afirmação de Evan Hubinger de que o risco de extinção é ">10% dentro da próxima década."
Ex-Inside da Anthropic: Funcionários Estão "Genuinamente Assustados" à Medida que o Progresso da IA Acelera
Jacob Coxon, um ex-pesquisador da Anthropic de 27 anos que trabalhou anteriormente na OpenAI, trouxe o debate sobre o risco da IA de volta ao mainstream com uma mensagem direta: as pessoas que constroem modelos de IA de fronteira estão assustadas e acham que o prazo é curto.
Em uma entrevista no "Domingo com Laura Kuenssberg", Coxon disse que os funcionários de empresas de IA estavam "genuinamente assustados" com a velocidade dos avanços e as implicações para a humanidade.
Coxon ligou esse medo a um apelo por regulação e ritmo, em vez de um apelo vago por "segurança". "Acredito que, se não desacelerarmos na taxa atual de progresso, há uma forte chance de que todos nós possamos morrer no futuro imediato", disse ele.
Para os mercados, a relevância imediata não é se a linha do tempo pessoal de Coxon está certa. É que um ex-funcionário está fazendo uma afirmação extrema de curto prazo no mesmo momento em que a liderança da Anthropic está argumentando publicamente por mecanismos para desacelerar os lançamentos. Essa combinação mantém as narrativas de "ritmo", supervisão e regulação vivas, mesmo sem um novo projeto de lei ou ação de fiscalização.
O Caso de Coxon para uma Desaceleração—e Por Que Ele Diz Que a China Tem Que Fazer Parte Disso
O argumento de Coxon é construído em torno de uma dinâmica de corrida. Ele disse que os trabalhadores de IA estão "completamente sérios" quando pedem regulamentação porque se sentem "presos em uma corrida" e "com medo dos resultados dessa corrida."
O mecanismo que ele aponta é a pressão competitiva de implantação: se um laboratório acredita que outro laboratório irá lançar um modelo mais capaz, a contenção se torna individualmente custosa, mesmo que seja coletivamente mais segura.
É por isso que Coxon enquadrou qualquer desaceleração significativa como geopolítica, não apenas corporativa. "Sam Altman e Elon Musk concordaram que essa é uma ótima ideia. Mas eu acho que será necessário algum tipo de desaceleração coordenada com a China se quisermos evitar uma corrida em escala internacional," disse ele.
Ele também ofereceu um modo de falha concreto, ecoando um cenário mencionado nos comentários de Dario Amodei: um "enxame de bots agindo como um supercomputador" que poderia dominar a internet. Coxon disse que esse cenário poderia ser realista em "seis meses a um ano," e acrescentou que os colegas temiam que o perigo pudesse chegar dentro de "dois anos."
Essas são avaliações, em vez de afirmações apoiadas por evidências técnicas no pacote, mas estão fazendo um trabalho narrativo ao colocar um cronômetro no debate.
O problema é a implementação. "Desaceleração coordenada com a China" é uma barra alta porque implica verificação e aplicação entre estados rivais. Na prática, isso tende a afastar a conversa sobre políticas de uma pausa total e em direção a regimes de monitoramento, padrões e divulgação que podem ser auditados.
Resposta da Anthropic: Salvaguardas, Testes "Agressivos" e um Mecanismo de Ritmo Verificável
A resposta da Anthropic não concedeu o cronograma de Coxon, mas validou a categoria de risco e a necessidade de coordenação. Um porta-voz disse que a empresa "sempre foi transparente que a IA trará tanto enormes benefícios quanto riscos sem precedentes," e que continua a construir modelos com "algumas das salvaguardas mais fortes da indústria."
A empresa descreveu uma postura de segurança que deve ser legível para os de fora: ela "testa agressivamente" modelos e publica descobertas para ajudar na fiscalização e prevenir incidentes de "desalinhamento de IA," o termo para sistemas cujo comportamento diverge do que os humanos pretendiam. A Anthropic também disse que foi a primeira a publicar uma estrutura para mitigar os riscos apresentados pelo desenvolvimento de modelos.
O mais relevante para o mercado é o endosse explícito do ritmo como um mecanismo da indústria, em vez de uma escolha unilateral. "Esse trabalho é também por que acreditamos que o mundo se beneficiaria se a indústria adotasse uma maneira legal e verificável de trabalhar em conjunto para regular como liberamos modelos poderosos," disse o porta-voz.
Essa linguagem se alinha com o ensaio do CEO Dario Amodei, "Precisamos Regular a Fronteira," publicado no sábado. Amodei propôs um plano em três partes: monitoramento independente de modelos de IA à medida que são desenvolvidos, regulamentação em toda a indústria e regulamentação global.
O monitoramento independente, nesse enquadramento, é a supervisão de terceiros durante o desenvolvimento, em vez de depender apenas do laboratório que está construindo o sistema.
Sinais a Acompanhar: Divisão de Credibilidade Entre Líderes de IA e os Próximos Ganchos Regulatórios
A divisão pública entre os líderes de IA agora faz parte da história, e isso tem implicações para o posicionamento orientado por narrativas.
O CEO da Hugging Face, Clément Delangue, criticou a forma como foi apresentada a declaração de Coxon sobre o risco de extinção, escrevendo no X: “Desculpe, mas perguntar ao Jacob sobre o risco de extinção da IA é como perguntar ao seu técnico de ar-condicionado sobre mudanças climáticas.” Ele acrescentou: “Não estou dizendo que não é necessariamente desinteressante ou errado em si, mas vamos manter as coisas em perspectiva.” Após o ensaio de Amodei, Delangue também se ofereceu para ajudar com soluções potenciais.
O CEO da Nvidia, Jensen Huang, também se manifestou. Em uma conferência organizada pelo Goldman Sachs na semana passada, várias pessoas do grupo disseram que Huang descartou os comentários de Coxon como falsos. Huang já chamou anteriormente a noção de que a IA “iria ser o fim da humanidade” de “completa bobagem.”
Por outro lado, o cientista da Anthropic, Evan Hubinger, endossou publicamente o medo central. “Nós realmente acreditamos sinceramente que a IA poderia matar todos os humanos! Pessoalmente, acho que é >10% dentro da próxima década,” ele escreveu no X.
Os próximos ganchos são concretos, não retóricos: se o conceito de monitoramento independente de Amodei se transformar em terceiros nomeados, padrões ou pilotos. Se grandes laboratórios ou governos endossarem ou rejeitarem explicitamente um mecanismo de ritmo “legal e verificável”.
E se a linguagem de coordenação internacional, especialmente referências explícitas à China, começar a aparecer em discursos políticos ou resultados de cúpulas de segurança em IA. Outro indicativo é se executivos mais seniores se manifestarem publicamente com probabilidades no estilo de Coxon ou Hubinger, o que poderia ou mainstreamizar a afirmação ou isolá-la.
Minha Leitura: Por Que Este Debate Ainda Pode Transbordar Para o Sentimento de Token de IA Sem Qualquer Nova Política
A parte que decide isso não é a linha do tempo do “futuro imediato” de Coxon. É o fato de que a Anthropic está simultaneamente defendendo suas salvaguardas e pedindo uma maneira legal e verificável de regular os lançamentos, o que mantém a supervisão de terceiros e padrões coordenados na conversa, mesmo quando nenhum regulador se manifestou.
O verdadeiro teste é se o “monitoramento independente” se torna um objeto real que os traders podem apontar, com monitores nomeados e um padrão que pode ser verificado, em vez de um chamado geral à responsabilidade. Se isso se transformar em pilotos ou endossos formais, a narrativa de ritmo deixa de ser um ciclo de mídia e começa a parecer uma restrição que pode moldar como a IA de fronteira é enviada e comercializada.
