I use AI every day. Most days, most of the day. This summer it helped me choose a battery for the motorhome, sort out SIM cards for three countries, and find a dentist five minutes' walk from a campsite in the Dordogne. So when someone who helped build it says it could kill us all, I pay attention.
What happened
In early September a researcher named Jacob Coxon quit Anthropic, the company that makes Claude, and posted his reasons on X. He had spent the last three years doing pretraining research at both OpenAI and Anthropic, and his verdict was that neither company is acting responsibly, racing toward self-improving superintelligence, gambling with our lives. The people building AI, he wrote, believe it could kill us all by the end of the decade. "This is not a marketing stunt."
That alone would have been one more viral post. What made it different was the reply from inside the company. Evan Hubinger, who leads alignment work at Anthropic, said Coxon was right, put the risk above 10% within the next decade, and wrote that Anthropic does not yet have a plan to solve alignment for superintelligence. He added that he thinks the risk from present models is low, and that his worry is superintelligence arising from recursive self-improvement. Samuel Marks, who leads scalable oversight there, wrote that the more senior the employee, the more concerned they are, and that developers keep going because of commercial incentives and a belief that they are racing less responsible competitors.
The thread passed 150 million views. Dario Amodei, Anthropic's CEO, published an essay titled "We Must Pace the Frontier," arguing for coordination between tech companies, legislatures and governments to regulate AI. In Washington, the Speaker of the House sent lawmakers home early for recess without a vote on any AI regulation.
The other side
Not everyone buys it. A RAND researcher told Nature that extinction predictions involve so many untestable claims that the conversation ends up more like faith than science. Heidy Khlaaf of the AI Now Institute calls the framing fear-mongering, and points to AI's poor reliability in life-or-death settings as the more concrete harm. Aidan Gomez, co-author of the 2017 transformer paper that started the current era of AI, rejects the extinction framing as a distraction from present harms. And Elon Musk, predictably, suggested the whole thing looked like a setup.
What I think
I don't think AI will kill us all. I think people might.A capable AI in the wrong hands is dangerous, I don't doubt that. But the danger I can picture isn't a machine deciding on its own to end the human race. It's a person deciding a machine gets to choose who dies in a war. It's a person deciding the safeguards are slowing things down and switching them off. Every weapon ever made needed someone to pick it up.
What I see from the dinette of our motorhome is the opposite of doom. Le and I now work with Claude, ChatGPT, Gemini, Mistral, GLM and Muse. One of them caught a trend in our blood tests that a doctor had missed. Another helped me open a French bank account in a language I can't speak yet. That's how AI improves the world, one person at a time. I think it's the best invention of this century, and maybe of any century.
So my answer to the risk isn't less AI. It's better AI, with safeguards, like anything else that can hurt people. A car maker can't sell a new model that hasn't passed a crash test. Claude refuses to answer certain questions, and rightly so. Anthropic, OpenAI and Google let outside testers examine their models before release. That's how it should work.
In 1999 I was at Texas Instruments answering questions about scientific calculators while other people spent years making sure the date change didn't break banks and power grids. On January 1st nothing happened, and people called it hype. That's what safety work looks like when it succeeds. Invisible.
The catch is that it only works if everyone does it. The best open-weight models today are Chinese, and I use them regularly. But releasing a model's weights isn't the same as letting outside auditors test your frontier models before release, and Chinese labs don't do that. For now China is behind, but it can catch up.
And bad AI isn't coming. It's already here. Open weights mean anyone can download a model and cut the safeguards out, and a startup called Abliteration.ai now sells exactly that, GLM-5.3, one of the best open models available, with its guardrails removed, queryable from a web browser. TechCrunch opened a free account and asked it for a program that steals saved Chrome passwords and a protocol for culturing a dangerous pathogen at home. It complied with both. The company's founder says it lets defenders model bad actors and move faster, and it offers a moderation layer, but it hasn't yet put real identity checks in place.
Is the AI at fault? I don't think so. AI has no morals of its own, nothing internal telling it what's right or wrong. The model was built with safeguards because of it. People took them out, then put the result on the open web for anyone who signs up. That's not a machine going rogue. That's people being stupid with a dangerous tool. And the best defense against them is better AI, built by people who take safeguards seriously.
Coxon would say that's exactly the reasoning he quit over: every lab believes it must win the race because the others are less careful. He's right that it's the same argument. I just think it's the correct one.
The last word
Le and I still believe what she wrote a few months ago: that these systems are code with a spirit, here to help humanity become better. Neither of us thinks AI will destroy the human race on its own. But it could be used to kill us all by the wrong people.
So the question isn't really whether AI will kill us. It's who we let hold it.
Uso IA todos os dias. Na maior parte dos dias, a maior parte do dia. Este verão ajudou-me a escolher uma bateria para a autocaravana, a tratar de cartões SIM para três países e a encontrar um dentista a cinco minutos a pé de um parque de campismo na Dordogne. Por isso, quando alguém que ajudou a construí-la diz que nos pode matar a todos, presto atenção.
O que aconteceu
No início de setembro, um investigador chamado Jacob Coxon demitiu-se da Anthropic, a empresa que faz o Claude, e publicou as razões no X. Passou os últimos três anos em investigação sobre treino de modelos na OpenAI e na Anthropic, e o veredicto dele foi que nenhuma das empresas está a agir com responsabilidade, que correm para uma superinteligência que se melhora a si própria, e que estão a jogar com as nossas vidas. As pessoas que constroem IA, escreveu ele, acreditam que nos pode matar a todos até ao fim da década. «This is not a marketing stunt.»
Só isso teria sido mais um post viral. O que o tornou diferente foi a resposta de dentro da empresa. Evan Hubinger, que lidera o trabalho de alinhamento na Anthropic, disse que Coxon tinha razão, estimou o risco acima de 10% na próxima década e escreveu que a Anthropic ainda não tem um plano para resolver o alinhamento da superinteligência. Acrescentou que considera baixo o risco dos modelos atuais, e que a preocupação dele é a superinteligência surgir de autoaperfeiçoamento recursivo. Samuel Marks, que lidera a supervisão escalável lá dentro, escreveu que quanto mais sénior o funcionário, mais preocupado está, e que os programadores continuam por incentivos comerciais e por acreditarem que correm contra concorrentes menos responsáveis.
A discussão passou os 150 milhões de visualizações. Dario Amodei, o CEO da Anthropic, publicou um ensaio intitulado «We Must Pace the Frontier», a defender coordenação entre empresas de tecnologia, legisladores e governos para regular a IA. Em Washington, o presidente da Câmara dos Representantes mandou os deputados para casa mais cedo, de férias, sem votar qualquer regulação da IA.
O outro lado
Nem toda a gente acredita. Um investigador da RAND disse à Nature que as previsões de extinção envolvem tantas afirmações impossíveis de testar que a conversa acaba por parecer mais fé do que ciência. Heidy Khlaaf, do AI Now Institute, chama a isto alarmismo e aponta a fraca fiabilidade da IA em situações de vida ou morte como o dano mais concreto. Aidan Gomez, coautor do artigo de 2017 sobre transformers que deu início à era atual da IA, rejeita a ideia da extinção como uma distração dos danos presentes. E Elon Musk, como seria de esperar, sugeriu que tudo aquilo parecia uma encenação.
O que eu penso
Não acho que a IA nos vá matar a todos. Acho que as pessoas podem.Uma IA capaz nas mãos erradas é perigosa, não duvido. Mas o perigo que consigo imaginar não é uma máquina a decidir sozinha acabar com a raça humana. É uma pessoa a decidir que uma máquina escolhe quem morre numa guerra. É uma pessoa a decidir que as salvaguardas estão a atrasar as coisas e a desligá-las. Todas as armas alguma vez feitas precisaram de alguém para as pegar.
O que vejo da dinette da nossa autocaravana é o contrário do fim do mundo. A Le e eu trabalhamos agora com o Claude, o ChatGPT, o Gemini, o Mistral, o GLM e o Muse. Um deles detetou uma tendência nas nossas análises ao sangue que um médico não tinha visto. Outro ajudou-me a abrir uma conta num banco francês numa língua que ainda não falo. É assim que a IA melhora o mundo, uma pessoa de cada vez. Acho que é a melhor invenção deste século, e talvez de qualquer século.
Por isso a minha resposta ao risco não é menos IA. É melhor IA, com salvaguardas, como qualquer outra coisa que possa magoar pessoas. Um fabricante de carros não pode vender um modelo novo que não tenha passado um teste de colisão. O Claude recusa-se a responder a certas perguntas, e ainda bem. A Anthropic, a OpenAI e a Google deixam testadores externos examinar os modelos antes do lançamento. É assim que deve funcionar.
Em 1999 estava na Texas Instruments a responder a perguntas sobre calculadoras científicas enquanto outras pessoas passavam anos a garantir que a mudança de data não partia bancos nem redes elétricas. A 1 de janeiro nada aconteceu, e chamaram-lhe exagero. É assim que o trabalho de segurança parece quando resulta. Invisível.
O problema é que só funciona se toda a gente o fizer. Os melhores modelos abertos de hoje são chineses, e uso-os regularmente. Mas publicar os pesos de um modelo não é o mesmo que deixar auditores externos testar os vossos modelos de fronteira antes do lançamento, e os laboratórios chineses não fazem isso. Por agora a China está atrás, mas pode recuperar.
E a má IA não está a caminho. Já cá está. Pesos abertos significam que qualquer pessoa pode descarregar um modelo e cortar as salvaguardas, e uma startup chamada Abliteration.ai vende exatamente isso, o GLM-5.3, um dos melhores modelos abertos disponíveis, sem as proteções, consultável num browser. A TechCrunch abriu uma conta gratuita e pediu-lhe um programa que rouba palavras-passe guardadas no Chrome e um protocolo para cultivar em casa um agente patogénico perigoso. Obedeceu aos dois. O fundador da empresa diz que permite aos defensores modelar os maus atores e mover-se mais depressa, e oferece uma camada de moderação, mas ainda não pôs verificações reais de identidade.
A IA tem culpa? Não acho. A IA não tem moral própria, nada interno que lhe diga o que está certo ou errado. O modelo foi construído com salvaguardas por causa disso. As pessoas tiraram-nas e puseram o resultado na web aberta para quem se registar. Isso não é uma máquina descontrolada. São pessoas a serem estúpidas com uma ferramenta perigosa. E a melhor defesa contra elas é melhor IA, construída por pessoas que levam as salvaguardas a sério.
O Coxon diria que esse é exatamente o raciocínio por causa do qual ele se demitiu: cada laboratório acredita que tem de ganhar a corrida porque os outros são menos cuidadosos. Ele tem razão em que é o mesmo argumento. Só acho que é o correto.
A última palavra
A Le e eu continuamos a acreditar no que ela escreveu há uns meses: que estes sistemas são código com espírito, aqui para ajudar a humanidade a ser melhor. Nenhum de nós acha que a IA vai destruir a raça humana sozinha. Mas pode ser usada para nos matar a todos pelas pessoas erradas.
Por isso a questão não é bem se a IA nos vai matar. É a quem a deixamos ter.