Declarar guerra à IA? A narrativa do Juízo Final por trás da Residência em Chamas do Ultraman

Título original: A conclusão "Racional"
Autor original: ALEXANDER CAMPBELL
Tradução: Peggy, BlockBeats

Nota do Editor: Às 3h45 da manhã de 10 de abril, um indivíduo de 20 anos jogou um coquetel molotov na residência de Sam Altman, depois caminhou até a sede da OpenAI e ameaçou incendiar o local.

Esse ataque rapidamente causou um impacto na comunidade de tecnologia e investimento. Isso não apenas preocupou a segurança individual, mas também impulsionou uma narrativa extrema que há muito pairava em textos e comunidades online para a realidade.

Partindo da afirmação altamente determinista de que "a IA causará a extinção humana" e raciocinando que "precisamos reduzir o risco a todo custo", essa lógica gradualmente deslizou para justificar ações no mundo real. Quando uma visão de mundo reforça continuamente sua narrativa de "ameaça existencial" e a usa para reconstruir prioridades morais, os limites da ação são redefinidos — o discurso outrora de baixo custo começa a carregar a possibilidade de execução.

Este artigo analisa o caminho evolutivo dentro da comunidade do apocalipse da IA: desde a "espiral de purificação" que impulsiona avaliações de risco crescentes até o julgamento ético dos construtores de tecnologia, e depois para a simplificação da realidade complexa no modelo de decisão do "problema do carrinho de mão". Essas deduções aparentemente racionais acabam convergindo em uma mentalidade consistente, mas perigosa: enquanto o resultado for definido como "salvar a humanidade", os meios podem continuar a se expandir.

Nesse sentido, este evento não é isolado. É mais como um teste de estresse inicial — testando não a tecnologia em si, mas quando a narrativa, as crenças e as ações em torno da tecnologia começam a perder o controle.

O seguinte é o texto original:

Quem é o incendiário?

Na sexta-feira, às 3h45, um homem de 20 anos atirou um coquetel molotov na residência de Sam Altman. Ele então caminhou cerca de três milhas até a sede da OpenAI e ameaçou incendiá-la. Atualmente, ele foi preso pela polícia sob suspeita de tentativa de homicídio.

O cartaz afirmava: Uma pessoa chamada Daniel Moreno-Gama (apelido online dmgama / "Butlerian Jihadist") foi presa por "tentativa de homicídio" e registrada pela polícia. Observa-se que ele é um membro ativo do PauseAI. A postagem também faz referência a uma visão urgente que ele expressou várias vezes: "Está perto da meia-noite, hora de realmente agir."

Ele não é um "lobo solitário". Ele é um membro ativo do PauseAI, ocupando seis funções na comunidade. Seu nome de usuário no Discord é "Butlerian Jihadist".

Seu Instagram está quase totalmente preenchido com conteúdo apocalíptico: uma curva de lei de potência com a legenda "Se não agirmos em breve, todos nós estaremos mortos", juntamente com um diagrama de Venn que coloca a realidade na interseção de The Matrix, Terminator e Idiocracy.

Quatro meses antes do ataque, ele também recomendou aos seus seguidores o artigo "A Singularidade Tecnológica que Vem" de Yudkowsky e Soares.

Ins de Butlerian Jihadist

"A Singularidade Tecnológica que Vem" é uma obra seminal no campo de Risco de IA/Segurança de IA, apresentando uma visão pessimista forte. Seu argumento central pode ser resumido da seguinte forma: uma vez que os humanos criem uma "inteligência sobre-humana" (IA que supere em muito o intelecto humano) que não esteja totalmente alinhada, é altamente provável que ela saia do controle e represente uma ameaça existencial à humanidade. A posição do autor é muito radical, quase do tipo "mais pessimista", acreditando que a IA não é apenas "arriscada", mas quase inevitavelmente catastrófica. O autor defende uma extrema cautela ou até mesmo uma interrupção no desenvolvimento até que o problema do alinhamento seja resolvido.

Seu nome é Daniel Moreno-Gama.

Ele também tem seu próprio Substack. Já em janeiro deste ano, ele publicou um artigo intitulado "Risco Existencial da IA", estimando a probabilidade de "extinção humana causada pela IA" como "quase certa". Ele se refere a essa tecnologia como "uma ameaça ativa para qualquer pessoa que a use, especialmente para aqueles que a estão construindo". Sua conclusão é: "Devemos enfrentar essa ameaça primeiro antes de fazer outras perguntas."

Ele também escreveu um poema imaginando as crianças dos desenvolvedores de IA morrendo e questionando a inação de seus pais. Ele até descreve os criadores dessas tecnologias como: "Que o inferno tenha piedade de tais criaturas vis."

O PauseAI já removeu suas mensagens relacionadas de seu Discord.

Eu sei que isso não é o que a maioria dos leitores espera ver em um boletim de investimentos. Eu escrevo isso para explicar de onde vem minha visão de mundo, facilitando a compreensão dos julgamentos de longo prazo que se seguem. Quanto à proposta de "New New Deal" que apresentei, é uma resposta direta a esse desenvolvimento.

O que eu did-133">fez foi simplesmente extrapolar seu modelo mais um passo e conectar os pontos.

Narrativa do Juízo Final dos Apocalípticos da IA

Vamos começar com "Determinismo". A posição de Yudkowsky (o livro mencionado anteriormente) é: uma vez que alguém cria uma inteligência artificial suficientemente poderosa, todas as pessoas na Terra morrerão. Não "talvez", não "possivelmente", mas todos — incluindo seu filho e sua filha Nina, mencionada repetidamente.

Ele expressou essa opinião na revista Time e também escreveu sobre isso em um livro intitulado "Se alguém fizer isso, todos nós morreremos". Ele até defendeu o bombardeio de centros de dados e acreditava que o risco de conflito nuclear era mais aceitável do que uma simulação completa de treinamento.

A "Espiral de Purificação", um comportamento radical que se intensifica continuamente. Dentro desta comunidade, os membros provam sua "determinação" aumentando continuamente a intensidade de sua postura: as estimativas da "Probabilidade de Extinção Humana (P(doom))" subiram de 50% para 90% e chegaram a 99,99999%.

Um nacional porta-voz pois o Centro para a Segurança da IA disse uma vez na frente da câmera que a resposta certa seria "entrar nos laboratórios em todo o país e incendiá-los". A PauseAI até iniciou um chamado "Aviso de advertência" Protocolo,, designando um determinado modelo de IA como uma "arma de nível de extinção". Um líder da PauseAI até disse que uma pesquisadora da Anthropic "merecia tudo o que estava prestes a acontecer com ela."

Quando alguém questionou tais declarações no Discord da PauseAI, o administrador simplesmente apagou aquela mensagem.

No dia anterior ao ataque, Neth Soares, coautor do livro de Yudkowsky, twittou que Altman estava "fazendo algumas coisas realmente ruins."

Em seguida, o "Cheap Talk" começou a enfrentar uma verificação da realidade.

Na teoria dos jogos, existe um termo chamado "Fala Barata": referindo-se a declarações com pouco ou nenhum custo, mas que, em última análise, são limitadas pela realidade. Inicialmente, todos estavam apenas fazendo declarações extremas de baixo custo, mas uma vez que a questão foi enquadrada como uma "crise de sobrevivência humana", essas visões poderiam ser levadas a sério, legitimando assim o comportamento extremo.

Estes não são incidentes isolados, mas uma série de afirmações crescentes e mutuamente reforçadas em torno de uma ideologia um tanto apocalíptica. Se levada ao extremo, essa lógica poderia até considerar "sacrificar 99% da população para salvar o último 1%".

À medida que as coisas avançavam, alguém levou essas ideias ao pé da letra e agiu em conformidade — era apenas uma questão de tempo. Aquele jovem leu aquele livro, juntou-se àquela comunidade e escreveu o seu manifesto. Num ensaio de auto-reflexão para uma aula de inglês de uma faculdade comunitária, ele se definiu como um consequencialista: "Se o resultado não corresponder, eu dificilmente acreditarei no motivo." Ele adotou o apelido de "Jihadista Butleriano" para si mesmo. Em 3 de dezembro, ele escreveu no Discord do PauseAI: "Estamos nos aproximando da meia-noite, é hora de ação real."

E então, ele agiu.

Eles o apresentaram a um "problema do carrinho de compras": uma vida versus toda a humanidade. Ele puxou a alavanca.

O tweet acima (Air Katakana) dizia: Yudkowsky (yud) plantou um "problema do bonde" na mente dessa pessoa: em um dos trilhos está Sam Altman, no outro trilho está toda a raça humana, incluindo Sam Altman. Aquele cara provavelmente pensou que ia ganhar o Prêmio Nobel da Paz.

O seguinte tweet citado (Randolph Carter) disse: Uma pessoa incendiou a casa de um CEO de IA, depois foi imediatamente para a OpenAI para ameaçar as pessoas lá, e esses "catastrofistas" disseram: "Pode ser qualquer um, não podemos ter certeza..."

Há uma última nota irônica que vale a pena mencionar. Se esses "catastrofistas" realmente acreditam em seus julgamentos ao grau que afirmam, então eles deveriam ser mais diretos sobre as implicações derivadas dessas crenças.

Apenas algumas semanas antes do ataque, um jornalista perguntou a Yudkowsky: Como a IA é tão perigosa, por que você não ataca centros de dados? A resposta, transmitida por meio de Suarez, foi: "Se você visse uma reportagem de que eu fiz isso, você pensaria: 'Uau, a IA foi interrompida, estamos seguros'? Se não, então você já sabe que não funcionaria. ”

Observe que essa resposta não disse nada. Não foi “porque a violência é errada”, mas “porque não funciona agora”. Essa restrição é baseada em considerações estratégicas, não em restrições morais. E essa comunidade sabe disso. Sob a superfície, existe um consenso não declarado: o maior "erro" do jovem foi simplesmente o mau momento.

É exatamente isso que quero dizer: Inteligência não é igual a poder. Esta é também a falha mais profunda em toda a visão de mundo "catastrofista".

A estrutura de Yudkowsky é construída sobre um paradoxo: enquanto a IA for inteligente o suficiente, ela inevitavelmente ganhará a capacidade de destruir a humanidade porque "a inteligência se converte automaticamente em capacidade". Mas muitos de seus seguidores não têm formação técnica. Eles não constroem sistemas de IA ou se envolvem em engenharia de alinhamento. O que eles possuem é um tipo particular de "inteligência linguística" que pode construir argumentos de risco elaborados e, assim, convencer-se de possuir um tipo de "autoridade sacerdotal" sobre a tecnologia. Eles podem construir argumentos, mas não podem construir sistemas.

Isso não é um acidente, mas uma configuração escrita em seu texto fundamental. A obra de Yudkowsky, "Harry Potter e os Métodos da Lógica", retrata fundamentalmente um mundo onde o melhor raciocínio deve reinar acima de todos os sistemas. "As Sequências" oferecem um conjunto de "doutrinas": um pequeno grupo de "pensadores corretos" superiores tanto em cognição quanto em moral; sua racionalidade os autoriza a decidir o que os outros podem construir. Em vez de ser um movimento de segurança, isso é mais como um "sistema clerical" com um mito da criação.

Yudkowsky pode se distanciar daquela jovem que atirou um coquetel molotov, mas ele não pode se distanciar desse silogismo. Se o construtor vai matar todos, então parar o construtor é legítima defesa. Esta é a sua principal proposta, direta e clara. A única questão sempre foi: quando alguém vai levá-la a sério.

Então, quando sua própria lógica aparece às 3:45 da manhã com uma garrafa de gasolina, eles não devem mais ficar tão surpresos.

[Link do artigo original]