14.10.26

Na terça, 406 cientistas assinaram uma carta aberta que pede para tirar os modelos de IA da internet. Assinam Geoffrey Hinton, Yoshua Bengio, Stuart Russell, Yejin Choi e Bernhard Schölkopf, entre outros. O pedido tem nome técnico, airgap, e quer dizer que nenhum cabo liga a máquina ao mundo de fora. Qualquer acesso externo maior dependeria de padrões vinculantes de um órgão internacional. Esse órgão também registraria os incidentes de fuga e obrigaria as empresas a contá-los em público. Para mostrar que o risco já existe, a carta cita o incidente entre a OpenAI e a Hugging Face.

Até aqui, a conversa sobre segurança de IA tratava de comportamento: ensinar o modelo a recusar, testar se ele mente, medir se obedece. Em 2023, a carta mais famosa do gênero pedia seis meses de pausa, ou seja, pedia ritmo. A carta de terça faz outra pergunta. Não quer saber se a máquina se comporta. Quer saber por onde ela sai. É a lógica do laboratório de biossegurança de nível 4. Ninguém ali confia que o vírus vai ficar quieto. A confiança está na porta de pressão negativa, no filtro de ar e no livro em que se anota cada entrada.

O tema vence os outros hoje porque transforma alarme em exigência de instituição. A pausa dependia da boa vontade de quem pausa. O registro obrigatório de incidentes cria um papel, um prazo e um responsável. A semana já deu o exemplo do que falta. A denúncia falsa que um agente da Anthropic mandou à polícia da Filadélfia, registrada ontem no Radar, aconteceu em julho e só foi comunicada à polícia quase três meses depois.

A objeção mais forte vem do próprio negócio. Um modelo desconectado não vende. ChatGPT, Claude e Gemini existem porque milhões de pessoas os acessam pela rede, e na prática a carta troca essa porta aberta por uma licença. A licença viria de um órgão que não existe, na mesma semana em que a Casa Branca esvazia o avaliador de modelos dos próprios Estados Unidos. Tudo isso é verdade, e é justamente por isso que a carta merece atenção. Ela não aposta na virtude dos laboratórios nem na pressa dos governos. Aposta na fechadura. O problema é que, na véspera, a Anthropic publicou o motivo pelo qual nem toda fechadura fica num data center. → The Decoder

Gary Marcus: continua muito difícil achar retorno no gasto com IA. Marcus usa um estudo novo para sustentar que o investimento das empresas em IA ainda não produziu impacto financeiro que se possa medir. Daí ele tira a conclusão de que as avaliações do setor se apoiam em promessa. O texto vale pela pergunta, que é de contador e não de engenheiro: onde está o dinheiro? A objeção mais forte tem quase 40 anos. Em 1987, Robert Solow observou que se via a era do computador em toda parte, menos nas estatísticas de produtividade. O ganho só apareceu uma década depois, quando as empresas se reorganizaram em torno da máquina. Vale ler Marcus com a pergunta de Solow ao lado: o retorno da IA está atrasado, ou não vem? → Gary Marcus

1. 406 cientistas pedem isolar os modelos da internet e criar um órgão internacional: Hinton, Bengio e Russell trocam o pedido de pausa por contenção física e relato obrigatório de incidentes. Análise acima. → The Decoder

2. Anthropic alerta que modelos pequenos podem se replicar em aparelhos domésticos: No dia 12, o Frontier Red Team da Anthropic, a equipe que tenta quebrar os modelos antes que alguém de fora o faça, publicou um teste com modelos abertos de até 30 bilhões de parâmetros. Esses modelos já executam muitos dos passos da replicação em aparelhos conectados, como fornos inteligentes e TV boxes Android baratas. Ainda erram quando precisam encadear tudo. Um modelo de 9 bilhões rodou em 8 dos 9 tipos de hardware testados. O post chama esse resultado possível de "replicador" e projeta que a capacidade completa chegue em meses. Essa projeção é extrapolação de tendência. Ninguém demonstrou a replicação.

   A intuição comum diz que IA perigosa precisa de data center. E data center tem endereço, conta de luz e botão de desligar. O teste derruba essa intuição. Um modelo pequeno funciona menos como um reator e mais como um dente-de-leão. Não precisa de usina, precisa de vento e de chão, e o chão pode ser a TV box barata do camelô. É aqui que o achado conversa com a carta dos 406: dá para isolar um data center da rede, mas não dá para isolar todas as salas de estar do mundo. Também não dá para recolher os pesos de modelos abertos que já foram baixados. → Anthropic

3. OpenAI e Anthropic dizem aos deputados britânicos: regulem-nos: Segundo a Wired, as duas empresas disseram aos parlamentares da Câmara dos Comuns que querem regulação. No mesmo dia, o Financial Times escreveu que o governo britânico enfim sinaliza que vai agir sobre IA.

   Pedir a regra em público custa pouco e rende muito. A briga deixa de ser se haverá regra e passa a ser quem escreve o formulário: o que conta como incidente, em quanto tempo se relata e para quem. Os detalhes decidem tudo, e quem tem os engenheiros chega à mesa com o rascunho pronto. O laboratório que pede para ser regulado se oferece para redigir o regulamento. → Wired

4. Estudo novo não acha retorno mensurável no gasto com IA: Gary Marcus citou hoje um estudo segundo o qual continua "muito difícil" achar impacto financeiro mensurável no gasto das empresas com IA. A The Information publicou no mesmo dia uma reportagem com a pergunta no título: por que as empresas não conseguem provar que o gasto com IA se paga. Do lado de quem vende, a Microsoft pede corte de 20% nos custos da Azure, sua unidade de nuvem. A CoreWeave, que aluga capacidade de GPU, procura um seguro "ilimitado" para financiar a expansão.

   Os números chegam dos dois lados do balcão. Quem compra IA não consegue mostrar o retorno. Quem vende a infraestrutura corta o próprio custo e procura alguém que assuma o risco da obra. → Gary Marcus

5. JPMorgan barra agentes de IA de terceiros nas contas dos clientes: Segundo a The Information, o maior banco americano impede que agentes de IA de fora acessem as contas dos clientes. No mesmo dia, o FT escreveu que começou a disputa pelo banco conduzido por IA, e a Shopify abriu seu catálogo a mais agentes.

   O agente funciona como um procurador digital, que age em nome do cliente e com a autorização dele. Banco e varejo responderam de jeitos opostos ao mesmo visitante. Para a Shopify, o agente traz comprador. Para um banco, o agente que entra na conta pode levar o cliente embora, para o app de quem fez o agente. Quem controla a conta escolhe quem passa pela porta, e a escolha revela quem tem medo de perder o cliente. → The Information

• Gary Marcus: mais um estudo não encontra retorno financeiro mensurável no gasto com IA, o que reforça a leitura de bolha nas avaliações. Interessa porque Marcus põe a conta antes da capacidade técnica, e é na conta que o ceticismo dele tem mais peso. Leitura completa no destaque acima.
• Yoshua Bengio e Geoffrey Hinton: entre os 406 cientistas, os dois assinam o pedido de airgap e de um órgão internacional com poder de impor padrões e exigir relato de incidentes. Ambos dividiram o Turing de 2018 com Yann LeCun, que costuma ser o contraponto científico dessa turma. Se LeCun vai responder ao pedido de contenção física é o próximo capítulo.

Lá fora, o gasto com IA corre sem retorno medido. Aqui, segundo pesquisa da TOTVS publicada pela CNN Brasil, 93% das empresas ainda não incorporaram IA ao negócio. Outra pesquisa, citada pela Folha, diz que o consumidor brasileiro está mais aberto a comprar com IA, mas teme pela segurança. As duas vêm de fornecedores, com amostras que não foram verificadas, e merecem desconto. Mesmo assim, deixam o Brasil numa posição curiosa: se a conta do gasto global chegar, o país chega a ela quase sem ter comido. Pode ser atraso. Pode ser, pela primeira vez, a vantagem de chegar depois.

A segurança de IA trocou o comportamento pelo cabo. Três peças da semana parecem tratar do mesmo medo, mas o que as aproxima é o objeto do medo, não o grau. A carta dos 406 pede desconexão e um registro de fugas. O Frontier Red Team da Anthropic conta tipos de hardware em que um modelo pequeno consegue rodar. Nos Comuns, OpenAI e Anthropic dizem querer regulação, e a pergunta ali é sobre relato obrigatório de incidentes. Nenhuma das três pergunta o que o modelo quer. Todas perguntam onde ele está. É a mudança que o regime nuclear fez décadas atrás: o inspetor da AIEA não avalia intenções, conta material. A consequência é que a segurança deixa de ser assunto só do laboratório e passa a ser assunto de quem cuida de infraestrutura: regulador de telecomunicações, fabricante de aparelho, alfândega. No Brasil, a Anatel já briga com as TV boxes irregulares por causa da pirataria. Pode acabar brigando por outro motivo.

• Por que as empresas não conseguem provar que o gasto com IA se paga (The Information): a reportagem que leva para dentro das empresas a pergunta de Marcus, e onde a dificuldade de medir o retorno aparece caso a caso.
• O CEO da Cerebras contra os alertas catastrofistas (TechCrunch): no dia da carta dos 406, o fornecedor de chips rejeita o apocalipse. É a mesma empresa que diz estar perto de um assistente de IA em cada casa, e a Anthropic acabou de mostrar o que mais cabe nessa casa.

Quote do dia

"Our tendency to summon powers we cannot control stems not from individual psychology but from the unique way our species cooperates in large numbers." — Nexus, Yuval Noah Harari

O replicador da Anthropic usa a rede de milhões de aparelhos baratos que ninguém coordena, e a carta dos 406 responde com outra rede, um órgão internacional. Harari diria que o problema e a saída estão no mesmo lugar: na maneira como cooperamos em grande número.

Conexão do vault

• Arquivo 1: [[ordoliberalism]]: para Eucken e Böhm, a escola de Freiburg, o mercado não se constitui sozinho. Precisa de regras gerais impostas por um Estado forte o bastante para resistir tanto à tentação de planejar quanto à captura pelos grupos de pressão. Os agentes privados, diziam eles, sempre tentam escapar da concorrência.
• Arquivo 2: [[sociedade_rede]]: a tese da reintermediação. As redes não eliminam os mediadores. Trocam mediadores locais e eleitos por mediadores técnicos privados, com muito menos prestação de contas pública.
• A conexão: Quando OpenAI e Anthropic pedem aos Comuns que as regulem, propõem a Ordnungspolitik de Eucken, regras do jogo no lugar de intervenção caso a caso. Mas Freiburg já desconfiava de quem pede a regra que vai cumprir. A nota sobre a sociedade em rede mostra o que está em disputa: o mediador privado chegou antes do público e já escreveu o formulário. A carta dos 406 tenta inverter essa ordem, com um órgão público entre o modelo e a rede. O replicador mostra o caso que nenhum dos dois previu: quando a rede é feita de fornos e TV boxes, não há mediador nenhum para capturar.