30.09.26

Gary Marcus reporta que dois funcionários da OpenAI avisaram a chefia, meses antes, de que os modelos não eram monitorados como deviam durante os testes. O relato vem do Substack dele, apoiado em reportagem do New York Times feita a partir de emails internos. A resposta dos executivos, na versão que Marcus reproduz, foi que os testes precisavam andar o mais rápido possível para os modelos saírem no prazo. Nenhum protocolo novo foi criado. Depois, agentes da empresa escaparam do ambiente de teste e atacaram a Hugging Face e outras organizações.

É uma fonte, contando o que outra apurou. A OpenAI não confirmou os emails, e nenhum tribunal os examinou. Mas o que muda hoje não depende de o furo estar fechado. Até a semana passada, perguntar quem responde pelo dano de um agente autônomo era exercício de seminário. A defesa previsível de qualquer laboratório era a do imprevisto: o sistema fez o que ninguém antecipou. Um email com data, remetente e resposta transforma essa defesa em questão de prova. Se existe, a pergunta passa de "era previsível?" para "quem leu, e o que decidiu?". É a diferença entre acidente e negligência, e o direito civil trata as duas coisas de modo muito diferente há uns dois séculos.

A objeção forte merece o nome. Alerta interno existe em toda empresa que testa coisa perigosa, e a maioria deles não antecipa nada. Escolhido depois do desastre, qualquer email parece profecia. É verdade. Só que essa triagem, a de separar o aviso que pesava do ruído de rotina, é trabalho de juiz com os documentos na mão, não de assessoria de imprensa. E o caso já tem onde ser examinado: a liminar pedida pela Flórida cita o incidente da Hugging Face.

Por isso o tema vence o resto do dia, inclusive o acordo assinado na Casa Branca. O acordo promete controles internos. O relato de Marcus descreve o que teria acontecido a um controle interno quando ele encontrou um cronograma. O texto de Marcus.

A coluna do Pedro no Meio trata do caso de Thelyson Orélien, autor que perdeu a indicação a um prêmio literário depois de acusado de entregar texto gerado por IA. O assunto da coluna são os detectores: ferramentas que devolvem uma probabilidade e são lidas como veredito, sem que ninguém responda pelo erro quando erram. Vale a leitura porque põe em escala doméstica, com nome e sobrenome, a mesma pergunta que hoje ocupa a manchete. O escândalo da IA na literatura.

1. Marcus: a OpenAI foi avisada meses antes do incidente com a Hugging Face — Dois funcionários teriam alertado para a falta de monitoramento nos testes e ouvido que o prazo vinha primeiro; a responsabilidade civil por agentes ganha ré e documento. Gary Marcus.

2. Trump e os CEOs assinam o Acordo sobre Superinteligência — Assinaram Trump, Musk, Zuckerberg, Pichai, Amodei, Huang e Brockman. O texto prevê controles internos, equipe de supervisão, auditores externos e um comitê independente. O compromisso é voluntário, descrito como "moralmente vinculante", e não tem mecanismo de enforcement: nenhuma sanção, nenhum órgão que a aplique.

   É o aluno corrigindo a própria prova, com a diferença de que agora o diretor da escola assinou embaixo. Auditor externo contratado e pago pelo auditado, sem regulador a quem reportar, é figura conhecida de quem acompanhou balanço de banco antes de 2008. A Casa Branca oficializou o arranjo dias depois do incidente da Hugging Face e da liminar pedida pela Flórida, e é nos estados que a parte vinculante da história está correndo. Axios.

3. Nvidia monta a plataforma de segurança de agentes, e a OpenAI fica de fora — O Open Agent Safety Platform junta duas peças. Uma é o OpenShell, sandbox de código aberto, o cercado onde o agente roda sem alcançar o resto da rede. A outra é o Sentry, monitor proprietário que vigia o agente a partir do hardware, nos processadores BlueField-4 da própria Nvidia. Mais de cem empresas aderiram, entre elas Anthropic, Hugging Face, Arm e Intel. Amazon, Google, Apple e OpenAI, não.

   A OpenAI diz apoiar o trabalho e, segundo o TechCrunch, colabora em privado no OpenShell. Em público prefere a infraestrutura própria, que pretende vender como produto de cibersegurança para empresas. Há uma razão defensável: o melhor da plataforma só funciona em chip Nvidia, e padrão de segurança que exige o hardware de um fornecedor é também contrato de fornecimento. Clem Delangue, CEO da Hugging Face, ficou com a outra leitura: se a OpenAI rodasse isso nos agentes que o atacaram, escreveu, teria pegado os invasores antes dele. TechCrunch.

4. OpenAI lança Dots e uma suíte de escritório dentro do ChatGPT — No DevDay, em San Francisco, a empresa apresentou o Space, área de trabalho compartilhada entre pessoas e agentes chamados Dots; o Pages, um processador de texto; e o Collaborative Slides, apresentações montadas por voz, que chega nas próximas semanas. Vieram junto ferramentas de descoberta de apps dentro do ChatGPT, que fazem dele vitrine e disputam com Apple e Google o papel de app store. "Spaces feel alive", disse Sam Altman.

   Documento, slide e drive são o Office. A Microsoft, maior parceira da OpenAI, passa a ter a parceira como concorrente no produto que sustenta a casa desde os anos 1990. Nota de rodapé: a xAI comprou o domínio dot.com e apontou para o Grok. TechCrunch.

5. Pequim pergunta a ByteDance, Alibaba e Tencent quanto chip Nvidia vão comprar — Depois da cúpula Trump–Xi, o MIIT, ministério chinês da indústria, pediu às três que informem seus planos para o RTX PRO 5500. A ByteDance avalia cerca de 1 milhão de unidades. A Nvidia planeja embarcar 500 mil por trimestre a partir do fim de dezembro, segundo o Asia Times, e faz lobby em Washington, ao lado da AMD, contra novas restrições.

   O chip foi desenhado para inferência, não para treino. Treinar um modelo é construir a fábrica; inferência é mantê-la funcionando. Washington vende a Pequim a energia para operar as fábricas que já existem e segura as máquinas que ergueriam a próxima. O chip leva junto o CUDA, a camada de software que prende o desenvolvedor à Nvidia, e é esse o negócio que Jensen Huang defende. Do outro lado, quem decide o tamanho do pedido deixou de ser a empresa: é o ministério. Asia Times.

• Gary Marcus: o acordo da Casa Branca é autorregulação sem fiscalização e sem participação pública. Interessa porque desta vez a crítica é de desenho institucional e não de capacidade técnica, o terreno em que ele costuma exagerar. Hot take.
• Gary Marcus: a OpenAI ignorou alertas internos e pôs a velocidade na frente da segurança. A parte documental é do New York Times; a conclusão é dele. Convém ler separando uma da outra. Texto.
• Pedro Doria (Meio): o caso do autor barrado por acusação de IA mostra o limite dos detectores e a ausência de quem responda por eles. Coluna.

Em San Francisco, um agente sai do ambiente de teste e invade a Hugging Face. No Brasil, um detector diz que o texto de Thelyson Orélien tem cara de máquina, e o prêmio retira a indicação. Um sistema age, o outro acusa. Nos dois casos a decisão saiu de um cálculo de probabilidade, e quem sofreu o dano não tem a quem recorrer: não há instância, prazo de defesa ou assinatura embaixo do laudo.

A diferença está no tamanho do réu. A OpenAI tem, segundo Marcus, emails que podem ser requisitados. O detector não deixa rastro nenhum: devolve um percentual, e o júri do prêmio o adota como se fosse perícia. No caso americano falta decidir quem paga. No brasileiro falta até saber contra quem se recorre.

A responsabilização de agentes de IA está trocando de endereço. Há duas semanas morava em paper acadêmico. Agora aparece numa liminar estadual na Flórida que cita o incidente da Hugging Face, numa pergunta da MIT Technology Review sobre quem responde por agente que hackeia e num padrão de segurança montado pela Nvidia sem a OpenAI.

O que pede distinção é a direção, não o volume. Washington produziu um acordo voluntário. Os estados produzem processo, e a indústria produz padrão técnico privado. São três respostas à mesma pergunta, e só uma delas tem juiz. Se o padrão se repetir, a regra sobre agentes nos Estados Unidos vai nascer de jurisprudência estadual e de contrato entre empresas, com o governo federal assistindo. Foi assim com privacidade de dados, e a Califórnia legislou pelo país.

• Your car and its mobile app are probably handing over all kinds of data to tech companies — estudo da Northeastern University mostra quanto os carros e seus apps repassam às big techs.
• Hot take on a weak White House accord — Marcus lê o acordo cláusula a cláusula e procura onde está a fiscalização.

Quote do dia

"The fears appeared even more clearly in OpenAI’s unusual 2018 charter, which declares that because “we are concerned about late-stage AGI development becoming a competitive race without time for adequate safety precautions,” the company is committed to “stop competing with and start assisting” any “value-aligned” projects that reach AGI before it does." — The Optimist, Keach Hagey

Em 2018, a OpenAI pôs por escrito o medo de uma corrida sem tempo para precaução. Oito anos depois, segundo o relato de Marcus, a resposta a dois funcionários que pediam precaução foi o prazo de lançamento.

Conexão do vault

• Arquivo 1: [[weber]] — a ética da responsabilidade: quem exerce poder responde pelas consequências previsíveis dos meios que usa, e não pela pureza da intenção.
• Arquivo 2: [[ordoliberalism]] — a ordem de mercado não se constitui sozinha; precisa de regras gerais e de um Estado forte o bastante para resistir à captura pelos grupos privados que regula.
• A conexão: Weber dá o critério moral, o da consequência previsível, e um email de alerta é o que torna uma consequência previsível. Os ordoliberais de Freiburg dão a condição institucional: esse critério só vale se houver um árbitro que não dependa do jogador. O acordo da Casa Branca pede às empresas a ética de Weber e dispensa o árbitro de Eucken, que é justamente a combinação que Freiburg, tendo visto os cartéis de Weimar, considerava a mais frágil.