A OpenAI publicou um experimento no qual duas decisões de implementação mudaram de forma expressiva o resultado do GPT-5.6 Sol no ARC-AGI-3. No conjunto público, a pontuação relatada passou de 13,3% com o executor oficial para 38,3% com um fluxo baseado na Responses API. A empresa atribui a diferença à preservação do estado de raciocínio entre ações e ao uso de compactação de contexto.
O dado é importante, mas exige uma leitura cuidadosa. Ele não demonstra que o modelo ficou três vezes mais inteligente, nem substitui o resultado oficial do benchmark. O experimento mostra que uma avaliação de agentes mede ao mesmo tempo o modelo, o executor, a memória disponível, o tratamento do contexto e as instruções usadas ao longo da tarefa.
Imagem editorial exclusiva do Bastidores da IA. Não é captura do ARC-AGI-3, da Responses API ou de uma execução real do benchmark.
O que o ARC-AGI-3 tenta medir
O ARC-AGI-3 apresenta jogos visuais 2D desconhecidos. O agente precisa explorar o ambiente, perceber relações entre ações e mudanças na tela, formar uma hipótese sobre o objetivo e ajustar o plano quando erra. Ele não recebe um manual explicando as regras de cada jogo.
A métrica usada é a Relative Human Action Efficiency, ou RHAE. Em termos práticos, ela compara a eficiência das ações do agente com uma referência humana. O resultado não é uma taxa simples de respostas certas. Uma solução que exige muitas tentativas pode receber menos crédito do que outra que alcança o mesmo estado com menos ações.
Esse formato transforma memória operacional em parte central do teste. Um agente que esquece por que tentou uma ação pode repetir hipóteses descartadas, perder uma descoberta feita no começo ou gastar várias chamadas reconstruindo o mesmo entendimento.
O resultado relatado pela OpenAI
No artigo de 29 de julho de 2026, a OpenAI informa que o GPT-5.6 Sol alcançou 13,3% no conjunto público com o executor oficial. Com a implementação da empresa, que preserva o estado de raciocínio e aplica compactação, o resultado chegou a 38,3%. A publicação também relata aproximadamente seis vezes menos tokens de saída.
Esses números pertencem ao experimento da OpenAI. A página oficial de resultados do ARC Prize continua mostrando o desempenho verificado do GPT-5.6 em sua configuração oficial, incluindo 13,33% no conjunto público e 7,78% no conjunto semiprivado para a variante Sol com esforço máximo. Os percentuais não devem ser misturados como se viessem do mesmo protocolo.
A comparação central do artigo da OpenAI usa o conjunto público e dois executores diferentes. O resultado semiprivado do ARC Prize é uma referência oficial separada. Por isso, 38,3% não deve ser apresentado como uma nova pontuação oficial geral do GPT-5.6 no ARC-AGI-3.
A primeira configuração preserva o estado entre ações
Segundo a análise da OpenAI, o executor oficial descartava as mensagens privadas de raciocínio depois de cada ação. O modelo ainda via um registro dos movimentos e notas breves, mas não mantinha o estado interno usado para chegar à hipótese anterior. A cada etapa, parte do problema precisava ser reconstruída.
Na implementação com a Responses API, o identificador da resposta anterior conecta uma etapa à seguinte. A documentação da OpenAI descreve esse mecanismo como uma forma de manter o estado de uma conversa. Para modelos de raciocínio, isso preserva itens relevantes entre chamadas sem exigir que o aplicativo exponha ou copie um raciocínio privado para o usuário.
O efeito relatado foi duplo. O modelo gastou menos esforço reinterpretando o jogo e conseguiu sustentar estratégias por mais ações. Isso é particularmente relevante em tarefas nas quais uma descoberta inicial só produz valor vários passos depois.
A segunda configuração troca corte simples por compactação
Contextos longos precisam de uma política quando se aproximam do limite. O executor oficial citado no experimento usava uma janela móvel: ao ultrapassar 175 mil caracteres, removia as mensagens mais antigas. Essa solução controla o tamanho, mas pode eliminar justamente a primeira observação que explica uma regra do ambiente.
A compactação procura condensar o estado acumulado para que a execução prossiga com menos tokens, mantendo informações consideradas necessárias para as próximas etapas. Na Responses API, a compactação pode ser feita no servidor e o item compactado volta a integrar a sequência enviada nas chamadas seguintes.
Compactar não é o mesmo que guardar tudo. Uma síntese também pode omitir um detalhe importante ou preservar uma hipótese errada. O ganho depende de como o estado é organizado, de quando a compactação ocorre e de como o agente verifica o que acredita ter aprendido.
Por que os tokens de saída caíram
Um agente que perde o próprio plano tende a pensar novamente sobre fatos já observados. Também pode descrever de novo o ambiente, repetir testes e produzir explicações extensas antes de cada ação. Preservar o estado reduz parte desse retrabalho.
A OpenAI relata cerca de seis vezes menos tokens de saída na configuração modificada. Isso não significa automaticamente custo seis vezes menor. A conta completa depende de tokens de entrada, chamadas, modelo, ferramentas e política de armazenamento. O artigo não oferece uma equivalência universal de custo para aplicações fora do benchmark.
O resultado indica eficiência dentro daquele experimento. Para um sistema real, a equipe deve medir o fluxo completo, incluindo contexto enviado, compactações, tentativas falhas, chamadas de ferramenta e revisão humana.
O benchmark também mede o executor
Um benchmark de agente não coloca apenas um modelo diante de uma pergunta estática. Há código responsável por capturar observações, montar o histórico, selecionar ferramentas, limitar ações, tratar erros e decidir o que permanece no contexto. Cada escolha pode ajudar ou prejudicar um modelo específico.
Isso cria uma tensão legítima. Um executor genérico facilita comparações padronizadas. Um executor adaptado às características do modelo representa melhor a forma como o fornecedor o coloca em produção. As duas abordagens respondem a perguntas diferentes.
O executor genérico pergunta como modelos distintos se comportam sob uma interface comum. O executor otimizado pergunta até onde um modelo chega quando recebe os recursos recomendados por seu fornecedor. Chamar ambos de “pontuação do modelo” sem mencionar a configuração esconde essa diferença.
O que o experimento não prova
- Não prova que todo agente melhora três vezes ao preservar estado.
- Não prova que compactação sempre mantém a informação correta.
- Não transforma o resultado de 38,3% em pontuação oficial do conjunto semiprivado.
- Não isola em números públicos quanto cada uma das duas mudanças contribuiu sozinha.
- Não demonstra redução universal de custo em aplicações reais.
Também é necessário considerar que o artigo foi escrito pela própria OpenAI sobre seu modelo e sua API. É uma fonte primária adequada para entender o experimento, mas não uma auditoria independente de todas as escolhas metodológicas.
Como testar a mesma ideia em um agente real
Uma equipe pode reproduzir o princípio sem copiar o benchmark. Escolha uma tarefa longa que exija várias ações e possua resultado verificável, como investigar uma falha em um ambiente de teste. Execute a mesma bateria com estado preservado e com reinicialização entre etapas.
- Fixe modelo, esforço de raciocínio, ferramentas e limite de ações.
- Defina sucesso, falha e interrupção antes do teste.
- Registre ações, chamadas, erros, tokens e tempo total.
- Separe memória literal, resumo compactado e dados externos persistentes.
- Repita casos suficientes para não depender de uma única execução favorável.
- Revise o que foi perdido ou distorcido depois de cada compactação.
Compare não apenas a taxa de conclusão, mas também repetição de ações, recuperação após erro, uso de ferramentas e necessidade de intervenção humana. O guia do Bastidores para comparar respostas com critérios reproduzíveis mostra como documentar uma avaliação sem escolher apenas a saída mais convincente.
Um cuidado adicional com privacidade e auditoria
Preservar estado melhora continuidade, mas amplia a quantidade de informação mantida entre etapas. Antes de ativar esse padrão em dados reais, defina quais campos podem entrar no contexto, quanto tempo permanecem disponíveis e como serão excluídos.
Em fluxos sensíveis, mantenha uma trilha observável das ações e decisões do sistema sem tentar registrar raciocínio privado do modelo. Entradas, saídas, chamadas de ferramenta, aprovações e resultados verificáveis são mais úteis para auditoria do que uma narrativa não confiável sobre por que o modelo agiu.
Quando isso aconteceu
A OpenAI publicou o experimento em 29 de julho de 2026. O Bastidores da IA consultou o artigo, a documentação da Responses API, a documentação de compactação e a metodologia do ARC-AGI-3 em 17 de agosto de 2026.
Por que isso ainda importa
Agentes são cada vez mais avaliados em tarefas com dezenas ou centenas de etapas. Quando o resultado muda muito após uma alteração de memória e contexto, a comparação deixa de ser apenas uma disputa entre modelos. Ela passa a exigir uma descrição clara do sistema inteiro.
Para quem desenvolve produtos, a lição prática é registrar a configuração junto do resultado. Para quem lê rankings, é verificar conjunto, executor, limite, ferramentas e estado mantido. Para fornecedores, é publicar protocolos reproduzíveis que permitam distinguir uma melhora do modelo de uma melhora na infraestrutura ao redor dele.
Fontes oficiais
- OpenAI: experimento com estado de raciocínio e compactação no ARC-AGI-3, 29 de julho de 2026.
- ARC Prize: resultados verificados da série GPT-5.6, consultado em 17 de agosto de 2026.
- ARC-AGI-3: metodologia de pontuação, consultada em 17 de agosto de 2026.
- OpenAI Developers: estado de conversa na Responses API, consultado em 17 de agosto de 2026.
- OpenAI Developers: compactação de contexto, consultada em 17 de agosto de 2026.