Um experimento randomizado com 1.053 universitários encontrou dois efeitos diferentes: o acesso ao ChatGPT elevou a avaliação de uma tarefa de marketing, enquanto um treinamento curto de raciocínio causal aumentou a diversidade das ideias. O resultado mais importante não é que a IA “ensina melhor”, porque o estudo não mediu aprendizagem ou retenção. Ele mostra que resposta bem avaliada e pensamento original não são a mesma coisa.
A pesquisa foi apresentada em 27 de agosto de 2026 por pesquisadores da Universidade Bocconi, da OpenAI e de outras instituições. Os participantes eram alunos do primeiro ano de economia, gestão e finanças. Em sala, eles receberam um problema realista: escrever, em até 180 palavras e 45 minutos, recomendações para ampliar o conhecimento e o uso da loja de produtos da universidade.
O desenho separou os estudantes em quatro condições: grupo de controle, treinamento de raciocínio causal, acesso ao ChatGPT Edu com GPT-4o, ou a combinação dos dois. Essa divisão permite observar efeitos distintos do instrumento e do treinamento, mas não autoriza generalizar o resultado para todas as disciplinas, idades ou modelos de IA.
O que aconteceu
Segundo o artigo técnico, os estudantes com acesso ao ChatGPT obtiveram ganho estimado de 0,862 ponto numa escala de 1 a 5, comparados ao resultado estimado de 2,09 do grupo de controle. O efeito foi estatisticamente significativo no modelo apresentado pelos autores. As respostas também continham mais ideias, mostravam lógica mais coerente e ficavam mais próximas das recomendações elaboradas por três especialistas.
O treinamento de raciocínio causal teve outro efeito. Os alunos passaram a explicitar melhor mecanismos, condições de falha e relações de causa e efeito. Também produziram combinações de ideias mais variadas, tanto dentro de cada resposta quanto na comparação com os colegas. Esse ganho, porém, não se converteu em nota maior na rubrica principal.
O contraste é útil porque impede uma leitura simplista. O ChatGPT ajudou novatos a entregar uma resposta mais alinhada aos critérios conhecidos da tarefa. O treinamento humano ampliou aspectos que a rubrica não premiava, especialmente a variedade e a disposição para sair da solução convencional.
Como o experimento foi organizado
Os 1.053 participantes estavam distribuídos em 13 turmas do mesmo curso introdutório de gestão. A randomização ocorreu no nível das turmas e dentro dos programas acadêmicos. Os quatro grupos reuniram 249 estudantes no controle, 256 no treinamento causal, 197 apenas com GPT e 351 na combinação dos dois tratamentos.
Quem recebeu o treinamento causal participou de um jogo estruturado com exemplos, perguntas e feedback. O exercício ensinava três elementos: construir uma cadeia lógica entre causa e efeito, explicar o mecanismo que ligaria uma ação ao resultado e indicar condições capazes de refutar a hipótese. O grupo de comparação jogou uma versão sem essas instruções.
Quem recebeu acesso à IA usou a assinatura institucional do ChatGPT Edu em outra aba do navegador. Os autores registram que 90,5% dos participantes com acesso ao GPT declararam ter seguido a condição atribuída. Esse dado é importante porque a conformidade foi informada pelos próprios estudantes, não monitorada como uma gravação completa de cada interação.
Como as respostas foram avaliadas
Vinte alunos de mestrado avaliaram as recomendações. Cada texto recebeu três avaliações, orientadas por uma rubrica de marketing sobre conhecimento da loja e uso dos produtos. Separadamente, os pesquisadores compararam os textos com recomendações de três pessoas consideradas especialistas: um professor de marketing, um responsável pela loja e um ex-aluno com experiência relevante.
A análise também mediu quantidade e variedade de ideias, coerência lógica, presença de mecanismos e falsificabilidade. Parte dessas medidas usou análise automatizada de texto. Portanto, a pesquisa combina notas humanas e indicadores computacionais, em vez de depender apenas de uma impressão geral sobre qualidade.
O que o ChatGPT melhorou
No contexto estudado, o GPT-4o aumentou a quantidade de ideias e a coerência do argumento. O tratamento com GPT foi o único que elevou de forma clara a nota principal. Os autores estimam que aproximadamente metade da vantagem pode ser associada a textos mais claros, ricos e organizados. A outra metade permaneceu mesmo depois dos controles usados na análise, o que sugere contribuição no conteúdo das recomendações.
Isso não significa que o estudante aprendeu o conteúdo. O próprio artigo reconhece que o desenho não consegue separar conhecimento adquirido e retido de uma resposta obtida com ajuda da ferramenta. É possível observar a qualidade do produto entregue, mas não concluir como o aluno responderia depois, sem acesso ao ChatGPT.
O que o treinamento causal mudou
O treinamento aumentou em cerca de 0,55 desvio-padrão a identificação de mecanismos e em aproximadamente 0,85 desvio-padrão o uso de condições falsificáveis, segundo as estimativas relatadas. Ele também foi o tratamento com efeito claro sobre a diversidade entre respostas.
A rubrica principal, contudo, premiava soluções adequadas a dois objetivos convencionais de marketing. Ideias mais distantes do espaço típico de respostas tendiam a receber avaliação menor. Em outras palavras, a falta de ganho na nota não demonstra que o treinamento falhou. Ela revela que o instrumento de avaliação não valorizava bem o tipo de diferença que o exercício produziu.
Combinar IA e raciocínio não é uma soma automática
O grupo com ChatGPT e treinamento causal apresentou benefícios nas duas famílias de medidas. A variedade de ideias ficou próxima à do grupo treinado, e o desempenho na rubrica ficou parecido com o do grupo com GPT. A combinação também reforçou indicadores de coerência, mecanismos e busca de explicações.
Há uma nuance importante: o termo de interação não mostrou um ganho adicional claro na nota principal. Portanto, não é correto dizer que juntar as duas intervenções sempre produz um resultado maior do que somar seus efeitos separados. O experimento indica complementaridade em dimensões específicas, não uma fórmula universal para melhorar qualquer trabalho escolar.
Por que isso importa para escolas e universidades
Se uma rubrica recompensa apenas clareza, quantidade de pontos e proximidade com uma solução padrão, um modelo bem treinado pode ajudar novatos a atender esses critérios rapidamente. A nota final, sozinha, passa a informar menos sobre o que o estudante compreendeu, decidiu ou conseguiria refazer.
Uma avaliação mais informativa pode pedir rastreabilidade do processo: hipótese inicial, alternativas descartadas, evidência usada, condição que faria a recomendação falhar e revisão depois do feedback. Isso não exige proibir a IA. Exige tornar visível o trabalho intelectual que a resposta final esconde.
O Bastidores já tratou desse problema ao mostrar como testar um prompt com um conjunto mínimo de avaliação e como comparar respostas de IA com critérios reproduzíveis. O novo estudo acrescenta um alerta: os critérios também precisam premiar originalidade e raciocínio, se essas qualidades forem objetivos reais da atividade.
O que o estudo não prova
O experimento não prova que ChatGPT melhora aprendizagem, memória, compreensão duradoura ou desempenho em provas sem IA. Também não compara diferentes modelos, estilos de prompt ou níveis de autonomia. O uso ficou restrito ao GPT-4o dentro do ChatGPT Edu e a uma tarefa curta, bem definida e próxima de conteúdos comuns em marketing.
A amostra veio de estudantes do primeiro ano, em 13 turmas de uma única universidade europeia e no mesmo curso básico. O nome da instituição e o número do pré-registro não são revelados no artigo, segundo os autores, para preservar anonimato. Esses limites reduzem a segurança de qualquer extrapolação para educação básica, pós-graduação, matemática, programação, escrita longa ou ambientes profissionais.
Há ainda um vínculo institucional relevante. Parte dos autores trabalha na OpenAI, uma pesquisadora contribuiu durante seu emprego na empresa e outro colaborador atuou como contratado pago. Isso não invalida o estudo, que descreve um desenho randomizado e apresenta métodos e tabelas, mas recomenda leitura crítica e replicação independente.
Uma aplicação prática para professores
O resultado sugere um desenho simples de atividade. Primeiro, peça uma solução com critérios claros. Depois, exija que o aluno descreva a cadeia causal por trás de cada recomendação, indique uma condição que a invalidaria e proponha uma alternativa realmente diferente. Por fim, avalie separadamente qualidade convencional, evidência, raciocínio e diversidade.
Se o ChatGPT for permitido, registre essa permissão e peça um relato curto de uso: quais perguntas foram feitas, o que foi rejeitado e o que o estudante alterou. O objetivo não é transformar a aula em fiscalização de prompts, mas distinguir contribuição da ferramenta, decisão humana e aprendizagem observável.
O que observar a partir de agora
O próximo passo científico é replicar o desenho em outras instituições, faixas etárias e disciplinas. Também importa medir retenção depois de dias ou semanas, transferência para tarefas novas e desempenho sem a ferramenta. Sem esses testes, uma resposta mais polida continua sendo um indicador de entrega, não uma medida suficiente de conhecimento.
Para gestores educacionais, a consequência imediata é revisar rubricas antes de comprar mais tecnologia. Se originalidade, mecanismo causal e capacidade de contestar a própria hipótese não aparecem nos critérios, eles dificilmente aparecerão na nota, com ou sem IA.
Fontes primárias
- OpenAI, apresentação do experimento sobre ChatGPT e treinamento de pensamento crítico, 27 de agosto de 2026.
- Asirvatham e colaboradores, “Training novices to think, or giving them LLMs? Evidence from an RCT”, agosto de 2026.
Esta notícia separa os resultados relatados pelos autores das interpretações editoriais. O trabalho foi consultado em 28 de agosto de 2026 e não é apresentado aqui como prova de aprendizagem duradoura ou como regra válida para todas as salas de aula.