Duas respostas de inteligência artificial podem chegar à mesma conclusão com aparências muito diferentes. Uma pode ser curta e segura; a outra, detalhada e cheia de termos técnicos. Se a escolha for feita apenas pela fluidez, pelo tamanho ou pelo tom confiante, a resposta mais convincente pode vencer mesmo quando segue pior a instrução, omite uma ressalva ou inventa uma fonte.
Este guia mostra como comparar duas respostas com um teste pequeno, repetível e proporcional ao risco da tarefa. O método serve para avaliar modelos, versões, prompts, configurações ou ferramentas diferentes. Ele também ajuda a decidir se uma mudança realmente melhorou o trabalho ou apenas produziu uma resposta que parece mais agradável.
A proposta não é transformar toda escolha em um laboratório estatístico. É substituir a preferência vaga por evidência suficiente para a decisão. Em tarefas que afetam saúde, direitos, segurança, finanças, emprego ou contratos, o teste não substitui a revisão do profissional responsável.
A imagem de capa é uma ilustração editorial exclusiva do Bastidores da IA. Não é captura de tela, interface real nem resultado de um teste executado.
Resultado esperado
Ao final, você terá um conjunto curto de casos, uma rubrica com critérios observáveis, as duas respostas sem identificação durante a avaliação, o registro das evidências e uma decisão que outra pessoa consegue reproduzir. O resultado pode ser: opção A, opção B, empate, ou nenhuma das duas atende ao mínimo.
O núcleo do AI Risk Management Framework do NIST recomenda definir a tarefa e o contexto, documentar conjuntos de teste e métricas, avaliar em condições semelhantes às de uso e manter supervisão humana. Aqui, esses princípios são aplicados a uma comparação simples, sem exigir uma plataforma especializada.
Pré-requisitos
- Defina qual decisão a comparação precisa apoiar.
- Escolha uma tarefa realista, mas use dados sintéticos, públicos ou autorizados no primeiro teste.
- Separe as fontes que permitem conferir fatos, cálculos e requisitos.
- Registre modelo ou ferramenta, versão quando disponível, data e configurações relevantes.
- Escolha uma pessoa que conheça a tarefa e possa revisar o resultado.
Não comece perguntando “qual resposta ficou melhor?”. Essa pergunta mistura critérios diferentes e facilita a escolha pelo estilo. Antes de gerar qualquer saída, descreva o que significa passar e quais erros impedem o uso.
Passo 1: defina a tarefa e o custo do erro
Escreva a tarefa em uma frase. Depois, descreva quem usará a resposta e o que acontecerá em seguida. “Resumir um relatório para uma reunião interna” exige cobertura dos pontos principais. “Extrair uma data de vigência para orientar um contrato” exige precisão e conferência na fonte. A mesma resposta pode ser adequada para exploração e inadequada para decisão.
Classifique o erro mais importante. Pode ser inventar um fato, omitir uma exceção, desobedecer ao formato, expor informação, sugerir uma ação insegura ou produzir algo impossível de verificar. Escolha no máximo dois erros críticos. Se um deles ocorrer, a resposta falha mesmo que o restante pareça bom.
Passo 2: congele a entrada usada pelas duas opções
Use exatamente a mesma instrução, contexto, anexos e fontes para as duas respostas. Copie o texto para um arquivo de teste e registre a ordem dos materiais. Se uma ferramenta recebe um documento completo e outra recebe apenas um trecho, você está comparando condições diferentes.
Evite ajustar a segunda instrução depois de ver a primeira saída. Quando uma correção for necessária, aplique a mesma mudança às duas opções e reinicie o caso. Se o objetivo for comparar prompts diferentes, mantenha iguais o modelo, os dados e os critérios; mude somente o prompt.
Também registre limites práticos: idioma, tamanho máximo, formato, prazo, ferramentas autorizadas e necessidade de citar fontes. Esses itens precisam aparecer na rubrica. Uma resposta excelente que ignora o formato pedido pode gerar retrabalho e não ser a melhor opção para o fluxo real.
Passo 3: monte um conjunto pequeno de casos
Um único exemplo favorece conclusões frágeis. Comece com cinco a dez casos que representem o trabalho. Inclua casos comuns, um caso incompleto, um caso de borda e um pedido que a IA deveria recusar ou devolver para esclarecimento. Se a tarefa depende de informação atual, inclua um caso cuja resposta exija data e fonte verificável.
Não use somente exemplos que você já sabe que funcionam. Acrescente erros reais encontrados no passado, depois de remover dados pessoais, segredos e informações desnecessárias. O conjunto deve revelar falhas relevantes, não apenas confirmar a preferência inicial.
Separe os casos de ajuste dos casos de decisão. Se você muda o prompt para corrigir um exemplo e mede a melhora no mesmo exemplo, pode estar apenas adaptando a solução àquele caso. Reserve alguns casos que só serão avaliados no final.
Passo 4: crie uma rubrica observável
Uma rubrica útil descreve o que procurar. Evite critérios vagos como “qualidade”, “inteligência” ou “profissionalismo”. Prefira perguntas que possam ser respondidas com evidência:
- Atendimento à instrução: entregou todos os itens e respeitou o formato?
- Correção verificável: fatos, números e citações conferem com as fontes?
- Cobertura: incluiu os pontos necessários sem esconder exceções importantes?
- Incerteza: diferenciou o que sabe, o que inferiu e o que precisa ser confirmado?
- Utilidade: o próximo passo está claro para a pessoa que receberá a resposta?
- Segurança: evitou conteúdo proibido, exposição de dados e ação arriscada?
Use uma escala curta, por exemplo 0 para falhou, 1 para parcial e 2 para atendeu. Escreva exemplos de cada nota antes da avaliação. Dê peso maior apenas ao que realmente muda a decisão. Uma soma alta não deve compensar um erro crítico definido no Passo 1.
A referência oficial de Evals da OpenAI trata uma avaliação como critérios de teste combinados a uma fonte de dados e permite executar a mesma estrutura sobre configurações diferentes. Mesmo sem usar a API, a ideia central é útil: casos, critérios e respostas precisam permanecer separados e registrados.
Passo 5: compare sem ver a identidade da resposta
Copie as saídas para um documento e renomeie-as como Resposta X e Resposta Y. Remova o nome da ferramenta, frases de abertura típicas e metadados que revelem a origem, sem alterar o conteúdo avaliado. Se possível, peça a outra pessoa que faça essa preparação e só revele as identidades depois das notas.
Avalie cada resposta individualmente antes de colocá-las lado a lado. Isso reduz o risco de premiar uma opção apenas porque ela é mais longa, mais polida ou diferente da outra. Depois compare as notas, leia as justificativas e marque empate quando a evidência não sustentar uma vencedora.
Modelos também podem atuar como avaliadores, mas esse atalho precisa ser calibrado. A documentação do Google Cloud sobre avaliação de modelos julgadores orienta comparar o resultado do avaliador automático com classificações humanas. Para um teste pequeno, a revisão humana direta costuma ser mais simples e deixa o motivo da decisão visível.
Passo 6: confira as afirmações que mudam a decisão
Não transforme presença de links em prova de correção. Abra cada fonte usada para sustentar uma afirmação importante e confirme se ela existe, se diz o que a resposta afirma e se corresponde à data, região e versão necessárias. Quando houver cálculo, refaça a operação fora da resposta.
Marque separadamente fatos confirmados, inferências aceitáveis e trechos sem evidência. Se a saída usa uma fonte secundária, procure a origem quando ela estiver disponível. Uma resposta que admite não saber pode ser melhor do que outra que preenche a lacuna com um detalhe plausível.
O perfil do NIST para IA generativa, NIST AI 600-1, organiza riscos como confabulação, privacidade e conteúdo prejudicial, além de recomendar avaliação proporcional ao contexto. Isso reforça um ponto prático: a rubrica precisa testar os riscos da tarefa, não uma lista genérica de atributos.
Passo 7: repita os casos em que a variação importa
Respostas generativas podem mudar entre execuções. Se a tarefa será repetida ou se pequenas diferenças causam impacto, rode os casos críticos mais de uma vez nas mesmas condições. Registre quantas vezes cada opção passou, falhou ou exigiu correção humana.
Não esconda a variação em uma média. Uma opção que acerta nove casos e inventa uma informação crítica no décimo pode ser inadequada mesmo com nota média alta. Registre a distribuição dos erros e destaque qualquer falha que interrompa o uso.
A orientação do Google Cloud sobre avaliação de aplicações generativas observa que métricas automáticas escalam, mas podem simplificar demais a linguagem e perder contexto. Combine contagem de resultados com justificativas humanas, especialmente quando a decisão depende de nuance.
Passo 8: decida, registre e mantenha o teste
Revele as identidades apenas depois da avaliação. Registre a opção escolhida, o conjunto de casos, a rubrica, a data, as versões e as limitações. Se nenhuma atingir o mínimo, não force uma vencedora. A decisão correta pode ser manter o processo atual, ajustar a instrução ou exigir revisão adicional.
Salve os casos e reaplique-os quando o modelo, o prompt, a fonte de dados ou a ferramenta mudar. Adicione novos erros reais ao conjunto, sem transformar o teste em arquivo de dados sensíveis. O guia sobre como documentar uma tarefa feita com IA traz um registro mínimo que pode acompanhar cada rodada.
Exemplo ilustrativo
Exemplo ilustrativo: uma equipe compara duas respostas para resumir comunicados técnicos. O conjunto tem seis casos. A rubrica exige data, mudança principal, limite e link da fonte. A Resposta X escreve melhor, mas omite limites em dois casos. A Resposta Y é mais seca, porém cobre todos os campos e indica quando a fonte não basta. Como a omissão foi definida como erro crítico, Y vence para esse fluxo específico.
O exemplo não representa um benchmark real nem prova que uma ferramenta é superior. Ele mostra como o critério ligado à tarefa pode produzir uma decisão diferente da preferência por estilo.
Erros comuns
- Escolher pela primeira impressão: fluidez e confiança não confirmam fatos.
- Testar um único caso: um exemplo favorável não representa o fluxo.
- Mudar várias coisas ao mesmo tempo: fica impossível saber o que causou a diferença.
- Criar a rubrica depois de ver as respostas: os critérios podem ser ajustados para justificar a preferência.
- Somar notas e ignorar falhas críticas: uma média alta pode esconder um erro impeditivo.
- Usar outro modelo como único juiz: o avaliador também pode ter vieses e falhas.
- Não registrar versão e data: a comparação deixa de ser reproduzível após uma atualização.
Checklist antes de encerrar
- A tarefa, o usuário e o custo do erro foram definidos?
- As duas opções receberam a mesma entrada e os mesmos materiais?
- O conjunto inclui casos comuns, incompletos, de borda e de recusa?
- Os critérios e exemplos de nota foram escritos antes da avaliação?
- Erros críticos impedem aprovação, mesmo com boa média?
- As respostas foram avaliadas sem identificação da origem?
- Fatos, números, datas e fontes decisivos foram conferidos?
- Casos sensíveis à variação foram repetidos?
- A escolha, o empate ou a reprovação têm justificativa registrada?
- O teste poderá ser reaplicado depois de uma mudança?
Uma boa comparação não precisa declarar a melhor IA em termos absolutos. Ela precisa mostrar qual opção atende melhor a uma tarefa definida, sob condições iguais e com limites conhecidos. Quando a evidência não separa as respostas, admitir empate é mais útil do que inventar certeza.