Como decidir quando uma saída de IA precisa de revisão humana

“Alguém revisou” parece um controle, mas quase nunca responde às perguntas que importam: o que foi verificado, por quem, com qual evidência e quem tinha autoridade para interromper o uso? Sem essas definições, a revisão humana vira uma etapa decorativa.

Este guia propõe um método pequeno para equipes que usam IA em textos, pesquisas, planilhas, atendimento, catálogos ou automações. Ao final, você terá uma matriz de risco, uma regra de aprovação e um registro mínimo para explicar por que uma saída foi aceita, corrigida ou descartada.

Resultado esperado

Você vai sair com três elementos:

• uma classificação simples para separar usos de baixo, médio e alto risco;
• um checklist ligado ao tipo de erro que realmente pode causar dano;
• um registro curto de revisão, sem guardar dados sensíveis desnecessários.

O método abaixo é uma proposta editorial do Bastidores da IA. Ele se inspira no núcleo do NIST AI Risk Management Framework, que pede responsabilidades definidas para configurações humano-IA, e no Playbook de medição do NIST, que sugere documentar supervisão, erros, reclamações, correções e decisões de continuidade. O próprio NIST esclarece que o framework é voluntário e que o Playbook não é uma lista universal a ser seguida por inteiro.

Pré-requisitos

• uma tarefa real e delimitada, não apenas “usar IA”;
• uma pessoa responsável pelo resultado final;
• acesso às fontes originais usadas para produzir ou conferir a saída;
• um local seguro para guardar o registro da decisão;
• uma regra de parada: se a evidência não puder ser verificada, a saída não avança.

Comece com uma tarefa de baixo impacto. Não use o primeiro teste em decisão médica, jurídica, financeira, trabalhista, de crédito, segurança física ou qualquer processo que possa restringir direitos.

1. Classifique o uso antes de olhar a resposta

A aparência da resposta não determina o risco. Um parágrafo bem escrito pode esconder uma referência inexistente, enquanto um rascunho incompleto pode ser inofensivo se ainda estiver longe do público. Classifique o uso pretendido com quatro perguntas.

Critério	Baixo	Médio	Alto
Impacto	Rascunho interno e facilmente corrigível	Conteúdo usado por cliente ou equipe	Decisão sobre direitos, saúde, dinheiro, segurança ou acesso
Reversibilidade	É simples desfazer sem efeito externo	Exige retrabalho ou comunicação de correção	O dano pode ser difícil ou impossível de reparar
Verificabilidade	Há fonte primária clara e comparação direta	Parte depende de interpretação especializada	Não há evidência suficiente ou o contexto é incerto
Dados e permissões	Sem dados pessoais e sem ação em sistemas	Dados internos controlados ou acesso limitado	Dados sensíveis, credenciais ou ação com privilégio elevado

Use o nível mais alto encontrado, não uma média. Se três critérios forem baixos e um for alto, trate o uso como alto risco. Isso evita que facilidade de correção em uma parte esconda dano potencial em outra.

2. Defina a regra de aprovação

A regra precisa existir antes da revisão. Uma versão prática é:

• baixo risco: revisão por amostragem documentada, com ampliação da amostra quando surgirem erros;
• médio risco: checklist obrigatório e aprovação nominal antes do uso externo;
• alto risco: revisão humana de cada saída por pessoa qualificada, com autoridade para bloquear. Se a organização não consegue oferecer essa revisão, não automatize a decisão.

Amostragem não significa “olhar quando der”. Defina a unidade do lote, quem seleciona os itens e o que acontece quando um erro é encontrado. A taxa apropriada depende do processo e do histórico observado, por isso este guia não inventa um percentual universal.

3. Troque “revisar tudo” por testes observáveis

Um revisor não consegue executar a instrução vaga “confira se está certo”. Transforme o risco em testes com resposta verificável:

• afirmações: cada fato relevante é sustentado pela fonte citada?
• nomes e datas: conferem com o registro original?
• números: podem ser recalculados a partir dos dados de entrada?
• completude: algum item obrigatório foi omitido?
• privacidade: a saída revela dado pessoal, segredo ou informação fora do escopo?
• permissões: a IA tentou executar ou sugerir uma ação além da autoridade concedida?
• comunicação: hipótese, recomendação e fato estão claramente separados?

Para revisar conteúdo factual com mais profundidade, combine este processo com o guia Como verificar uma resposta de IA antes de usar no trabalho.

4. Escolha um revisor capaz de contradizer a saída

Revisão humana não é apenas presença humana. O revisor precisa entender o contexto, acessar a evidência e poder rejeitar o resultado sem pressão para aprovar rapidamente. Em tarefas especializadas, uma pessoa que apenas corrige português não substitui quem domina o assunto.

Quando houver equipe, separe quem produziu de quem aprovou. Em trabalho individual, faça uma segunda passagem com distância temporal e fontes abertas, começando pelos dados originais, não pela conclusão da IA. Pedir ao mesmo modelo para “revisar a própria resposta” pode ajudar a encontrar inconsistências, mas não conta como revisão humana independente.

5. Registre a decisão mínima

O registro não precisa guardar todo o prompt. Para cada lote ou saída relevante, anote:

• tarefa e uso pretendido;
• data e versão do material de entrada;
• ferramenta ou modelo usado, quando essa informação estiver disponível;
• nível de risco atribuído e motivo;
• fontes consultadas;
• nome do revisor e testes executados;
• decisão: aprovado, corrigido, escalado ou descartado;
• erro encontrado e ação tomada.

Não copie credenciais, dados pessoais ou documentos completos para o log. Registre identificadores internos seguros ou caminhos controlados. O perfil do NIST para IA generativa recomenda que a gestão considere o contexto de uso, as prioridades de risco e as diferentes fases do ciclo de vida. Um registro enxuto ajuda a ligar essa intenção ao trabalho cotidiano.

6. Faça um piloto e ajuste pelo erro real

Escolha um lote pequeno de baixo impacto, aplique os testes e registre os erros. Depois, pergunte:

• o checklist detectou o que poderia causar dano?
• o revisor tinha tempo, evidência e autoridade?
• algum erro recorrente pede bloqueio automático ou mudança no processo?
• o log permite reconstruir a decisão sem expor informação indevida?

Se a resposta for negativa, ajuste a tarefa, a fonte ou a regra de aprovação antes de aumentar o volume. A revisão deve ser medida pelo que consegue detectar e impedir, não pelo número de cliques adicionados ao fluxo.

Exemplo ilustrativo: resumo de reunião para um cliente

Imagine que a IA recebeu notas de uma reunião e produziu um resumo com decisões, responsáveis e prazos. O documento será enviado ao cliente. Não é uma decisão regulada, mas um nome errado ou uma obrigação inventada pode gerar conflito e retrabalho.

• Impacto: médio, porque o texto será usado por pessoas externas.
• Reversibilidade: média, pois é possível corrigir, mas a versão errada pode orientar trabalho antes da retificação.
• Verificabilidade: baixa em risco quando a gravação ou as notas originais estão disponíveis para conferência.
• Dados e permissões: médio se houver informação interna que não deve sair da equipe.

Pelo critério mais alto, o processo fica em risco médio. A regra escolhida é aprovação nominal antes do envio. O revisor confere cada decisão nas notas, confirma nomes e datas, separa assunto discutido de compromisso assumido e remove conteúdo fora do público autorizado. Se a gravação estiver incompleta em um trecho que muda uma decisão, o item é marcado como pendente e volta aos participantes, não é preenchido por inferência.

O registro pode dizer: “Resumo da reunião do projeto Alfa, notas versão 2, risco médio, conferidos responsáveis, prazos e escopo, uma data corrigida, aprovado por pessoa responsável em 20/08”. Esse registro explica a decisão sem copiar toda a conversa para outro sistema.

Como definir escalonamento sem paralisar o fluxo

Nem todo erro precisa ir à direção, mas todo revisor precisa saber quando parar. Defina três saídas claras:

• corrigir: a evidência é suficiente, o erro é localizado e a pessoa tem autoridade para ajustar;
• escalar: há conflito entre fontes, dúvida de escopo, dado sensível ou efeito que ultrapassa a responsabilidade do revisor;
• descartar: a origem não pode ser confirmada, o uso excede a permissão concedida ou o risco permanece alto sem revisão qualificada.

Registre também exceções. Se uma saída for liberada fora da regra normal, deve existir uma pessoa responsável, uma justificativa e uma medida temporária de contenção. Exceção silenciosa vira novo processo sem que ninguém tenha decidido isso.

Checklist antes de liberar

• O uso pretendido e as pessoas afetadas estão descritos?
• O nível de risco usa o critério mais alto, sem média conveniente?
• O revisor acessou a fonte original, não apenas a resposta da IA?
• Nomes, datas, cálculos e afirmações relevantes foram conferidos?
• Dados pessoais, segredos e permissões foram revisados?
• Hipóteses e recomendações estão separadas dos fatos?
• O revisor tem autoridade para corrigir, escalar ou bloquear?
• A decisão foi registrada sem duplicar informação sensível?

Erros comuns

• Revisar apenas o estilo: fluidez não confirma fatos, cálculos ou permissões.
• Aprovar sem fonte: confiança do texto não substitui evidência.
• Usar o mesmo checklist para tudo: os testes de uma legenda não cobrem os riscos de uma planilha financeira.
• Manter o humano sem poder de bloqueio: isso registra presença, não controle.
• Guardar dados demais: o log de auditoria também precisa respeitar privacidade e acesso.
• Automatizar alto risco por falta de pessoal: falta de capacidade de revisão é motivo para reduzir o escopo, não para remover a barreira.

Limites deste método

Esta matriz é um ponto de partida editorial, não certificação, parecer jurídico nem substituto para regras setoriais. Processos regulados podem exigir validação técnica, segregação de funções, retenção específica, auditoria externa ou proibição de determinados usos. O NIST também ressalta que seus materiais devem ser adaptados ao contexto e não funcionam como checklist único.

A pergunta final é simples: se a saída estiver errada, quem será afetado e quem consegue impedir o dano antes do uso? Se a equipe não consegue responder com nome, teste e evidência, a revisão humana ainda não foi realmente desenhada.

Fontes oficiais consultadas em 20 de agosto de 2026

• NIST AI RMF Core, para funções, responsabilidades e supervisão humano-IA.
• NIST AI RMF Playbook, Measure, para registro de supervisão, erros, correções e decisões.
• NIST AI 600-1, perfil para IA generativa, para riscos adaptados ao contexto de uso.