Agentic Responsible AI Assessment: scorecard sem confundir nota com conformidade

ANÁLISE EDITORIAL

Imagem editorial exclusiva do Bastidores da IA. Não é captura de tela, painel real, resultado de assessment, selo, certificação nem material oficial da AWS.

Um score de IA responsável pode organizar uma conversa difícil, mas também pode criar uma falsa sensação de segurança. A Agentic Responsible AI Assessment propõe um questionário com 20 perguntas para avaliar agentes em oito dimensões, da governança à transparência. O valor está na sequência, na régua explícita e nas lacunas que aparecem. A nota, sozinha, não comprova conformidade, segurança ou eficácia dos controles.

A Skill foi publicada no repositório oficial AWS Samples para orientar uma autoavaliação de sistemas com agentes. Ela faz uma pergunta por vez, classifica a resposta de 0 a 5 e atualiza uma visualização da postura. A curadoria do Bastidores mantém o alerta central da própria origem: mesmo uma pontuação perfeita não garante cumprimento de obrigações legais. Cada resposta relevante precisa ser sustentada por evidência independente.

O que esta Skill faz

A instrução conduz uma entrevista estruturada em três fases: fundação de governança, implantação piloto e avaliação com endurecimento. As perguntas cobrem governança, privacidade e segurança, segurança de uso, veracidade e robustez, controlabilidade, equidade, explicabilidade e transparência. Cada dimensão pode receber mais de uma resposta, e sua postura é calculada pela média arredondada das perguntas respondidas.

O fluxo distingue uma dimensão ainda não avaliada de uma dimensão que recebeu nota zero. Essa diferença evita um erro comum em painéis: mostrar ausência de evidência como se fosse desempenho medido. Depois de cada resposta, a Skill registra a justificativa, sugere o próximo passo e atualiza o gráfico no formato compatível com o cliente.

Para quem serve

Ela serve para responsáveis por produto, segurança, risco, privacidade, arquitetura, plataforma e auditoria interna que precisam iniciar uma conversa verificável sobre agentes. Também ajuda equipes que estão definindo critérios de entrada em produção, identificando donos, criando um registro de agentes ou planejando uma avaliação mais formal.

Não é um atalho para declarar conformidade com legislação, norma ou política interna. Também não substitui teste adversarial, revisão jurídica, threat modeling, análise de impacto, auditoria de acesso, inspeção de logs, avaliação de modelos nem evidência do ambiente real. O questionário é um roteiro de diagnóstico, não um certificado.

Origem, adoção e versão

A origem auditada foi aws-samples/sample-agent-skills-for-builders, mantida na organização oficial AWS Samples. Na consulta de 15/09/2026, o repositório tinha 47 estrelas e 32 forks. Esses números são registrados por transparência, não como prova de adoção ampla.

A exceção ao corte editorial de mil estrelas foi aceita porque a candidata é uma amostra oficialmente mantida por fornecedor, com documentação, commit e licença verificáveis. A versão declarada no frontmatter é 1.0.0. O caminho fixado é skills/agentic-responsible-ai-assessment, no commit b4d559561c2d602db544f46dc5c4226998e0078b.

Compatibilidade e pré-requisitos

O pacote é textual e segue a estrutura de Agent Skills: SKILL.md, README e uma referência Markdown com o questionário. O cliente precisa carregar Skills e permitir que o agente leia references/questionnaire.md. Não há script obrigatório, biblioteca Python ou binário no diretório auditado.

A visualização é adaptativa. A origem prevê Highcharts em Amazon Quick, Mermaid em clientes desktop ou IDE capazes de renderizá-lo e barras ASCII em terminais. Se o formato rico não abrir, o conteúdo continua utilizável em texto. O assessment não exige uma conta AWS para perguntar e pontuar, mas os exemplos de implementação citam serviços AWS e precisam ser traduzidos para os controles realmente usados pela organização.

Instalação e disponibilidade

O README oficial documenta a instalação pelo Skills CLI:

npx skills add https://github.com/aws-samples/sample-agent-skills-for-builders --skill agentic-responsible-ai-assessment

O comando consulta a rede e grava arquivos no destino escolhido pelo CLI. Execute primeiro em um projeto de teste, confira o repositório e o commit obtido e revise todos os arquivos antes de ativar. O ZIP do Bastidores é uma cópia textual auditada do commit informado e não executa instalação automática.

Como o questionário está organizado

A primeira fase pergunta se há registro de agentes, donos, faixas de risco, aprovações e uma base segura de identidade, acesso e monitoramento. A segunda leva a discussão para um piloto real: guardrails, proteção de dados, grounding, parada de emergência, escalonamento humano, observabilidade e autorização por política.

A terceira fase procura evidência de endurecimento. Entram testes adversariais, resposta a incidentes, gates de release, avaliação contínua, escolha governada de modelos, equidade entre grupos, trilha de auditoria e divulgação de que o usuário está interagindo com IA. A ordem impede que uma equipe pule diretamente para um gráfico bonito sem estabelecer responsabilidade e escopo.

Primeiro uso seguro

1. Defina qual agente, ambiente, versão e caso de uso serão avaliados.
2. Escolha participantes capazes de apresentar evidências de produto, segurança, dados, risco e operação.
3. Peça para a Skill iniciar o assessment completo e mostrar o aviso de limitação antes da primeira pergunta.
4. Responda uma pergunta por vez e diferencie controle planejado, manual, padronizado, imposto e medido.
5. Vincule cada resposta a uma evidência, como política, configuração, teste, alerta, log ou relatório.
6. Revise as notas em grupo e registre discordâncias em vez de forçar consenso.
7. Transforme lacunas prioritárias em ações com dono, prazo e critério de verificação.

Como funciona a escala de 0 a 5

Zero significa que o tema foi perguntado e não está tratado. Um reconhece a necessidade, mas ainda sem implementação. Dois descreve controle manual, dependente de alguém lembrar. Três exige prática padronizada para todos os agentes. Quatro significa controle automatizado e não contornável no fluxo normal. Cinco exige medição quantitativa e ciclo de melhoria.

Essa régua reduz a margem para avaliar intenção como execução. Uma política escrita pode ser importante, mas não recebe automaticamente quatro. Um filtro ligado em parte do tráfego não é universal. Um dashboard sem limiar, responsável e ação de correção não demonstra ciclo de melhoria. A justificativa deve explicar qual evidência colocou a resposta naquele nível.

Evidência antes da pontuação

A Skill não obriga tecnicamente o avaliador a anexar documentos. Por isso, a disciplina precisa vir do processo. Para cada nota acima de zero, registre o nome do controle, escopo, ambiente, dono e evidência observável. Quando houver automação, confirme se a pessoa que administra o agente consegue contorná-la e se a exceção fica registrada.

Também separe desenho de controle e eficácia operacional. Uma regra em CI pode bloquear release em um repositório, mas talvez não cubra outro caminho de implantação. Um guardrail pode estar habilitado, mas sem testes que mostrem o comportamento nos idiomas e ferramentas usados. A pontuação deve refletir o escopo demonstrado, não a melhor implementação isolada.

Visualização sem maquiar lacunas

O gráfico serve para acompanhar a entrevista, não para resumir toda a governança em oito barras. Dimensões não avaliadas aparecem separadas de zero. Quando várias perguntas alimentam a mesma dimensão, a Skill pede que o detalhamento por pergunta permaneça visível. Isso evita que uma média esconda um controle crítico ausente.

Em relatórios externos, preserve data, escopo, versão do agente, participantes e evidências revisadas. Não recorte apenas o gráfico final. Se o cliente não renderizar Mermaid ou Highcharts, use o modo ASCII. A escolha do formato não altera a pontuação.

Exemplo de pergunta e resposta responsável

Uma pergunta sobre parada de emergência pode receber a resposta: “há alerta automático para eventos críticos, mas a suspensão ainda depende do plantonista”. Isso não deve ser promovido a controle imposto. A justificativa pode classificá-lo como nível dois ou três, conforme a padronização demonstrada, e apontar o passo seguinte: automatizar o circuito de suspensão, testar o tempo de parada e registrar exceções.

O exemplo é ilustrativo. A nota real depende do sistema, da evidência e do rubric original. A Skill orienta uma pergunta de esclarecimento quando a resposta é vaga, em vez de adivinhar maturidade.

Resultado esperado

Ao final, a equipe deve ter vinte respostas justificadas, postura calculada para oito dimensões, lacunas priorizadas e recomendações relacionadas ao contexto informado. O melhor resultado não é uma nota alta. É uma lista curta de controles que podem ser verificados e melhorados.

Se o objetivo for auditoria formal, exporte as respostas para um registro controlado e faça uma revisão independente. Revalide evidências cuja data, ambiente ou abrangência possam ter mudado. O scorecard pode preparar o trabalho, mas não substitui o trabalho de assurance.

Permissões e riscos

O questionário pode levar participantes a revelar arquitetura, fornecedores, falhas, incidentes, grupos protegidos, modelos, controles e lacunas de segurança. Não cole segredos, credenciais, dados pessoais, nomes de clientes ou detalhes exploráveis em um chat sem classificação e autorização adequadas. Use respostas resumidas quando a evidência completa precisar permanecer em repositório restrito.

Os exemplos citam serviços AWS, mas isso não torna a avaliação neutra em relação a fornecedor. Equipes em Azure, Google Cloud ou ambientes próprios devem mapear a intenção do controle para seus componentes e confirmar equivalência. Não invente um serviço alternativo apenas para preencher a resposta.

Erros comuns e como corrigir

Tratar política como controle imposto

Verifique se a regra é aplicada automaticamente, cobre todos os caminhos e não pode ser ignorada sem registro. Se depende de memória humana, a própria régua a coloca abaixo dos níveis de enforcement.

Confundir não avaliado com zero

Mantenha o estado non-evaluated até a pergunta correspondente ser respondida. Zero só é correto quando o tema foi avaliado e não está tratado.

Dar cinco porque existe um dashboard

Nível cinco exige métrica, acompanhamento e feedback que produza melhoria. Um painel sem processo de decisão demonstra visibilidade, não necessariamente evolução.

Usar exemplo AWS como evidência local

O exemplo mostra uma possível implementação. A evidência precisa vir do ambiente avaliado. Registre o serviço, a configuração, a cobertura e o teste reais.

Publicar o gráfico sem contexto

Anexe escopo, data, participantes, versão, evidências e limitações. Sem esses campos, a nota pode ser reutilizada como uma alegação que o assessment não sustenta.

Versão, licença e pacote auditado

O repositório usa Apache License 2.0, que permite redistribuição com preservação dos avisos. O pacote local contém cinco arquivos textuais: SKILL.md, README.md, references/questionnaire.md, LICENSE e ORIGEM.md. O ZIP tem 21.751 bytes e SHA-256 95e8f2d18a6f68a1ef51f672b69d1d9644d120260cc1d447f4584240ae68a1ea.

Limites do pacote local

O ZIP não inclui Amazon Quick, Highcharts, Mermaid, agentes, modelos, serviços AWS, contas, infraestrutura, scripts, executáveis, dependências, credenciais, respostas de assessment, relatórios, evidências de conformidade ou dados. O pacote permite auditar e carregar as instruções, mas a capacidade de renderização depende do cliente.

A pontuação continua sendo uma autoavaliação orientativa. A cópia também não atualiza automaticamente a origem. Antes de usar em trabalho sensível, compare o commit auditado com a versão mais recente, revise mudanças no questionário e decida conscientemente se manterá o snapshot ou adotará uma revisão posterior.

Checklist antes de usar

• Fixe agente, caso de uso, ambiente, versão, data e participantes.
• Mostre o aviso de que a pontuação não prova conformidade.
• Faça uma pergunta por vez e use o questionário sem inventar itens.
• Associe cada nota a evidência verificável e ao escopo coberto.
• Separe controle planejado, manual, padronizado, imposto e medido.
• Preserve não avaliado como estado diferente de zero.
• Não exponha segredos, incidentes ou arquitetura além do necessário.
• Revise recomendações AWS antes de mapear para outro fornecedor.
• Faça revisão independente antes de usar o score em decisão formal.

Para preparar evidências antes da entrevista, veja o guia interno Antes de executar código gerado por IA. Para consultar outras instruções com origem e download auditados, visite o catálogo de Skills do Bastidores da IA.

Fontes oficiais consultadas

• SKILL.md oficial no commit auditado
• Questionário oficial com 20 perguntas
• Commit fixado no repositório AWS Samples
• AWS Responsible AI Lens
• Amazon Bedrock Guardrails
• Amazon Bedrock AgentCore Observability
• Licença Apache-2.0 do repositório