Automático, requer aprovação, manual: como deixamos uma IA decidir
Usamos o Jev, um modelo de decisão, para classificar o trabalho que chega e escolher entre agir automaticamente, perguntar antes a uma pessoa ou não mexer no item. Aqui estão a configuração, o código que guarda as regras e o que faríamos de novo.
A maioria das funcionalidades de IA que falham em produção não falha porque o modelo escreveu uma frase ruim. Falha porque ninguém decidiu, com antecedência, o que o software tem permissão para fazer com a opinião do modelo.
Em projetos recentes, usamos o Jev, um modelo de decisão da TypeSafe AI, exatamente para essa parte: classificar o que chega e decidir se o sistema age por conta própria, pergunta antes a uma pessoa ou fica fora do caminho. Foi assim que o configuramos, e isto é o que aprendemos.
Um modelo de decisão não é um modelo de chat
Um modelo de chat responde a “devemos reembolsar este pedido?” com um parágrafo. Depois, o seu código precisa transformar esse parágrafo de volta em um sim ou um não, e torcer para que a redação não mude na semana seguinte.
O Jev funciona de outro jeito. Você envia um estado (aquilo que está sendo avaliado: uma mensagem, um registro, um documento, uma imagem) e um conjunto de perguntas tipadas sobre esse estado. Ele devolve valores que o seu código pode usar diretamente, com probabilidades, e não gera texto nenhum. Os tipos de pergunta são:
- Choice: escolhe um rótulo de uma lista que você define. Devolve o rótulo, uma probabilidade para cada rótulo e uma confiança.
- Score: posiciona o estado em uma escala ordenada, como leve, moderado, grave.
- Noul: o quanto esta afirmação é verdadeira, como um número de 0 a 1.
- Box: onde algo está em uma imagem.
Cada pergunta é avaliada de forma independente sobre o mesmo estado, então fazer seis perguntas não piora a quinta. A recomendação da própria TypeSafe, que coincidiu com a nossa experiência, é manter as perguntas atômicas: dividir um julgamento complicado em perguntas pequenas e combinar as respostas no seu código, onde você controla os pesos.
Uma requisição tem esta forma. O conteúdo é ilustrativo.
{
"model": "jev-latest",
"state": "Hi, I was charged twice for my March invoice. Please refund one of them.",
"questions": {
"category": {
"type": "choice",
"instructions": "What is this message about?",
"criteria": {
"billing": "Charges, invoices, refunds, payment methods",
"technical": "Something in the product is not working",
"account": "Login, access, profile or plan changes",
"other": "Anything that does not fit the labels above"
}
},
"urgency": {
"type": "score",
"instructions": "How urgent is this for the customer?",
"criteria": ["Can wait", "Should be handled today", "Blocking the customer now"]
},
"asks_for_money": {
"type": "noul",
"instructions": "The customer is asking for money to be returned or credited"
}
}
}
A resposta volta como uma categoria com probabilidades, uma pontuação e um número entre 0 e 1. Não há nada para interpretar.
Três modos, e quem escolhe entre eles
Classificar é a metade fácil. A metade difícil é o que acontece depois, e é aí que entram os três modos.
- Automático. O sistema classifica o item e executa a ação. Ninguém é consultado.
- Requer aprovação. O sistema prepara a ação e a mostra a uma pessoa, com a resposta do modelo e a confiança dele. Um clique aprova, edita ou rejeita.
- Manual. O sistema apenas rotula o item. Uma pessoa faz o trabalho. A resposta do modelo é uma sugestão na tela, nada mais.
A escolha de projeto mais importante: o modelo nunca escolhe o modo. Quem escolhe é o nosso código. O modelo responde a perguntas específicas. Uma política simples e legível transforma essas respostas em um modo.
Essa política tem três entradas.
- Um teto definido por pessoas. Cada tipo de ação tem um modo máximo que pode alcançar, escolhido pelo negócio. Etiquetar uma mensagem pode ser Automático. Enviar uma resposta pode ficar limitado a Requer aprovação. Movimentar dinheiro é Manual até que alguém com autoridade mude isso.
- O grau de certeza do modelo. Abaixo de um limiar de confiança, a ação desce um modo.
- Sinais de risco. Perguntas noul separadas tratam de coisas que sempre devem desacelerar o sistema: o cliente está irritado, o item menciona ação judicial, o valor é incomum. Qualquer sinal acima do seu limite obriga uma pessoa a entrar no processo.
No código, isso é curto de propósito:
type Mode = "auto" | "approval" | "manual";
function decideMode(action: ActionConfig, answer: Answers): Mode {
// As pessoas definem o teto. O modelo só pode baixá-lo.
if (action.ceiling === "manual") return "manual";
// Ausência de resposta, ou uma chamada que falhou, nunca é motivo para agir.
if (!answer.ok) return "approval";
const flagged = action.riskFlags.some(
(flag) => answer.nouls[flag.id] >= flag.limit,
);
const unsure = answer.category.confidence < action.minConfidence;
if (flagged || unsure) return "approval";
return action.ceiling;
}
Qualquer pessoa da equipe consegue ler essa função e dizer o que o sistema vai fazer. Esse é o ponto. Se as mesmas regras vivessem dentro de um prompt, ninguém conseguiria.
O que faríamos de novo
Começar tudo em Manual. Nas primeiras semanas, o modelo apenas rotula e as pessoas trabalham como antes. Cada vez que uma pessoa concorda ou discorda de um rótulo, ganhamos de graça um exemplo conferido. Quando alguém perguntar “isso pode ser automático?”, já haverá dados para responder.
Promover uma ação por vez. Os modos são definidos por ação, não para o produto inteiro. A primeira coisa a chegar a Automático deve ser algo barato de desfazer, como roteamento ou etiquetagem. Ações que não podem ser desfeitas ficam atrás da aprovação por muito mais tempo, seja qual for a acurácia aparente.
Escrever critérios como instruções para um colega novo. Rótulos vagos geram probabilidades vagas. Cada rótulo recebe uma descrição concreta, os rótulos não se sobrepõem e sempre existe um “outro”, para que o modelo não seja forçado a dar uma resposta errada.
Não confiar na confiança antes de conferi-la com os seus próprios dados. Uma confiança de 0,9 só é útil se os itens com 0,9 estiverem certos em cerca de nove a cada dez vezes na sua tarefa. Testes independentes do Jev relatam que a calibração varia de uma tarefa para outra e de um formato de pergunta para outro, por isso nós a medimos com os nossos próprios exemplos conferidos e definimos cada limiar a partir daí, por ação. Um limiar copiado de um post de blog, incluindo este, é um palpite.
Uma chamada que falhou significa aprovação. Timeouts, respostas ausentes e qualquer coisa inesperada voltam para uma pessoa. O sistema nunca deve agir porque a verificação não rodou.
O modelo não é a fechadura. Um modelo de decisão avalia conteúdo. Ele não aplica permissões. Quem pode aprovar, quais registros um usuário pode alterar e o que o sistema pode acessar são garantidos no código comum da aplicação, exatamente como seriam sem nenhuma IA envolvida.
Continuar auditando o Automático. Quando uma ação se torna automática, ninguém mais olha para ela, e é nesse momento que os erros ficam invisíveis. Toda semana, devolvemos a uma pessoa uma amostra aleatória de decisões automáticas e acompanhamos a taxa de erro. Se ela subir, a ação desce um modo com uma única configuração.
Registrar a decisão inteira. Estado, perguntas, respostas, probabilidades, o modo escolhido e o que a pessoa fez. Quando alguém perguntar por que o sistema fez algo três meses atrás, a resposta é uma linha em uma tabela.
Onde isso não se encaixa
Um modelo de decisão não escreve. Se a tarefa precisa do rascunho de uma resposta ou de uma explicação em palavras, isso continua sendo trabalho para um modelo de linguagem, e os dois funcionam bem juntos: um escreve o rascunho, o outro decide se o rascunho pode ser enviado sem revisão.
Ele também não elimina a necessidade de julgamento sobre o que está em jogo. Onde uma decisão errada prejudica alguém e não pode ser revertida, o modo certo é aprovação ou manual, e um bom número de confiança não muda isso.
A versão curta
Deixe o modelo responder a perguntas pequenas e tipadas. Mantenha as regras sobre o que acontece depois em código que as pessoas conseguem ler. Dê a cada ação um teto escolhido por uma pessoa, comece em Manual e conquiste cada passo rumo ao Automático com exemplos conferidos.
O modelo ficou melhor em classificar do que esperávamos. O que tornou a funcionalidade segura para ir ao ar foi tudo o que está em volta dele.
Se você está planejando algo parecido, este é o tipo de trabalho que fazemos em IA e automação.
Trabalhando com algo nessa linha?
Se algo disso se parece com o problema à sua frente, conte onde você está e aonde quer chegar. Voltamos com um plano em até dois dias úteis.