IA não precisa de mais prompts. Precisa de governança orientada ao negócio.

Um endpoint de integração com um Detran ficou instável por algumas horas. No painel de engenharia, houve um incidente menor: latência alta, depois normalizou. Verde de novo antes do almoço.

Só que aquele endpoint não movia bytes. Movia dinheiro.

Enquanto ele oscilava, a empresa perdia a capacidade de vender débitos veiculares. O TPV caía. A conversão caía. A receita que deveria entrar simplesmente não entrava. Clientes esbarravam num erro que não era deles. E nada disso aparecia no painel que o time olhava.

Foi nesse dia que parei de enxergar arquitetura como um problema de engenharia.

Passei catorze anos construindo plataformas. 

Foi na ThoughtWorks, no iFood, na Creditas, na Will Bank, na Stone e na Sem Parar. Produtos internos para engenharia, dados, APIs, observabilidade, logística e conectividade. Durante boa parte desse tempo, eu media as coisas certas pelos motivos errados: disponibilidade, latência, throughput, custo de infraestrutura. Métricas impecáveis. E uma pergunta que demorei a aprender a fazer:

Eficiência para quê?

Na Sem Parar, sob a liderança de Manoela Badia (CPO do Sem Parar Doc: Gringo, Zapay e Olho no Carro), que essa pergunta deixou de ser retórica. Ela me empurrou a parar de olhar o endpoint e começar a olhar o sistema inteiro: o que esse número técnico está fazendo com a receita, com o cliente, com a marca?

Conto isso porque hoje vejo o mercado repetir exatamente o mesmo erro, agora com inteligência artificial.

O mesmo erro, agora com IA

As empresas celebram a atividade da IA. Número de agentes criados. Volume de prompts. Tokens consumidos. Horas economizadas. São os “verdes” do novo painel.

Mas quase nenhuma consegue responder à única pergunta que importa para quem assina o cheque.
 

Qual indicador de negócio mudou por causa disso?

Sem essa resposta, você não construiu vantagem competitiva. Construiu uma conta de infraestrutura cara, decorada com métricas que sobem sozinhas.

A coluna da esquerda enche slide de comitê. A da direita muda o balanço.

O problema começa antes da medição

Mas trocar a métrica não resolve sozinho, porque o problema não nasce na medição. Nasce antes dela. Você mede atividade porque nunca decidiu qual resultado de negócio queria. Para mim, governança de IA de verdade começa em quatro decisões que precisam ser tomadas antes da primeira linha de código:

• Negócio: que problema estamos resolvendo? É a decisão de onde apostar.
   
• Experiência: para quem isso melhora? Se a experiência não melhora, provavelmente você automatizou o problema errado.
   
• Infraestrutura: o que sustenta isso com eficiência? Só agora se discute modelo, agente, custo, latência e política de acesso.
   
• Organização: como a empresa precisa mudar? A IA muda responsabilidades, não só software.

Depois dessas quatro decisões (é o que organizo no Método BUILD), vem a parte que quase ninguém estrutura direito: como saber se funcionou?

Um sistema de métricas em três níveis

O erro mais comum é jogar tudo num painel só, com receita, latência e satisfação lado a lado, sem hierarquia. Aí o board olha um número, produto olha outro, engenharia olha um terceiro, e ninguém está medindo a mesma coisa.

A saída é tratar métrica como altitude. São três níveis da mesma montanha. Cada um responde a uma pergunta diferente, tem um dono diferente e uma cadência diferente, mas todos olham para o mesmo cume.

O valor não está nas métricas em si. Está na regra que as conecta: cada nível presta contas ao nível acima.

Uma métrica operacional só existe para servir uma tática. Uma tática só existe para servir uma estratégica. Reduzir a latência em 200ms não significa nada se a adoção não sobe. A adoção subir não significa nada se a receita ou o custo não se movem. É o “eficiência para quê?” do Detran, agora virado sistema.

Foi assim que, na Will Bank, métricas de confiabilidade e developer experience de uma Foundation Platform deixavam de ser vaidade de engenharia e viravam velocidade de negócio: menos time bloqueado, mais entrega chegando ao cliente. E foi assim, no iFood, que disponibilidade e performance em logística nunca foram um fim em si mesmas. Eram conversão, tempo de entrega e receita com outro nome.

Caso de uso: o Free Flow

Vamos tirar isso do abstrato. Imagine uma empresa lançando um Free Flow (o pedágio sem cancela) e, para operá-lo, colocando agentes de IA em cinco frentes: onboarding, atendimento, prevenção a fraude, conciliação e engenharia.

Sem o sistema de três níveis, cada time comemora o seu verde. O agente antifraude bloqueia mais. O de atendimento responde mais rápido. O de onboarding processa mais cadastros. Todos os números sobem. E o negócio pode estar afundando.

Com o sistema, as métricas se encaixam assim:

• Estratégica (board): receita recorrente ativada pelo Free Flow, custo por cliente ativado, margem por transação, churn nos primeiros 90 dias.
   
• Tática (produto): % de onboarding concluído sem intervenção humana; contatos com suporte por cliente ativado (quanto menor, melhor a experiência); fraude bloqueada versus falsos positivos; % de conciliações fechadas sem disputa.
   
• Operacional (engenharia): custo por chamada de modelo no onboarding; latência do agente antifraude, que precisa decidir em milissegundos na cancela; disponibilidade do pipeline de conciliação; taxa de alucinação do agente de atendimento.

Agora siga a cadeia. O agente antifraude pode ter latência excelente, tudo verde no operacional, e ainda assim destruir o negócio. Se ele bloqueia demais, o falso positivo sobe (tático no vermelho), bons clientes são barrados, a ativação cai e o churn sobe (estratégico no vermelho). São três níveis contando uma história só. O verde de baixo escondendo o vermelho de cima.

A Lei de Goodhart: quando a métrica vira meta

Existe uma armadilha que faz exatamente isso o tempo todo, e ela tem nome.

Em 1975, o economista britânico Charles Goodhart formulou uma ideia que a antropóloga Marilyn Strathern resumiria de forma definitiva: quando uma medida vira meta, ela deixa de ser uma boa medida.

Volte ao Free Flow. Dê ao time de antifraude a meta de maximizar a fraude bloqueada. Em um trimestre, a fraude vai a quase zero. Sucesso? Não. Ele bloqueou metade dos clientes legítimos junto. Bateu a meta e sacrificou a receita. O proxy parou de dizer a verdade no instante em que virou objetivo.

É o que acontece toda vez que número de agentes, horas economizadas ou tokens deixa de ser um sinal e vira um alvo. O time otimiza o indicador e corrompe o resultado. O número sobe, a entrega apodrece por baixo.

Goodhart é a razão de os três níveis precisarem ser uma hierarquia, e não um painel plano. A meta vive no topo. Os níveis de baixo são diagnóstico. Servem para explicar por que o número de negócio se moveu, não para substituí-lo. No dia em que a engenharia é cobrada por latência como fim, e não como meio para chegar em adoção e receita, acabou a governança. Começou o teatro de métricas.

Como medir sem cair na armadilha

A meta vive no topo. Produto e engenharia recebem alvos táticos e operacionais como diagnóstico, nunca como objetivo final. O objetivo é sempre o indicador de negócio que está acima.

Todo proxy anda acompanhado de uma contra-métrica. Autonomia anda com retrabalho, senão o time fabrica autonomia entregando trabalho ruim. Fraude bloqueada anda com falso positivo. Custo por transação anda com satisfação. A contra-métrica é o que impede a manipulação do número.

Toda iniciativa nasce com linha de base, hipótese e métrica-norte. De onde partimos, o que esperamos mover e como vamos saber que moveu. Sem os três, não é governança. É demonstração tecnológica.

A verdadeira vantagem competitiva

Todo mundo vai continuar discutindo qual é o melhor LLM, qual framework, qual ferramenta comprar. É a discussão confortável, porque é a discussão de engenharia.

Mas a vantagem competitiva não vai estar em quem tem o melhor modelo. Vai estar em quem inverte a ordem: parte do negócio, não da ferramenta, e mede pelo topo, não pela base.

Porque a maior mudança que a IA traz não é tecnológica. É organizacional. E o trabalho mais difícil não é criar o próximo agente, é ter coragem de desligar o agente que sobe no painel e não move o balanço.

Ninguém é promovido por desligar um agente. Talvez devesse ser.