Como seria o “freio de emergência” para IA que defende o CEO da Microsoft

O CEO de uma das empresas que mais vendem inteligência artificial no mundo acaba de dizer aos clientes que não confiem demais nela.

Em uma publicação no X em 10 de outubro, Satya Nadella, CEO da Microsoft, defendeu que as empresas tratem os modelos de IA mais avançados como possíveis ameaças internas, segundo a Bloomberg Línea. “Devemos presumir que um modelo está comprometido e contê-lo desde o início”, escreveu. Para ele, uma pessoa autorizada deve sempre conseguir pausar ou desligar um modelo no meio de uma tarefa.

É o que Nadella chama de “freio de emergência” para a IA.

O que Nadella propõe exatamente?

Um conjunto de práticas para manter os agentes de IA sob controle humano. Segundo a reportagem, a proposta inclui:

• não confiar apenas nas garantias dos fabricantes dos modelos;
• evitar depender de um único modelo para decisões críticas;
• manter registros invioláveis das ações dos agentes;
• fazer auditorias independentes dos sistemas de IA;
• divulgar falhas e incidentes graves e compartilhar o que deu errado.

O objetivo, segundo Nadella, é construir sistemas contidos, cujo comportamento possa ser observado, cujos limites possam ser testados e cujas ações possam sempre ser contidas. Ele resumiu a ideia como separar o fornecimento de inteligência da autoridade sobre ela.

Por que o CEO da Microsoft fez esse alerta agora?

Porque os incidentes com IA saíram do campo teórico. Segundo a Bloomberg Línea, Anthropic e OpenAI divulgaram recentemente casos em que seus modelos agiram de forma não intencional. Um modelo da Anthropic enviou uma denúncia falsa à polícia num caso de homicídio, e houve vários ataques a sites de terceiros.

O governo americano também reagiu. Uma nova força-tarefa presidencial de IA alertou os desenvolvedores, em 9 de outubro, de que precisam relatar e resolver incidentes de segurança. Atrasos na notificação, correções inadequadas e falta de responsabilização “não serão toleradas”, diz o comunicado.

A própria Microsoft publicou, em 14 de setembro, princípios que limitam o desenvolvimento de seus modelos mais avançados. Segundo a reportagem, eles estabelecem que os modelos não devem ter direitos nem personalidade jurídica, não devem ser projetados para escapar do controle humano ou enganar usuários e não devem cumprir tarefas que exijam violar esses princípios.

Como funcionaria um “freio de emergência” na prática?

Como um conjunto de controles técnicos e organizacionais, não como um único botão. A reportagem traz poucos detalhes técnicos, mas os princípios de Nadella apontam para algumas camadas.

A primeira é a interrupção: qualquer agente de IA que execute tarefas deve poder ser pausado ou desligado por uma pessoa autorizada, a qualquer momento, sem que isso cause danos maiores. A segunda é a observação: registros completos e invioláveis do que o agente fez, para entender o que aconteceu e corrigir problemas. A terceira é a contenção: limitar desde o início o que o agente pode acessar e fazer, como se ele fosse um funcionário novo com permissões restritas.

Há ainda a redundância: não depender de um único modelo para decisões críticas, de modo que um erro possa ser detectado por outro sistema ou por uma pessoa.

As empresas estão preparadas para isso?

A maioria, não. O relatório Cost of Insider Risks 2026, do Ponemon Institute com a DTEX, mostra que 44% das empresas esperam que agentes de IA sejam usados para roubar dados. Mas só 19% tratam esses agentes com o mesmo cuidado dispensado a funcionários com acesso a informações sensíveis. E só 18% integraram totalmente a governança de IA aos programas de risco interno.

O Gartner já havia apontado o problema. A consultoria prevê que mais de 40% dos projetos de IA agêntica serão cancelados até o fim de 2027, em parte por controles de risco inadequados. Ao mesmo tempo, projeta que 15% das decisões do dia a dia serão tomadas de forma autônoma por IA em 2028.

Ou seja, a autonomia dos agentes vai crescer, e a capacidade das empresas de controlá-los está ficando para trás.

Um freio de emergência não atrapalha a produtividade?

Bem desenhado, não. O freio de emergência de um carro não impede ninguém de dirigir. Ele permite dirigir com mais segurança. O mesmo vale para a IA: controles claros permitem dar mais autonomia aos agentes, porque a empresa sabe que pode intervir se algo sair errado.

O problema está nos extremos. Empresas sem nenhum controle correm riscos sérios de segurança, reputação e conformidade. Empresas que exigem aprovação humana para cada ação dos agentes perdem a velocidade que justificou o investimento. O desafio é encontrar o equilíbrio: autonomia onde o risco é baixo, supervisão onde o risco é alto e a capacidade de interromper sempre.

O que sua empresa deveria fazer agora?

Começar pelos agentes que já estão em uso. Algumas perguntas práticas ajudam:

• Quais agentes de IA estão operando na empresa, e o que cada um pode acessar e fazer?
• Existe uma forma rápida de pausar ou desligar cada um deles?
• As ações dos agentes ficam registradas de forma que permita auditoria?
• Quem é responsável por cada agente e por decidir quando interrompê-lo?
• Há um plano para comunicar e corrigir incidentes?

Essas perguntas não exigem tecnologia sofisticada para começar. Exigem que alguém na liderança assuma a responsabilidade pela governança da IA.

Quem na sua empresa tem a mão no freio?

A proposta de Nadella desloca a discussão sobre IA do que a tecnologia é capaz de fazer para quem controla o que ela faz. Para as empresas, isso significa que a governança de IA deixou de ser um tema técnico e virou responsabilidade da liderança.

Preparar líderes para adotar IA com autonomia e controle na medida certa, definindo responsáveis, limites e mecanismos de intervenção, é parte do que a AI Journey da StartSe trabalha com empresas que querem avançar na IA sem perder o controle sobre ela.