O Instituto de Ciência e Tecnologia Itaú (ICTi) acaba de ter seu terceiro pedido de patente publicado pelo INPI, reforçando um movimento que vem sendo construído de forma consistente: estruturar, com profundidade técnica, o uso de Inteligência Artificial no ambiente corporativo.

Desta vez, o foco está em um ponto essencial – e muitas vezes pouco visível do ciclo de vida dos agentes baseados em LLM: a avaliação contínua de qualidade. À medida que esses agentes evoluem em diferentes versões, cresce também a necessidade de acompanhar desempenho, identificar regressões e garantir que cada atualização realmente represente um avanço.

A patente descreve um sistema e método automatizado para avaliação de agentes LLM, desenvolvido para validar, comparar e controlar a qualidade dessas versões de maneira estruturada, rastreável e adaptável a diferentes contextos de negócio, acompanhando as métricas relevantes para aquele agente LLM e sua evolução nas diferentes versões.

Por que essa patente se destaca?

O diferencial está na arquitetura modular orientada a cenários de teste. Em vez de depender de análises manuais ou comparações pontuais, o sistema organiza todo o processo de avaliação de forma integrada e comparativa.

A solução contempla:

• Um módulo orquestrador de avaliação, responsável por configurar e executar diferentes versões de agentes LLM, inclusive externos, de forma desacoplada;
• Cenários de teste configuráveis, que simulam situações reais e permitem adaptar a avaliação a diferentes domínios;
• Métricas específicas por cenário, possibilitando análises alinhadas às particularidades de cada aplicação;
• Geração automática de relatórios comparativos, com histórico, identificação das versões analisadas e dados estruturados para auditoria.

Os testes são executados de forma isolada, garantindo independência entre versões e maior confiabilidade nos resultados. Além disso, o sistema registra falhas e inconsistências, fortalecendo a rastreabilidade e apoiando processos de governança e compliance.

Na prática, trata-se de transformar a avaliação de agentes LLM em um processo contínuo, comparável e baseado em evidências — algo fundamental para ambientes que exigem controle, qualidade e evolução constante.

Impacto para o futuro da IA

Com essa iniciativa, o ICTi e o Itaú avançam no uso responsável de agentes inteligentes. A proposta vai além de medir desempenho: busca criar uma infraestrutura que sustente a evolução controlada desses sistemas ao longo do tempo.

Ao viabilizar benchmarking contínuo, redução de riscos operacionais e maior transparência nos resultados, a solução contribui para ampliar a confiança na aplicação de LLMs em diferentes áreas do negócio, fortalecendo uma agenda de inovação que combina ambição tecnológica com responsabilidade e rigor técnico.

Pedido de Patente nº BR102025024992-8, com publicação registrada no INPI e disponível para consulta pública na base oficial do INPI.

O ICTi já tem outras duas patentes publicadas: “Agente MultiTurn baseado em LLM que alterna entre modos de conversa e workflows” e  “Enviesador” , além de outras 21 depositadas aguardando concessão no INPI.