Tecnologia desenvolvida pelo Instituto automatiza a classificação e rotulagem de conteúdos gerados por modelos de linguagem e amplia a transparência dos processos de validação. 

A expansão dos modelos de linguagem tem impulsionado uma nova geração de soluções capazes de interpretar solicitações complexas, gerar conteúdo contextualizado e apoiar atividades cada vez mais relevantes para empresas e instituições. À medida que essas ferramentas ganham espaço em ambientes corporativos, surge também uma necessidade crescente: garantir que os resultados produzidos sejam precisos, consistentes e alinhados aos critérios de qualidade exigidos em operações críticas.

Foi nesse contexto que o Instituto de Ciência e Tecnologia Itaú (ICTi) desenvolveu o “Método Híbrido para Rotulagem de Respostas de Aplicações de LLM, e Sistema”, uma inovação que automatiza a classificação de conteúdos gerados por modelos de linguagem por meio da combinação de conhecimento especializado, diretrizes estruturadas e mecanismos inteligentes de tomada de decisão.

A solução recebeu recentemente a concessão de patente pelo Instituto Nacional da Propriedade Industrial (INPI), reconhecimento que reforça o potencial da pesquisa para apoiar a adoção mais segura, transparente e escalável da inteligência artificial em diferentes contextos de negócio.

• Quando garantir a qualidade dos resultados se torna um desafio

Geralmente, métodos tradicionalmente utilizados na validação dos conteúdos produzidos por modelos de linguagem costumam seguir caminhos distintos. De um lado, métricas automatizadas oferecem velocidade e capacidade para lidar com grandes volumes de dados, mas frequentemente apresentam limitações para explicar os motivos que justificam uma classificação. De outro, revisões conduzidas por especialistas humanos proporcionam maior interpretação dos resultados, embora demandem tempo, treinamento e esforço operacional consideráveis.

Já o método desenvolvido pelo ICTi foi concebido para aproximar essas duas abordagens. A invenção utiliza múltiplos modelos avaliadores que analisam um mesmo conteúdo de forma independente e complementar, permitindo automatizar processos de verificação sem abrir mão de critérios estruturados de qualidade.

Essa estratégia contribui para tornar o monitoramento de modelos de linguagem mais eficiente, padronizado e preparado para operações em larga escala.

• Diferentes perspectivas trabalhando em conjunto

A arquitetura patenteada é baseada na atuação paralela de três mecanismos de análise. Cada um deles utiliza uma estratégia distinta para examinar os conteúdos produzidos por sistemas baseados em LLM. Um componente opera a partir de exemplos previamente classificados por especialistas, outro segue exclusivamente orientações formais de categorização e um terceiro reúne as duas abordagens em um modelo híbrido.

Os conteúdos processados são examinados segundo diferentes dimensões de qualidade, incluindo critérios relacionados à precisão das informações apresentadas, à abrangência do material gerado e ao grau de aderência às fontes de referência utilizadas. Em seguida, a solução verifica o nível de concordância entre os modelos para determinar se a classificação pode ser validada automaticamente ou se requer investigação adicional.

Quando existe divergência entre os avaliadores, o sistema registra os pontos de discordância e produz explicações que ajudam a compreender os fatores que levaram a interpretações diferentes. Esse mecanismo amplia a rastreabilidade do processo e cria condições para o aprimoramento contínuo dos modelos analisados.

• Mais governança para aplicações baseadas em modelos generativos

A relevância da invenção acompanha a crescente adoção da inteligência artificial em jornadas corporativas. À medida que organizações incorporam recursos generativos em seus produtos e processos, torna-se cada vez mais importante contar com mecanismos capazes de acompanhar a qualidade dos resultados disponibilizados aos usuários.

Nesse contexto, a solução possui potencial de utilização em assistentes virtuais, plataformas de atendimento digital, ferramentas de geração de conteúdo, sistemas de recomendação, mecanismos de sumarização e outras iniciativas apoiadas por modelos de linguagem. A abordagem também pode contribuir para atividades relacionadas à governança de IA, compliance, gestão do conhecimento e controle de qualidade.

Ao incorporar validações estruturadas e mecanismos explicáveis de classificação, a arquitetura fortalece a confiança na utilização de sistemas inteligentes em cenários que demandam maior rigor e controle.

• Pesquisa aplicada que gera valor

A concessão da patente representa mais um resultado da estratégia do ICTi de transformar pesquisa aplicada em ativos tecnológicos com potencial de gerar impacto para o negócio.

Ao investigar novas formas de qualificar conteúdos produzidos por modelos de linguagem, o Instituto contribui para o desenvolvimento de soluções que combinam escala, transparência e rigor metodológico, elementos cada vez mais relevantes para a evolução responsável da inteligência artificial.

Os resultados experimentais descritos no documento demonstram o potencial da abordagem. Em testes realizados com aplicações de LLM, o método reduziu o tempo necessário para classificação de aproximadamente duas semanas para menos de duas horas, mantendo apenas 4% de diferença em relação às análises realizadas integralmente por especialistas humanos.