O ICTi, em parceria com a Universidade de São Paulo (USP), está conduzindo uma pesquisa que busca reduzir o custo computacional de grandes modelos de linguagem (LLMs) e modelos de Linguagem e Visuais por meio de técnicas avançadas de compressão e otimização de fine‑tuning. O objetivo é tornar esses modelos mais leves, rápidos e acessíveis, mantendo o desempenho próximo do original.

A iniciativa investiga estratégias como data pruning — que elimina parâmetros pouco relevantes do modelo, o estudo de variantes modernas do LoRA, e a aplicação seletiva de fine‑tuning apenas nos componentes mais críticos da arquitetura Transformer. Embora voltado principalmente para tarefas de NLP, o projeto também inclui provas de conceito em visão computacional, avaliando o potencial das técnicas em cenários multimodais.

Um dos marcos da pesquisa é o algoritmo AMP, criado pela equipe, capaz de realizar compressão estrutural ao remover neurônios (unidades matemáticas que compõem as camadas da rede neural). Com essa técnica, foi possível reduzir o tamanho de modelos em 30% e quase dobrar a velocidade de processamento, superando metodologias tradicionais de compressão. Esse resultado levou à publicação de um paper apresentado no IJCNN 2025, conferência internacional de redes neurais e inteligência artificial, disponível aqui. 

A equipe agora evolui com o MoP, um novo algoritmo capaz de remover tanto neurônios quanto camadas inteiras, alcançando compressões ainda mais relevantes. Os experimentos iniciais já demonstram resultados de estado‑da‑arte, atingindo compressões de até 30% com performance superior ao AMP.

Com esse trabalho conjunto, ICTi e USP consolidam seu papel como protagonistas no avanço da pesquisa aplicada em IA, contribuindo para o desenvolvimento de LLMs e VLMs mais eficientes e impulsionando a inovação no setor.