A comunicação está no centro da experiência humana. É por meio dela que compartilhamos conhecimento e organizamos a nossa vida em sociedade.

Mas comunicar vai muito além das palavras. Toda mensagem carrega diferentes camadas de significado: o que é dito, o que é sugerido e o contexto. São essas nuances que tornam a comunicação humana tão rica.

Com a inteligência artificial generativa, acontece o mesmo. Para que uma IA forneça uma boa resposta ao usuário, não basta “falar” o idioma dele. É preciso compreender estruturas, referências, expressões, modos de raciocinar. Esse conhecimento é adquirido a partir do treinamento dos modelos de IA com base em grandes volumes de textos, que revelam não só como uma população se comunica, mas também como ela interpreta o mundo.

E é nesse ponto que surge um desafio. Embora o português seja a quinta língua com mais falantes nativos do planeta, ele ainda representa uma parcela muito pequena dos dados utilizados para treinar os principais modelos de IA. O GPT-3, da OpenAI, por exemplo, foi treinado com uma base composta por 92,7% de textos em inglês e menos de 1% em português.

Isso não significa que esses modelos produzam respostas erradas em português. Mas pode fazer com que recorram a construções frasais pouco naturais, priorizem referências estrangeiras e reproduzam formas de raciocínio que nem sempre refletem a realidade do Brasil e que sejam enviesadas ou estereotipadas sob um ponto de vista europeu ou norte-americano.

Para que uma inteligência artificial seja realmente útil para o brasileiro, é necessário muito mais do que alimentá-la com um dataset em português. É preciso que ela compreenda a nossa forma de escrever, interpretar, argumentar – de enxergar o mundo.

Foi com esse objetivo que o ICTi desenvolveu o corpus Aroeira, uma base de dados voltada especificamente ao português brasileiro. A equipe reuniu textos disponíveis na internet, extraiu os conteúdos em português, aplicou filtros de qualidade e segurança para remover conteúdos inadequados e, por fim, submeteu o conjunto restante a uma análise de vieses.

Desde novembro de 2024, o corpus Aroeira está disponível publicamente e é um dos maiores conjuntos de dados focados em português brasileiro. “Montamos uma base bem ampla e fizemos um processamento bastante rigoroso antes de disponibilizar o Aroeira. Nosso objetivo é oferecer um corpus robusto e confiável para que as pessoas, sobretudo os pesquisadores e desenvolvedores, possam treinar modelos de IA que compreendam melhor a língua e a cultura do Brasil. É a nossa forma de gerar valor para a sociedade”, conta Lucas Orosco, coordenador de Ciência de Dados do ICTi.

Graças à tecnologia, foi possível coletar, organizar e processar milhões de textos e bilhões de tokens. Mas o desafio de “abrasileirar” esse dataset exigiu algo que nenhum algoritmo consegue fazer: interpretar com sensibilidade e com uma profundidade que exige repertório, contexto e diversidade de perspectivas. Por isso, durante todo o desenvolvimento do Aroeira, o dataset passou por testes manuais mensais.

“Aproveitamos a diversidade de perfis do Banco Itaú e formamos um grupo multidisciplinar de testadores. Capacitamos essas pessoas e depois deixamos que a vivência de cada um enriquecesse o processo de avaliação. Assim conseguimos mitigar cinco tipos de viés: regional, racial, de gênero, religioso e de sexualidade”, explica Bárbara Correia, gerente de Responsible AI e Privacidade de Dados.

Em abril deste ano, foi lançado o Norberto, um modelo de inteligência em ModernBERT que foi treinado a partir do corpus Aroeira e outros dataset publicados recentemente, conforme pode ser visto aqui. Agora, a equipe discute possíveis próximos passos para o projeto. “O brasileiro tem essa cultura de experimentação, essa cabeça aberta para o novo. Aqui no ICTi, acreditamos que, com o incentivo adequado, podemos transformar conhecimento em soluções e desenvolver tecnologias genuinamente brasileiras, capazes de compreender a forma como pensamos, nos relacionamos e vivemos”, conclui Lucas.

O ICTi espera que essa aroeira continue gerando bons frutos. E, para quem quiser conhecer as raízes desse trabalho, os artigos científicos sobre o corpus Aroeira e o modelo Norberto estão disponíveis e apresentam em detalhes as pesquisas que deram origem a essas iniciativas.