Nem todo problema de IA precisa de um modelo gigante

Quanto maior é uma inteligência artificial (IA), melhor ela funciona? Para pesquisadores da USP e Unicamp ouvidos pelo Olhar Digital , a resposta depende do problema.

Em determinadas aplicações, sistemas mais eficientes e especializados podem exigir menos dados e processamento e, ainda assim, entregar o desempenho necessário para aquela tarefa.

A discussão não significa que os grandes modelos perderam espaço.

Enquanto Marcelo Finger critica a dependência crescente de dados e recursos computacionais na evolução desses sistemas, o matemático Marcos Eduardo Valle aponta uma lacuna entre os modelos menores e os grandes sistemas de aprendizado profundo e vê espaço para explorar soluções intermediárias.

O que há por trás da corrida por modelos maiores? Para Marcelo Finger, uma das principais contribuições do avanço recente da inteligência artificial foi ampliar a capacidade das máquinas de reconhecer padrões em diferentes tipos de informação, como linguagem, imagens e sons.

Esse avanço ganhou um novo impulso em 2017, com a proposta do Transformer , um modelo de reconhecimento de padrões inicialmente desenvolvido para tradução entre línguas.

A arquitetura se tornou uma das bases dos grandes modelos de linguagem usados atualmente.

Finger destaca, porém, uma limitação dessa abordagem.

Segundo ele, o Transformer precisa rever os dados de entrada múltiplas vezes, e esse processo cresce de forma quadrática conforme aumenta o tamanho da entrada.

Em outras palavras, aumentar a quantidade de informação que o modelo precisa analisar faz o número de cálculos crescer ainda mais.

Isso eleva o custo de processamento e, consequentemente, os recursos necessários para trabalhar com modelos cada vez maiores.

Além da capacidade computacional, Finger cita outros recursos envolvidos nesse processo, como energia e água, e aponta a geração de calor associada à operação dos equipamentos.

Servidores em data center representam a infraestrutura computacional necessária para treinar e executar modelos de inteligência artificial – Imagem: IM Imagery / Shutterstock O pesquisador também avalia que, desde a popularização dos grandes modelos de linguagem, a evolução da área passou a se concentrar cada vez mais nessa abordagem.

Na visão dele, quando a inteligência artificial ganhou espaço no mercado, parte da pesquisa passou a acompanhar essa direção.