Menor consumo de tokens com maior precisão nas respostas. Como tornar a IA mais eficiente?

Strattum | Imagem: Divulgação Uma pesquisa da McKinsey indica que os gastos quase quadruplicam na passagem de iniciativas isoladas para a adoção em toda a organização, reforçando a necessidade de gerenciar o consumo de tokens e os gastos com a tecnologia com mais eficiência.

Uma forma de conter essa conta é conectar os modelos de IA a um Company Brain , camada que conecta e organiza informações corporativas, reduzindo o consumo de tokens e aumentando a precisão das respostas.

Um estudo com 12 modelos de IA de seis provedores feito pela Strattum , startup que desenvolveu uma solução para a otimizar a infraestrutura de dados corporativos, mostrou uma queda no consumo médio por pergunta de 163 mil para 55 mil tokens, cerca de um terço do volume original.

Ao mesmo tempo, a acurácia média das respostas passou de 75% para 93%.

O levantamento avaliou 6.120 respostas a 51 perguntas, em um ambiente que simulava a operação de uma empresa brasileira de software, com 60 clientes e informações distribuídas entre cinco sistemas.

Cada modelo recebeu as mesmas perguntas e teve acesso aos mesmos dados, com configurações e limites idênticos.

A diferença estava no caminho que a IA usava para encontrar as informações.

Em um deles, ela consultava diretamente os sistemas da empresa.

Em outro, acessava os dados previamente organizados pelo Company Brain .

O benefício foi especialmente expressivo nas perguntas que exigiam cruzar informações de três ou mais sistemas.

Nessas tarefas, a acurácia média passou de 66% para 91%.

Considerando todas as perguntas, a proporção de respostas totalmente corretas, que acertaram todos os itens exigidos pelo teste, cresceu de 68% para 88%.

“Desde o início reservamos parte do time e do orçamento para pesquisa.

Claude e Codex estão disponíveis para qualquer empresa.