Nvidia mira respostas mais rápidas com chips da Groq 3 LPX

A Nvidia colocou o rack Groq 3 LPX em produção e pretende deixá-lo operacional ainda este ano na neocloud Nebius.

A tecnologia chegou à empresa após a compra de ativos da Groq por US$ 20 bilhões (cerca de R$ 103 bilhões), a maior aquisição já realizada pela Nvidia.

O foco está na inferência de baixa latência, capaz de reduzir o intervalo entre o pedido do usuário e a resposta de um sistema de IA.

A característica é especialmente relevante em aplicações de programação, nas quais atrasos podem ser percebidos rapidamente.

A estratégia da Nvidia é combinar tecnologias, não escolher uma só: Groq para baixa latência e GPUs para cargas mais amplas. – Imagem: Samuel Boivin/Shutterstock Groq ganha espaço nos data centers Na Nebius, os racks Groq 3 LPX serão instalados junto dos processadores Vera e das GPUs Rubin.

Dion Harris, diretor sênior da Nvidia, afirmou que os equipamentos estarão disponíveis ainda este ano.

A arquitetura da Groq coloca 500 MB de memória SRAM de alta velocidade diretamente no chip.

Com isso, a tecnologia busca diminuir gargalos provocados pelo acesso à memória durante a execução dos modelos.

Cada rack reúne 256 chips Groq 3.

De acordo com a Nvidia, o sistema chega a 3.400 tokens por segundo, resultado baseado em um benchmark da Artificial Analysis.

Os principais números do Groq 3 LPX: Cada rack Groq 3 LPX reúne 256 chips Groq 3; O sistema chega a 3.400 tokens por segundo; A arquitetura conta com 500 MB de SRAM integrada ao chip; A tecnologia prioriza a inferência de baixa latência; A Nvidia pagou US$ 20 bilhões pelos ativos da Groq.

Não é uma substituição das GPUs A tecnologia da Groq cumpre uma função mais específica.

Os chips se concentram principalmente na etapa de “decode” da inferência, responsável pela geração dos tokens que compõem a resposta de um modelo.

As GPUs continuam sendo usadas em treinamento e inferência e têm maior flexibilidade para acompanhar diferentes modelos e tecnologias.