Do ChatGPT para 3 RTX 3090: homem monta servidor próprio para rodar IA local e identificar cartas Pokémon

Depois de usar o ChatGPT para criar seu primeiro site e até um programa de contabilidade, um usuário do Reddit decidiu dar o próximo passo: montar uma máquina dedicada para rodar inteligência artificial localmente.

O resultado foi o que ele próprio chamou de “pequeno monstro” : um sistema com três NVIDIA RTX 3090 MSI Suprim X , somando 72 GB de VRAM , um Ryzen Threadripper Pro 9955WX e duas fontes de 1.600 W.

Ik heb een klein monster gebouwd by u/Pop1NL in LocalAIServers Máquina foi pensada para agentes de IA locais O objetivo não é apenas conversar com um modelo sem depender da nuvem.

O autor quer construir um sistema multiagente que possa receber comandos pelo celular e tenha acesso à rede doméstica inteira.

Para acesso remoto, ele usa WireGuard.

Também criou uma extensão para Firefox capaz de pegar comandos Bash gerados pelo ChatGPT, executá-los automaticamente no terminal e, quando necessário, conectar-se por SSH à máquina correta.

A saída volta então para o ChatGPT.

O próprio autor resumiu a motivação da automação com humor: “sim, sou preguiçoso”.

Três RTX 3090 entregam 72 GB de VRAM Além das três GPUs, a configuração inclui 64 GB de DDR5 RDIMM , SSDs NVMe de 500 GB e 4 TB e uma placa-mãe ASUS Pro WS WRX90E-SAGE SE.

O sistema roda Ubuntu Server 24.04.4 LTS.

Por enquanto, as RTX 3090 estão limitadas a 250 W cada.

As duas fontes de 1.600 W foram escolhidas também pensando em futuras expansões com mais placas.

Qwen já roda localmente no sistema Nos primeiros testes, o usuário afirmou estar executando o Qwen3.8 27B Q8 dividido entre duas RTX 3090.

Segundo suas próprias medições, o modelo alcançou cerca de 28,6 tokens por segundo na geração e aproximadamente 1.957 tokens por segundo no processamento de prompt, usando contexto de 32K.