Entusiasta monta servidor de IA com 6 placas de vídeo e precisa adaptar o gabinete para fazer tudo caber

Montar um servidor com seis GPUs normalmente significa recorrer a um chassi aberto ou a um gabinete de servidor.

Um usuário do Reddit decidiu seguir outro caminho: colocou seis NVIDIA Tesla V100 PCIe de 16 GB dentro de um gabinete full tower convencional , criando uma máquina com 96 GB de memória HBM2 somada entre as placas para experimentos com inteligência artificial local.

As fotografias deixam clara a principal dificuldade do projeto.

Quatro V100 ficam empilhadas na região tradicional das placas de expansão, enquanto outras duas foram posicionadas em outra área do gabinete e conectadas por extensores PCIe.

Segundo o autor, o próprio gabinete precisou ser modificado para receber essas duas GPUs.

Installing 6 GPUs in a standard case rather than using an open-frame chassis. by u/Odd_Caterpillar_2994 in LocalAIServers Seis Tesla V100 poderiam consumir 1.500 W somente nas GPUs A escolha das V100 cria outro problema: energia e refrigeração.

A NVIDIA especifica até 250 W de consumo para cada Tesla V100 PCIe , o que levaria seis unidades a uma potência máxima combinada de 1.500 W apenas nas GPUs.

Cada placa utiliza PCIe 3.0 x16 e pode trazer 16 GB ou 32 GB de HBM2.

O autor, porém, disse que pretende limitar cada V100 a 140 ou 150 W .

Nesse cenário, as seis placas ficariam entre aproximadamente 840 e 900 W , sem contar processador, memória, armazenamento, ventoinhas e perdas da fonte.

A refrigeração também precisou ser adaptada.

A Tesla V100 PCIe utiliza originalmente uma solução térmica passiva e depende do forte fluxo de ar encontrado em servidores.

Nas imagens do projeto, cada GPU recebeu um cooler do tipo blower.

Servidor usa AMD EPYC e placa-mãe com sete slots PCIe A base do sistema é um AMD EPYC 7262 instalado em uma placa-mãe ASRock Rack ROMED8-2T .