Um usuário do Reddit montou um servidor doméstico dedicado à execução local de inteligência artificial, com três placas NVIDIA RTX 3090 MSI Suprim X e 72 GB de VRAM. A máquina também reúne um Ryzen Threadripper Pro 9955WX e duas fontes de alimentação de 1.600 W.
A proposta é criar um sistema multiagente capaz de receber comandos pelo celular e acessar toda a rede doméstica. Para a conexão remota, o autor utiliza WireGuard. Ele também desenvolveu uma extensão para Firefox que captura comandos Bash gerados pelo ChatGPT, executa as instruções no terminal e, quando necessário, acessa a máquina adequada por SSH. O resultado da execução é enviado de volta ao ChatGPT.
Configuração e testes
O servidor tem ainda 64 GB de DDR5 RDIMM, SSDs NVMe de 500 GB e 4 TB e placa-mãe ASUS Pro WS WRX90E-SAGE SE. O sistema operacional é o Ubuntu Server 24.04.4 LTS. As RTX 3090 estão limitadas, por enquanto, a 250 W cada. As duas fontes de 1.600 W também foram escolhidas considerando a possibilidade de instalar mais placas no futuro.
Nos primeiros testes, o usuário afirmou ter executado o Qwen3.8 27B Q8 dividido entre duas RTX 3090. Pelas medições feitas por ele, o modelo atingiu cerca de 28,6 tokens por segundo na geração e aproximadamente 1.957 tokens por segundo no processamento do prompt, com contexto de 32K.
Em outro teste, o Qwen3-Coder-30B-A3B Q4_K_M, executado em uma única RTX 3090, alcançou cerca de 202 tokens por segundo na geração. Os resultados vieram de três execuções realizadas pelo próprio autor e não são um benchmark independente.
Aplicação com cartas Pokémon
O primeiro uso prático previsto é aperfeiçoar um programa que identifica cartas Pokémon digitalizadas por meio de OCR e SIFT. O sistema atual funciona em um computador antigo, mas deverá ser adaptado para aproveitar as três GPUs.
O projeto ainda está no início. O criador afirma que precisa aprender mais sobre inteligência artificial e ainda não definiu qual modelo usará de forma permanente. A máquina foi construída depois que ele utilizou o ChatGPT para criar um site e um programa de contabilidade. Sobre a automação, resumiu a motivação dizendo: “sim, sou preguiçoso”.
