Qwen3.8-27B em lote em uma RTX 3090 limitada a 250W: números autorreportados

O que aconteceu e o que fazer

O post descreve a execução do modelo Qwen3.8-27B em uma RTX 3090 limitada a 250W, atendendo 64 chats simultâneos com cerca de 1035 tok/s somados e 127 tok/s para um único chat. A configuração suporta contexto de até 150K e foi montada com dois comandos de Docker Compose. Os números são autorreportados pelo autor e mostram throughput em lote para um modelo de 27B em GPU de consumo.

Para uma empresa, o caso indica que inferência privada com modelos de médio porte pode rodar em hardware acessível, desde que o dimensionamento seja medido e não presumido. Uma implementação possível começa com um teste de carga usando o próprio fluxo de trabalho do cliente, medindo tokens por segundo, latência por requisição, consumo de energia e uso de memória com contexto longo. Em seguida, a infraestrutura pode ser empacotada em contêineres versionados, com limite de potência configurado, monitoramento contínuo e roteamento de requisições que mantenha dados sensíveis dentro da rede do cliente.

Como a consultoria pode ajudar

A Wendelmaques pode diagnosticar se um modelo de porte semelhante atende a sua carga, com benchmark sobre o seu próprio tráfego, e implementar a inferência privada na sua infraestrutura, com contêineres, limites de potência, monitoramento de throughput e operação contínua.

Próximo passo

Se sua equipe quer avaliar inferência privada em GPUs próprias, envie uma descrição curta do seu caso, o volume de chats e os requisitos de contexto. Respondemos com uma proposta de escopo para diagnóstico e implementação.