Pithos: motor de inferência em C com offloading híbrido de experts para modelos LFM da Liquid AI

O que aconteceu e o que fazer

O repositório do projeto Pithos descreve um motor de inferência escrito em C para os modelos LFM da Liquid AI. Segundo o desenvolvedor, o motor mantém na VRAM os experts usados com mais frequência, executa os demais na CPU e lê pesos do disco quando necessário. Os resultados relatados foram de 17,5 a 21,9 tokens por segundo, contra 11,2 a 11,3 de um motor de referência com aceleração CUDA, em uma GTX 1650.

Para uma empresa, o caso mostra um trade-off concreto em inferência local com pouca memória de GPU: dividir os experts entre GPU e CPU pode aumentar a vazão sem trocar de hardware. Um projeto aderente começaria com um diagnóstico do parque de máquinas, medindo memória, latência e throughput com cargas reais, antes de escolher entre offloading, quantização ou outro modelo. Em seguida, a implementação poderia incluir um serviço de inferência privada na infraestrutura do cliente, com API, monitoramento de latência e uso de memória em dashboard, e testes de regressão de qualidade.

Como a consultoria pode ajudar

Diagnóstico de inferência local com pouca VRAM: medição de throughput e memória com cargas reais, comparação de estratégias de offloading e proposta de arquitetura na infraestrutura do cliente, com implementação e operação escopadas.

Próximo passo

Se a sua equipe quer rodar modelos com pouca memória de GPU em hardware próprio, envie uma descrição curta do caso, do hardware disponível e dos requisitos de latência. Respondemos com uma proposta escopada.