Notícias de IA e infraestrutura

Publicação29

Inferência de LLMs

Inferência de LLMs Publicação
20/10/26há 5 dias x.com
Modelos de texto por difusão geram a saída inteira de uma vez: o que muda para a inferência
Post descreve modelos de texto por difusão que produzem a resposta inteira simultaneamente, em vez de token a token como os LLMs autorregressivos. Segundo o autor, a geração é rápida, com perfil de latência e custo distinto da inferência padrão.
Inferência de LLMs Publicação
20/10/26há 5 dias x.com
Intel GPU D270 (Crescent Island): acelerador de inferência com memória LPDDR5X de grande capacidade
Um post descreve a GPU D270 da Intel, placa PCIe 5.0 voltada para inferência, com 32 Xe cores, motores de matriz XMX e cerca de 160 GB de LPDDR5X, expansível até 480 GB.
Inferência de LLMs Publicação
19/10/26há 6 dias x.com
Poda de 6 camadas do Qwen3-8B-Base com LaCo reduz o modelo em 16,7%
Post relata a remoção de até 10 camadas do Qwen3-8B-Base com LaCo. Com 6 camadas removidas, o modelo fica 16,7% menor e, segundo o autor, mantém 78-94% das pontuações de raciocínio, com razão de perplexidade de 1,68x.
Inferência de LLMs Publicação
09/10/26há 16 dias x.com
Samsung abre código do LittleBit, método que comprime LLMs de 13B para menos de 1 GB
Segundo o post, o LittleBit da Samsung usa fatoração latente e níveis abaixo de 1 bit para reduzir pesos de LLMs de 13B a menos de 1 GB. Vale avaliar para deploy local.
Inferência de LLMs Publicação
08/10/26há 17 dias x.com
Benchmark relata TTFT 2,89× mais rápido em contexto de 64K
Publicado em 9 de maio de 2026, o benchmark relata que Luce PFlash teve time to first token 2,89× mais rápido que Ollama com contexto de 64K.
Inferência de LLMs Publicação
08/10/26há 17 dias x.com
CLI estima VRAM antes de carregar modelos
A ferramenta do-i-have-the-vram estima a memória de GPU necessária para carregar um modelo sem carregá-lo, ajudando a avaliar se ele cabe na VRAM disponível.
Inferência de LLMs Publicação
08/10/26há 17 dias x.com
Como comparar inferência MTP em GPUs mais antigas
Uma publicação de 16 de maio de 2026 relata benchmarks do llama.cpp com MTP para modelos Qwen 3.6 em três GPUs GTX 1080 Ti e descreve uma configuração que pode orientar testes internos.
Inferência de LLMs Publicação
08/10/26há 17 dias x.com
DEER propõe rascunhos de diffusion para acelerar inferência de LLMs
Publicação de 18 de dezembro de 2025 descreve o DEER, que gera rascunhos de tokens com modelos de diffusion e os verifica com modelos autoregressivos. O texto afirma aceleração de até 5,54× sem perda de qualidade.
Inferência de LLMs Publicação
08/10/26há 17 dias x.com
DFlash e DDTree rodam Qwen3.6-27B em uma RTX 3090
Post de 23 de abril de 2026 relata 73 tokens por segundo com speculative decoding em uma única RTX 3090 e aponta compatibilidade de arquitetura como fator para executar o modelo.
Inferência de LLMs Publicação
08/10/26há 17 dias x.com
Fork do DS4 habilita inferência tensor-parallel em várias máquinas
Publicado em 9 de junho de 2026, o fork do repositório antirez/ds4 adiciona suporte à combinação de tensor parallelism e funções de nó para inferência distribuída em várias máquinas e GPUs.
Inferência de LLMs Publicação
08/10/26há 17 dias x.com
hf-mem estima memória para novos modelos
Publicação de 17 de fevereiro de 2026 apresenta uma ferramenta de linha de comando para estimar requisitos de memória conforme as arquiteturas dos modelos mudam.
Inferência de LLMs Publicação
08/10/26há 17 dias x.com
Inferência local: desempenho e consumo na RTX 3090
Testes de oito LLMs locais em uma RTX 3090 compararam throughput e eficiência energética com limites de potência entre 100 W e 450 W.
Inferência de LLMs Publicação
08/10/26há 17 dias x.com
LMCache reutiliza cache KV entre GPU, CPU e disco
Em 30 de janeiro de 2026, a descrição do projeto open source LMCache apresentou uma extensão para serving de LLMs que reaproveita estados KV entre GPUs, CPUs e discos locais, inclusive para fragmentos de texto repetidos que não sejam apenas prefixos.
Inferência de LLMs Publicação
08/10/26há 17 dias x.com
Post avalia inferência com duas RTX Pro 6000
Publicado em 29 de abril de 2026, o post afirma que os experts de um modelo de linguagem já usam quantização de 4 bits e poderiam caber em duas RTX Pro 6000; aponta uma lacuna de suporte a SM120 em duas opções de serving.
Inferência de LLMs Publicação
08/10/26há 17 dias x.com
RTX 3090: eficiência e throughput em inferência local
Testes relatados em 9 de maio de 2026 compararam um modelo de 27 bilhões de parâmetros na RTX 3090, variando concorrência e limite de potência.
Inferência de LLMs Publicação
08/10/26há 17 dias x.com
Serving de modelos MoE com AWS EFA
Em 6 de novembro de 2025, um artigo da Perplexity descreveu kernels para servir modelos MoE em várias GPUs da AWS usando EFA, sem GPUDirect Async.
Inferência de LLMs Publicação
08/10/26há 17 dias x.com
SWAA propõe inferência mais eficiente com contexto longo
Post de 15 de dezembro de 2025 descreve receitas sem treinamento para adaptar modelos de linguagem com atenção completa a uma escala linear e recuperar desempenho.
Inferência de LLMs Publicação
08/10/26há 17 dias x.com
Inferência concorrente de Llama 3.1 8B em uma RTX 3090
Post da Backprop, publicado em 16 de agosto de 2024, relata desempenho razoável em um benchmark com mais de 100 requisições simultâneas em uma única GPU.
Inferência de LLMs Publicação
08/10/26há 17 dias x.com
Inferência por camadas em GPUs com memória limitada
Em 25 de setembro de 2024, a publicação do AirLLM descreveu inferência que carrega uma camada do Transformer por vez a partir do disco, além de quantização em blocos e suporte à compressão.
Inferência de LLMs Publicação
08/10/26há 17 dias x.com
Jamba 1.5: contexto de 256 mil tokens e avaliação de inferência
Em 22 de agosto de 2024, a AI21 Labs anunciou os modelos Jamba 1.5 Mini e Large, com arquitetura que combina Mamba e Joint Attention, contexto de 256 mil tokens e recursos como ExpertInt8 e saída JSON.
Inferência de LLMs Publicação
08/10/26há 17 dias x.com
PHLoRA extrai adapters LoRA de modelos ajustados
Publicado em 17 de setembro de 2025, o post descreve um método que extrai adapters de baixo rank de checkpoints ajustados, sem dados de treinamento ou gradientes.
Inferência de LLMs Publicação
08/10/26há 17 dias x.com
Throughput de inferência: SGLang e vLLM em GPUs A6000
Um post publicado em 4 de agosto de 2024 relata throughput maior com SGLang do que com vLLM em quatro GPUs A6000, mas desempenho semelhante em batches menores.
Inferência de LLMs Publicação
07/10/26há 18 dias x.com
BITCOS reduz o armazenamento de LLMs ternários
Em post publicado em 20 de setembro de 2026, a Intel descreve o BITCOS, método que armazena pesos exatos de LLMs ternários a 1,485 bits por peso e relata ganhos de throughput de decode.
Inferência de LLMs Publicação
07/10/26há 18 dias x.com
Como avaliar reduções no uso de KV cache
Um post relata uma redução alegada do KV cache de 389.000 para 890 bytes por token em três anos. A afirmação destaca uma oportunidade para medir memória e custo em sistemas com contexto longo.
Inferência de LLMs Publicação
07/10/26há 18 dias x.com
Como o vLLM agenda requisições e aloca o KV cache
Artigo de 26 de setembro de 2026 acompanha o caminho de uma requisição no vLLM e explica o agendamento por iteração e a alocação de blocos de KV cache.
Inferência de LLMs Publicação
07/10/26há 18 dias x.com
KV Cache: por que queries não ficam armazenadas
Post de 30 de agosto de 2026 distingue o uso temporário de queries do armazenamento de keys e values no KV cache durante a inferência.
Inferência de LLMs Publicação
07/10/26há 18 dias x.com
Post descreve compressão low-bit do Hy4 guiada por calibração
Post publicado em 29 de agosto de 2026 afirma que a Tencent reduziu o preview do Hy4 de 1,5 TB para 200 GB com precisão definida por camada. Relata resultados em dois benchmarks.
Inferência de LLMs Publicação
07/10/26há 18 dias x.com
Quantização de 1 bit reduz modelo a 217 GB, relata Unsloth
Em post publicado em 28 de agosto de 2026, a Unsloth relata quantização dinâmica de 1 bit do GLM-5.3: 217 GB, ante 1,5 TB em BF16, e cerca de 76% de acurácia top-1.
Inferência de LLMs Publicação
07/10/26há 18 dias x.com
Servir modelos entre GPU, RAM e NVMe
Post de 12 de setembro de 2026 relata a execução de um modelo em uma RTX 5090 com 125,7 GiB de RAM e parte dos pesos em NVMe.

Vamos avaliar seu projeto

Respondo com escopo e proposta.