Notícias de IA e infraestrutura
Filtrar por tipo: Projeto23
- há 17 dias github.com
dflash-mlx v0.1.5 amplia recursos de runtime e serving
Em 3 de maio de 2026, a versão 0.1.5 adicionou uma CLI unificada, cache em RAM e SSD, correspondência de prefixos e suporte experimental a contextos longos.
- há 17 dias github.com
Inferência de Llama 70B em uma RTX 3090 com ntransformer
Em 22 de fevereiro de 2026, a página do repositório ntransformer afirma que o engine de inferência em C++/CUDA executa Llama 70B em uma RTX 3090, com transferência de NVMe para GPU sem passar pela CPU.
- há 17 dias github.com
llama.cpp adiciona suporte a Multi-Token Prediction
Em 17 de maio de 2026, um pull request do llama.cpp adicionou suporte a heads de MTP. O relato cita 65 tokens por segundo para o Qwen3.6-27B em uma RTX 3090, contra 38 sem MTP.
- há 17 dias github.com
llmfit ajuda a avaliar modelos para hardware local
O repositório llmfit, publicado no GitHub em 21 de fevereiro de 2026, analisa hardware local para identificar modelos compatíveis e estimar a velocidade de inferência.
- há 17 dias github.com
Lucebox explora speculative inference em GPUs de consumo
Publicada em 9 de maio de 2026, a postagem apresenta o Lucebox, servidor de speculative inference para hardware heterogêneo, e afirma que o Qwen3.6-27B alcança 120–200 tokens por segundo em uma RTX 3090.
- há 17 dias github.com
Receitas comunitárias para servir LLMs em GPUs RTX
Publicado em 24 de maio de 2026, o repositório reúne configurações independentes de modelo para servir LLMs em GPUs RTX 3090, 4090 e 5090, com vLLM, llama.cpp e ik_llama.
- há 17 dias github.com
Tencent apresenta operadores HPC-Ops para inferência de LLMs
Em 27 de janeiro de 2026, a Tencent apresentou a biblioteca open source HPC-Ops, com operadores para inferência de LLMs e suporte a operações em GPUs e comunicação multinó.
- há 17 dias github.com
Treinar redes neurais no Neural Engine: como avaliar o repositório ANE
Publicado em 2 de março de 2026, o repositório ANE descreve treinamento de redes neurais com APIs privadas obtidas por engenharia reversa do Neural Engine da Apple. Veja como avaliar essa abordagem antes de adotá-la.
- há 17 dias github.com
Voice agents: modelos em paralelo podem reduzir o silêncio
Uma contribuição ao Gradbot, publicada em 5 de junho de 2026, descreve o envio de uma resposta breve ao TTS enquanto outro modelo raciocina e aciona ferramentas em segundo plano.
- há 17 dias github.com
NVIDIA Model Optimizer reúne técnicas de compressão de modelos para inferência
A NVIDIA publicou um post sobre o Model Optimizer, biblioteca com quantização, destilação, pruning, neural architecture search e speculative decoding, com checkpoints exportáveis para vLLM, SGLang, TensorRT-LLM e TensorRT.
- há 17 dias github.com
LLM Compressor reúne técnicas para comprimir modelos usados com vLLM
Em post publicado em 16 de agosto de 2024, a Neural Magic apresentou uma biblioteca com técnicas de compressão que buscam reduzir a latência de inferência mantendo a precisão.
- há 17 dias github.com
Mirage compila LLMs em megakernels persistentes
Publicada em 19 de junho de 2025, a publicação descreve um compilador que transforma LLMs em megakernels persistentes e afirma reduzir a latência em 1,2 a 6,7 vezes.
- há 18 dias github.com
Colibri transmite experts de MoE do disco para inferência local
Um engine de inferência escrito em C puro carrega experts de modelos MoE a partir do disco, uma abordagem para avaliar execução local em hardware com memória limitada.
- há 18 dias github.com
Como reproduzir serving multi-GPU e perfil térmico
Um repositório no GitHub, publicado em 30 de julho de 2026, apresenta uma configuração reproduzível de serving do GLM-5.2 EXL3 MTP3 e um perfil térmico para quatro GPUs RTX PRO 6000 Blackwell.
- há 18 dias github.com
Comunicação de modelos em NPUs Huawei Ascend
A publicação, datada de 30 de setembro de 2026, apresenta uma biblioteca de comunicação de alto desempenho para treinamento e inferência de machine learning em NPUs Huawei Ascend.
- há 18 dias github.com
Configuração de inferência em dois DGX Sparks
Um pull request datado de 31 de julho de 2026 atualiza o checkpoint padrão e instala o encoder nos dois ranks de uma configuração com dois DGX Sparks.
- há 18 dias github.com
Falhas silenciosas no serving de LLMs: como diagnosticar
Publicado em 28 de julho de 2026, o repositório do GitHub cataloga falhas de serving de LLMs, seus sintomas, mecanismos, verificações e correções.
- há 18 dias github.com
Inferência de LLMs com VRAM limitada
Post de 17 de julho de 2026 descreve um framework para inferência e fine-tuning heterogêneos, distribuindo experts entre GPU e CPU.
- há 18 dias github.com
Livro aberto reúne 12 capítulos sobre infraestrutura de IA
Publicado em 13 de setembro de 2026, o livro percorre arquiteturas de modelos, aceleradores, inferência e treinamento. Sua abrangência ajuda empresas a identificar desafios concretos de infraestrutura.
- há 18 dias github.com
Ridgeline: perfilando inferência de LLMs com o modelo roofline
Publicado em 8 de julho de 2026, o texto descreve o Ridgeline, um profiler baseado em PyTorch que aplica o modelo roofline à análise de workloads de inferência de LLMs.
- há 18 dias github.com
Strata leva inferência local de MoE a GPUs com 8 GB
Em 1º de outubro de 2026, a página do repositório Strata descreveu a execução do modelo MoE Qwen3.8-Flash-Next, de 125 bilhões de parâmetros, em GPUs NVIDIA com pelo menos 8 GB de VRAM.
- há 18 dias github.com
TinyRouter explora roteamento entre modelos abertos
Publicação datada de 4 de julho de 2026 descreve um roteador de cerca de 10 mil parâmetros e relata resultados em benchmarks, com necessidade de mais experimentos.
- há 18 dias github.com
Zlaya: inferência do Laya em CPU com Zig
Publicado em 23 de setembro de 2026, o repositório no GitHub apresenta o Zlaya, um mecanismo compacto de inferência do Laya para CPU, implementado em Zig.
Vamos avaliar seu projeto
Respondo com escopo e proposta.