Notícias de IA e infraestrutura
Filtrar por tipo: Projeto10
μLattice: alternativa de escalonamento de memória à atenção, segundo o autor
Projeto de código aberto e artigo descrevem o μLattice, um design de memória que cresce com a entrada sem custo quadrático. O desempenho é alegado pelo autor e ainda não foi verificado de forma independente.
Kernels Triton e operadores PyTorch para AttnRes
Publicado em 3 de maio de 2026, o repositório reúne kernels Triton e operadores PyTorch para Block Attention Residuals (AttnRes).
microGPT em C explora otimizações de baixo nível
Publicado em 3 de maio de 2026, o repositório apresenta uma implementação do microGPT em C puro, sem dependências, com intrinsics AVX2, produtos escalares de largura fixa e uma aproximação rápida da função exponencial.
Nanochat reúne escolhas de arquitetura e otimização para investigar
Publicada em 1º de fevereiro de 2026, a publicação sobre o nanochat lista componentes de arquitetura de modelos e divide a otimização entre Muon e AdamW.
Raciocínio compacto pode reduzir custos de inferência
Post publicado em 22 de abril de 2026 descreve o Latent Reasoning Tuning, método que treina modelos para raciocinar com representações internas compactas e afirma superar outros métodos eficientes em matemática e benchmarks gerais.
Scaled dot-product attention: do mecanismo à prática
Post publicado em 1º de fevereiro de 2026 explica como queries, keys e values orientam a relevância dos tokens e apresenta um notebook de implementação de sistemas de LLM e NLP a partir de primeiros princípios.
Aprendizado contínuo em LLMs com iSDFT
Repositório publicado em 22 de setembro de 2026 apresenta um método de destilação própria para aprendizado contínuo em LLMs, com código de treinamento, checkpoints e avaliações.
Aprendizado contínuo em notebook com 8 GB de VRAM
O repositório mini-AGI descreve um modelo treinado do zero em um notebook com 8 GB de VRAM, usando batch 1, pesos paginados do disco e ajustes na taxa de aprendizado para reduzir o esquecimento.
Estado recorrente pode ampliar a memória de Transformers
A descrição do Recurrent Looped Transformer, datada de 13 de setembro de 2026, apresenta um decoder recorrente que preserva estado entre tokens para ampliar o caminho temporal de informação.
OpenMythos explora Transformer de profundidade recorrente
Publicado em 19 de junho de 2026, o repositório apresenta uma reconstrução teórica de código aberto com profundidade recorrente, roteamento MoE e halting adaptativo por token.
Vamos avaliar seu projeto
Respondo com escopo e proposta.