Notícias de IA e infraestrutura
Filtrar por tipo: Todos169
Paper da Meta propõe modelos em nível de byte sem tokenizer
O paper da Meta 'Breaking the Token Ceiling' descreve modelos treinados com bytes brutos e destilação. Um post atribui a modelos byte de 1B desempenho igual ou superior ao de Llama 3.2-1B e Gemma-3-1B, afirmações ainda a confirmar.
μLattice: alternativa de escalonamento de memória à atenção, segundo o autor
Projeto de código aberto e artigo descrevem o μLattice, um design de memória que cresce com a entrada sem custo quadrático. O desempenho é alegado pelo autor e ainda não foi verificado de forma independente.
LiFT: transformers em loop para gerar imagens com flow matching e custo ajustável na inferência
Artigo apresenta o LiFT, um gerador de imagens com flow matching que reutiliza um núcleo transformer compartilhado em loops. Segundo o autor, um modelo treinado com 2 loops melhora com até 16 loops na inferência, sem retreinar.
Atenção com KV compartilhado: eficiência e custo de computação
Publicação de 29 de abril de 2026 compara MQA de alta ordem e MLA: compartilhamento de KV pode reduzir a pressão sobre o cache, em troca de mais computação por token.
Atenção esparsa em transformers após o pós-treinamento
Um paper publicado em 8 de dezembro de 2025 relata que regularização com perda restringida manteve a perda de pré-treinamento de modelos de até 7 bilhões de parâmetros usando cerca de 0,4% das conexões de atenção.
Atenção exclusiva: uma alternativa para modelos de linguagem
Artigo publicado em 12 de março de 2026 apresenta uma variante de atenção que supera a atenção padrão em modelos de até 2,7 bilhões de parâmetros, segundo os resultados relatados.
- há 17 dias k-a.in
Avalie atenção esparsa comprimida em modelos
Uma implementação publicada em 28 de abril de 2026 reproduz a técnica Compressed Sparse Attention descrita em um paper recente, oferecendo uma referência para equipes de engenharia examinarem essa variante de atenção.
BEAVER propõe limites probabilísticos para a segurança de LLMs
Publicado em 10 de dezembro de 2025, o paper apresenta um framework para calcular limites determinísticos de probabilidade de um LLM satisfazer uma propriedade de segurança, em contraste com estimativas por amostragem.
CALM propõe prever blocos de vetores, não tokens
Texto publicado em 24 de janeiro de 2026 descreve modelos CALM, que preveem blocos de significado e afirmam carregar 4× mais informação por etapa e reduzir em 44% o compute de treinamento.
CliffordNet testa álgebra de Clifford em redes neurais
Post de 20 de abril de 2026 descreve uma arquitetura que usa produto geométrico, sem attention ou mixer, e relata 77,82% de acurácia no CIFAR-100 com 1,4 milhão de parâmetros.
Como attention e MLPs armazenam conhecimento
Publicado em 22 de abril de 2026, o estudo analisa trade-offs no armazenamento de conhecimento em matrizes de attention e MLPs, apontando limites ligados a amostras e compute finitos e ao ruído em contextos longos.
Como comparar três métodos de self-distillation on-policy
Artigo de 12 de fevereiro de 2026 examina OPSD, SDFT e SDPO, métodos que usam feedback mais denso, e aborda benchmarks e limitações.
Como estimar custos de treinamento de loop models
Um artigo de blog publicado em 19 de abril de 2026 analisa sete variantes de loop models e como a estrutura dos gradientes afeta FLOPs e memória.
Como validar perguntas sobre knowledge graphs
Post publicado em 10 de dezembro de 2025 descreve o SEAL, um framework que extrai o núcleo mínimo de uma pergunta e usa um agente para validá-lo no banco de dados.
Compactação de KV cache pode reduzir memória em até 50×
Uma publicação datada de 12 de junho de 2026 descreve um método de compactação de KV cache por Attention Matching, com reduções de até 50× em alguns conjuntos de dados e perda mínima de qualidade.
DeepCrossAttention combina camadas do Transformer conforme a entrada
Descrição publicada em 16 de março de 2026 apresenta o DeepCrossAttention, que usa pesos aprendíveis e dependentes da entrada para combinar saídas de camadas do Transformer.
FlashAttention-4 mira otimizações em GPUs Blackwell
Publicação de 11 de março de 2026 descreve novos pipelines, cálculos reformulados e otimizações de memória para workloads de attention em GPUs Blackwell.
Funções de ativação como alvo de pesquisa automatizada
Uma publicação de 7 de fevereiro de 2026 relata o uso do AlphaEvolve na descoberta de funções de ativação, como parte de uma pesquisa mais ampla sobre novas arquiteturas de modelos.
GAT pondera a importância dos vizinhos em grafos
O paper da ICLR de 2018 apresenta redes que atribuem pesos aos vizinhos conectados. A publicação de 12 de fevereiro de 2026 destaca a abordagem como alternativa a comparar em tarefas com dados em grafo.
HybridGen propõe atenção híbrida para contexto longo
Paper publicado em 21 de abril de 2026 apresenta o HybridGen, framework que coordena atenção entre CPU e GPU com memória CXL para inferência de modelos de linguagem com contexto longo.
Instabilidade em Flash Attention de baixa precisão
Publicado em 15 de março de 2026, o paper analisa explosões catastróficas da loss no treinamento de baixa precisão com Flash Attention e as relaciona a padrões internos semelhantes nos dados de attention e a erros de arredondamento enviesados que se acumulam.
Interleaved Head Attention propõe comunicação entre heads
Em post publicado em 11 de abril de 2026, a Interleaved Head Attention explora a comunicação entre attention heads dentro de uma camada, com foco em raciocínio.
KArAt propõe uma atenção learnable sem softmax fixo
Publicado em 27 de outubro de 2025, o paper apresenta a KArAt, uma alternativa learnable à atenção com softmax. Relata resultados mistos em vision transformers e variantes low-rank para reduzir o uso de memória.
Kascade acelera inferência com atenção esparsa
Publicado em 24 de dezembro de 2025, o paper descreve um método sem treinamento que reutiliza padrões de chaves entre camadas. Relata geração até 4,1× mais rápida e prefill 2,2× mais rápido em GPUs H100.
Kascade reduz o cálculo de atenção em contextos longos
Publicado em 18 de fevereiro de 2026, o artigo descreve uma técnica que reutiliza resultados de atenção entre camadas Transformer para reduzir trabalho durante a inferência, sem retreinar o modelo ou alterar seus pesos.
Kernels Triton e operadores PyTorch para AttnRes
Publicado em 3 de maio de 2026, o repositório reúne kernels Triton e operadores PyTorch para Block Attention Residuals (AttnRes).
Mamba-3 propõe estado fixo para modelar sequências
Publicado em 7 de maio de 2026, o post descreve uma arquitetura de linguagem não Transformer que comprime o contexto em um estado de tamanho fixo e afirma ter decodificação de tempo constante em relação ao comprimento da sequência.
Mecanismos de atenção: como comparar arquiteturas de Transformers
Um artigo publicado em 19 de abril de 2026 apresenta mais de 13 mecanismos de atenção e explica como eles influenciam o processamento de contexto e memória em Transformers e LLMs.
microGPT em C explora otimizações de baixo nível
Publicado em 3 de maio de 2026, o repositório apresenta uma implementação do microGPT em C puro, sem dependências, com intrinsics AVX2, produtos escalares de largura fixa e uma aproximação rápida da função exponencial.
MoDA conecta a atenção entre camadas em LLMs
Publicado em 19 de abril de 2026, o paper apresenta o MoDA, mecanismo que combina pares key-value da camada atual com informações de camadas anteriores.
Modelos de difusão mascarada e a ordem dos tokens
Um artigo do ICML 2025 analisa por que modelos de difusão mascarada têm desempenho inferior em benchmarks de geração e aponta desafios no treinamento com subconjuntos de tokens.
Nanochat reúne escolhas de arquitetura e otimização para investigar
Publicada em 1º de fevereiro de 2026, a publicação sobre o nanochat lista componentes de arquitetura de modelos e divide a otimização entre Muon e AdamW.
Paralelismo entre heads pode acelerar sistemas MoE
Post publicado em 9 de fevereiro de 2026 descreve uma arquitetura que distribui heads entre GPUs e relata até 1,61× de speedup sobre MoE padrão com paralelismo de experts.
Raciocínio compacto pode reduzir custos de inferência
Post publicado em 22 de abril de 2026 descreve o Latent Reasoning Tuning, método que treina modelos para raciocinar com representações internas compactas e afirma superar outros métodos eficientes em matemática e benchmarks gerais.
ROME: crédito por trechos no treinamento de agentes
Publicação de 10 de fevereiro de 2026 descreve o ROME, um modelo de 3 bilhões de parâmetros treinado com recompensas por trecho e etapas estruturadas de código, SFT e RL.
Scaled dot-product attention: do mecanismo à prática
Post publicado em 1º de fevereiro de 2026 explica como queries, keys e values orientam a relevância dos tokens e apresenta um notebook de implementação de sistemas de LLM e NLP a partir de primeiros princípios.
Sequential Attention propõe modelos mais enxutos
Em 9 de fevereiro de 2026, o Google Research apresentou a Sequential Attention, abordagem que seleciona recursos ou camadas durante o treinamento para buscar modelos mais rápidos e enxutos sem sacrificar a precisão.
Técnicas para tornar o serving de LLMs mais eficiente
Notas de aula publicadas em 13 de maio de 2026 abordam quantização, sparsity, atenção, speculative decoding e batching para melhorar a inferência e o serving de LLMs.
Tensor Product Attention propõe reduzir a memória do cache KV
Publicado em 27 de outubro de 2025, o artigo apresenta uma técnica de atenção com componentes contextuais de baixo rank para reduzir o consumo de memória do cache KV durante a inferência.
Transformer em loop alcança 100% no Sudoku-Extreme
Uma publicação datada de 1º de junho de 2026 descreve um transformer compacto com loop, de 800 mil parâmetros, que obteve 100% no Sudoku-Extreme após 15 minutos de treinamento.
arxiv.org
Vamos avaliar seu projeto
Respondo com escopo e proposta.