Notícias de IA e infraestrutura
Filtrar por tipo: Publicação49
Paper da Meta propõe modelos em nível de byte sem tokenizer
O paper da Meta 'Breaking the Token Ceiling' descreve modelos treinados com bytes brutos e destilação. Um post atribui a modelos byte de 1B desempenho igual ou superior ao de Llama 3.2-1B e Gemma-3-1B, afirmações ainda a confirmar.
CALM propõe prever blocos de vetores, não tokens
Texto publicado em 24 de janeiro de 2026 descreve modelos CALM, que preveem blocos de significado e afirmam carregar 4× mais informação por etapa e reduzir em 44% o compute de treinamento.
Como attention e MLPs armazenam conhecimento
Publicado em 22 de abril de 2026, o estudo analisa trade-offs no armazenamento de conhecimento em matrizes de attention e MLPs, apontando limites ligados a amostras e compute finitos e ao ruído em contextos longos.
FlashAttention-4 mira otimizações em GPUs Blackwell
Publicação de 11 de março de 2026 descreve novos pipelines, cálculos reformulados e otimizações de memória para workloads de attention em GPUs Blackwell.
Funções de ativação como alvo de pesquisa automatizada
Uma publicação de 7 de fevereiro de 2026 relata o uso do AlphaEvolve na descoberta de funções de ativação, como parte de uma pesquisa mais ampla sobre novas arquiteturas de modelos.
Kascade acelera inferência com atenção esparsa
Publicado em 24 de dezembro de 2025, o paper descreve um método sem treinamento que reutiliza padrões de chaves entre camadas. Relata geração até 4,1× mais rápida e prefill 2,2× mais rápido em GPUs H100.
Paralelismo entre heads pode acelerar sistemas MoE
Post publicado em 9 de fevereiro de 2026 descreve uma arquitetura que distribui heads entre GPUs e relata até 1,61× de speedup sobre MoE padrão com paralelismo de experts.
ROME: crédito por trechos no treinamento de agentes
Publicação de 10 de fevereiro de 2026 descreve o ROME, um modelo de 3 bilhões de parâmetros treinado com recompensas por trecho e etapas estruturadas de código, SFT e RL.
Transformer em loop alcança 100% no Sudoku-Extreme
Uma publicação datada de 1º de junho de 2026 descreve um transformer compacto com loop, de 800 mil parâmetros, que obteve 100% no Sudoku-Extreme após 15 minutos de treinamento.
URM combina recorrência e não linearidade no raciocínio
Um post sobre pesquisa em Universal Transformers atribui ganhos de raciocínio ao viés recorrente e à forte não linearidade, e descreve escolhas para mistura local de tokens e treinamento.
AHN propõe memória contínua para LLMs de contexto longo
Em 9 de outubro de 2025, uma publicação da ByteDance apresentou Artificial Hippocampus Networks, arquitetura que comprime continuamente informações que ficam fora da janela de contexto de modelos de linguagem.
Atenção e regressão por kernel: uma conexão útil
Um resumo em 10 slides, publicado em 4 de outubro de 2025, examina a relação entre regressão por kernel e atenção e propõe essa perspectiva como apoio à compreensão do mecanismo.
CCA: atenção em espaço latente comprimido
Post de 7 de outubro de 2025 descreve uma arquitetura que calcula atenção em um espaço latente menor e relata reduções de memória, parâmetros e operações em testes com H100.
Circuitos internos ajudam a prever erros de raciocínio
Post de 13 de outubro de 2025 descreve uma técnica que usa grafos de atribuição para identificar raciocínios incorretos em tarefas aritméticas, com melhora nas métricas de detecção.
Como equilibrar adaptação e memória no treinamento de modelos
Estudo publicado em 5 de outubro de 2025 relata que um modelo treinado em 12.000 tarefas pequenas combinou ideias novas e aponta diferenças entre lições estruturadas e mistas.
Como observar o fluxo de informação em LLMs
Publicada em 9 de outubro de 2025, a publicação propõe três etapas para o fluxo de informação em LLMs e relaciona ativações massivas a attention sinks e compression valleys.
Dicas curtas de raciocínio para avaliar sistemas de IA
Um paper publicado em 5 de outubro de 2025 descreve um gerador de dicas e um solver treinados por reinforcement learning. Em matemática, relata 44% mais acurácia no AIME 2025 do que o RL com cadeias longas.
Dragon Hatchling explora memória local em modelos de linguagem
Publicado em 3 de outubro de 2025, o post descreve uma arquitetura com neurônios simples e conexões que armazenam memória de curto prazo por aprendizado Hebbiano.
Dragon Hatchling propõe arquitetura de LLM interpretável
Publicado em 1º de outubro de 2025, o post descreve uma arquitetura de LLM baseada em partículas neuronais de interação local e afirma que ela rivaliza com o desempenho do GPT-2.
Estudo compara attention em 13 LLMs e encontra melhor resultado com 17%
Publicado em 12 de outubro de 2025, o estudo relata experimentos com 13 LLMs e diferentes proporções de attention convencional e DeltaNet linear attention. A configuração com 17% de attention — duas de 12 camadas — obteve o melhor resultado nos testes.
Grokking em adição modular: três etapas até generalizar
Post de 4 de outubro de 2025 descreve um artigo que propõe três etapas para o grokking em adição modular e um limiar de dados próximo a n log n, com weight decay e largura moderada favorecendo o aprendizado de features.
O que os attention sinks revelam sobre LLMs
Experimentos com modelos de 410 milhões a 120 bilhões de parâmetros relacionam normas extremas de ativação do token inicial a compression valleys e attention sinks.
RLAD explora abstrações de raciocínio com aprendizado por reforço
Publicado em 3 de outubro de 2025, o paper apresenta o RLAD, um framework que usa aprendizado por reforço com dois jogadores para que modelos de linguagem descubram dicas procedurais em linguagem natural.
RLMs: uma abordagem para prompts muito longos
Publicado em 15 de outubro de 2025, o texto descreve modelos de linguagem que interagem recursivamente com prompts longos por meio de um REPL e relata avaliações nos benchmarks OOLONG e BrowseComp-Plus.
SwiReasoning alterna raciocínio para reduzir tokens
Publicação de 12 de outubro de 2025 descreve uma técnica que alterna entre raciocínio latente e explícito e relata ganhos de eficiência de tokens em modelos Qwen3-8B.
Uma visão unificada de Attention-MoE e FFN-MoE
Artigo publicado em 24 de setembro de 2025 propõe tratar tokens pré-misturados e (V·Wo) como um expert de FFN, unificando abordagens esparsas de attention e FFN.
Arquiteturas híbridas além da atenção padrão
Post publicado em 8 de julho de 2026 compara as arquiteturas do Qwen 3.5 e do Nemotron 3 e aponta a evolução convergente entre atenção linear e modelos de espaço de estados.
Atenção esparsa pode otimizar a seleção de blocos KV
Publicação da Tencent, datada de 14 de setembro de 2026, descreve um método que usa a perda de modelagem de linguagem para aprender quais blocos KV cada consulta deve acessar.
Atenção linear dinâmica ajusta memória à informação dos tokens
Post de 15 de junho de 2026: a Dynamic Linear Attention adapta os estados de memória à informação dos tokens, mantendo um cache fixo, e relata ganhos em benchmarks, throughput e memória.
Atenção linear e esparsa: o que avaliar em modelos de contexto longo
Um post de 26 de agosto de 2026 afirma que o GLM-5.3 intercala três camadas de atenção linear para cada camada de atenção esparsa, destacando trade-offs de eficiência computacional em contextos longos.
Cache de 64 tokens para atenção linear: o que avaliar
Uma postagem sobre HOLA, publicada em 5 de julho de 2026, descreve uma métrica de surpresa sem parâmetros e um cache de 64 tokens para reduzir o esquecimento catastrófico em modelos com atenção linear.
Diffusing Blame propõe treinar redes sem backpropagation
Postagem publicada em 17 de julho de 2026 descreve um método de roteamento de sinais de erro e relata resultados em reconhecimento de imagens, locomoção e Craftax.
Dust explora treinamento de transformers sem gradientes
Publicado em 5 de outubro de 2026, o paper apresenta o Dust, método zeroth-order que usa perturbações de ativações e relata experimentos de escala e comparações com backpropagation.
Fatoração de attention e fluxo de gradientes: implicações para modelos
Publicada em 30 de setembro de 2026, a publicação discute como fatorar a matriz de attention como S = WWᵀ pode alterar o fluxo de gradientes e remover um gargalo de expoente de informação na otimização.
Fluxos recorrentes refinam o raciocínio em tarefas discretas
Um post publicado em 3 de setembro de 2026 descreve modelos que combinam fluxos contínuos e refinamento recorrente para resolver problemas estruturados, como Sudoku.
FuncAttn leva attention funcional a dados contínuos
Post de 25 de junho de 2026 descreve um método que aplica operadores lineares estruturados à attention entre espaços de funções, com resultados em solução de PDEs, segmentação 3D e regressão.
Functional Attention propõe atenção de custo linear
Publicado em 6 de julho de 2026, o paper descreve uma forma de representar query e key/value com bases aprendidas e uma matriz compacta, relatando custo linear no número de pontos.
GLM-5.3-Flash: visão geral da arquitetura
Publicada em 26 de agosto de 2026, a visão geral descreve uma arquitetura híbrida com attention 3:1, backbone sparse MoE menor, residual path mHC com quatro streams e vision encoder nativo.
HydraHead combina dois tipos de atenção por head
Publicado em 30 de junho de 2026, o post sobre HydraHead descreve uma arquitetura que combina Full Attention e Linear Attention no nível dos heads para buscar mais eficiência em modelos de contexto longo.
iLLaDA treina modelo de difusão com 8 bilhões de parâmetros
Artigo publicado em 27 de junho de 2026 descreve o treinamento de um Transformer de 8 bilhões de parâmetros com difusão mascarada bidirecional em 12 trilhões de tokens.
Vamos avaliar seu projeto
Respondo com escopo e proposta.