Notícias de IA e infraestrutura
Filtrar por tipo: Todos169
LiFT amplia a inferência iterativa com um núcleo DiT compartilhado
Publicada em 6 de outubro de 2026, a pesquisa relata que LiFT supera um baseline DiT denso no ImageNet 256×256 com cerca de 60% menos parâmetros.
LoopCD aproveita loops anteriores na decodificação
Publicado em 2 de outubro de 2026, o artigo apresenta o LoopCD, método sem treinamento que usa representações de loops anteriores para orientar a seleção de tokens em Looped Transformers.
LoopCD refina a decodificação de Transformers sem novo treinamento
O artigo, publicado em 2 de outubro de 2026, apresenta uma técnica que compara previsões de estados recorrentes iniciais e finais para refinar a decodificação. Relata maior acurácia no AIME 2024 com Ouro-2.6B-Thinking.
Looped-DiT reutiliza blocos para reduzir computação
Um post publicado em 1º de outubro de 2026 afirma que o Looped-DiT superou um modelo 6,5 vezes maior em benchmarks de geração de imagens, com 4,9 vezes menos computação na inferência.
Looped flows treinam atualizações recorrentes com denoising local
Paper publicado em 12 de setembro de 2026 propõe objetivos de denoising local para treinar atualizações recorrentes do estado oculto, inclusive quando o backpropagation cobre poucas etapas.
Mamba e Transformers: uma conexão por trás das arquiteturas
Artigo publicado em 24 de setembro de 2026 explora conexões teóricas entre modelos de espaço de estados, como Mamba, e variantes de attention.
Matryoshka Attribution localiza pesos ligados a comportamentos de modelos
Em post publicado em 28 de setembro de 2026, Matryoshka Attribution é apresentada como uma técnica para classificar representações neurais e mudanças de pesos por sua influência no comportamento.
Megalodon e a avaliação de sequências longas
Artigo publicado em 24 de setembro de 2026 apresenta uma arquitetura baseada no Mega, projetada para pré-treinamento e inferência eficientes com contexto ilimitado.
Memória compartilhada reduz o uso de memória em Transformers recorrentes
Artigo publicado em 5 de outubro de 2026 relata redução de 76–79% na memória de contexto e melhora de qualidade em modelos de 150 milhões a 1 bilhão de parâmetros.
Memória esparsa amplia o estado de RNNs sem elevar o compute por token
Publicado em 11 de julho de 2026, o post descreve a Sparse Delta Memory, que combina uma RNN com memória explícita de endereçamento esparso para aumentar a capacidade de estado mantendo constante o compute por token.
Memória indexada por token muda a atenção em Transformers
Um post publicado em 25 de setembro de 2026 descreve uma arquitetura que soma chaves contextuais e vetores de memória indexados por token, específicos de cada camada, e permite manter a memória na CPU.
Memory Attention propõe memória de tokens para calcular valores
Em post publicado em 25 de setembro de 2026, Memory Attention combina memória de tokens específica por camada e keys contextuais para formar os valores da atenção, com possível redução do KV cache e offloading para CPU.
Memory Attention: reutilizar keys em V=K+M
Publicação de 27 de setembro de 2026 relata resultados preliminares de ablação que apontam V=K+M como uma escolha arquitetural eficaz; falta validar a abordagem em escalas maiores.
MiniCPM-SALA combina atenção esparsa e linear para contextos longos
Um paper apresenta uma arquitetura híbrida de 9 bilhões de parâmetros e relata bons resultados em benchmarks de contexto longo, com inferência escalável até 1 milhão de tokens.
Mixture-of-Depths ajusta o compute por token em Transformers
Artigo de 22 de setembro de 2026 apresenta um método que distribui o compute entre posições da sequência e limita a participação de tokens em cada camada.
Modelos de fluxo refinam raciocínio em etapas
Paper datado de 17 de setembro de 2026 transforma um modelo de fluxo em modelo recorrente: previsões são realimentadas para refinamento iterativo, com uma função de perda local em cada etapa e sem retropropagação ao longo do tempo.
Modelos de linguagem por difusão: técnicas e aplicações
Publicado em 8 de julho de 2026, o post do Kuleshov Group apresenta modelos de linguagem por difusão e aborda masked diffusion, refinamento iterativo, pós-treinamento e geração de comprimento variável.
Native Hybrid Attention e o equilíbrio em contextos longos
Artigo publicado em 5 de outubro de 2026 apresenta Native Hybrid Attention, uma abordagem voltada ao equilíbrio entre velocidade em contextos longos e retenção de detalhes. Empresas podem avaliar a proposta com benchmarks ligados às suas tarefas.
NextLat explora previsão do próximo estado latente
Publicação de 16 de junho de 2026 descreve um método de treinamento para transformers e afirma que ele pode viabilizar modelos compactos e inferência até 3,3 vezes mais rápida.
O papel da cadeia de pensamento em tarefas seriais
Artigo de 1º de outubro de 2026 investiga se a cadeia de pensamento contribui para o cálculo em Transformers e relata queda de precisão quando ela é removida de tarefas seriais.
OPAL reduz o custo de attention em contextos longos
Post de 29 de setembro de 2026 descreve o OPAL, método que treina modelos de linear attention com as próprias saídas e relata recuperação total em retrieval e 83–93% do desempenho em raciocínio matemático.
OpenMythos explora Transformer de profundidade recorrente
Publicado em 19 de junho de 2026, o repositório apresenta uma reconstrução teórica de código aberto com profundidade recorrente, roteamento MoE e halting adaptativo por token.
PC-ALM treina MLPs residuais de até 1.000 camadas
Publicado em 14 de setembro de 2026, o paper apresenta o PC-ALM, método de aprendizado local que treina redes profundas com desempenho descrito como quase equivalente ao da retropropagação.
PolaFormer++ propõe features com polaridade para atenção linear
O paper de 26 de setembro de 2026 apresenta um critério teórico para a concentração de mapas de features e avalia atenção linear em seis famílias de tarefas visuais.
Post aponta designs eficientes em modelos chineses de fronteira
Publicado em 26 de agosto de 2026, o post afirma que modelos chineses de fronteira adotam atenção linear ou esparsa, designs especializados de conexões residuais e Muon. Também apresenta colaboração open source como estratégia para eficiência.
Programas executáveis para estudar attention heads em Transformers
Artigo publicado em 29 de junho de 2026 propõe aproximar componentes de redes profundas com programas executáveis, aplicando o método a attention heads de modelos de linguagem Transformer.
Programas sintetizados podem substituir parte dos attention heads
Post de 1º de julho de 2026 descreve programas Python sintetizados a partir de mapas de atenção, com 69–79% de mean IoU e pouca queda em QA ao substituir até 30–40% dos heads.
PTXBench mede desempenho de kernels de GPU gerados por IA
Publicado em 29 de setembro de 2026, o PTXBench avalia kernels de multiplicação de matrizes e attention em PTX para GPUs H100 e B200, medindo correção, velocidade e execução das instruções solicitadas.
Quiet-STaR: modelos treinados para raciocinar antes de responder
Paper publicado em 22 de setembro de 2026 descreve uma abordagem para treinar modelos de linguagem a gerar raciocínio interno antes da resposta visível, partindo da ideia de que textos contêm raciocínio implícito.
Rastrear dados de treino até os circuitos de LLMs
Publicado em 7 de julho de 2026, o paper apresenta um método para relacionar amostras de treino a unidades interpretáveis de modelos de linguagem e examina seus efeitos sobre attention heads e aprendizado em contexto.
RESA: recuperar contexto com sparse attention
O paper RESA, publicado em 29 de setembro de 2026, propõe usar estimativa residual para recuperar contexto ignorado pela sparse attention, sem custo computacional adicional, segundo o próprio paper.
Retenção de tokens pode reduzir a dependência do KV cache
Uma publicação datada de 13 de setembro de 2026 afirma que manter quatro tokens iniciais e uma janela de 64 tokens, sem treinamento, iguala ou supera modelos de atenção linear destilados em quase todos os benchmarks.
RetNet propõe recorrência como alternativa à atenção
Publicado em 24 de setembro de 2026, o paper sobre Retentive Network apresenta uma arquitetura de modelos de linguagem que combina treinamento paralelo e inferência recorrente.
RWKV une treinamento paralelo e inferência recorrente
Artigo publicado em 20 de setembro de 2026 descreve uma arquitetura que combina treinamento paralelo no estilo Transformer e inferência recorrente no estilo RNN, com memória e computação de escala linear em relação ao comprimento da sequência.
Safety tuning pode afetar atribuições de mente em modelos
Estudo relata que ajustes para impedir afirmações de consciência também reduzem a atribuição de mente a outras entidades em três modelos, e que intervenções mecanísticas restauram essas tendências.
Seleção de blocos em atenção esparsa cai para O(N log N)
Artigo publicado em 28 de setembro de 2026 apresenta seleção hierárquica de blocos com LogSumExp, reduzindo de O(N²) para O(N log N) o custo dessa etapa em modelos de contexto longo.
Softmax Linear Attention busca seleção mais relevante com custo linear
Publicado em 16 de setembro de 2026, o artigo propõe aplicar softmax no nível das heads para recuperar a competição global na linear attention, mantendo a complexidade linear.
SwiLA propõe alternar entre mapas lineares de atenção
Paper apresentado como trabalho da COLM 2026 e datado de 5 de outubro de 2026, descreve uma abordagem que alterna entre múltiplos mapas lineares e destaca o trade-off entre expressividade e memória.
Teoria do deep learning para analisar o comportamento de modelos
Livro publicado em 24 de junho de 2026 apresenta uma estrutura teórica para relacionar arquitetura e treinamento de redes neurais profundas às saídas dos modelos.
Transformer: da atenção à implementação
O capítulo 8 de Speech and Language Processing percorre os componentes do Transformer, da intuição à formulação matricial, e oferece uma base para avaliar como essa arquitetura se relaciona a aplicações empresariais.
arxiv.org
Vamos avaliar seu projeto
Respondo com escopo e proposta.