Notícias de IA e infraestrutura

Pesquisa77

Atenção e arquitetura de modelos

Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Gradientes BF16 crescem no fim do treinamento
Um artigo relata aumento de 1.000 vezes na norma do gradiente após 25 bilhões de tokens em um transformer treinado com FlashAttention-3 em BF16.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
HiLS aprende a selecionar chunks para sparse attention
Publicado em 7 de julho de 2026, o artigo apresenta a HiLS, uma abordagem que aprende a selecionar chunks para sparse attention com a loss de modelagem de linguagem.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
HOLA combina atenção linear com cache KV exato e limitado
Publicado em 3 de julho de 2026, o artigo apresenta o HOLA: uma arquitetura que combina estado recorrente e cache limitado de key-values, com ganhos relatados em perplexidade e recall de longo alcance.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
HOLA combina estado recorrente e cache limitado para contextos longos
Post de 6 de julho de 2026 descreve o HOLA, que usa estado recorrente e um pequeno KV cache para memória exata. O método reduz a perplexidade em 16,1% e mantém recuperação robusta em 32 mil tokens.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
HySparse2 reduz custo de contexto longo com reuso de KV
Publicado em 23 de setembro de 2026, o post descreve dois níveis de compartilhamento de KV para reduzir FLOPs de prefill e tamanho do cache, com melhores scores de retrieval que o Hybrid SWA do MiMo-V2.6 em contexto de 1 milhão de tokens.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
iLLaDA: difusão mascarada em um modelo de 8B
Descrição publicada em 25 de junho de 2026 apresenta o iLLaDA, modelo de linguagem de difusão mascarada de 8B treinado do zero com atenção totalmente bidirecional.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Interpretabilidade além dos conceitos humanos
Publicado em 22 de setembro de 2026, o paper investiga se modelos de linguagem usam representações internas que não correspondem adequadamente a conceitos humanos familiares.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Jamba combina Transformer, Mamba e MoE
O artigo, publicado em 20 de setembro de 2026, descreve uma arquitetura híbrida que intercala blocos Transformer e Mamba e usa mixture-of-experts em algumas camadas.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
KATA explora spherical packing para recall em linear attention
Artigo publicado em 16 de setembro de 2026 apresenta KATA, uma abordagem geométrica que formula o associative recall em linear attention como um problema de spherical packing.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
KITE amplia Transformers sem aumentar o cálculo de KV
Publicado em 29 de setembro de 2026, o material descreve o KITE, uma abordagem que amplia componentes do decoder reutilizando um KV cache gerado por um prefiller menor.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
LoopCD aproveita loops anteriores na decodificação
Publicado em 2 de outubro de 2026, o artigo apresenta o LoopCD, método sem treinamento que usa representações de loops anteriores para orientar a seleção de tokens em Looped Transformers.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Looped flows treinam atualizações recorrentes com denoising local
Paper publicado em 12 de setembro de 2026 propõe objetivos de denoising local para treinar atualizações recorrentes do estado oculto, inclusive quando o backpropagation cobre poucas etapas.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Mamba e Transformers: uma conexão por trás das arquiteturas
Artigo publicado em 24 de setembro de 2026 explora conexões teóricas entre modelos de espaço de estados, como Mamba, e variantes de attention.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Megalodon e a avaliação de sequências longas
Artigo publicado em 24 de setembro de 2026 apresenta uma arquitetura baseada no Mega, projetada para pré-treinamento e inferência eficientes com contexto ilimitado.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Memória esparsa amplia o estado de RNNs sem elevar o compute por token
Publicado em 11 de julho de 2026, o post descreve a Sparse Delta Memory, que combina uma RNN com memória explícita de endereçamento esparso para aumentar a capacidade de estado mantendo constante o compute por token.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Memory Attention propõe memória de tokens para calcular valores
Em post publicado em 25 de setembro de 2026, Memory Attention combina memória de tokens específica por camada e keys contextuais para formar os valores da atenção, com possível redução do KV cache e offloading para CPU.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
MiniCPM-SALA combina atenção esparsa e linear para contextos longos
Um paper apresenta uma arquitetura híbrida de 9 bilhões de parâmetros e relata bons resultados em benchmarks de contexto longo, com inferência escalável até 1 milhão de tokens.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Mixture-of-Depths ajusta o compute por token em Transformers
Artigo de 22 de setembro de 2026 apresenta um método que distribui o compute entre posições da sequência e limita a participação de tokens em cada camada.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Native Hybrid Attention e o equilíbrio em contextos longos
Artigo publicado em 5 de outubro de 2026 apresenta Native Hybrid Attention, uma abordagem voltada ao equilíbrio entre velocidade em contextos longos e retenção de detalhes. Empresas podem avaliar a proposta com benchmarks ligados às suas tarefas.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias ieeexplore.ieee.org
PolaFormer++ propõe features com polaridade para atenção linear
O paper de 26 de setembro de 2026 apresenta um critério teórico para a concentração de mapas de features e avalia atenção linear em seis famílias de tarefas visuais.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Programas executáveis para estudar attention heads em Transformers
Artigo publicado em 29 de junho de 2026 propõe aproximar componentes de redes profundas com programas executáveis, aplicando o método a attention heads de modelos de linguagem Transformer.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
PTXBench mede desempenho de kernels de GPU gerados por IA
Publicado em 29 de setembro de 2026, o PTXBench avalia kernels de multiplicação de matrizes e attention em PTX para GPUs H100 e B200, medindo correção, velocidade e execução das instruções solicitadas.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Quiet-STaR: modelos treinados para raciocinar antes de responder
Paper publicado em 22 de setembro de 2026 descreve uma abordagem para treinar modelos de linguagem a gerar raciocínio interno antes da resposta visível, partindo da ideia de que textos contêm raciocínio implícito.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Rastrear dados de treino até os circuitos de LLMs
Publicado em 7 de julho de 2026, o paper apresenta um método para relacionar amostras de treino a unidades interpretáveis de modelos de linguagem e examina seus efeitos sobre attention heads e aprendizado em contexto.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias proceedings.iclr.cc
RESA: recuperar contexto com sparse attention
O paper RESA, publicado em 29 de setembro de 2026, propõe usar estimativa residual para recuperar contexto ignorado pela sparse attention, sem custo computacional adicional, segundo o próprio paper.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
RetNet propõe recorrência como alternativa à atenção
Publicado em 24 de setembro de 2026, o paper sobre Retentive Network apresenta uma arquitetura de modelos de linguagem que combina treinamento paralelo e inferência recorrente.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
RWKV une treinamento paralelo e inferência recorrente
Artigo publicado em 20 de setembro de 2026 descreve uma arquitetura que combina treinamento paralelo no estilo Transformer e inferência recorrente no estilo RNN, com memória e computação de escala linear em relação ao comprimento da sequência.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Softmax Linear Attention busca seleção mais relevante com custo linear
Publicado em 16 de setembro de 2026, o artigo propõe aplicar softmax no nível das heads para recuperar a competição global na linear attention, mantendo a complexidade linear.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Teoria do deep learning para analisar o comportamento de modelos
Livro publicado em 24 de junho de 2026 apresenta uma estrutura teórica para relacionar arquitetura e treinamento de redes neurais profundas às saídas dos modelos.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias web.stanford.edu
Transformer: da atenção à implementação
O capítulo 8 de Speech and Language Processing percorre os componentes do Transformer, da intuição à formulação matricial, e oferece uma base para avaliar como essa arquitetura se relaciona a aplicações empresariais.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Transformers: atenção e custos computacionais
Artigo publicado em 2 de agosto de 2026 explica componentes matemáticos dos Transformers e aborda técnicas para reduzir custos de processamento e memória na attention.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Transformers com loop: profundidade sem mais parâmetros
Artigo datado de 17 de julho de 2026 analisa como Transformers com loop reutilizam blocos para aumentar a profundidade desenrolada e como o compartilhamento de parâmetros afeta o escalonamento residual.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Transformers com loops: menos redundância, menor custo
Artigo publicado em 26 de setembro de 2026 identifica três tipos de redundância computacional entre loops em Transformers com loops. Os autores relatam redução de 1,65× na latência e de 6× no uso de memória.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Transformers recorrentes como computadores programáveis
Artigo datado de 17 de setembro de 2026 descreve camadas Transformer recorrentes que emulam operações básicas de computação, como desvios condicionais e contadores de programa.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Transformers recorrentes em blocos prometem escala linear
Artigo publicado em 17 de setembro de 2026 apresenta uma arquitetura Transformer recorrente em blocos, com complexidade linear no comprimento da sequência.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Tucker Attention reúne variantes de atenção sob fatorações de baixo posto
Publicado em 16 de setembro de 2026, o artigo apresenta Tucker Attention como uma abordagem de fatoração tensorial que enquadra MHA, GQA e MLA como métodos de atenção aproximada especializados.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Universal Transformers reutilizam uma camada recorrentemente
Post datado de 17 de setembro de 2026 descreve uma arquitetura que aplica repetidamente a mesma camada Transformer, em vez de empilhar camadas distintas, e aborda computação sequencial e paralela em modelos de sequência.

Vamos avaliar seu projeto

Respondo com escopo e proposta.