Notícias de IA e infraestrutura

Pesquisa77

Atenção e arquitetura de modelos

Atenção e arquitetura de modelos Pesquisa
08/10/26há 17 dias arxiv.org
Atenção esparsa em transformers após o pós-treinamento
Um paper publicado em 8 de dezembro de 2025 relata que regularização com perda restringida manteve a perda de pré-treinamento de modelos de até 7 bilhões de parâmetros usando cerca de 0,4% das conexões de atenção.
Atenção e arquitetura de modelos Pesquisa
08/10/26há 17 dias arxiv.org
Atenção exclusiva: uma alternativa para modelos de linguagem
Artigo publicado em 12 de março de 2026 apresenta uma variante de atenção que supera a atenção padrão em modelos de até 2,7 bilhões de parâmetros, segundo os resultados relatados.
Atenção e arquitetura de modelos Pesquisa
08/10/26há 17 dias arxiv.org
BEAVER propõe limites probabilísticos para a segurança de LLMs
Publicado em 10 de dezembro de 2025, o paper apresenta um framework para calcular limites determinísticos de probabilidade de um LLM satisfazer uma propriedade de segurança, em contraste com estimativas por amostragem.
Atenção e arquitetura de modelos Pesquisa
08/10/26há 17 dias arxiv.org
CliffordNet testa álgebra de Clifford em redes neurais
Post de 20 de abril de 2026 descreve uma arquitetura que usa produto geométrico, sem attention ou mixer, e relata 77,82% de acurácia no CIFAR-100 com 1,4 milhão de parâmetros.
Atenção e arquitetura de modelos Pesquisa
08/10/26há 17 dias arxiv.org
Como validar perguntas sobre knowledge graphs
Post publicado em 10 de dezembro de 2025 descreve o SEAL, um framework que extrai o núcleo mínimo de uma pergunta e usa um agente para validá-lo no banco de dados.
Atenção e arquitetura de modelos Pesquisa
08/10/26há 17 dias arxiv.org
Compactação de KV cache pode reduzir memória em até 50×
Uma publicação datada de 12 de junho de 2026 descreve um método de compactação de KV cache por Attention Matching, com reduções de até 50× em alguns conjuntos de dados e perda mínima de qualidade.
Atenção e arquitetura de modelos Pesquisa
08/10/26há 17 dias arxiv.org
DeepCrossAttention combina camadas do Transformer conforme a entrada
Descrição publicada em 16 de março de 2026 apresenta o DeepCrossAttention, que usa pesos aprendíveis e dependentes da entrada para combinar saídas de camadas do Transformer.
Atenção e arquitetura de modelos Pesquisa
08/10/26há 17 dias arxiv.org
GAT pondera a importância dos vizinhos em grafos
O paper da ICLR de 2018 apresenta redes que atribuem pesos aos vizinhos conectados. A publicação de 12 de fevereiro de 2026 destaca a abordagem como alternativa a comparar em tarefas com dados em grafo.
Atenção e arquitetura de modelos Pesquisa
08/10/26há 17 dias arxiv.org
HybridGen propõe atenção híbrida para contexto longo
Paper publicado em 21 de abril de 2026 apresenta o HybridGen, framework que coordena atenção entre CPU e GPU com memória CXL para inferência de modelos de linguagem com contexto longo.
Atenção e arquitetura de modelos Pesquisa
08/10/26há 17 dias arxiv.org
Instabilidade em Flash Attention de baixa precisão
Publicado em 15 de março de 2026, o paper analisa explosões catastróficas da loss no treinamento de baixa precisão com Flash Attention e as relaciona a padrões internos semelhantes nos dados de attention e a erros de arredondamento enviesados que se acumulam.
Atenção e arquitetura de modelos Pesquisa
08/10/26há 17 dias arxiv.org
Interleaved Head Attention propõe comunicação entre heads
Em post publicado em 11 de abril de 2026, a Interleaved Head Attention explora a comunicação entre attention heads dentro de uma camada, com foco em raciocínio.
Atenção e arquitetura de modelos Pesquisa
08/10/26há 17 dias arxiv.org
KArAt propõe uma atenção learnable sem softmax fixo
Publicado em 27 de outubro de 2025, o paper apresenta a KArAt, uma alternativa learnable à atenção com softmax. Relata resultados mistos em vision transformers e variantes low-rank para reduzir o uso de memória.
Atenção e arquitetura de modelos Pesquisa
08/10/26há 17 dias arxiv.org
Kascade reduz o cálculo de atenção em contextos longos
Publicado em 18 de fevereiro de 2026, o artigo descreve uma técnica que reutiliza resultados de atenção entre camadas Transformer para reduzir trabalho durante a inferência, sem retreinar o modelo ou alterar seus pesos.
Atenção e arquitetura de modelos Pesquisa
08/10/26há 17 dias arxiv.org
Mamba-3 propõe estado fixo para modelar sequências
Publicado em 7 de maio de 2026, o post descreve uma arquitetura de linguagem não Transformer que comprime o contexto em um estado de tamanho fixo e afirma ter decodificação de tempo constante em relação ao comprimento da sequência.
Atenção e arquitetura de modelos Pesquisa
08/10/26há 17 dias arxiv.org
MoDA conecta a atenção entre camadas em LLMs
Publicado em 19 de abril de 2026, o paper apresenta o MoDA, mecanismo que combina pares key-value da camada atual com informações de camadas anteriores.
Atenção e arquitetura de modelos Pesquisa
08/10/26há 17 dias arxiv.org
Modelos de difusão mascarada e a ordem dos tokens
Um artigo do ICML 2025 analisa por que modelos de difusão mascarada têm desempenho inferior em benchmarks de geração e aponta desafios no treinamento com subconjuntos de tokens.
Atenção e arquitetura de modelos Pesquisa
08/10/26há 17 dias arxiv.org
Tensor Product Attention propõe reduzir a memória do cache KV
Publicado em 27 de outubro de 2025, o artigo apresenta uma técnica de atenção com componentes contextuais de baixo rank para reduzir o consumo de memória do cache KV durante a inferência.
Atenção e arquitetura de modelos Pesquisa
08/10/26há 17 dias arxiv.org
Atenção comprimida para reduzir custos em modelos de contexto longo
Publicado em 7 de outubro de 2025, o artigo apresenta uma abordagem que comprime queries, keys e values para executar atenção em um espaço latente menor, com foco em custos de computação e KV-cache.
Atenção e arquitetura de modelos Pesquisa
08/10/26há 17 dias arxiv.org
Continuous Thought Machines exploram dinâmica entre neurônios
Publicado em 6 de outubro de 2025, o artigo apresenta um modelo que usa processamento e sincronização em nível de neurônio como representações centrais, inspirado na dinâmica neural biológica.
Atenção e arquitetura de modelos Pesquisa
08/10/26há 17 dias arxiv.org
Gradiente descendente visto como atenção a exemplos
Artigo publicado em 6 de fevereiro de 2023 interpreta camadas lineares treinadas por gradiente como memórias de exemplos e descreve previsões como atenção não normalizada sobre a experiência de treino.
Atenção e arquitetura de modelos Pesquisa
08/10/26há 17 dias arxiv.org
MoE-CL propõe adaptação contínua de LLMs
Publicado em 6 de outubro de 2025, o paper apresenta um método de ajuste contínuo com experts LoRA e relata avaliações nos benchmarks MTL5 e Tencent3, além de um teste A/B.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Atenção em Transformers de contexto longo
Publicado em 15 de setembro de 2026, o artigo analisa o colapso de posto da atenção à medida que o contexto cresce e estuda o reescalonamento de scores por um fator polilogarítmico.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Atenção esparsa nativamente treinável para contextos longos
Artigo publicado em 26 de setembro de 2026 apresenta a NSA, uma abordagem de atenção esparsa que combina inovações algorítmicas e otimizações de hardware para modelar contextos longos com mais eficiência.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Attention sinks e reescala em transformers
Artigo publicado em 5 de outubro de 2026 analisa attention sinks e residual sinks em grandes modelos de linguagem e propõe como esses outliers, a atenção softmax e RMSNorm reescalam outros componentes.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Camadas esparsas e looping na escala de modelos de linguagem
Artigo publicado em 26 de setembro de 2026 compara Transformers padrão e Mixture-of-Experts, com e sem looping, e aponta vantagem de escala para modelos Looped-MoE.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Como avaliar atenção eficiente em modelos híbridos
Publicado em 16 de junho de 2026, o artigo analisa atenção de janela deslizante e mixers recorrentes em modelos de linguagem híbridos, com foco em escalabilidade, mecanismos e decisões de arquitetura.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Como avaliar gargalos na inferência autorregressiva
Um paper da ICLR 2026 aborda um gargalo na decodificação de modelos probabilísticos Transformer. Empresas podem medir o desempenho da inferência e identificar oportunidades de otimização.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Como LLMs representam somas e erros aritméticos
Artigo publicado em 28 de junho de 2026 analisa representações internas durante somas com vários operandos e propõe um modelo geométrico para explicar erros aritméticos.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Como reduzir custo e latência em aplicações com LLMs
Artigo de 10 de julho de 2026 explora alternativas a cadeias longas de raciocínio para equilibrar precisão, contexto, custo computacional e latência.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Como testar consultas de n-gramas em modelos de linguagem
Uma publicação técnica datada de 25 de agosto de 2026 descreve o Engram, módulo que recupera embeddings de n-gramas e pode transferir sua tabela de consulta para a CPU com pouca lentidão na inferência.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Compartilhamento de projeções QKV em Transformers
Artigo publicado em 2 de julho de 2026 avalia variantes que compartilham projeções de atenção e relata que igualar key e value foi excessivo para os LLMs ternários pequenos do autor.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
CTM-AI explora uma arquitetura de IA inspirada em consciência
Publicado em 25 de agosto de 2026, o artigo apresenta o projeto inicial CTM-AI, que aplica a Conscious Turing Machine à arquitetura de IA, sem relatar resultados de benchmarks.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Depth-wise batching em modelos recorrentes: como avaliar
Um post publicado em 2 de setembro de 2026 descreve como sobrepor requisições em diferentes profundidades recorrentes pode melhorar a utilização de modelos com computação adaptativa.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
DepthBench propõe avaliar a profundidade computacional em Transformers
Apresentado em 29 de setembro de 2026, o DepthBench compara métodos de fluxo de informação e examina se eles ajudam Transformers mais profundos a aproveitar suas camadas de forma eficaz.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Destilação de Transformers para modelos Mamba
Paper de 29 de setembro de 2026 estuda a transferência de conhecimento de Transformers pré-treinados para modelos de espaço de estados, como o Mamba.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Filtragem de contexto na atenção para hardware limitado
Artigo da SAS, publicado em 16 de setembro de 2026, descreve um seletor treinado de ponta a ponta dentro do Softmax para filtrar contexto em mecanismos de atenção voltados a hardware com recursos computacionais limitados.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
FlashAttention-3: otimização de attention em GPUs Hopper
O artigo, publicado em 24 de setembro de 2026, apresenta técnicas de execução assíncrona e baixa precisão para acelerar attention em GPUs Hopper, com foco em tráfego de memória e uso do hardware.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
FlowTracer rastreia tokens influentes no raciocínio de LLMs
Publicado em 4 de julho de 2026, o artigo apresenta um método que usa atenção para rastrear a propagação de informação e direcionar a atribuição de crédito no treinamento por reforço.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Gated Linear Attention: atenção linear com gates
Publicado em 20 de setembro de 2026, o artigo apresenta uma formulação de transformer com atenção linear e gates dependentes dos dados, expressável também como uma RNN com estados ocultos matriciais.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
GOAT propõe priors treináveis para a attention
Publicado em 3 de outubro de 2026, o paper interpreta a attention padrão como um problema de transporte ótimo entrópico com prior uniforme implícito e apresenta o GOAT, com prior contínuo e treinável.

Vamos avaliar seu projeto

Respondo com escopo e proposta.