Notícias de IA e infraestrutura
Filtrar por tipo: Pesquisa273
Retrieval in-context: estudo avalia escala de um milhão de tokens
Paper publicado em 6 de julho de 2026 analisa modelos de linguagem como retrievers em corpora de um milhão de tokens. O BlockSearch, com 0,6 bilhão de parâmetros, generaliza até 10 vezes além do comprimento de treinamento, segundo o estudo.
- há 18 dias
arxiv.orgRLSD ajusta atualizações de RLVR por token
Paper publicado em 11 de julho de 2026 apresenta um método de treinamento que combina recompensas do ambiente e self-distillation. Em cinco benchmarks de raciocínio multimodal, relata maior acurácia média que o modelo base e o GRPO.
- há 18 dias arxiv.org
RoLA propõe atenção linear de baixo rank para Diffusion Transformers
Publicado em 15 de setembro de 2026, o paper apresenta RoLA, um método que combina atenção linear de baixo rank e posição rotativa para enfrentar gargalos de escalonamento em Diffusion Transformers.
RWKV une treinamento paralelo e inferência recorrente
Artigo publicado em 20 de setembro de 2026 descreve uma arquitetura que combina treinamento paralelo no estilo Transformer e inferência recorrente no estilo RNN, com memória e computação de escala linear em relação ao comprimento da sequência.
- há 18 dias arxiv.org
Sandboxes elásticos para treinar e avaliar agentes
Publicado em 23 de setembro de 2026, o artigo descreve ambientes de execução com estado e criação elástica para treinamento e avaliação de agentes em larga escala, além de defesas contra agentes que exploram ambientes de treinamento.
SearchEyes conecta mundos simulados ao treino de agentes
O artigo sobre SearchEyes descreve um mundo de busca simulado baseado em grafo de conhecimento tipado para treinar agentes multimodais. Publicado em 8 de julho de 2026, aborda a desconexão entre dados, ambientes de busca e sinais de recompensa no raciocínio multi-hop.
- há 18 dias arxiv.org
Self-Distillation On-Policy para raciocínio em LLMs
Paper datado de 28 de setembro de 2026 descreve um método de treinamento que combina trajetórias geradas pelo student com supervisão densa de um teacher em cada token.
- há 18 dias arxiv.org
Serving de LLM: cache e balanceamento após um ano em produção
Paper publicado em 21 de agosto de 2026 analisa um ano de tráfego de LLM em produção e examina reutilização de prefixos, localidade do cache KV e balanceamento de carga.
- há 18 dias arxiv.org
SFT em LLMs: como acompanhar efeitos e decidir quando parar
Um artigo publicado em 15 de junho de 2026 analisa por que o ajuste supervisionado pode beneficiar modelos menores, mas produzir efeitos inconsistentes ou prejudiciais em LLMs.
SHIFT propõe gates para conflitos de conhecimento em RAG
Publicado em 29 de junho de 2026, o artigo apresenta uma intervenção nas ativações de redes FFN para equilibrar evidências recuperadas e conhecimento interno do modelo.
Softmax Linear Attention busca seleção mais relevante com custo linear
Publicado em 16 de setembro de 2026, o artigo propõe aplicar softmax no nível das heads para recuperar a competição global na linear attention, mantendo a complexidade linear.
- há 18 dias arxiv.org
Speculative decoding pode reduzir etapas na inferência
Um artigo datado de 20 de setembro de 2026 descreve uma técnica que combina propostas de um modelo eficiente com verificação paralela por um modelo maior para acelerar a geração sem alterar a distribuição de saída.
STEB compara embeddings de estilo em 96 conjuntos de dados
Publicado em 1º de julho de 2026, o post apresenta um benchmark open source que avalia embeddings de estilo em 96 conjuntos de dados e sete idiomas.
- há 18 dias arxiv.org
StreamDQ leva desquantização de LLMs para a memória HBM
Paper publicado em 13 de julho de 2026 apresenta uma arquitetura que desquantiza pesos de LLMs em tempo real no die base da HBM, preservando a semântica convencional de load da GPU.
- há 18 dias arxiv.org
SVD-LLM propõe compressão de modelos com ajuste após truncamento
O artigo, publicado em 26 de setembro de 2026, apresenta um método de compressão de LLMs com SVD que atualiza os pesos comprimidos após o truncamento de valores singulares.
- há 18 dias arxiv.org
Switch Attention alterna atenção full e windowed
Paper datado de 16 de setembro de 2026 apresenta uma abordagem dinâmica e granular para combinar atenção full e sliding window em transformers híbridos.
- há 18 dias arxiv.org
TAPA propõe atenção de fase sensível a tokens para contextos longos
Publicado em 26 de junho de 2026, o paper apresenta o Token-Aware Phase Attention (TAPA), um método de positional encoding com função de fase treinável, e o compara ao RoPE em contextos longos.
Teoria do deep learning para analisar o comportamento de modelos
Livro publicado em 24 de junho de 2026 apresenta uma estrutura teórica para relacionar arquitetura e treinamento de redes neurais profundas às saídas dos modelos.
Transformer: da atenção à implementação
O capítulo 8 de Speech and Language Processing percorre os componentes do Transformer, da intuição à formulação matricial, e oferece uma base para avaliar como essa arquitetura se relaciona a aplicações empresariais.
Transformers: atenção e custos computacionais
Artigo publicado em 2 de agosto de 2026 explica componentes matemáticos dos Transformers e aborda técnicas para reduzir custos de processamento e memória na attention.
Transformers com loop: profundidade sem mais parâmetros
Artigo datado de 17 de julho de 2026 analisa como Transformers com loop reutilizam blocos para aumentar a profundidade desenrolada e como o compartilhamento de parâmetros afeta o escalonamento residual.
Transformers com loops: menos redundância, menor custo
Artigo publicado em 26 de setembro de 2026 identifica três tipos de redundância computacional entre loops em Transformers com loops. Os autores relatam redução de 1,65× na latência e de 6× no uso de memória.
Transformers recorrentes como computadores programáveis
Artigo datado de 17 de setembro de 2026 descreve camadas Transformer recorrentes que emulam operações básicas de computação, como desvios condicionais e contadores de programa.
Transformers recorrentes em blocos prometem escala linear
Artigo publicado em 17 de setembro de 2026 apresenta uma arquitetura Transformer recorrente em blocos, com complexidade linear no comprimento da sequência.
- há 18 dias arxiv.org
Três níveis de autonomia para recomendações com agentes
Um survey publicado em 7 de julho de 2026 propõe uma taxonomia de sistemas de recomendação com agentes baseados em LLM, organizada pelo nível de autonomia.
Trie pode acelerar experimentos de pipelines de recuperação
Artigo publicado em 2 de julho de 2026 apresenta um plano de execução com radix trie para PyTerrier, que reutiliza prefixos compartilhados e reduziu em até 26% o tempo dos experimentos relatados.
Tucker Attention reúne variantes de atenção sob fatorações de baixo posto
Publicado em 16 de setembro de 2026, o artigo apresenta Tucker Attention como uma abordagem de fatoração tensorial que enquadra MHA, GQA e MLA como métodos de atenção aproximada especializados.
- há 18 dias arxiv.org
Turn-PPO e treinamento de agentes em múltiplos turnos
Artigo publicado em 21 de junho de 2026 apresenta o Turn-PPO, método de estimativa de vantagem por turno para usar PPO no treinamento por reforço de LLMs agentic, e examina limitações do GRPO em tarefas de longo horizonte.
Universal Transformers reutilizam uma camada recorrentemente
Post datado de 17 de setembro de 2026 descreve uma arquitetura que aplica repetidamente a mesma camada Transformer, em vez de empilhar camadas distintas, e aborda computação sequencial e paralela em modelos de sequência.
- há 18 dias arxiv.org
VeriHarness verifica agentes em tarefas de longo prazo
Paper publicado em 4 de outubro de 2026 apresenta um método para verificar afirmações de agentes usando evidências do workspace, sem respostas de referência ou rubricas durante o teste.
- há 18 dias arxiv.org
Vocabulary Transfer para melhorar sparse retrieval
Paper de 2 de julho de 2026 atribui o desempenho inferior de encoders avançados em learned sparse retrieval a incompatibilidades entre vocabulários de tokenizers e propõe Vocabulary Transfer.
- há 18 dias github.com
WANDR: ambiente para avaliar busca agentic
Em post publicado em 14 de julho de 2026, a Perplexity afirma disponibilizar um ambiente de avaliação e aprendizado por reforço para busca agentic, sintetizado a partir de traces de produção com supervisão humana fraca.
- há 18 dias arxiv.org
WikiSkill: conhecimento persistente para skills de agentes
Descrição publicada em 28 de agosto de 2026: a WikiSkill separa traces de execução, uma wiki persistente e skills executáveis para reutilizar experiências entre iterações.
Vamos avaliar seu projeto
Respondo com escopo e proposta.