Notícias de IA e infraestrutura
Filtrar por tipo: Pesquisa273
Memória esparsa amplia o estado de RNNs sem elevar o compute por token
Publicado em 11 de julho de 2026, o post descreve a Sparse Delta Memory, que combina uma RNN com memória explícita de endereçamento esparso para aumentar a capacidade de estado mantendo constante o compute por token.
- há 18 dias
arxiv.orgMemória proativa para agentes de horizonte longo
Um paper descreve um agente de memória separado que mantém registros estruturados e decide quando apresentar lembretes ao agente de ação. A abordagem foi avaliada no Terminal-Bench 2.0 e no tau-squared-Bench.
- há 18 dias arxiv.org
Memória recorrente para agentes de contexto longo
Paper publicado em 29 de setembro de 2026 identifica a retenção como gargalo em agentes com memória recorrente e apresenta uma abordagem sem treinamento que seleciona um memory head e preserva os demais.
Memory Attention propõe memória de tokens para calcular valores
Em post publicado em 25 de setembro de 2026, Memory Attention combina memória de tokens específica por camada e keys contextuais para formar os valores da atenção, com possível redução do KV cache e offloading para CPU.
MiniCPM-SALA combina atenção esparsa e linear para contextos longos
Um paper apresenta uma arquitetura híbrida de 9 bilhões de parâmetros e relata bons resultados em benchmarks de contexto longo, com inferência escalável até 1 milhão de tokens.
Mixture-of-Depths ajusta o compute por token em Transformers
Artigo de 22 de setembro de 2026 apresenta um método que distribui o compute entre posições da sequência e limita a participação de tokens em cada camada.
- há 18 dias arxiv.org
Modelos byte e token: resultados de escala até 1 trilhão de bytes
Paper publicado em 14 de setembro de 2026 compara modelos byte e token destilados e relata um teto de desempenho maior para modelos byte conforme cresce o compute.
- há 18 dias arxiv.org
Mol-JEPA explora dados multimodais para modelos moleculares
Post publicado em 25 de agosto de 2026 relata que o Mol-JEPA aprende com estruturas moleculares, fenótipos celulares e afinidades de ligação, com ganhos fora da distribuição em pequenos conjuntos de dados de ADME.
NapMem propõe navegação ativa pela memória conversacional
Artigo publicado em 8 de julho de 2026 apresenta o NapMem, framework que organiza o histórico do usuário em uma pirâmide de memória vinculada e com múltiplas granularidades.
Native Hybrid Attention e o equilíbrio em contextos longos
Artigo publicado em 5 de outubro de 2026 apresenta Native Hybrid Attention, uma abordagem voltada ao equilíbrio entre velocidade em contextos longos e retenção de detalhes. Empresas podem avaliar a proposta com benchmarks ligados às suas tarefas.
- há 18 dias huggingface.co
NatureBench avalia agentes de programação em pesquisa
Publicado em 24 de junho de 2026, o post descreve um benchmark com 90 tarefas baseadas em artigos da família Nature. O melhor agente superou o resultado publicado de referência em 17,8% das tarefas.
Negativos difíceis para retrieval two-tower
Paper publicado em 2 de julho de 2026 propõe usar clusters de itens derivados de LLM para gerar, em tempo real, negativos difíceis em modelos two-tower de recomendação.
- há 18 dias arxiv.org
NOVA aplica agents verificados a sistemas de recomendação
Descrição publicada em 26 de junho de 2026 apresenta um harness de agents para evoluir arquiteturas de recomendação, respeitando restrições de domínio, interface, recursos e serving.
- há 18 dias huggingface.co
onPanda permite anotar tokens e inspecionar modelos
Publicado em 22 de setembro de 2026, o repositório onPanda apresenta uma ferramenta open source para anotação de dados de LLMs e inspeção de modelos.
- há 18 dias huggingface.co
OPD com uma única consulta: o que o paper propõe
Datado de 29 de setembro de 2026, o paper testa destilação on-policy com uma única consulta em matemática, código, seguimento de instruções e uso de ferramentas por agentes.
- há 18 dias arxiv.org
ORPO reúne SFT e alinhamento de preferências em uma etapa
Publicado em 19 de setembro de 2026, o paper apresenta o ORPO, método que combina supervised fine-tuning e otimização de preferências sem um modelo de referência.
- há 18 dias arxiv.org
Orquestração de agentes pode reduzir custos e latência
Publicado em 13 de julho de 2026, o paper relata que mudanças na orquestração reduziram custos e latência, mantendo qualidade equivalente em 22 tarefas e seis modelos.
- há 18 dias arxiv.org
PACE prevê desempenho de agentes com poucas tarefas
Post de 6 de julho de 2026 apresenta um método para estimar resultados de agentes com um conjunto pequeno de tarefas e custo menor que o de uma avaliação completa.
- há 18 dias arxiv.org
PagedAttention e a gestão do KV cache em LLM serving
Artigo publicado em 24 de setembro de 2026 apresenta o PagedAttention, uma abordagem inspirada em memória virtual para reduzir fragmentação e duplicação do KV cache, fatores que podem limitar o tamanho do batch.
- há 18 dias arxiv.org
Paper aponta ganho ao redistribuir capacidade entre camadas
Pesquisa sobre modelos de linguagem relata que uma alocação cossenoidal de capacidade melhorou a perplexidade sem ampliar parâmetros ou FLOPs.
- há 18 dias arxiv.org
Paper avalia feedback de LLM-as-a-Judge no treinamento
Publicado em 19 de setembro de 2026, o paper estuda o uso do próprio modelo de linguagem para gerar feedback durante o treinamento e compara a abordagem a modelos de recompensa congelados, treinados com preferências humanas.
- há 18 dias arxiv.org
Phoenix-VAD: detectar o fim da fala em diálogos por voz
Artigo publicado em 4 de setembro de 2026 apresenta um modelo baseado em LLM para detectar semanticamente o fim da fala em interações de voz full-duplex em streaming, usando treinamento com janela deslizante.
PolaFormer++ propõe features com polaridade para atenção linear
O paper de 26 de setembro de 2026 apresenta um critério teórico para a concentração de mapas de features e avalia atenção linear em seis famílias de tarefas visuais.
- há 18 dias arxiv.org
Positional encodings: como comparar alternativas ao RoPE
Estudo publicado em 29 de setembro de 2026 examina o viés do RoPE por tokens próximos e alternativas avaliadas em diferentes configurações.
- há 18 dias kawine.github.io
Post-training e adaptação de modelos no mundo real
Slides de uma palestra introdutória, publicados em 21 de agosto de 2026, apresentam métodos de post-training e questões de adaptação para agentes em ambientes mutáveis.
- há 18 dias arxiv.org
PPO e GRPO: escolhas para treinamento de longo horizonte
Um post publicado em 21 de junho de 2026 discute limites de infraestrutura e de redução de variância do GRPO em sequências longas, em comparação com o PPO.
Programas executáveis para estudar attention heads em Transformers
Artigo publicado em 29 de junho de 2026 propõe aproximar componentes de redes profundas com programas executáveis, aplicando o método a attention heads de modelos de linguagem Transformer.
- há 18 dias arxiv.org
Pruning ou treino do zero para LLMs pequenos?
Paper compara seis métodos de pruning do Llama-3.1-8B com treino do zero em dois cenários de orçamento de tokens; a vantagem depende de como o orçamento é contabilizado.
PTXBench mede desempenho de kernels de GPU gerados por IA
Publicado em 29 de setembro de 2026, o PTXBench avalia kernels de multiplicação de matrizes e attention em PTX para GPUs H100 e B200, medindo correção, velocidade e execução das instruções solicitadas.
- há 18 dias arxiv.org
QLoRA: fine-tuning de modelo de 65 bilhões em GPU de 48 GB
Paper sobre QLoRA, datado de 20 de setembro de 2026, relata fine-tuning de um modelo de 65 bilhões de parâmetros em uma única GPU de 48 GB, com desempenho preservado em tarefas de ajuste em 16 bits.
Quiet-STaR: modelos treinados para raciocinar antes de responder
Paper publicado em 22 de setembro de 2026 descreve uma abordagem para treinar modelos de linguagem a gerar raciocínio interno antes da resposta visível, partindo da ideia de que textos contêm raciocínio implícito.
- há 18 dias arxiv.org
Raciocínio verificado sem atualizar os pesos do modelo
Post publicado em 23 de junho de 2026 propõe manter um modelo de linguagem congelado e recuperar raciocínios verificados de um conjunto externo, com verificação lógica como desafio central.
RAG em produção: como avaliar melhorias no retrieval
Paper publicado em 30 de junho de 2026 avalia estratégias de retrieval em RAG e se seus benefícios se mantêm em coleções com formatos variados.
Rastrear dados de treino até os circuitos de LLMs
Publicado em 7 de julho de 2026, o paper apresenta um método para relacionar amostras de treino a unidades interpretáveis de modelos de linguagem e examina seus efeitos sobre attention heads e aprendizado em contexto.
- há 18 dias arxiv.org
ReContext: melhor uso de evidências em contextos longos
Publicado em 6 de julho de 2026, o paper ReContext relata ganhos no uso de evidências em oito datasets de 128K, com três backbones de modelos e sem treinamento.
- há 18 dias arxiv.org
Red Queen Gödel Machine coevolui agentes e avaliadores
Paper de 29 de junho de 2026 descreve um método que evolui agentes e avaliadores, com avaliadores fixos por época e substituição condicionada a desempenho superior em ground truth reservado.
- há 18 dias arxiv.org
Rejection sampling no alinhamento on-policy de LLMs
Paper de 7 de julho de 2026 propõe usar rejection sampling para tratar tokens aceitos de dados off-policy como on-policy e lidar com a variância de razões de importance sampling acumuladas por token.
RESA: recuperar contexto com sparse attention
O paper RESA, publicado em 29 de setembro de 2026, propõe usar estimativa residual para recuperar contexto ignorado pela sparse attention, sem custo computacional adicional, segundo o próprio paper.
- há 18 dias arxiv.org
ResidencyRL explora treino clínico em consultas simuladas
Publicado em 10 de agosto de 2026, o artigo descreve o uso de reinforcement learning em ambientes clínicos simulados para treinar raciocínio além de benchmarks médicos estáticos.
RetNet propõe recorrência como alternativa à atenção
Publicado em 24 de setembro de 2026, o paper sobre Retentive Network apresenta uma arquitetura de modelos de linguagem que combina treinamento paralelo e inferência recorrente.
Vamos avaliar seu projeto
Respondo com escopo e proposta.