Notícias de IA e infraestrutura
Filtrar por tipo: Publicação49
Interpretabilidade automatizada para heads de atenção
Paper publicado em 29 de junho de 2026 descreve uma técnica que explica heads de atenção com programas Python. Substituir cerca de 40% dos padrões de atenção no Llama-3B por saídas desses programas quase não afetou o desempenho nas tarefas avaliadas.
Memory Attention: reutilizar keys em V=K+M
Publicação de 27 de setembro de 2026 relata resultados preliminares de ablação que apontam V=K+M como uma escolha arquitetural eficaz; falta validar a abordagem em escalas maiores.
Modelos de fluxo refinam raciocínio em etapas
Paper datado de 17 de setembro de 2026 transforma um modelo de fluxo em modelo recorrente: previsões são realimentadas para refinamento iterativo, com uma função de perda local em cada etapa e sem retropropagação ao longo do tempo.
NextLat explora previsão do próximo estado latente
Publicação de 16 de junho de 2026 descreve um método de treinamento para transformers e afirma que ele pode viabilizar modelos compactos e inferência até 3,3 vezes mais rápida.
Post aponta designs eficientes em modelos chineses de fronteira
Publicado em 26 de agosto de 2026, o post afirma que modelos chineses de fronteira adotam atenção linear ou esparsa, designs especializados de conexões residuais e Muon. Também apresenta colaboração open source como estratégia para eficiência.
Programas sintetizados podem substituir parte dos attention heads
Post de 1º de julho de 2026 descreve programas Python sintetizados a partir de mapas de atenção, com 69–79% de mean IoU e pouca queda em QA ao substituir até 30–40% dos heads.
Retenção de tokens pode reduzir a dependência do KV cache
Uma publicação datada de 13 de setembro de 2026 afirma que manter quatro tokens iniciais e uma janela de 64 tokens, sem treinamento, iguala ou supera modelos de atenção linear destilados em quase todos os benchmarks.
Safety tuning pode afetar atribuições de mente em modelos
Estudo relata que ajustes para impedir afirmações de consciência também reduzem a atribuição de mente a outras entidades em três modelos, e que intervenções mecanísticas restauram essas tendências.
SwiLA propõe alternar entre mapas lineares de atenção
Paper apresentado como trabalho da COLM 2026 e datado de 5 de outubro de 2026, descreve uma abordagem que alterna entre múltiplos mapas lineares e destaca o trade-off entre expressividade e memória.
Vamos avaliar seu projeto
Respondo com escopo e proposta.