Notícias de IA e infraestrutura

Todos169

Atenção e arquitetura de modelos

Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Transformers: atenção e custos computacionais
Artigo publicado em 2 de agosto de 2026 explica componentes matemáticos dos Transformers e aborda técnicas para reduzir custos de processamento e memória na attention.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Transformers com loop: profundidade sem mais parâmetros
Artigo datado de 17 de julho de 2026 analisa como Transformers com loop reutilizam blocos para aumentar a profundidade desenrolada e como o compartilhamento de parâmetros afeta o escalonamento residual.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Transformers com loops: menos redundância, menor custo
Artigo publicado em 26 de setembro de 2026 identifica três tipos de redundância computacional entre loops em Transformers com loops. Os autores relatam redução de 1,65× na latência e de 6× no uso de memória.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Transformers recorrentes como computadores programáveis
Artigo datado de 17 de setembro de 2026 descreve camadas Transformer recorrentes que emulam operações básicas de computação, como desvios condicionais e contadores de programa.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Transformers recorrentes em blocos prometem escala linear
Artigo publicado em 17 de setembro de 2026 apresenta uma arquitetura Transformer recorrente em blocos, com complexidade linear no comprimento da sequência.
Atenção e arquitetura de modelos Artigo
07/10/26há 18 dias arxivb.org
Treinamento recorrente melhora resultados em testes de raciocínio
Um post publicado em 16 de setembro de 2026 relata que objetivos locais de denoising elevaram o desempenho de modelos recorrentes em seis benchmarks, com 58,8% de acurácia no ARC-AGI-1.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Tucker Attention reúne variantes de atenção sob fatorações de baixo posto
Publicado em 16 de setembro de 2026, o artigo apresenta Tucker Attention como uma abordagem de fatoração tensorial que enquadra MHA, GQA e MLA como métodos de atenção aproximada especializados.
Atenção e arquitetura de modelos Artigo
07/10/26há 18 dias alphaxiv.org
TWT reduz o compute de Vision Transformers
Publicado em 26 de setembro de 2026, o post descreve o Transformer-Within-Transformer, que substitui grupos de camadas semelhantes. No DINOv2, relata cerca de metade do compute, com pequena queda de acurácia.
Atenção e arquitetura de modelos Pesquisa
07/10/26há 18 dias arxiv.org
Universal Transformers reutilizam uma camada recorrentemente
Post datado de 17 de setembro de 2026 descreve uma arquitetura que aplica repetidamente a mesma camada Transformer, em vez de empilhar camadas distintas, e aborda computação sequencial e paralela em modelos de sequência.

Vamos avaliar seu projeto

Respondo com escopo e proposta.