Notícias de IA e infraestrutura
Filtrar por tipo: Todos120
- há 18 dias
arxiv.orgVL-JEPA propõe outra forma de prever texto em tarefas visuais
Artigo publicado em 26 de dezembro de 2025 descreve o VL-JEPA, que prevê embeddings contínuos do texto-alvo e busca priorizar o significado da tarefa, reduzindo a sensibilidade a variações de formulação.
- há 18 dias x.com
The Stack v3 amplia dataset de código para 5 trilhões de tokens
Post publicado em 23 de julho de 2026 apresenta um dataset aberto com cerca de 5 trilhões de tokens de código deduplicado e filtrado, em 713 linguagens, excluindo código com licenças restritivas.
- há 18 dias x.com
ACE: contexto estruturado que evolui com feedback
Um post de 13 de outubro de 2025 descreve o Agentic Context Engineering, abordagem que acumula e refina contexto estruturado com feedback de desempenho como alternativa à reescrita iterativa de prompts.
- há 18 dias github.com
DeepSpeed Domino e o treinamento distribuído de LLMs
Post de 26 de novembro de 2024 descreve um mecanismo de paralelismo de tensores voltado a reduzir a sobrecarga de comunicação no treinamento de LLMs.
Detecção de elementos do basquete com visão computacional
Uma publicação de 24 de setembro de 2025 descreve o ajuste fino de um modelo de detecção para identificar jogadores, números, árbitros, bola e aro em partidas de basquete.
Otimização reflexiva de prompts com DSPy GEPA
Um cookbook publicado em 16 de outubro de 2025 apresenta otimização reflexiva de prompts com DSPy GEPA e relata ganho de 11% na precisão do NuminaMath-1.5 por menos de US$ 0,50 no total.
- há 18 dias arxiv.org
ESFT direciona o ajuste fino a experts relevantes em LLMs esparsos
Publicado em 5 de julho de 2024, o paper estuda ajuste fino eficiente em parâmetros para modelos Mixture-of-Experts e apresenta o ESFT, que treina experts selecionados por sua relevância para a tarefa.
- há 18 dias x.com
GEPA para detectar código malicioso gerado por IA
Publicação de 5 de outubro de 2025 relata que prompts encontrados com GEPA detectaram comportamento malicioso em código gerado por IA, bloqueando 90% das submissões maliciosas com 1% do orçamento de auditoria.
Post-training de LLMs: métodos e avaliação
Guia publicado em 12 de outubro de 2025 sobre adaptação de LLMs: de previsão de tokens a seguimento de instruções, com métodos de treino e avaliação.
- há 18 dias x.com
JEPA-SCORE estima densidade com encoders JEPA
Estudo publicado em 8 de outubro de 2025 apresenta uma forma de estimar probabilidades de amostras usando o Jacobiano do encoder, sem retreinamento.
- há 18 dias x.com
LoRA adapta um MLP com cerca de 9 mil parâmetros treináveis
Publicado em 30 de julho de 2024, o exemplo aplica LoRA a um MLP de 5 milhões de parâmetros para classificação e compara o desempenho com o adapter ativado e desativado.
- há 18 dias x.com
LoRA em fine-tuning de reinforcement learning
Post da Thinky Machines, publicado em 29 de setembro de 2025, descreve configurações de LoRA para fine-tuning em reinforcement learning e afirma que rank 1 pode igualar o desempenho do fine-tuning completo quando bem configurado.
- há 18 dias x.com
PEER recupera mais de um milhão de experts com product keys
A arquitetura PEER combina roteamento por product keys e experts MLP de um único neurônio para selecionar, de forma esparsa, os componentes usados em cada entrada.
- há 18 dias arxiv.org
RLPT usa dados de pré-treinamento para reforço
Publicado em 25 de setembro de 2025, o trabalho apresenta uma forma de aplicar aprendizado por reforço a dados de pré-treinamento, sem novas anotações humanas, e relata ganhos em benchmarks para o Qwen3-4B-Base.
- há 18 dias x.com
SWE-Swiss: receita de treinamento para engenharia de software
Em 12 de agosto de 2025, pesquisadores da Peking University, ByteDance Seed e HKU apresentaram uma receita de treinamento para tarefas de engenharia de software. O modelo SWE-Swiss-32B alcançou 60,2% no SWE-bench Verified, segundo os pesquisadores.
- há 18 dias x.com
Transferência de conhecimento entre modelos de IA
Um repositório publicado em 29 de julho de 2024 apresenta um notebook para ajustar um modelo menor com conhecimento de domínio gerado por um modelo maior.
- há 18 dias x.com
UserRL treina agentes com usuários simulados
Em post publicado em 8 de outubro de 2025, a Salesforce apresenta o UserRL, framework para treinar agentes com ambientes padronizados e usuários simulados.
- há 19 dias arxiv.org
Aprendizado contínuo: como avaliar modelos atualizados após o deployment
Uma publicação datada de 29 de setembro de 2026 descreve um modelo 7B atualizado com dados de mercados de previsão e avaliado em backtests contínuos por 390 dias.
- há 19 dias x.com
ARGUS diagnostica lentidão em treinamentos de grande escala
Paper publicado no arXiv em 19 de junho de 2026 descreve um sistema que combina dados de CPU, framework e GPU para investigar lentidão no treinamento, com overhead contínuo abaixo de 2%.
Classificação de documentos em larga escala com poucos exemplos
Post publicado em 10 de setembro de 2026 descreve um fluxo que rotulou 200 exemplos com um agente e classificou 191.724 documentos por cerca de US$ 0,70 em computação de inferência.
- há 19 dias arxiv.org
Como distribuir o reinforcement learning entre camadas de LLMs
Preprint publicado em 15 de julho de 2026, investiga como a adaptação por reinforcement learning se distribui entre camadas transformer durante o post-training de LLMs.
- há 19 dias arxiv.org
Como reduzir divergências entre treino e inferência em RL para LLMs
Um artigo publicado em 30 de junho de 2026 aborda probabilidades inconsistentes entre engines de treino e inferência e descreve TIS e rejeição de checkpoints quando as recompensas divergem.
- há 19 dias aleph-alpha.com
Como testar a escala de treinamento antes de ampliar GPUs
Em relatório publicado em 5 de outubro de 2026, a Aleph Alpha descreve a escala de um modelo MoE de 30B-A3B, de 16 para 512 GPUs B200, com escalabilidade quase linear e MFU de 35,3%.
- há 19 dias x.com
Como tornar treinamentos de modelos mais observáveis
Em 21 de agosto de 2026, uma publicação sobre Marin descreveu visualizações de dados e métricas de treinamento que podem apoiar a inspeção de modelos.
- há 19 dias arxiv.org
Compressão leve reduz vetores em sistemas ColBERT
Publicado em 8 de julho de 2026, o paper descreve um ajuste fino com consciência de pooling e k-means para reduzir vetores de tokens por documento em modelos ColBERT, sem perda de precisão segundo a publicação.
- há 19 dias github.com
datatrove 0.10.0 executa pipelines em jobs gerenciados
A versão 0.10.0 do datatrove adiciona execução de pipelines em jobs gerenciados, suporte a buckets de armazenamento como pastas de dados e preservação de saídas de reasoning em resultados de inference.
- há 19 dias arxiv.org
Destilação de LLMs black-box com GAD
Artigo datado de 13 de setembro de 2026 apresenta um método on-policy para destilar modelos usando apenas as respostas textuais de um teacher proprietário.
- há 19 dias x.com
Destilação on-policy combina modelos especialistas
Um post publicado em 6 de outubro de 2026 descreve MOPD, método que treina um modelo student com rollouts próprios e supervisão de especialistas por domínio.
- há 19 dias x.com
Destilação por token combina supervisão de professor e do próprio modelo
Um post de 8 de julho de 2026 descreve um paper sobre destilação on-policy dual, que escolhe dinamicamente a fonte de supervisão para cada token.
- há 19 dias x.com
Distilação de modelos: a direção do KL por token
Estudo sistemático publicado em 3 de outubro de 2026 relata que a direção da divergência KL por token pesa mais que a política de rollout na distilação on-policy e off-policy.
- há 19 dias x.com
Do REINFORCE ao GRPO: métodos de policy gradient para LLMs
Artigo publicado em 24 de setembro de 2026 apresenta uma progressão de métodos de policy gradient usados no treinamento de LLMs, de vanilla policy gradient e REINFORCE a PPO, GRPO e variantes.
- há 19 dias arxiv.org
EnvACE ensaia o mundo para treinar agentes
Publicado em 9 de agosto de 2026, o artigo descreve um método de reinforcement learning que substitui interações com ambientes externos por ensaios internos durante o treinamento de agentes.
- há 19 dias arxiv.org
Escala da taxa de aprendizado em LLMs pode ser não linear
Artigo publicado em 30 de junho de 2026 avalia taxas de aprendizado em modelos GPT-2 de 22 milhões a 707 milhões de parâmetros, treinados com 5 bilhões a 100 bilhões de tokens.
- há 19 dias x.com
Espectros de pesos podem sinalizar memorização em LLMs
Uma análise preliminar, publicada em 24 de setembro de 2026, encontrou uma relação entre o expoente α da matriz K de atenção e a memorização de rótulos aleatórios durante o treinamento de LLMs.
- há 19 dias x.com
GEPA adapta modelo com prompts e exemplos rotulados
Uma demonstração publicada em 19 de setembro de 2026 descreve o uso de prompts e exemplos rotulados para adaptar um modelo a critérios específicos de decisão.
- há 19 dias github.com
GuppyLM: experimento com um modelo de 9 milhões de parâmetros
Em post publicado em 19 de setembro de 2026, o autor descreve o GuppyLM, um modelo de cerca de 9 milhões de parâmetros que, segundo ele, pode ser treinado do zero em cinco minutos.
- há 19 dias github.com
IFM-AI publica ferramentas abertas para LLMs
Em 28 de setembro de 2026, a IFM-AI anunciou ferramentas de código aberto para pré-treinamento, atenção, conversão de checkpoints e serving de LLMs.
- há 19 dias x.com
IW-OPD repondera tokens na destilação on-policy
Post publicado em 30 de junho de 2026 apresenta o IW-OPD, método que dá mais peso aos tokens iniciais na destilação on-policy e relata ganho de 6,9 pontos no AIME-2025 frente ao OPD padrão.
- há 19 dias arxiv.org
JEPA-Anything explora aprendizado preditivo em sete domínios
O post, publicado em 6 de outubro de 2026, apresenta o JEPA-Anything como framework agnóstico a domínio para modelagem de mundos, baseado em fatoração preditiva ortogonal.
- há 19 dias github.com
KohakuFA propõe alternativa para precisão no backward
Em 3 de outubro de 2026, uma publicação apresenta o kernel KohakuFA como alternativa diante de problemas de precisão atribuídos a cuDNN, FA4 e FlexAttention nos backward passes.
tokens-for-thoughts.notion.site
Vamos avaliar seu projeto
Respondo com escopo e proposta.