Notícias de IA e infraestrutura

Publicação46

Treino e fine-tuning

Treino e fine-tuning Publicação
10/10/26há 15 dias x.com
Post sobre RoboJEPA: escala previsível em modelos de mundo robóticos
Post de rede social descreve o RoboJEPA, modelo de mundo JEPA de 8B parâmetros treinado com 15.022 horas de vídeo robótico, e ajustes de leis de escala que antecipam resultados de 4B e 8B.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
Compressão de gradientes reduz demanda de rede no pretraining
Post publicado em 23 de dezembro de 2025 relata o uso de compressão de gradientes no pretraining, mantendo alta eficiência com um quarto da largura de banda de rede mencionada.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
DAPO relata avanço do GRPO no AIME, de 30% para 50%
Em paper publicado em 1º de março de 2026, o DAPO relata que o GRPO padrão atingiu 30% no AIME em seus experimentos, e que a adição de algumas técnicas elevou o resultado para 50%.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
DroPE amplia o contexto sem fine-tuning longo
Em post publicado em 12 de janeiro de 2026, o DroPE remove embeddings posicionais após o treinamento e usa uma calibração curta para estender o contexto. O post relata ganhos em retrieval e perguntas e respostas em 16k frente a baselines, em modelos de até 7B.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
GRPO: parâmetro para investigar a estabilidade do treinamento
Relatório técnico INTELLECT-2, publicado em 26 de janeiro de 2026, aponta o uso de delta=4.0 como configuração para aumentar a estabilidade do treinamento GRPO.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
GRPO sem treinamento usa memória de experiências
Um post de 14 de fevereiro de 2026 descreve um método que mantém o modelo congelado e consulta rollouts bem-sucedidos e malsucedidos em memória textual. A abordagem afirma alcançar desempenho de fine-tuning com 100 exemplos.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
LeJEPA: chunks de SIGReg reduzem VRAM e tempo
Relato publicado em 4 de março de 2026 aponta que dividir 256 slices de SIGReg em chunks de 32 usou oito vezes menos VRAM e terminou mais rápido em uma GPU 4090 MaxQ.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
LeWorldModel: JEPA compacto treinado a partir de pixels
Publicação de 9 de maio de 2026 descreve um JEPA de 15 milhões de parâmetros treinado de ponta a ponta com pixels brutos e relata planejamento até 48 vezes mais rápido que world models baseados em modelos fundacionais em tarefas de controle.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
LoRA como memória: como avaliar dados e rank
Post de 4 de março de 2026 resume um estudo sobre como a memória de conhecimento armazenada por LoRA escala e satura conforme o rank. QA e resumos geraram mais memória por token do que passagens brutas.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
Programa sul-coreano define requisitos para treinar modelos
Publicado em 31 de dezembro de 2025, o artigo descreve três requisitos para equipes de uma iniciativa sul-coreana de treinamento de modelos: treinar do zero, permitir algum uso comercial e perseguir metas ambiciosas.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
QLoRA: fine-tuning com 50 saídas de um modelo teacher
Um post publicado em 24 de fevereiro de 2026 descreve uma demonstração local que usa 50 saídas do GPT-5.2 para ajustar um modelo Llama de 3 bilhões de parâmetros com QLoRA.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
Recompensas por etapa no treinamento com flow matching
Descrição publicada em 15 de fevereiro de 2026 apresenta o TurningPoint-GRPO, framework que identifica etapas com mudanças de sinal na recompensa local para capturar dependências de longo prazo.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
Ring-linear 2.0: atenção híbrida e otimização FP8
Em post publicado em 27 de outubro de 2025, a Ant Group descreve dois modelos que combinam atenção linear e softmax e afirma ganhos de eficiência no treinamento com operadores FP8.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
SAM no mid-training pode reduzir o esquecimento no fine-tuning
Post de 8 de maio de 2026 afirma que aplicar SAM nos 10% finais do mid-training reduziu em mais de 35% o esquecimento após fine-tuning ou quantização.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
TC-JEPA: legendas orientam o aprendizado visual
Post publicado em 9 de maio de 2026 descreve um método self-supervised que usa legendas para orientar a previsão de patches mascarados em imagens. Segundo o post, a abordagem melhora a estabilidade do treinamento e o raciocínio visual em comparação com métodos contrastivos.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
Tile Kernels otimizam operações de LLM em GPU
Em 23 de abril de 2026, a empresa publicou kernels de GPU desenvolvidos com TileLang para operações de LLM e informou que alguns são usados em treinamento e inferência internos.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
The Stack v3 amplia dataset de código para 5 trilhões de tokens
Post publicado em 23 de julho de 2026 apresenta um dataset aberto com cerca de 5 trilhões de tokens de código deduplicado e filtrado, em 713 linguagens, excluindo código com licenças restritivas.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
ACE: contexto estruturado que evolui com feedback
Um post de 13 de outubro de 2025 descreve o Agentic Context Engineering, abordagem que acumula e refina contexto estruturado com feedback de desempenho como alternativa à reescrita iterativa de prompts.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
GEPA para detectar código malicioso gerado por IA
Publicação de 5 de outubro de 2025 relata que prompts encontrados com GEPA detectaram comportamento malicioso em código gerado por IA, bloqueando 90% das submissões maliciosas com 1% do orçamento de auditoria.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
JEPA-SCORE estima densidade com encoders JEPA
Estudo publicado em 8 de outubro de 2025 apresenta uma forma de estimar probabilidades de amostras usando o Jacobiano do encoder, sem retreinamento.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
LoRA adapta um MLP com cerca de 9 mil parâmetros treináveis
Publicado em 30 de julho de 2024, o exemplo aplica LoRA a um MLP de 5 milhões de parâmetros para classificação e compara o desempenho com o adapter ativado e desativado.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
LoRA em fine-tuning de reinforcement learning
Post da Thinky Machines, publicado em 29 de setembro de 2025, descreve configurações de LoRA para fine-tuning em reinforcement learning e afirma que rank 1 pode igualar o desempenho do fine-tuning completo quando bem configurado.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
PEER recupera mais de um milhão de experts com product keys
A arquitetura PEER combina roteamento por product keys e experts MLP de um único neurônio para selecionar, de forma esparsa, os componentes usados em cada entrada.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
SWE-Swiss: receita de treinamento para engenharia de software
Em 12 de agosto de 2025, pesquisadores da Peking University, ByteDance Seed e HKU apresentaram uma receita de treinamento para tarefas de engenharia de software. O modelo SWE-Swiss-32B alcançou 60,2% no SWE-bench Verified, segundo os pesquisadores.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
Transferência de conhecimento entre modelos de IA
Um repositório publicado em 29 de julho de 2024 apresenta um notebook para ajustar um modelo menor com conhecimento de domínio gerado por um modelo maior.
Treino e fine-tuning Publicação
08/10/26há 17 dias x.com
UserRL treina agentes com usuários simulados
Em post publicado em 8 de outubro de 2025, a Salesforce apresenta o UserRL, framework para treinar agentes com ambientes padronizados e usuários simulados.
Treino e fine-tuning Publicação
07/10/26há 18 dias x.com
ARGUS diagnostica lentidão em treinamentos de grande escala
Paper publicado no arXiv em 19 de junho de 2026 descreve um sistema que combina dados de CPU, framework e GPU para investigar lentidão no treinamento, com overhead contínuo abaixo de 2%.
Treino e fine-tuning Publicação
07/10/26há 18 dias x.com
Como tornar treinamentos de modelos mais observáveis
Em 21 de agosto de 2026, uma publicação sobre Marin descreveu visualizações de dados e métricas de treinamento que podem apoiar a inspeção de modelos.
Treino e fine-tuning Publicação
07/10/26há 18 dias x.com
Destilação on-policy combina modelos especialistas
Um post publicado em 6 de outubro de 2026 descreve MOPD, método que treina um modelo student com rollouts próprios e supervisão de especialistas por domínio.
Treino e fine-tuning Publicação
07/10/26há 18 dias x.com
Destilação por token combina supervisão de professor e do próprio modelo
Um post de 8 de julho de 2026 descreve um paper sobre destilação on-policy dual, que escolhe dinamicamente a fonte de supervisão para cada token.
Treino e fine-tuning Publicação
07/10/26há 18 dias x.com
Distilação de modelos: a direção do KL por token
Estudo sistemático publicado em 3 de outubro de 2026 relata que a direção da divergência KL por token pesa mais que a política de rollout na distilação on-policy e off-policy.
Treino e fine-tuning Publicação
07/10/26há 18 dias x.com
Do REINFORCE ao GRPO: métodos de policy gradient para LLMs
Artigo publicado em 24 de setembro de 2026 apresenta uma progressão de métodos de policy gradient usados no treinamento de LLMs, de vanilla policy gradient e REINFORCE a PPO, GRPO e variantes.
Treino e fine-tuning Publicação
07/10/26há 18 dias x.com
Espectros de pesos podem sinalizar memorização em LLMs
Uma análise preliminar, publicada em 24 de setembro de 2026, encontrou uma relação entre o expoente α da matriz K de atenção e a memorização de rótulos aleatórios durante o treinamento de LLMs.
Treino e fine-tuning Publicação
07/10/26há 18 dias x.com
GEPA adapta modelo com prompts e exemplos rotulados
Uma demonstração publicada em 19 de setembro de 2026 descreve o uso de prompts e exemplos rotulados para adaptar um modelo a critérios específicos de decisão.
Treino e fine-tuning Publicação
07/10/26há 18 dias x.com
IW-OPD repondera tokens na destilação on-policy
Post publicado em 30 de junho de 2026 apresenta o IW-OPD, método que dá mais peso aos tokens iniciais na destilação on-policy e relata ganho de 6,9 pontos no AIME-2025 frente ao OPD padrão.
Treino e fine-tuning Publicação
07/10/26há 18 dias x.com
NoRA propõe normalizar A na inicialização do LoRA
Post de 2 de setembro de 2026 descreve uma inicialização que normaliza as colunas de A no LoRA e relata resultados médios superiores aos de vários métodos de adaptação em SFT e RLVR.
Treino e fine-tuning Publicação
07/10/26há 18 dias x.com
Ostris AI Toolkit passa a treinar LoRAs para MiniMax H3
Em 3 de agosto de 2026, o repositório Ostris AI Toolkit anunciou suporte ao treinamento de LoRAs para MiniMax H3, limitado a fluxos de texto para vídeo e imagem para vídeo, com uso de pesos quantizados do Comfy.
Treino e fine-tuning Publicação
07/10/26há 18 dias x.com
Poda de modelos usa tamanho efetivo da amostra para definir componentes
Post publicado em 1º de julho de 2026 apresenta o Effective Model Pruning, método que usa tamanho efetivo da amostra para calcular quantos componentes manter em redes neurais e modelos de linguagem.
Treino e fine-tuning Publicação
07/10/26há 18 dias x.com
Ramificações locais para escalar a inferência de LLMs
Paper publicado em 5 de julho de 2026 propõe gerar e selecionar ramificações de tokens durante a inferência; o post relata melhora em raciocínio matemático frente a três abordagens de comparação.
Treino e fine-tuning Publicação
07/10/26há 18 dias x.com
RL pós-treinamento com menos parâmetros alterados
Um post publicado em 5 de julho de 2026 descreve uma abordagem que reforça camadas intermediárias de maior contribuição durante o RL pós-treinamento e pode igualar ou superar o treinamento de todos os parâmetros, alterando menos parâmetros.

Vamos avaliar seu projeto

Respondo com escopo e proposta.