Experimentos isolados com modelos locais: configuração reproduzível no Codex CLI

O que aconteceu e o que fazer

O post recomenda rodar experimentos isolados com modelos locais pelo Codex CLI, usando arquivos de configuração que desativam o tool-calling, de modo que os resultados sejam compartilháveis. Ele aponta para um arquivo de configuração no repositório lm_understand-logs e mostra um harness reproduzível para avaliar modelos locais sem acesso a ferramentas que possam afetar os resultados.

Na prática, uma empresa que avalia modelos locais precisa de um benchmark controlado, em que a única variável seja o modelo. Isso pode ser implementado com configurações de harness versionadas, prompts e parâmetros fixados, registro de cada execução e um painel que compare os modelos antes de qualquer adoção. Em avaliação, o acesso a ferramentas fica desligado; o uso de ferramentas pode ser testado depois, em um ambiente separado e com controles explícitos. Esse pipeline mantém os resultados auditáveis e permite repetir a avaliação quando o modelo ou a versão do CLI mudar.

Como a consultoria pode ajudar

Diagnóstico de como sua equipe avalia modelos locais hoje e desenho de um harness de avaliação reproduzível, com configurações versionadas, registro de execuções e painel comparativo. Implementação no seu próprio ambiente e operação contínua sob escopo acordado.

Próximo passo

Envie uma descrição curta do seu caso: como os modelos são testados hoje e quais decisões dependem desses resultados. Você recebe uma proposta com escopo definido.