O que chegou ao modelo naquela etapa
Quando um agente erra durante um fluxo em produção, vou conferir o que chegou ao modelo naquela etapa.
Uma instrução pode estar no projeto e nunca entrar no contexto. A ferramenta pode ter retornado a informação certa, mas ela ter ficado fora do histórico. Antes de trocar de modelo, preciso conferir isso.
Esse trabalho passa pelo harness, o código que organiza o que o modelo recebe a cada chamada e quais ferramentas pode usar.
A ARC Prize publicou em 3 de setembro uma comparação que ajuda a entender a importância dessa camada. Na avaliação semiprivada do ARC AGI 3, com jogos desconhecidos para o agente, o GPT 6 Astra, da OpenAI, teve estas pontuações:
62,7% com o harness Standard e esforço de raciocínio no máximo (max).
99,9% com o Provider Adapter e esforço alto (high).
Na Standard, o modelo decide o que preservar em notas. A Provider Adapter também mantém um estado interno de raciocínio entre chamadas e usa compactação para lidar com conversas longas.
O esforço de raciocínio também mudou. Esses dois resultados, portanto, não isolam o efeito do harness. Ainda assim, mostram por que o nome do modelo é insuficiente para descrever o desempenho de um agente.
Nos meus projetos, começo pelo registro da etapa que falhou. Se faltou uma instrução, repito a tarefa incluindo essa instrução, com o mesmo modelo, esforço e ferramentas. Depois verifico se a melhora se mantém em novas execuções.
Guardo a configuração junto dos resultados para conseguir refazer a comparação depois.
Trocar de modelo continua sendo uma opção. Mas eu quero chegar a essa decisão sabendo o que o modelo atual recebeu e onde falhou.
