como você sabe que seu agente resolveu a tarefa e não apenas encontrou a chave de respostas?


em um SWE-Bench personalizado, a correção pretendida já existe no histórico do repositório, e os testes de avaliação vêm junto com a própria tarefa.
um modelo capaz faz esse atalho todas as vezes, a menos que você o remova primeiro. esse é o trabalho real ao construir um eval.
Ver original
post-image
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Fixado