Notícias do CoinWorld, o técnico da OpenAI, Clive Chan, afirmou que o relatório técnico V4 ainda é de nível superior, mas a seção de recomendações de hardware para fabricantes de chips é "surpreendentemente medíocre ou até incorreta", em contraste com o V3. A seção de hardware do V3, com perguntas e respostas, foi uma das discussões mais populares na conferência acadêmica ISCA, com recomendações específicas até os padrões de interconexão atualmente em desenvolvimento na indústria, enquanto o V4 é muito mais vago. Chan levantou questionamentos ponto a ponto, acreditando que as recomendações do relatório sobre consumo de energia "justamente o contrário do que deveria", e questionou a escolha do método de transmissão de dados entre GPUs. Sobre a função de ativação, Chan acha que a sugestão do relatório de substituir o SWIGLU por funções mais simples para reduzir a carga computacional não é necessária, pois Sonic Moe já provou que usar SWIGLU ainda pode alcançar desempenho ótimo.

Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Marcar