Desta vez, o círculo dos modelos open source até tem um certo sabor a “configuração tipo loja de informática” montada na hora



A Baseten não reentrou em treinar do zero um modelo multimodal completo. Em vez disso, ligou o codificador visual MoonViT do Kimi K2.6 a um GLM-5.2 que, originalmente, só tratava texto. O corpo do GLM de 744B não mudou, a torre visual também ficou totalmente congelada; o que foi realmente treinado foi apenas o PatchMerger, com cerca de 49,5 milhões de parâmetros no meio

No MMMU-Pro, os resultados chegam a cerca de 55%, e a versão oficial diz que está perto do Claude 4.5 Haiku. Ou seja, no futuro, para adicionar capacidades como visão, voz ou outras a um modelo open source, talvez realmente já não seja preciso queimar novamente todos os custos de treino: basta escolher peças prontas e juntá-las

Mas não olhes só para “49,5 milhões de parâmetros, é barato”. Este conjunto de pesos tem cerca de 466GB; para um contexto completo de 1 milhão de tokens precisas de 8 placas B200, e para correr a 256K também são 4 placas. A barreira de desenvolvimento baixou mesmo, mas as contas de implementação não ficam nada simpáticas

Por isso, acho que para as empresas de modelos isto nem é necessariamente uma boa notícia. À medida que as capacidades se tornam cada vez mais fáceis de “montar”, quem pode continuar a receber as rendas, em última instância, pode ser ainda $NVDA, as plataformas de inferência e os fornecedores de alojamento cloud. No futuro, talvez nem seja só descarregar modelos; talvez também tenhas de aprender a montar modelos🤣
#Ourbit Não é só Crypto, transacção num só lugar para activos globais em alta.
NVDA-0,37%
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixado