Por que executar modelos localmente?

Normalmente duas razões principais - privacidade e custo
Vamos explorar o lado do custo com um exemplo e ver como as contas fecham
Digamos que quer executar um loop de Autoresearch durante a noite como @karpathy
Se tem acesso a um H100, pode executar 100 experiências durante a noite usando Opus-4.6 e o custo da API será provavelmente na faixa de $10-25
Mas a maioria de nós não tem sorte de ter acesso a um H100
Podemos ainda executar 100 experiências de Autoresearch num MacBook pelos mesmos $10-25, mas não será exatamente comparável
O H100 vai completar 50-100x mais passos de treino no mesmo período de tempo
Portanto, se quer reproduzir o mesmo número de passos de treino, pode acabar pagando $1000+ em custos de API, e claro que levará muito mais tempo do que durante a noite
Isto não seria muito inteligente já que pode alugar um H100 por muito menos e conseguir o mesmo resultado mais rápido
Mas começa a pintar um quadro de por que gostaria de executar modelos localmente - permite fazer experiências que de outra forma seriam proibitivamente caras para a maioria das pessoas
Começa a nivelar o campo de jogo
Estou a executar Qwen3.5 9B num PC antigo e agora faz sentido experimentar coisas que de outra forma não faria se estivesse a pagar pelos custos da API
E isso é um grande desbloqueio e só vai abrir mais com o tempo conforme os modelos ficam melhores e menores