Чому запускати моделі локально?

Зазвичай дві головні причини - приватність та вартість
Давайте розглянемо сторону вартості на прикладі та подивимось, як це виглядає математично
Припустимо, ви хочете запустити цикл Autoresearch протягом ночі як @karpathy
Якщо у вас є доступ до H100, ви можете запустити 100 експериментів протягом ночі, використовуючи Opus-4.6 та вартість API, ймовірно, буде в діапазоні $10-25
Але більшість з нас не настільки везучі, щоб мати доступ до H100
Ми все ще можемо запустити 100 експериментів Autoresearch на MacBook за ту ж вартість $10-25, але це не буде порівнянно
H100 виконає в 50-100 разів більше кроків навчання за той самий проміжок часу
Тож якщо ви хочете відтворити той самий кількість кроків навчання, ви можете закінчити витрачанням $1000+ на вартість API, і, звичайно, це займе набагато більше часу, ніж одну ніч
Це не було б дуже розумним, оскільки ви можете орендувати H100 за набагато меншу вартість та виконати роботу швидше
Але це починає малювати картину того, чому ви хотіли б запускати моделі локально - це дозволяє вам проводити експерименти, які в іншому випадку були б занадто дорогими для більшості людей
Це починає вирівнювати поле гри
Я запускаю Qwen3.5 9B на старому ПК, і тепер має сенс експериментувати над речами, які я інакше не робив би, якщо би я платив за вартість API
І це великий прорив, який буде розширюватися з часом, коли моделі стають кращими та меншими