Ловушка умных людей: почему Виталик хочет, чтобы мы придерживались «глупых правил»

Исходное название: Ловушка умных людей: почему Виталик хочет, чтобы мы придерживались «глупых правил»

Автор оригинала: Zhixiong Pan

Исходный текст:

Перепечатка: Марсианская экономика

Статья Виталика «Galaxy Brain Resistance», опубликованная несколько недель назад, на самом деле довольно запутанная и трудная для понимания, и я не видел хороших интерпретаций, так что я попробую.

В конце концов, я видел, что создатель термина Vibe Coding, Карпати, также прочитал эту статью и сделал заметки, значит, в ней определенно есть что-то особенное.

Сначала скажем, что означают заголовки Galaxy Brain и Resistance. Поняв этот заголовок, вы сможете понять, о чем, в общем, эта статья.

1. Перевод Galaxy Brain на китайский — «银河大脑», но на самом деле это происходит из интернет-мема, похожего на изображение, где объединены (галактика и мозг), которое вы, безусловно, видели.

С самого начала это, конечно, было положительным, использовалось для восхваления идеи другого человека как очень умной, то есть Сатоши. Но позже, с распространением использования, оно постепенно превратилось в некий ироничный смысл, примерно означающий «слишком много думаешь, логика заходит слишком далеко».

А Виталик здесь упоминает Galaxy Brain, имея в виду такое поведение, как “использование высокого интеллекта для мыслительных гимнастик, чтобы заставить бессмысленные вещи выглядеть разумными”. Например:

• Очевидно, что сокращения были сделаны для экономии, но они все равно утверждают, что это «передача высококвалифицированных специалистов в общество».

• Являясь очевидным проектом на основе воздуха для отъема средств, они утверждают, что “используют децентрализованное управление для усиления глобальной экономики.”

Все это можно считать мышлением в стиле «Галактический разум».

2、Что такое Resistance (сопротивление)? Это понятие очень легко запутать, его можно сравнить с популярным выражением «способностью не поддаваться манипуляциям» или «способностью не быть обманутым».

Поэтому Galaxy Brain Resistance должен быть Resistance to [becoming] Galaxy Brain, то есть: «способность сопротивляться (превращению в) Галактический разум (ерунда)».

Или, более точно, насколько легко использовать стиль мышления / аргументации, чтобы «доказать любое желаемое заключение».

Поэтому этот «сопротивление» может быть направлен против какой-то «теории», например,

• Теория низкой сопротивляемости (Low Resistance): стоит лишь немного поразмыслить, как она может перерасти в крайне абсурдную логику «Галактического мозга».

• Теория высокой сопротивляемости (High Resistance): независимо от того, как вы ее анализируете, она остается неизменной и трудно поддается абсурдной логике.

Например, Виталик говорит, что в идеальном обществе закон должен иметь красную линию: запрещать можно только тогда, когда можно четко объяснить, как определенное действие причиняет вред или риск конкретным жертвам. Этот стандарт обладает большой сопротивляемостью Galaxy Brain, потому что он не принимает такие неопределенные или растяжимые причины, как «мне субъективно не нравится» или «это аморально».

3. Виталик также привел множество примеров в статье, даже используя теории, которые мы часто слышим, такие как «долгосрочность» и «неизбежность».

«Долгосрочная перспектива» трудно противостоять эрозии мышления в стиле Galaxy Brain, потому что ее устойчивость чрезвычайно низка, это просто «пустой чек». Потому что «будущее» слишком далекое и слишком неопределенное.

• Утверждение о высокой устойчивости: «Это дерево через 10 лет сможет вырасти на 5 метров». Это можно проверить, это не так легко сказать наобум.

• Низкая устойчивость к «долгосрочному мышлению»: «Хотя я сейчас собираюсь сделать что-то крайне аморальное (например, уничтожить часть людей или развязать войну), это для того, чтобы через 500 лет человечество смогло жить в утопическом обществе. По моим расчетам, общее количество счастья в будущем бесконечно, поэтому сегодняшние жертвы незначительны.»

Смотри, если ты растянешь время достаточно долго, ты можешь оправдать любое злодеяние в настоящем. Как сказал Виталик: «Если твой аргумент может доказать, что что угодно является оправданным, то твой аргумент ничего не доказывает.»

Однако Виталик также признал, что «долгосрочные перспективы важны», он критиковал использование «избыточно неопределённых, непроверяемых будущих доходов, чтобы скрыть явные текущие ущербы».

Другой тяжелый район — это «неизбежность» (Inevitabilism).

Это также любимая техника самообороны в Силиконовой долине и технологическом круге.

Способ общения таков: «Замена работы человека ИИ — это неизбежность истории, даже если я не буду это делать, другие все равно сделают. Поэтому я сейчас радикально развиваю ИИ не ради прибыли, а чтобы следовать историческому тренду.»

Где низкая устойчивость? Она идеально растворяет чувство ответственности у человека. Поскольку «неизбежно», мне не нужно нести ответственность за причиненный мной ущерб.

Это тоже типичный галактический мозг: эгоистичное желание «Я хочу зарабатывать деньги / Я хочу быть у власти» упаковывается как «Я выполняю задачу истории».

4、Что нам делать, сталкиваясь с этими «ловушками умных людей»?

Лекарство, предложенное Виталиком, неожиданно простое, даже немного “глупое”. Он считает, что чем умнее человек, тем больше ему нужны высокие устойчивые правила, чтобы сдерживать себя и предотвратить выход из-под контроля своих умственных эквилибристик.

Во-первых, придерживайтесь «долговой теории» (Деонтологическая этика), то есть моральных железных правил на уровне детского сада.

Не стоит решать сложные математические задачи на тему «ради будущего всего человечества», вернитесь к самым строгим принципам:

• Не воруй

• Не убивайте невинных людей

• Не обманывайте

• Уважайте свободу других

Эти правила имеют высокую стойкость. Потому что они черно-белые, и их нельзя обсуждать. Когда вы пытаетесь объяснить, почему вы хотите использовать средства пользователей, ссылаясь на «долгосрочную перспективу», эта жесткая заповедь «не воруй» ударит вас в лицо: если украл, значит украл, не говорите о великой финансовой революции.

Во-вторых, иметь правильную «позицию», включая даже физическое расположение.

Согласно пословице, задница определяет голову. Если вы каждый день проводите время в эхо-камере залива Сан-Франциско, окруженной людьми, занимающимися ускорением ИИ, вам будет трудно оставаться трезвым. Виталик даже дал физически обоснованный совет с высокой степенью устойчивости: не живите в районе залива Сан-Франциско.

5, Обзор

Виталик эта статья на самом деле предупреждает тех, кто чрезвычайно умен: не думайте, что вы можете обойти простые моральные нормы только потому, что у вас высокий IQ.

Теории «Галактического мозга», которые, кажется, могут объяснить всё, часто являются самыми опасными универсальными отговорками. Напротив, те правила «высокой устойчивости», которые звучат скучно и догматично, являются последней линией защиты от самообмана.