Попередження Віталіка: Сатоші розумніші потребують «дурних» правил

Автор: Чжісюн Пан

Стаття «Galaxy Brain Resistance», яку Віталік опублікував кілька тижнів тому, насправді досить важка для розуміння, і я не бачив хороших інтерпретацій, тому я спробую це зробити.

Адже я бачив, що творець терміна Vibe Coding Карпаті також прочитав цю статтю і зробив нотатки, отже, в цьому є щось особливе.

По-перше, давайте розглянемо, що означають терміни Galaxy Brain та Resistance. Після розшифровки цього заголовка ви зможете зрозуміти, про що приблизно йдеться в цій статті.

1️⃣ Переклад Galaxy Brain українською – «Галактичний мозок», але насправді це походить з інтернет-мему (Meme), подібного до зображення, де (???) об'єднані разом, яке ви, напевно, бачили.

Спочатку це, звісно, було позитивним, щоб похвалити чужі думки як дуже геніальні, тобто розумні. Але згодом, з поширенням вживання, це поступово перетворилося на певну іронію, приблизно означаючи «думаєш занадто багато, логіка занадто заплутана».

А Віталік тут згадує ??? , маючи на увазі таку поведінку, як «використання високого IQ для розумових вправ, щоб безглузді речі наполегливо видавати за щось розумне». Наприклад:

• Ясно, що для економії грошей роблять великі звільнення, але все ж потрібно говорити, що це «постачання суспільству висококваліфікованих кадрів».

• Ясно, що це повітряна монета, яка оббирає тих, хто інвестує, але стверджують, що це «наділяє глобальну економіку децентралізованим управлінням».

Усе це можна вважати мисленням у стилі «Галактичного мозку».

2️⃣ Що ж таке Resistance (опір)? Це поняття легко заплутати, його можна порівняти з популярним висловом “здатність не піддаватися маніпуляціям” або “здатність не піддаватися обману”.

Отже, Galaxy Brain Resistance повинна бути Resistance to [becoming] Galaxy Brain, тобто: «здатність протистояти (еволюції в) галактичний мозок (незрозумілому)».

Або, точніше кажучи, йдеться про те, наскільки важко використати певний стиль мислення / аргументації для “доказу будь-якого висновку, який ви хочете”.

Отже, цей «опір» може бути спрямований проти певної «теорії», наприклад,

• Теорія низького опору (Low Resistance): лише трохи подумавши, вона може перетворитися на надзвичайно абсурдну логіку “Галактичного мозку”.

• Теорія високої опірності (High Resistance): Незалежно від того, як ви її аналізуєте, вона залишається незмінною і важко еволюціонує в абсурдну логіку.

Наприклад, Віталік каже, що в ідеальному суспільстві закони повинні мати червону лінію: забороняти можна тільки тоді, коли можна чітко пояснити, як певна дія завдає шкоди або ризику конкретним жертвам. Такий стандарт має величезну стійкість до Galaxy Brain, оскільки не приймає «мені суб'єктивно не подобається» або «це аморально» як безмежні або розмиті причини.

3️⃣ Віталік у статті також навів багато прикладів, навіть використав теорії, які ми часто чуємо, такі як «довгостроковість» і «неминучість».

“Довгостроковість” важко протистояти ерозії мислення у стилі ??? , оскільки її опір надзвичайно низький, це просто “чистий чек”. Тому що “майбутнє” занадто далеке, занадто неясне.

• Висловлювання з високою стійкістю: «Це дерево через 10 років може вирости на 5 метрів». Це можна перевірити, і неможливо легко брешучи.

• Низька опірність «довгостроковому мисленню»: «Хоча я зараз маю намір зробити надзвичайно аморальну річ (наприклад, знищити певну групу людей або розпочати війну), але це для того, щоб через 500 років людство могло жити в утопічному світі. За моїми розрахунками, загальна кількість щастя в майбутньому є безмежною, тому теперішні жертви є незначними.»

Ти бачиш, якщо ти затягнеш час достатньо довго, ти можеш виправдати будь-яке теперішнє зло. Як сказав Віталік: «Якщо твій аргумент може довести, що будь-що є виправданим, то твій аргумент нічого не доводить.»

Проте Віталік також визнає, що «довгострокове має велике значення», він критикує «використання надмірно неясних, неверифікованих майбутніх вигод, щоб закрити наявні чіткі шкоди».

Інша важка проблема – це «неминучість» (Inevitabilism).

Це також улюблений прийом самооборони в Силіконовій долині та технологічному колі.

Розмова така: «Заміна людини штучним інтелектом — це неминучість історії, навіть якщо я не буду цього робити, хтось інший зробить. Тому я зараз радикально розвиваю AI не для того, щоб заробити гроші, а щоб відповідати історичним тенденціям.»

Де низька стійкість? Вона ідеально розчиняє людське почуття відповідальності. Оскільки це «неминуче», мені не потрібно нести відповідальність за заподіяну мною шкоду.

Це також типовий Галактичний Розум: упакувати приватні бажання «Я хочу заробити гроші / Я хочу влади» у формі «Я виконую завдання історії».

4️⃣ Що нам робити, коли стикаємося з цими «пастками розумних людей»?

Ліки, які запропонував Віталік, виявилися несподівано простими, навіть дещо «досить дурними». Він вважає, що чим розумніша людина, тим більше їй потрібні високостійкі правила для стримування, щоб уникнути того, щоб її інтелектуальні трюки не вийшли з-під контролю.

По-перше, дотримуйтесь «обов'язкової етики» (Deontological Ethics), тобто моральних залізних законів на рівні дитячого садка.

Не намагайтеся вирішити складні математичні задачі на тему «для майбутнього всього людства», поверніться до найосновніших принципів:

• Не крадіть

• Не вбивайте невинних людей

• Не шахраюйте

• Поважайте свободу інших

Ці правила мають високу стійкість. Тому що вони або чорні, або білі, їх не можна обговорювати. Коли ви намагаєтеся пояснити, чому ви хочете перенести кошти користувачів, використовуючи загальні принципи «довгострокового мислення», ця жорстка правила «не кради» відразу ж вдарить вас по обличчю: вкрадено – значить вкрадено, не наводьте приклади про велику фінансову революцію.

По-друге, мати правильну «позицію», навіть включаючи фізичне місце.

Як кажуть, дупа визначає голову. Якщо ви щодня блукаєте в тій акустичній камері затоки Сан-Франциско, оточені людьми, які займаються прискоренням ШІ, вам важко залишатися на розумі. Віталік навіть дав фізичну пораду з високою стійкістю: не живіть у затоку Сан-Франциско.

5️⃣ Підсумок

Ця стаття Віталіка насправді є попередженням для надзвичайно розумних еліт: не думайте, що через високий IQ ви можете обійти прості моральні принципи.

Ті теорії, які звучать так, ніби можуть пояснити все, як-от «Галактичний мозок», часто є найнебезпечнішими універсальними виправданнями. Натомість ті правила, які звучать нудно і догматично, як-от «висока стійкість», є останнім рубежем, що запобігає нашій самообману.