Элиезер Шломо Юдковски (Less Wrong) - Рациональность: От ИИ до Зомби

Следовательно, следует различать опыт и компетентность, которая означает «развитие схематических принципов, включающих концептуальное понимание проблем», что, в свою очередь, позволяет лицу, принимающему решения, распознать конкретное искажение. Однако, использование контрмер компетентности требует большего, чем знание контекста проблемы и того, что вы являетесь экспертом в своем деле. Это требует полного понимания скрытой подоплеки конкретного искажения, способности заметить его, наличия соответствующих инструментов для нейтрализации искажения23.

Цель этой книги — заложить фундамент для создания рациональной компетентности. Что означает глубокое понимание структуры широкой проблемы: человеческие ошибки, самообман, и тысяча способов, как утонченная мысль может победить себя.

Слово об этом тексте

«Рациональность: от ИИ до Зомби» родилась в качестве серии эссе Элиезера Юдковского, опубликованных между 2006 и 2009 на экономическом блоге «Overcoming Bias» и побочном блоге «Less Wrong». Я работал с Юдковским вот уже год в Machine Intelligence Research Institute(MIRI), некоммерческой организации, основанной им в 2000 для исследования теоретических требований к созданию умней-чем-человеческого интеллекта (ИИ).

Читая его посты, я заинтересовался его работой. Он впечатлил меня способностью кратко передать идеи, выработка которых у меня занимала годы изучения аналитической философии. Ища пути соединить дух науки и скептицизма со строгим и системным подходом к исследованиям, Юдковский старается не только опровергнуть, но и понять ложные шаги и слепые пятна плохой философии (плохой недо-философии). Помогая собрать его эссе в книгу, я надеюсь облегчить погружение в них и понимание их как целого.

Получившийся в результате рациональный букварь полон личных деталей — Юдковский использует свой опыт общения со своей матерью, ортодоксальной иудейкой (психиатром) и отцом (физиком), разговорах в чате и рассылках. Читатели, знакомые с Юдковским по «Гарри Поттеру и Методам Рационального Мышления», его научно-ориентированной интерпретацией Гарри Поттера Дж. К. Роулинг, узнают элементы непочтительного иконоборчества, и основные концепты.

С точки зрения стилистики, эссе в этой книге представляют гамму от «жизнерадостный учебник» до «сборник вдумчивых виньеток» и «буйного манифеста», контент, соответственно, тоже отличается от эссе к эссе. В книге собраны сотни статей Юдковского в двадцать шесть «цепочек», как бы глав, связанных по смыслу постов. Цепочки же сгруппированы в шесть книг, раскрывающих темы:

Книга 1 - Карта и территория. Что такое убеждение и почему одни убеждения работают лучше других? Эти четыре цепочки объясняют Байесовские понятия рациональности, убеждений и свидетельств. Основная тема: штуки, которые мы называем «объяснениями» и «теориями», не всегда функционируют как карты для навигации по миру. В результате есть риск перепутать наши ментальные карты с другими инструментами.

Книга 2 - Как Действительно Изменить Свое Мнение. Штука, называемая «правдой», похоже полезная. Так почему же мы спешим с выводами, наступаем на те же грабли, повторяя те же ошибки? Почему мы так плохо умеем вырабатывать точные убеждения и как делать это лучше? В этих семи цепочках обсуждаются мотивированные рассуждения и ошибка подтверждения, особый фокус на образцах самообмана, которые трудно заметить, и ловушке «использования аргументов как солдат».

Книга 3 - Машина В Призраке. Почему мы не эволюционировали более рациональными? Даже при условии ограниченных ресурсов, похоже, мы могли бы получать больше эпистемической отдачи от наших свидетельств. Чтобы получить более реалистичную картину того, почему и как наш разум исполняет свои биологические функции, нам нужно залезть под капот и внимательно посмотреть как работает эволюция и наш мозг. Эти три цепочки иллюстрируют, как даже философы и ученые могут заблуждаться, если полагаются на интуитивное, не-техническое понимание эволюционных и психологический идей. Обозначив наши разумы внутри огромной целеполагающей системы,