Элиезер Шломо Юдковски (Less Wrong) - Рациональность: От ИИ до Зомби

Книга 4 - Всего Лишь Реальность. В каком мире мы живем? Каково наше место в нем? Основываясь на примерах работы эволюционных и когнитивных моделей из предыдущих цепочек, в этих шести цепочках мы исследуем природу ума и физического закона. В дополнение к применению и обобщению прошлых уроков о научных тайнах и скупости, эссе этой части поднимают новые вопросы о роли науки в рациональности отдельного индивида.

Книга 5 - Всего Лишь Доброта. Как что-то становится ценным — морально, эстетически или пруденциально? Эти три цепочки задаются вопросами о том, как мы можем оправдать, пересмотреть и принять наши ценности и желания. Цель — понять наши цели, не повредив их достижению. Самая сложная проблема: как понять, когда стоит доверять запутанному, сложному, работающему от случая к случаю импульсивному пониманию «хорошо» и «плохо», а когда заменить его на простые, не ведающие исключений, принципы.

Книга 6 - Становясь Сильней. Как люди и сообщества могут применить все это на практике? Эти три цепочки начинаются с автобиографической истории о самых серьезных философских промахах Юдковского, сочетающейся с советами о том, как другие люди могут избежать подобных. Книга заканчивается рекомендацией по разработке курса обучения прикладной рациональности, основанной (основана рациональность, а не рекомендация (прим. перев.)) на фактических данных. И по формированию групп и институтов для поддержки заинтересованных студентов, педагогов, исследователей и друзей.

Еще цепочки дополнены «интерлюдиями», эссе с личного сайта Юдковского (http://www.yudkowsky.net). Они связаны с разными цепочками, например, «Двенадцать добродетелей рациональности» лирически суммируют множество уроков «Рациональности: от ИИ до Зомби», и часто цитируются в эссе.

Кликнув на звездочку в конце каждого эссе, вы попадете на оригинальную версию с сайта Less Wrong (так можно оставить комментарий) или с сайта Юдковского. Также вы можете обнаружить словарь терминов на http://wiki.lesswrong.com/wiki/RAZ_Glossary.

Карта и территория

Первая книга начинается с цепочки о когнитивных искажениях: «Предсказуемо неправы». Книга не ограничена этой темой: плохие привычки и плохие идеи тоже имеют значение, даже если они становятся следствием содержания нашего разума, а не его структуры. Таким образом, эволюционировавшие и изобретенные будут показаны в цепочках, начиная с дискуссии в «Ложных Убеждениях» о том, как ожидания расходятся с декларированными убеждениями.

Оценка иррациональности была бы неполной без теории, описывающей рациональность, или если «теория» будет состоять из смутных трюизмов, без точного объяснительного механизма. Цепочка «Замечая замешательство» раскрывает вопрос: почему полезно основывать поведение на «рациональных» ожиданиях и как это ощущается изнутри.

Дальше, «Загадочные ответы» ставит вопрос: способна ли наука решить эти проблемы для нас. Ученые основывают свои модели на повторяемых экспериментах, а не на спекуляциях и слухах. Наука также имеет великолепную репутацию в сравнении с историями, религией и… Да в сравнении с чем угодно имеет. Стоит ли волноваться по поводу «ложных» убеждений, ошибки подтверждения, ошибки знания задним числом и им подобных, если мы работаем с сообществом людей, желающих объяснять феномены, а не рассказывать трогательные истории?

За этим следует «Простая Истина», отдельная аллегория о природе знания и убеждений.

Однако именно когнитивные искажения предоставляют наиболее ясное и прямое представление о нашей психологии, виды эвристик и логику наших ограничений. Именно с искажений мы и начнем. Строка в Чжуан-цзы, пре-Даосского философского трактата, гласит: «Ловушка для рыбы существует из-за рыбы, заполучив рыбу, ты можешь позабыть о ловушке» 24.

Приглашаю исследовать эту книгу именно в таком духе. Используйте ее так, как использовали бы ловушку для рыбы, всегда внимательно следя за целью, для которой вы ее используете. Берите то, что можете использовать, то, что будет полезным, остальное — отбросьте. И пусть ваша цель послужит вам верно.

Благодарности

Я чрезвычайно признателен Nate Soares, Elizabeth Tarleton, Paul Crowley, Brienne Strohl, Adam Freese, Helen Toner и десяткам