Элиезер Шломо Юдковски (Less Wrong) - Рациональность: От ИИ до Зомби

Рациональность — это и знание о том, когда не нужно слишком долго размышлять. В экспериментах, где нужно было выбрать постер на стену или предсказать исход баскетбольного матча, испытуемые показывали худший результат, если старательно обдумывали своё решение. 3, 4 Есть задачи, решать которые лучше вдумчиво, и есть другие задачи, где лучше принять решение быстро. Психологи, работающие над теорией двух процессов, выделяют процесс «Система 1» (быстрое, неявное, ассоциативное, автоматическое суждение) и процесс «Система 2» (медленное, явное, интеллектуальное, подконтрольное суждение)5. Стереотипный рационалист целиком полагается на Систему 2, игнорируя чувства и импульсы. Если посмотреть не на стереотип, а на того, кто действительно рационален, кто достигает своих целей, кто действительно смягчает урон от когнитивных искажений, можно обнаружить, что он сильно полагается на привычки и интуицию Системы 1, в ситуациях, где на них можно положиться.

К сожалению, Система 1 является плохим помощником, когда надо определить «стоит ли сейчас доверять Системе 1?». Наша нетренированная интуиция не подскажет нам когда мы должны перестать полагаться на нее. Предвзятость и непредвзятость ощущаются одинаково6. С другой стороны, поведенческий экономист Дэн Ариели отмечает: мы предсказуемо иррациональны. Мы запарываемся одними и теми же способами, снова и снова, систематически.

Если мы не можем использовать инстинкт, чтобы понять, когда поддаемся когнитивному искажению, то можно использовать науки о разуме.

Многоликие Ошибки

В процессе эволюции наши мозги для решения задач научились применять когнитивные эвристики — грубые методы, которые позволяют получить ответ быстро. В большинстве случаев этот ответ оказывается правильным, но иногда — нет. Когнитивные искажения возникают в тех случаях, когда эти эвристики достаточно последовательно порождают ярко-выраженные ошибки.

Эвристика репрезентативности, например, является нашей склонностью оценивать феномен, основываясь на том, насколько он характерен по отношению к разным категориям. Это может вести к таким ошибкам, как конъюнктивное заблуждение. Тверский и Канеман обнаружили, что субъекты эксперимента считали менее вероятным, что сильный игрок в теннис «проиграет в первом сете», чем «проиграет в первом сете, но выиграет матч»7. То, что сильный игрок сможет отыграться, кажется более характерным, так что мы переоцениваем вероятность такого сложного-но-так-разумно-звучащего рассказа, по сравнению с вероятностью действительно простого сценария.

Также эвристика репрезентативности может быть частью нечувствительности к априорной вероятности, когда мы основываем наше суждение на том, насколько «нормальна» комбинация атрибутов, пренебрегая тем, насколько распространены атрибуты в популяции в целом8. Стив более вероятно является застенчивым библиотекарем, или застенчивым продавцом? Большинство людей будет думать над этим, анализируя насколько «застенчивость» сочетается с стереотипами этих профессий. Они терпят неудачу в том, чтобы учесть насколько больше продавцов в сравнении с библиотекарями в Соединенных Штатах9.

Среди других примеров искажений есть: игнорирование срока действия (оценка опыта без учета того, как долго он будет переживаться), заблуждение невозвратных затрат (чувство необходимости продолжать заниматься тем, на что уже потрачены силы и время, тогда как следует сжечь мосты и двигаться дальше), и ошибка подтверждения (придавать больше значения подтверждающим наши убеждения свидетельствам)10. Игнорирование вероятности — еще один пример когнитивного искажения. В течение месяцев и лет после атаки 11 сентября, множество людей предпочитали вождение на дальние расстояния полетам. Захват был маловероятен, но теперь чувствовалось, что он был одним из вариантов; всего лишь возможность захвата самолета сильно влияла на решения. Полагаясь на черно-белое мышление (машины и самолеты либо «безопасны» либо «опасны», и точка), люди подвергали себя еще большей опасности. В то время как им следовало взвешивать вероятности умереть в автомобильной аварии против смерти во время перелета через страну — первое гораздо более вероятно; они, вместо этого, полагались на общее чувство беспокойства и тревоги (аффективная эвристика).

Такой же