Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

мир.

19 апреля 2014 г. обзор «Превосходства», написанный в соавторстве с Максом Тегмарком, Фрэнком Уилчеком и Стивеном Хокингом, вышел в Huffington Post. В нем была фраза из моего выступления в Даличе о величайшем событии в человеческой истории. Так я публично связал свое имя с убеждением в том, что моя сфера исследования несет возможную угрозу моему собственному биологическому виду.

Как мы к этому пришли

Идея ИИ уходит корнями в седую древность, но ее «официальным» годом рождения считается 1956 г. Два молодых математика, Джон Маккарти и Марвин Минский, убедили Клода Шеннона, успевшего прославиться как изобретатель теории информации, и Натаниэля Рочестера, разработчика первого коммерческого компьютера IBM, вместе с ними организовать летнюю программу в Дартмутском колледже. Цель формулировалась следующим образом:

Исследование будет вестись на основе предположения, что любой аспект обучения или любой другой признак интеллекта можно, теоретически, описать настолько точно, что возможно будет создать машину, его воспроизводящую. Будет предпринята попытка узнать, как научить машины использовать язык, формировать абстрактные понятия и концепции, решать задачи такого типа, которые в настоящее время считаются прерогативой человека, и совершенствоваться. Мы считаем, что по одной или нескольким из этих проблем возможен значительный прогресс, если тщательно подобранная группа ученых будет совместно работать над ними в течение лета.

Незачем говорить, что времени потребовалось значительно больше: мы до сих пор трудимся над всеми этими задачами.

В первые лет десять после встречи в Дартмуте в разработке ИИ произошло несколько крупных прорывов, в том числе создание алгоритма универсального логического мышления Алана Робинсона^[2] и шахматной программы Артура Самуэля, которая сама научилась обыгрывать своего создателя^[3]. В работе над ИИ первый пузырь лопнул в конце 1960-х гг., когда начальные результаты в области машинного обучения и машинного перевода оказались не соответствующими ожиданиям. В отчете, составленном в 1973 г. по поручению правительства Великобритании, делался вывод: «Ни по одному из направлений этой сферы исследований совершенные на данный момент открытия не имели обещанных радикальных последствий»^[4]. Иными словами, машины просто не были достаточно умными.

К счастью, в 11-летнем возрасте я не подозревал о существовании этого отчета. Через два года, когда мне подарили программируемый калькулятор Sinclair Cambridge, я просто захотел сделать его разумным. Однако при максимальной длине программы в 36 строк «Синклер» был недостаточно мощным для ИИ человеческого уровня. Не смирившись перед неудачей, я добился доступа к гигантскому суперкомпьютеру CDC 6600^[5] в Королевском колледже Лондона и написал шахматную программу — стопку перфокарт 60 см высотой. Не слишком толковую, но это было не важно. Я знал, чем хочу заниматься.

К середине 1980-х гг. я стал профессором в Беркли, а ИИ переживал бурное возрождение благодаря коммерческому потенциалу так называемых экспертных систем. Второй «ИИ-пузырь» лопнул, когда оказалось, что эти системы не отвечают многим задачам, для которых предназначены. Опять-таки машины просто не были достаточно умными. В сфере ИИ настал ледниковый период. Мой курс по ИИ в Беркли, ныне привлекающий 900 с лишним студентов, в 1990 г. заинтересовал всего 25 слушателей.

Сообщество разработчиков ИИ усвоило урок: очевидно, чем умнее, тем лучше, но, чтобы этого добиться, нам нужно покорпеть над основами. Появился выраженный уклон в математику. Были установлены связи с давно признанными научными дисциплинами: теорией вероятности, статистикой и теорией управления. Зерна сегодняшнего прогресса были посажены во время того «ледниковья», в том числе начальные разработки крупномасштабных систем вероятностной логики и того, что стало называться глубоким обучением.

Около 2011 г. методы глубокого обучения начали демонстрировать огромные достижения в распознавании речи и визуальных объектов, а также машинного перевода — трех важнейших нерешенных проблем в исследовании ИИ. В 2016 и 2017 гг. --">