С. Николенко , А. Кадурин , Е. Архангельская - Глубокое обучение

искусственного интеллекта;
• придем к выводу, что нейробиология пока не слишком точная наука;
• закончим кратким обзором самых ярких примеров применения современных
нейронных сетей и областей, где им еще есть чему поучиться.

7

1.1. Революция обучения глубоких сетей

1.1. Революция обучения глубоких сетей
— А как повернулось дело? — задумчиво пробормотал он. —
Трах-та-бабах! Революция!
Ему стало весело. Он глотал пахнувший росой и яблоками
воздух и думал: «Столб, хлеб, дом, рожь, больница, базар — слова
все знакомые, а то вдруг — Революция! Бейте, барабаны!»
A. Гайдар. Бумбараш
Прежде всего, спросим себя, положив руку на сердце:
— Да есть ли у нас сейчас революция?..
Разве та гниль, глупость, дрянь, копоть и мрак, что происходит сейчас, — разве это революция? Революция — сверкающая
прекрасная молния, революция — божественно красивое лицо,
озаренное гневом Рока, революция — ослепительно яркая ракета, взлетевшая радугой среди сырого мрака!.. Похоже на эти
сверкающие образы то, что сейчас происходит?..
А. Аверченко. Дюжина ножей в спину революции

Десять лет назад, в середине 2000-х годов, в машинном обучении началась революция. В 2005–2006 годах группы исследователей под руководством Джеффри Хинтона (Geoffrey Hinton) в университете Торонто и Йошуа Бенджи (Yoshua Bengio)
в университете Монреаля научились обучать глубокие нейронные сети. И это перевернуло весь мир машинного обучения! Теперь в самых разнообразных предметных областях лучшие результаты получаются с помощью глубоких нейронных
сетей. Одним из первых громких промышленных успехов стало распознавание речи: разработанные группой Хинтона глубокие сети очень быстро радикально улучшили результаты распознавания по сравнению с оттачивавшимися десятилетиями
классическими подходами, и сегодня любой распознаватель, включая голосовые
помощники вроде Apple Siri и Google Now, работает исключительно на глубоких
нейронных сетях. А сейчас, к 2017 году, люди научились обучать самые разные архитектуры глубоких нейронных сетей, и те решают абсолютно разные задачи: от
распознавания лиц до вождения автомобилей и игры в го.
Но идеи большинства таких моделей появились еще в 80–90-х годах XX века, а то и раньше. Искусственные нейронные сети стали предметом исследований
очень давно; скоро мы увидим, что они были одной из первых хорошо оформленных идей искусственного интеллекта, когда и слов-то таких — «искусственный интеллект» — еще никто не слышал. Но с начала 90-х годов XX века до середины нулевых этого1 нейронные сети были, мягко говоря, не в моде. Известный
1 Мы искренне надеемся, что написали хорошую книгу, но все-таки не будем здесь делать специальных оговорок в расчете на читателей XXII века...

8

Глава 1. От биологии к информатике, или We need to go deeper

исследователь нейронных сетей Джон Денкер (John Denker) в 1994 году сказал:
«Нейронные сети — это второй лучший способ сделать практически что угодно».
И действительно, на тот момент уже было известно, что нейронная сеть теоретически может приблизить любую функцию и обучиться решать любую задачу, а глубокая нейронная сеть способна еще и более эффективно решить гораздо больше разных задач... Но обучать глубокие сети никому не удавалось, другие методы на конкретных практических примерах работали лучше. Из общих методов машинного
обучения это были сначала «ядерные методы» (kernel methods), в частности метод
опорных векторов, а затем байесовские сети и в целом графические вероятностные
модели. Но вообще Денкер вел речь о том, что более простая вероятностная модель, разработанная специально с учетом специфики конкретной задачи, обычно
работала лучше, чем нейронная сеть «общего назначения», даже если выбрать ей
подходящую для задачи архитектуру. А глубокие нейронные сети обучаться никак
не хотели; о том, почему именно, мы подробно поговорим в разделе 3.5.
Решение, предложенное группой Хинтона в середине 2000-х годов, пришло
в виде предобучения без учителя, когда сеть сначала обучается на большом наборе
данных без разметки, а потом уже дообучается на размеченных данных, используя
это приближение. Например, если мы хотим распознавать человеческие лица, то
давайте сначала пообучаем нейронную сеть на фотографиях с людьми вообще, без
разметки (таких фотографий можно легко набрать сколь угодно много), а уже потом, когда сеть «насмотрится» на неразмеченные фотографии, --">