Интернаука - Интернаука №16 (часть1) 2020

несколькими уровнями абстракции, имитируя то, как мозг воспринимает и понимает инфор-

мацию, таким образом, неявно захватывая сложные структуры крупномасштабных данных. Глубокое обучение

- это богатое семейство методов, включающее нейронные сети, иерархические вероятностные модели и разно-

образные алгоритмы обучения неконтролируемых и контролируемых функций. Недавний всплеск интереса к

методам глубокого обучения объясняется тем фактом, что они показали, что они превосходят предыдущие со-

временные методы в нескольких задачах, а также обилием сложных данных из разных источников.

Идея о системе имитирующая человеческий

нованные на этих локальных связях между нейро-

мозг явилось толчком для развития нейронных се-

нами и на иерархически организованных преобразо-

тей. Используя взаимосвязанные нейронные клетки

ваниях изображения, найдены в Neocognitron, кото-

в 1943 году появилась модель нейрона Модель

рый описывает, что когда нейроны с одинаковыми

нейрона McCulloch и Pitts, называемая моделью

параметрами применяются к заплатам предыдущего

MCP, внёсшая вклад в развитие искусственного ин-

слоя в разных местах, форма трансляционной инва-

теллекта.

риантности приобретается. Позднее Ян ЛеКун и его

Прорыв в глубоком обучении произошел в 2006

сотрудники разработали Сверточные Нейронные

году, когда Г. Хинтон представил сеть Deep Belief

Сети, используя градиент ошибок и достигая очень

Network, упростил процедуру обучения с помощью

хороших результатов в различных задачах распо-

машин ограниченным движением Больцмана , в то

знавания образов.

время как сети разбили обучение на составляющие

CNN включает три основных типа нейронных

блоки глубокой сети, чтобы уменьшить вычисли-

слоев, а именно: (i) сверточные слои, (ii) объединя-

тельную нагрузку.

ющие слои и (iii) полностью связанные слои. Каж-

Важные вехи в истории нейронных сетей и ма-

дый тип слоя играет свою роль. Каждый слой CNN

шинного обучения, приведшие к эпохе глубокого

преобразует входной объем в выходной объем акти-

обучения. Среди которых появление больших высо-

вации нейрона, что в конечном итоге приводит к

кокачественных общедоступных помеченных набо-

окончательным полностью подключенным слоям,

ров данных, а также расширение возможностей па-

что приводит к отображению входных данных в

раллельных вычислений на GPU, которые позволи-

одномерный вектор признаков. CNN были чрезвы-

ли перейти с CPU на GPU, где обучение позволяет

чайно успешны в приложениях компьютерного зре-

значительно ускорить обучение глубоких моделей.

ния, таких как распознавание лиц, обнаружение

Дополнительные факторы, возможно, также сыгра-

объектов, мощное зрение в робототехнике и авто-

ли меньшую роль, такие как смягчение проблемы

мобили с автоматическим управлением.

исчезающего градиента из-за отрыва от насыщаю-

Архитектура CNN использует три конкретных

щих функций активации, предложение новых мето-

идеи: (а) локальные рецептивные поля, (б) привя-

дов регуляризации, а также появление мощных сред,

занные веса и (в) пространственная подвыборка. На

таких как TensorFlow [1], Theano и Mxnet, которые

основе локального восприимчивого поля каждый

позволяют быстрее создавать прототипы.

блок в сверточном уровне получает входные данные

Глубокое обучение позволило сделать большие

от набора соседних блоков, принадлежащих преды-

успехи в различных областях компьютерного зре-

дущему уровню. Таким образом, нейроны способны

ния, таких как обнаружение объектов, отслеживание

извлекать элементарные визуальные особенности,

движения, распознавание действий, оценка позы

такие

--">