Ришал Харбанс - Грокаем алгоритмы искусcтвенного интеллекта

совершаемое действие, мы стремимся избежать плохих вариантов независимо от того,
ведут они к достижению цели или нет. Этот показатель можно вычислить,
разделив суммарную награду на общее количество действий.

Обучение с моделью и без
Для понимания обучения с подкреплением вам следует знать два его подхода:
с использованием модели и без использования модели. Речь идет не о тех моделях
машинного обучения, о которых говорилось ранее в книге. В данном случае
модель можно рассматривать как абстрактное представление агентом среды,
в которой он оперирует.
К примеру, мы можем иметь представление о модели окружающей местности, включающей расположение основных объектов, понимание направлений
и общую схему дорог. Эта модель сформировалась после изучения определенных маршрутов, но мы можем симулировать в своем сознании разные сценарии
и не обязательно пробовать каждый возможный вариант. На основе этой модели
можно, например, определить, как лучше добраться до работы. Такой подход
считается основанным на модели. Обучение же без модели аналогично подходу
Q-обучения. В нем изучение множества вариантов взаимодействия со средой
происходит методом проб и ошибок, что позволяет определить оптимальные
действия в различных сценариях.

360  Грокаем алгоритмы искусственного интеллекта
Рисунок 10.19 иллюстрирует эти два подхода на примере навигации по
дорогам. Для реализации обучения с подкреплением на основе модели можно
использовать разные алгоритмы.
На основе модели

Без модели

Быстрое решение, принятое на
основе возможной выгоды

Представление о среде,
когда решения симулируются, а не принимаются
опытным путем

Рис. 10.19. Примеры обучения с подкреплением
на основе модели и без нее

Глубокое обучение в обучении с подкреплением
Q-обучение — это один из подходов в обучении с подкреплением. Понимая,
как оно работает, можно применять похожую логику и к другим алгоритмам
обучения с подкреплением. В зависимости от решаемой задачи можно выбирать подходящую технику. Довольно популярно глубокое обучение, эффективно
применяемое в роботостроении, компьютерных играх, а также для обработки
изображений и видео.
В глубоком обучении с подкреплением для обработки состояний среды и совершения действий могут применяться искусственные нейронные сети (ANN).
Действия изучаются путем корректировки весов в ANN на основе получаемой
награды и изменений в среде. В обучении с подкреплением для решения различных прикладных задач также могут использоваться возможности сверточных
нейронных сетей (CNN) и других специфичных архитектур ANN.
На рис. 10.20 отражено высокоуровневое представление того, как можно
использовать ANN для решения задачи с парковкой. Входами в нейронную
сеть служат состояния. Выходами — вероятности выбора лучшего действия для
агента. Награда же и оказываемый на среду эффект могут с помощью обратного
распространения возвращаться в сеть для подстройки весов.

Глава 10. Обучение с подкреплением с помощью Q-Learning   361

Действие

Состояние

Награда

Рис. 10.20. Пример использования ANN для задачи с парковкой
В следующем разделе рассматриваются некоторые варианты реального применения обучения с подкреплением.

Применение обучения с подкреплением
Обучение с подкреплением применяется во многих ситуациях, когда данные
для обучения отсутствуют либо их недостаточно. Обучение происходит через
взаимодействие со средой, в которой присутствует эвристика для оценки высокой эффективности. Эту технику можно применять практически во всех сферах.
Разберем некоторые из них.

Роботостроение
Роботостроение подразумевает создание машин, которые взаимодействуют с реальными средами, выполняя поставленные задачи. Некоторые роботы используются для сложной навигации по пересеченной местности с разнообразными
типами покрытия дорог, препятствиями и уклонами. Другие применяются в качестве лабораторных помощников, получая от ученых инструкции, передавая
нужные инструменты или управляя оборудованием. Когда смоделировать каждый возможный результат каждого действия в огромной динамической среде
невозможно, на выручку приходит обучение с подкреплением. Устанавливая
в среде основную задачу и вводя награды и штрафы в качестве эвристик, можно

362  Грокаем алгоритмы искусственного --">