Фил Уиндер - Обучение с подкреплением для реальных задач

концепции обучения с подкреплением........................................................... 41
Первый RL-алгоритм...................................................................................................................... 41
Оценка ценности.................................................................................................................. 42
Ошибка предсказания..........................................................................................................43
Правило обновления веса.................................................................................................. 43
RL — это то же самое, что ML?................................................................................................... 44
Награда и отклик.............................................................................................................................. 45
Отложенные награды..........................................................................................................46
Ретроспектива...................................................................................................................... 46
Обучение с подкреплением как дисциплина................................................................................... 47
Резюме..................................................................................................................................................... 49
Дополнительные материалы для чтения...........................................................................................49
Использованные источники................................................................................................................. 50

Глава 2. Марковские процессы принятия решений,
динамическое программирование и методы Монте-Карло....................................... 53
Алгоритм многорукого бандита......................................................................................................... 53
Разработка наград............................................................................................................................53
Оценка стратегии: функция ценности......................................................................................... 54
Совершенствование политики: выбор лучшего действия....................................................... 57
Моделирование среды.................................................................................................................... 58
Запуск эксперимента...................................................................................................................... 59
Улучшение Б-жадного алгоритма................................................................................................. 61
Марковские процессы принятия решений....................................................................................... 62
Контроль запасов.............................................................................................................................64
Таблица переходов..............................................................................................................65
Граф переходов.................................................................................................................... 66
Матрица переходов.............................................................................................................. 66
Симуляция управления запасами................................................................................................. 68
Политики и функции ценности.......................................................................................................... 70
Дисконтированные вознаграждения........................................................................................... 70
Прогнозирование вознаграждений с помощью функции ценности состояния...................71
Моделирование с использованием функции ценности состояния............................ 73
Прогнозирование вознаграждений с помощью функции ценности действия..................... 75
Оптимальные политики.................................................................................................................. 76
Генерирование политики Монте-Карло........................................................................................... 78
Итерация по ценности с динамическим программированием...................................................... 80
Реализация итерации по ценности................................................................................................ 82
Результаты итерации по ценнности.............................................................................................84
Резюме..................................................................................................................................................... 85
Дополнительные материалы для чтения.......................................................................................... 86
Использованные источники................................................................................................................. 86
Глава 3. Обучение с учетом временных различий, Q-обучение
и я-шаговые алгоритмы............................................................................................................... 87
Обучение с учетом временных различий: формулировка подхода............................................. 88
Q-обучение....................................................................................................................................... 90
SARSA............................................................................................................................................... 92
Q-обучение против SARSA............................................................................................................93
Пример использования: автоматическое масштабирование контейнеров приложений
для снижения затрат....................................................................................................................... 96
Отраслевой пример: торги рекламы в режиме реального времени............................................. 98
Определение марковского процесса принятия решения......................................................... 98
Результаты торгов в --">