Ришал Харбанс - Грокаем алгоритмы искусcтвенного интеллекта

интеллекта
использовать обучение с подкреплением для обучения роботов в динамических
средах. К примеру, робот-навигатор может изучить, каким колесам передавать
крутящий момент и как подстраивать подвеску для успешного преодоления
сложных участков. Эта цель достигается после множества попыток.
Эти сценарии можно симулировать виртуально, если есть возможность смоделировать на компьютере основные особенности среды. В некоторых проектах
обучение беспилотных автомобилей сначала происходило на основе компьютерных игр, после чего машины отправляли доучиваться на реальные дороги. Цель
обучения роботов с помощью обучения с подкреплением состоит в создании
более общих моделей, которые смогут адаптироваться к новым и разнообразным
средам, изучая, подобно людям, обобщенные взаимодействия.

Рекомендательные системы
Рекомендательные системы используются во многих цифровых продуктах.
Платформы потокового видео применяют их для изучения пользовательских
предпочтений видео и выдачи рекомендаций по интересам. Этот же подход
используется в платформах потокового аудио и онлайн-магазинах. Модели
обучаются на поведении зрителя, когда он принимает решение о просмотре
рекомендованных видео. Суть в том, что если рекомендованное видео было
выбрано и полностью просмотрено, то модель получает высокую награду, так
как она предположила, что это видео окажется хорошей рекомендацией. И наоборот, если пользователь не выберет видео или просмотрит лишь небольшой
фрагмент, то разумно предположить, что оно ему не понравилось. В результате
модель получит либо малую награду, либо штраф.

Биржевая торговля
К финансовым инструментам трейдинга относятся биржевые компании, криптовалюты и другие пакетные инвестиционные продукты. Задача трейдинга весьма
сложная. Аналитики отслеживают закономерности в изменениях цен и мировые
новости, после чего на основе анализа дают рекомендации придержать инвестиции, продать их часть либо купить еще. С помощью обучения с подкреплением
можно научить модели принимать эти решения, награждая их за получение
дохода и штрафуя за утрату средств. Разработка такой модели для успешных
торгов требует большого количества проб и ошибок, что подразумевает в ходе
обучения потерю агентом значительных сумм денег. К счастью, большинство
исторических публичных финансовых данных доступно бесплатно, а некоторые
платформы инвестирования даже предлагают песочницы для эксперимен­
тирования.
Несмотря на то что модель обучения с подкреплением может генерировать
хорошую отдачу от инвестиций, подумайте: как будет выглядеть рынок, если
все инвесторы станут абсолютно рациональны, перейдя на автоматизированные
процессы и избавившись от человеческого фактора?

Глава 10. Обучение с подкреплением с помощью Q-Learning   363

Видеоигры
Популярные игры-стратегии многие годы развивают интеллектуальные способности игроков. Эти игры, как правило, включают управление множеством видов
ресурсов при одновременном планировании краткосрочных и долгосрочных
тактических действий для победы над противником. Очень часто по ним проводятся чемпионаты, на которых малейшие ошибки оборачиваются для лучших
участников сокрушительными поражениями. Обучение с подкреплением применялось в таких играх на профессиональном уровне. В их реализациях, как
правило, участвует агент, который так же, как человек, наблюдает за экраном,
изучает закономерности и совершает действия. Награды и штрафы ассоциируются непосредственно с самой игрой. Спустя множество итераций игры
в различных сценариях с разными оппонентами агент вырабатывает наиболее
эффективные тактики для достижения долгосрочной цели в виде окончательной победы. Цель исследования в этой области связана с поиском более общих
моделей, которые смогут собирать контекст из абстрактных состояний и сред,
понимая схемы, которые невозможно отобразить в логическом представлении.
К примеру, в детстве нам не нужно было обжигаться о множество предметов,
чтобы понять, что горячее опасно. Мы постепенно вырабатывали интуицию
и проверяли ее по мере взросления. Эти проверки укрепляли наше представление о горячих объектах и их потенциальном вреде или пользе.
Ну и наконец, исследуя и разрабатывая ИИ, человек стремится сделать компьютеры способными обучаться решать --">