Тушан Ганегедара - Обработка естественного языка с TensorFlow

алгоритма skip-gram..................................................................... 117
Структурированный алгоритм skip-gram........................................................... 118
Функция потерь.................................................................................................... 119
Модель непрерывного окна................................................................................. 120
GloVe – представление на основе глобальных векторов....................................... 121
Знакомство с GloVe............................................................................................... 121
Реализация алгоритма GloVe............................................................................... 122
Классификация документов с помощью Word2vec................................................ 123
Исходный набор данных...................................................................................... 124
Классификация документов при помощи представлений слов....................... 125
Реализация – изучение представлений слов...................................................... 125
Реализация – от представлений слов к представлениям документов.............. 126

Содержание  7
Кластеризация документов и визуализация представлений............................ 126
Проверка некоторых выбросов............................................................................ 126
Кластеризация/классификация документов с K-средним................................ 129
Заключение............................................................................................................... 130

Глава 5. Классификация предложений с помощью
сверточных нейронных сетей....................................................................... 132
Знакомство со сверточными нейронными сетями................................................ 132
Основы CNN.......................................................................................................... 133
Возможности сверточных нейросетей................................................................ 135
Устройство сверточных нейросетей........................................................................ 136
Операция свертки................................................................................................. 136
Операция субдискретизации............................................................................... 139
Полностью связанные слои.................................................................................. 141
Собираем CNN из компонентов.......................................................................... 142
Упражнение – классификация изображений из набора MNIST............................ 143
Источник данных.................................................................................................. 143
Реализация CNN................................................................................................... 143
Анализ прогнозов, сделанных CNN..................................................................... 146
Классификация предложений с помощью сверточной нейросети....................... 147
Структура нейросети............................................................................................ 147
Растянутая субдискретизация............................................................................. 150
Реализация классификации предложений......................................................... 151
Заключение............................................................................................................... 154

Глава 6. Рекуррентные нейронные сети................................................... 155
Знакомство с рекуррентными нейронными сетями.............................................. 156
Проблема с нейросетью прямого распространения.......................................... 156
Моделирование с помощью рекуррентных нейронных сетей.......................... 157
Устройство рекуррентной нейронной сети в деталях....................................... 159
Обратное распространение во времени................................................................. 160
Как работает обратное распространение........................................................... 160
Почему нельзя использовать простое обратное распространение.................. 161
Обратное распространение во времени и обучение RNN................................. 162
Усеченное обратное распространение во времени............................................ 163
Ограничения BPTT – исчезающие и взрывающиеся градиенты...................... 163
Применение рекуррентных нейросетей................................................................. 165
Один-к-одному..................................................................................................... 166
Один-ко-многим.................................................................................................. 166
Многие-к-одному................................................................................................. 167
Многие-ко-многим............................................................................................... 168
Генерация текста с помощью рекуррентной нейросети........................................ 168
Определение гиперпараметров........................................................................... 169
Распространение входов во времени для усеченного BPTT.............................. 169
Определение набора данных для валидации..................................................... 170
Определение весов и смещений.......................................................................... 170

8  Содержание
Определение переменных состояния................................................................. 171
Вычисление скрытых состояний и выходов с развернутыми входами............ 171
Расчет --">