Чару Аггарвал - Нейронные сети и глубокое обучение: учебный курс

смещения

4.2.1.
4.3.

-

дисперсии

Формальное рассмотрение

Проблемы обобщаемости модели при ее настройке и оценке
4.3.1. Оценка точности с помощью отложенного набора данных
и перекрестной проверки

4.3 .2.
4.3.3.
4.4.

219
221
222
223
224
227
232
234
235
246
247
249
254
255
258
260
265
265
267
268

Обучение глубоких сетей способности
к обобщению

4.1.
4.2.

215
217

Проблемы с крупномасштабной тренировкой

Как определить необходимость в сборе дополнительных данных

Регуляризация на основе штрафов

4.4.1. Связь регуляризации с внедрением шума
4.4.2. L 1 -регуляризация
4.4.3. Что лучше: L 1- или L 2 -регуляризация?
4.4.4. Штрафование скрытых элементов: обучение разреженным
представлениям

271
271
278
280
284
287
288
289
289
292
293
294
295

10

4.5.

СОДЕРЖАНИЕ

Ансамблевые методы

4.5.1.
4.5.2.
4.5.3.
4.5.4.
4.5.5.
4.6.

Рандомизированное отбрасывание соединений
Дропаут

Ансамбли на основе возмущения данных
Ранняя остановка с точки зрения дисперсии

Предварительное обучение без учителя

4. 7.1.
4.7.2.
4.8.

Выбор и усреднение параметрических моделей

Ранняя остановка

4.6.1.
4.7.

Бэггинг и подвыборка

Разновидности неконтролируемого предварительного обучения
Контролируемое предварительное обучение

Обучение с продолжением и поэтапное обучение

4.8.1.
4.8.2.

Обучение с продолжением
Поэтапное обучение

4.9. Разделение параметров
4.10. Регуляризация в задачах обучения без учителя
4.10.1. Штрафы на основе значений: разреженные автокодировщики
4.10.2. Внедрение шума: шумоподавляющие автокодировщики
4.10.3. Штрафование на основе градиентов: сжимающие
автокодировщики

4.10.4.

4.11. Резюме
4.12. Библиографическая справка
4.12.1. Программные ресурсы
Упражнения

Глава

5.1.

5.

5.2.

Когда следует использовать RВF-сети

Тренировка RВF-сети

5.2.1.
5.2.2.
5.2.3.
5.2.4.
5.3.

Сети радиально-базисных функций

Введение

5.1.1.

Тренировка скрытого слоя
Тренировка выходного слоя
Ортогональный метод наименьших квадратов
Полностью контролируемое обучение

Разновидности и специальные случаи RВF-сетей

5.3.1.
5.3.2.

324

Скрытая вероятностная структура: вариационные
автокодировщики

4.13.

296
297
299
300
301
305
306
307
308
313
314
316
318
318
319
321
321
322

Классификация с использованием критерия перцептрона
Классификация с кусочно-линейной функцией потерь

328
338
338
341
341

345
345
349
349
350
352
354
355
357
358
358

11

СОДЕРЖАНИЕ

5.3.3. Пример линейной разделимости,

обеспечиваемой

RВF-функциями

5.3.4.
5.4.

Применение в задачах интерполяции

Связь с ядерными методами

5.4.1. Ядерная регрессия как специальный случай RВF-сетей
5.4.2. Ядерный метод SVM как специальный случай RВF-сетей
5.4.3. Замечания
5.5. Резюме
5.6. Библиографическая справка
5.7. Упражнения
Глава

6.1.

6.

Введение

6.1.1.
6.2.

Ограниченные машины Больцмана

Исторический экскурс

Сети Хопфилда

6.2.1.
6.2.2.
6.2.3.

Оптимальные конфигурации состояний обученной сети
Обучение сети Хопфилда

6.3.

6.4.

Улучшение выразительных возможностей сети Хопфилда

Машина Больцмана

6.3.1.
6.3.2.

Как машина Больцмана генерирует данные

Обучение весов машины Больцмана

Ограниченная машина Больцмана

6.4.1.
6.4.2.
6.4.3.

Обучение RВМ
Алгоритм контрастивной дивергенции

Применение ограниченных машин Больцмана

6.5.1.
6.5.2.
6.5.3.
6.5.4.
6.5.5.

Снижение размерности и реконструирование данных

Применение RВМ для коллаборативной фильтрации
Использование RВМ для классификации

Тематическое моделирование с помощью RВМ

Использование RВМ с данными, не являющимися бинарными
Каскадные ограниченные машины Больцмана

6. 7.1.

392
394
394
398
403
407

Использование RВМ для машинного обучения
с мультимодальными данными

6.6.
6.7.

377
379
380
382
383
386
389
391

Практические рекомендации и возможные видоизменения
процедуры

6.5.

369
369
370
371
373
376

Создание экспериментальной рекомендательной системы
и ее ограничения

6.2.4.

359
360
362
362
363
364
365
365
366

Обучение без учителя

41 О
412
413
416

12

СОДЕРЖАНИЕ

6. 7.2.
6.7.3.

Обучение с --">