Евгения Дмитриевна Карепова - Основы многопоточного и параллельного программирования

95
3.2. Процессы............................................................................. 101
3.3. Потоки ................................................................................. 108
3.4. Синхронизация потоков в пользовательском режиме ... 113
3.5. Синхронизация потоков с помощью объектов ядра ...... 120
3.6. Проблемы условной синхронизации ............................... 128
3.7. Проецируемые в память файлы ........................................ 138
3.8. Совместный доступ процессов
к данным через механизм проецирования ...................... 144
Контрольные вопросы и задания ............................................ 146
Задачи ......................................................................................... 147
3

Оглавление

Г л а в а 4. ТЕХНОЛОГИЯ ПРОГРАММИРОВАНИЯ OpenMP ............ 153
4.1. Программная модель OpenMP.......................................... 153
4.2. Модель памяти OpenMP .................................................... 156
4.3. Среда выполнения OpenMP-программы ......................... 158
4.4. Директива omp parallel ..................................................... 164
4.5. Распределение работы в параллельной области
по нитям .............................................................................. 171
4.6. Директивы синхронизации ............................................... 191
4.7. Переменные среды и функции времени выполнения .... 204
4.8. Спецификации стандарта OpenMP v. 4.0 ........................ 210
4.9. Оптимизация программ OpenMP ..................................... 212
4.10. Ограничения OpenMP...................................................... 213
Контрольные вопросы и задания ............................................ 215
Задачи ......................................................................................... 215
Г л а в а 5. СОГЛАСОВАННОЕ
ПАРАЛЛЕЛЬНОЕ ПРОГРАММИРОВАНИЕ ...................... 221
5.1. Проблемы программирования
для вычислительных систем
с распределенной памятью ............................................... 221
5.2. Оценка эффективности параллельных алгоритмов ....... 225
5.3. Реализация базовых алгоритмов
вычислительной математики ............................................ 248
5.4. Проблемы выбора эффективной
параллельной реализации ................................................. 272
Контрольные вопросы и задания ............................................ 289
Г л а в а 6. ОСНОВЫ ТЕХНОЛОГИИ
ПРОГРАММИРОВАНИЯ MPI ............................................... 291
6.1. Архитектурная парадигма MPI ........................................ 291
6.2. Обрамляющие и информационные функции MPI.......... 293
6.3. MPI и крупноблочное распараллеливание ...................... 294
6.4. Организация вычислений .................................................. 300
6.5. Организация взаимодействий процессов ........................ 311
6.6. Повышение эффективности MPI-программ .................... 335
Контрольные вопросы и задания ............................................ 338
Задачи ......................................................................................... 340
БИБЛИОГРАФИЧЕСКИЙ СПИСОК .......................................................... 347

4

Предисловие

ПРЕДИСЛОВИЕ
Предлагаемое учебное пособие содержит материал для
базового курса «Параллельное программирование», который охватывает
широкий круг вопросов, связанных с высокопроизводительными вычислениями, а также отражает содержание нескольких спецкурсов, которые на
протяжении ряда лет читаются автором в Институте математики и фундаментальной информатики Сибирского федерального университета и аспирантуре Института вычислительного моделирования СО РАН.
Пособие можно разделить на три части: общие аспекты параллельного
программирования; программирование для параллельных вычислительных
систем (ПВС) с общей памятью; программирование для систем с распределенной памятью. В каждой части сначала обсуждаются проблемы, порождаемые архитектурой соответствующей вычислительной системы (ВС),
теоретические основы решения этих проблем, затем подробно рассматривается языковая реализация всех базовых механизмов. Как теоретический, так
и практический материал проиллюстрирован большим количеством примеров, многие из которых давно уже стали классикой параллельного программирования.
В первой главе рассматриваются основные особенности параллельного программирования. Приводится краткая классификация основных
видов архитектур ПВС, и подчеркивается необходимость использования
разнообразных методов написания параллельных программ в зависимости
от типа архитектуры. Здесь же дан краткий перечень существующих программных средств, методов написания параллельных программ, а также
факторов, определяющих те или иные приемы распараллеливания.
Во второй главе более подробно описываются особенности разработки программ для ПВС с общей памятью. Дается определение потока,
рассматриваются основные состояния, в которых может находиться поток.
Приводятся сведения о создании параллельных потоков и методах решения проблем, --">