Разработка сетевой кластерной системы с динамическим распределением ресурсов для SPMD-задач и ее исследование при моделировании точечных вихрей

• Автор: Троценко, Роман Владимирович
• Шифр специальности: 05.13.15, 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2002
• Место защиты: Таганрог
• Количество страниц: 166 с.

Содержание
ВВЕДЕНИЕ
1. ОБЗОР СОВРЕМЕННЫХ СЕТЕВЫХ КЛАС ТЕРНЫХ СИСТЕМ И МЕТОДОВ МОДЕЛИРОВАНИЯ ТОЧЕЧНЫХ ВИХРЕЙ

1.1. Обзор сетевых кластерных систем

1.1.1. Классификация кластерного программного обеспечения

1.1.2. Коммуникационные библиотеки

1.1.3. Сетевые кластерные системы для пакетной обработки заданий

1.1.4. Параллельные языки программирования для сетевых кластеров

1.1.5. Средства автоматизации создания параллельных программ

1.1.6. Операционные системы для сетевых кластерных систем

1.1.7. Обобщенная характеристика сетевых кластерных систем
1.2. Обзор современных сетевых технологий
1.3. Проблема моделирования вихревой динамики с помощью ТОЧЕЧНЫХ ВИХРЕЙ
1.3.1. Постановка проблемы
1.3.2. Методы расчета вихревой динамики
1.4. Выводы
2. РАЗРАБОТКА АРХИТЕКТУРЫ СЕТЕВОЙ КЛАСТЕРНОЙ СИСТЕМЫ
2.1. Разработка структуры сетевой кластерной системы
2.1.1. Обоснование выбора структуры сетевой кластерной системы
2.1.2. Общая структура сетевой кластерной системы
2.2. Обоснование выбора коммуникационной библиотеки
2.3. Разработка структуры задачи
2.4. Разработка графового представления конфигурации задачи
2.5. Разработка способов динамического распределения ресурсов..
2.5.1. Сравнение статического и динамического распределения ресурсов
2.5.2. Разработка способа динамического планирования ресурсов сетевого кластера
2.6. Разработка языка запросов системы - командного языка
2.7. Разработка способов защиты сетевой кластерной системы
2.8. Разработка интерфейса сетевой кластерной системы с прикладными программами
2.9. Выводы
3. ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ РАЗРАБОТАННОЙ
СИСТЕМЫ НА ПРИМЕРЕ МОДЕЛИРОВАНИЯ ТОЧЕЧНЫХ ВИХРЕЙ
3.1. Параллельный алгоритм расчета динамики точечных вихрей

3.1.1. Основная расчетная формула моделирования, соотношения для проверки корректности вычислений
3.1.2. Поиск подходящего метода решения системы дифференциальных уравнений
3.1.3. Структура параллельного алгоритма
3.2. Исследование производительности сетевой кластерной системы с
ИСПОЛЬЗОВАНИЕМ ПАРАЛЛЕЛЬНОГО АЛГОРИТМА РАСЧЕТА ДИНАМИКИ ТОЧЕЧНЫХ ВИХРЕЙ
3.3. Оценка эффективности алгоритма
3.3.1. Оценка количества точечных вихрей, при котором параллельный алгоритм эффективнее последовательного
3.3.2. Оценка оптимального по времени счета для N вихрей количества машин
3.3.3. Оценка коэффициента ускорения от применения параллелизма..
3.3.4. Оценка оптимального по времени счета количества машин для метода Рунге-Кутта 4-го порядка. Общий случай
3.3.5. Оценка оптимального по времени счета количества машин для связанных по данным задач
3.4. Исследование методов повышения производительности параллельной программы
3.4.1. Метод свертки кластеров точечных вихрей
3.4.2. Применение масштабирования модельного времени по значениям интенсивности вихрей
3.4.3. Оптимизация сетевых обменов
3.5. Исследование влияния подсистемы безопасности на производительность сетевой кластерной системы
3.6. Выводы
4. ВИРТУАЛЬНАЯ МАШИНА С ДИНАМИЧЕСКИМ РАСПРЕДЕЛЕНИЕМ РЕСУРСОВ
4.1. Особенности функционирования виртуальной машины
4.2. Интерфейс прикладного программиста
4.3. Сравнение DRDVMи сетевой кластерной системы на базе MPI
4.4. Выводы
ЗАКЛЮЧЕНИЕ
ЛИТЕРАТУРА
ПРИЛОЖЕНИЕ 1 АКТЫ ОБ ИСПОЛЬЗОВАНИИ РЕЗУЛЬТАТОВ ДИССЕРТАЦИОННОЙ РАБОТЫ
ПРИЛОЖЕНИЕ 2 ИСХОДНЫЕ ТЕКСТЫ ПРОГРАММЫ ПАРАЛЛЕЛЬНОГО РАСЧЕТА ДИНАМИКИ ТОЧЕЧНЫХ ВИХРЕЙ
ПРИЛОЖЕНИЕ 3 РЕЗУЛЬТАТЫ МОДЕЛИРОВАНИЯ РАЗЛИЧНЫХ АНСАМБЛЕЙ ТОЧЕЧНЫХ ВИХРЕЙ

Введение
Актуальность. Параллельные высокопроизводительные
суперкомпьютерные системы (ПВСС) широко используются для решения фундаментальных научных и практических задач, требующих большого количества вычислений при ограничении на время исполнения. К задачам такого типа относятся, например, задачи из области ядерной физики, построения тренажеров и виртуальной реальности, аэро- и гидродинамики, в т.ч. связанные с моделированием турбулентности и вихревых явлений типа торнадо и смерчей.
ПВСС дороги и труднодоступны. Альтернативой ПВСС являются сетевые кластерные системы (СКС) или сетевые кластеры (СК) -совокупность машин, объединенных сетью и имеющих общее управление. СКС сравнительно недороги, относительно просты в построении и при достаточном количестве задействованных машин обеспечивают производительность, сопоставимую с ПВСС. Так, СКС Avalon (1998, Лос-Аламосская национальная лаборатория, США) состоял из 68 процессоров, связанных сетью стандарта Fast Ethernet, и при стоимости в 313 тыс. долларов обеспечивал производительность порядка 47.7 ГФлопс. Стоимость аналогичной по производительности 64-процессорной системы SGI Origm2000/195MHz на тот момент превышала 1 млв. долларов.
Для реализации общего управления СКС требуют кластерного программного обеспечения (КПО), например: MPI, PVM, mpC, Linda, Т-system, Condor. КПО определяет архитектурные особенности СКС, как мощного вычислительного комплекса (под архитектурой здесь понимается организация СКС с точки зрения пользователя). Операционная система (ОС), на базе которой функционирует КПО, является несущей ОС СКС.
Большинство СКС базируется на SPMD-технологии (Single Program -Multiple Data, одна программа - множественные данные). Идея SPMD в том, чтобы поделить большой массив информации между одинаковыми процессами, которые будут вести обработку своей части данных. В

- невозможность задать структуру программы в явном виде; нет подробного рассмотрения вопросов безопасности в сети;
- ориентация только на платформу Unix.
Другим представителем языковых средств для написания параллельных программ в сетевых кластерах является DVM - Distributed virtual machine [56-58]. Эта система предлагается разработчиками в двух вариантах: С-DVM (основной язык - Си) [59] и Fortran-DVM [60] (основной язык - Фортран) и близка к диалектам Фортрана, рассмотренным в [54, 55].
С-DVM является расширением языка Си специальными аннотациями для задания параллельного выполнения программы. Аннотации называются DVM-директивами. Компилятор С-DVM транслирует аннотированную программу в SPMD программу, которая содержит вызовы системы поддержки DVM (RTL - runtime library).
Необходимость преобразования программы для параллельного выполнения вызвана распределением данных и вычислений. Распределение данных состоит в разбиении массивов на части и размещении этих частей в локальной памяти разных процессоров. На каждом процессоре RTL определяет размер локальной части и выделяет память для нее. Исходные последовательные операторы для создания массива и доступа к его элементам ищутся компилятором в начальном коде и заменяются на обращения к RTL. Распределение вычислений состоит в разбиении индексного пространства цикла на части и выполнения на разных процессорах разных множеств витков цикла. Заголовки «последовательных» циклов преобразуются в их параллельные варианты в терминах вызова RTL C-DVM.
Достоинства:
идеология программирования под DVM близка к модели программирования векторных суперкомпьютеров, что позволяет достаточно просто адаптировать программы, написанные под них;