Разработка модели и методов управления ресурсами в виртуальных организациях распределенных вычислительных сред

• Автор: Бобченков, Александр Викторович
• Шифр специальности: 05.13.15
• Научная степень: Кандидатская
• Год защиты: 2011
• Место защиты: Москва
• Количество страниц: 156 с. : ил.

ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ
1.1. Архитектура распределенных вычислительных сред
1.1.1. Особенности больших распределенных вычислительных сред
1.1.2. Архитектура и состав программного обеспечения РВС
1.1.3. Виртуальная организация
1.2. Подходы к распределению ресурсов в РВС
1.3. Обзор методов отбора и планирования ресурсов в РВС
1.3.1. Непосредственное назначение ресурсов (мэпиинг)
1.3.2. Алгоритм бэкфиллинга (Backfill)
1.4. Обзор существующих реализаций планировщиков в РВС
1.4.1. Планировщик AppLes
1.4.2. Планировщик Maui
1.4.3. Планировщик Globus Architecture for Reservation and Allocation (GARA)
1.4.4. Планировщик Highly-Available Resource Co-Allocator
1.4.5. Планировщик G-lambda Grid Scheduling System
1.4.6. Метаброкер Grid Capacity Planning
1.4.7. Брокер ресурсов Nimrod/G
1.4.8. Особенности реализаций планировщиков
1.5. Основные результаты и выводы
2. РАЗРАБОТКА МОДЕЛИ ВИРТУАЛЬНОЙ ОРГАНИЗАЦИИ РВС И МЕТОДА УПРАВЛЕНИЯ НЕОТЧУЖДАЕМЫМИ РЕСУРСАМИ РВС
2.1. Понятия модели
2.1.1. Виртуальная организация
2.1.2. Виртуальная вычислительная среда
2.1.3. Ценовая политика виртуальной организации
2.1.4. Задания и ресурсные запросы
2.1.5. Метапланировщик и метод управления ресурсами РВС
2.2. Механизм работы метапланировщика
2.2.1. Алгоритм формирования и ранжирования пакета заданий (BFR)
2.2.2. Алгоритм подбора слотов (SP)
2.2.3. Алгоритм поиска эффективного плана выполнения (AS)
2.3. Модельные примеры
2.3.1. Однокритериальный случай оптимизации
2.3.2. Многокритериальный случай оптимизации
2.4. Основные результаты и выводы
3. РЕАЛИЗАЦИЯ СИСТЕМЫ ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ
3.1. Компоненты системы имитационного моделирования
3.1.1. Компонент генерации запросов (RequestGenerator)
3.1.2. Компонент генерации среды (EnvironmentGenerator)
3.1.3. Компонент отбора слотов (SlotProcessor)
3.1.4. Компонент поиска эффективного плана выполнения (Alternative Solver)
3.1.5. Компонент метапланировщика (MetaSchcduler)
3.2. Компонент планирования экспериментов (Experiment Manager)
3.2.1. Описание компонента планирования экспериментов
3.2.2. Описание формата входного файла
3.3. Графический интерфейс
3.4. Основные результаты и выводы

4. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ МОДЕЛИ ВИРТУАЛЬНОЙ ОРГАНИЗАЦИИ РВС
4.1. Исходные данные
4.2. Исследование устойчивости генерации входных данных и распределения выходных параметров
4.2.1. Регенерация виртуальной вычислительной среды в каждом эксперименте
4.2.2. Регенерация пакета заданий в каждом эксперименте
4.2.3. Регенерация виртуальной вычислительной среды и пакета заданий
4.3. Исследование влияния входных параметров модели на существенные выходные параметры
4.3.1. Влияние максимальной производительности ресурсной линии
4.3.2. Влияние числа ресурсных линий
4.3.3. Влияние минимальной длины локального задания
4.3.4. Влияние среднего уровня загруженности среды
4.3.5. Влияние требования ресурсного запроса к количеству одновременных слотов
4.3.6. Влияние требования ресурсного запроса к максимальной удельной стоимости слота
4.3.7. Влияние требования ресурсного запроса ко времени резервирования.
4.3.8. Влияние требования ресурсного запроса к минимальной производительности ресурсной линии
4.4. Исследование влияния длины цикла планирования и длины пакета заданий на выходные параметры
4.4.1. Исследование влияния длины цикла планирования
4.4.2. Исследование влияния длины пакета заданий
4.5. Сравнительный анализ работы алгоритма формирования пакета BFR и последовательной обработки очереди (FCFS)
4.6. Сравнительный анализ режима случайного выбора альтернатив и алгоритма AS.
4.7. Основные результаты и выводы
ЗАКЛЮЧЕНИЕ
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

ВВЕДЕНИЕ
Актуальность темы
Создание сред распределенных вычислений стало возможным в последнее время благодаря впечатляющим достижениям в следующих направлениях: существенному повышению производительности
процессоров, появлению широких каналов связи, глобализации обмена информацией и развитию методов метакомпьютинга - дисциплины, изучающей организацию распределенных вычислительных процессов. Немаловажным также является выработка единых протоколов организации вычисления и обмена данными, без которых объединение разнородных вычислительных систем и платформ трудно себе представить.
Две важных проблемы, решаемые при помощи распределенных вычислительных сред (РВС), главным представителем которых являются грид-системы, - повышение отдачи от вычислительных ресурсов, в случае их недостаточной загрузки, и обеспечение необходимой вычислительной мощности для решения масштабных научных и инженерных задач.
С одной стороны, очевидно, что РВС могут потенциально иметь совокупную вычислительную мощность на порядки выше, чем любой спроектированный и построенный суперкомпьютер. Более того, можно утверждать, что превосходство РВС еще более существенно, если мы рассмотрим среднюю производительность того и другого типа вычислительных систем как динамическую характеристику. Продолжающееся действие закона Мура заставляет периодически строить все новые и новые высокопроизводительные машины из-за ограничений, накладываемых технологией производства и не позволяющих постепенное обновление оборудования. Распределенные среды, в которых связующим звеном является их промежуточное программное обеспечение (middleware), не имеют подобных проблем.

Луизианы [43]. HARC представляет собой систему с открытым исходным кодом. Система HARC предлагает пользователю интерфейс командной строки, а также поддерживает Java API для - программного взаимодействия. Система HARC также выстроена по двухуровневой модели, аналогично GARA, здесь для каждого типа ресурсов предусмотрен свой акцептор запросов и менеджер ресурсов (HARC request acceptor, resource manager). Функция менеджера ресурсов заключается во взаимодействии с локальным планировщиком грид и обеспечение резервирования соответствующего типа ресурса. В системе реализована возможность прозрачного взаимодействия с планировщиком Maui и Moab Workload Manager для резервирования вычислительных узлов. Кроме этого, система HARC может работать как планировщик сетевых ресурсов (пропускной способности сетевых каналов).
1.4.5. Планировщик G-lambda Grid Scheduling System
Планировщик, являющийся частью проекта грид под названием G-lambda, реализован в виде совокупности веб-сервисов, способных осуществлять предварительное резервирование сетевых и вычислительных ресурсов [44]. Целью разработки проекта являлось создание стандартного веб-сервиса, обеспечивающего интерфейс между различными системами управления ресурсами в грид и других распределенных вычислительных средах. Сообразно двум типам поддерживаемых ресурсов, планировщик включает два компонента: метапланировщик вычислительных ресурсов Grid Resource Scheduler (GRS) и планировщик сетевых ресурсов Network Resource Management System (NRM).
GRS разрабатывался на основе фреймворка Globus Toolkit 4, реализации на языке Java стандарта Web Services Resource Framework (WSRF). Основная функция планировщика GRS - обработка запросов от прикладных приложений либо грид-порталов и последующее резервирование вычислительных ресурсов. GRS предназначен для работы на уровне метапланировщика, так как осуществляет резервирование путем