Система пакетной обработки заданий в гетерогенной вычислительной сети

• Автор: Хачкинаев, Геннадий Месропович
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2004
• Место защиты: Ростов-на-Дону
• Количество страниц: 162 с. : ил.

Содержание
Введение
Глава 1. ОБЗОР СОВРЕМЕННЫХ СИСТЕМ ПАКЕТНОЙ ОБРАБОТКИ ЗАДАНИЙ В МНОГОПРОЦЕССОРНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМАХ.

1.1. Обзор многопроцессорных вычислительных систем.

1.2. Обзор средств программирования многопроцессорных вычислительных систем1

1.2.1. Коммуникационная библиотека I.

1.2.2. Среда выполнения параллельных программ V

1.3. Системы управления пакетной обработкой заданий

1.3.1. Кластерная система .

1.3.2. Система ii i

1.3.3. Система управления заданиями i.

1.3.4. Переносимая планирующая система
1.3.5. Архитектура систем управления заданиями.
1.4. Iтехнологии.
1.5. Выводы по главе 1.
Глава 2. МЕТОДЫ ПЛАНИРОВАНИЯ ОЧЕРЕДНОСТИ ВЫПОЛНЕНИЯ ЗАДАНИЙ НА МНОГОПРОЦЕССОРНЫХ СИСТЕМАХ ГЕТЕРОГЕННОЙ ВЫЧИСЛИТЕЛЬНОЙ СЕТИ.
2.1. Основные принципы построения системы управления заданиями .
2.2. Ресурсы в системе управления заданиями
2.3. Задания в системе управления
2.3.1. Эффективность параллельных программ.
2.3.2. Расчет времени выполнения задания.
2.4. Постановка задачи планирования и ее сложность.
2.4.1. Классификация алгоритмов планирования.
2.4.2. Критерии оценки расписаний
2.4.3. Известные дисциплины планирования.
2.5. Планирование заданий в системе управления .
2.5.1. Приоритеты заданий
2.5.2. Локальное планирование заданий
2.5.3. Балансировка загрузки локальных очередей классов
2.6. Теорема об эффективности локального планирования
2.7. Выводы по главе 2.
Глава 3. РАЗРАБОТКА СИСТЕМЫ УПРАВЛЕНИЯ ВЫПОЛНЕНИЕМ ПОТОКА ПРОГРАММ НА ВЫСОКОПРОИЗВОДИТЕЛЬНОЙ ВЫЧИСЛИТЕЛЬНОЙ СЕТИ
3.1. Назначение и требования к системе управления потоком заданий
3.2. Общая организация системы .
3.3. Сервер планирования и учета.
3.3.1. Структура сервера планирования и учета
3.3.2. Основной конфигурационный файл сервера планирования.
3.3.3. Ограничения и учет использования ресурсов.
3.3.4. Организация сетевых взаимодействий
3.3.5. Безопасность системы управления заданиями .
3.3.6. Описание заданий
3.3.7. Цикл обработки задания.
3.4. Модульагент узла
3.5. Программные интерфейсы системы управления заданиями
3.5.1. Программный интерфейс планировщика I
3.5.2. Библиотека I
3.5.3. Программный интерфейс агента вычислительного узла I
3.6. Утилиты системы управления заданиями .
3.6.1. Утилита .
3.6.2. Утилита
3.6.3. Утилита .
3.6.4. Утилита .
3.6.5. Утилита
3.7. Выводы по главе 3
Глава 4. ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ РАЗРАБОТАННЫХ МЕТОДОВ ПЛАНИРОВАНИЯ ЗАДАНИЙ
4.1. Эмуляция внешней среды сервера планирования и учета
4.2. Используемые при оценке разработанных методов планирования
характеристики расписаний.
4.3. Генератор заданий
4.4. Конвертер журналов.
4.5. Результаты исследований
4.6. Выводы по главе 4
Заключение
Литература


Идея параллельной обработки данных позволяет существенно увеличить вычислительную мощность, доступную задаче. При этом несколько процессоров объединяется в рамках многопроцессорной вычислительной системы (МВС) для решения одной задачи. Способ объединения процессорных элементов (ПЭ) в рамках МВС, принцип обработки данных и координации работы отдельных ПЭ определяется архитектурой МВС. Известно более различных классификаций архитектуры МВС [1,2]. SMP - Symmetric Multiprocessors) [3] и системы с массовым параллелизмом (МРР - Massive Parallel Processing) [4,5]. SMP-архитектура объединяет относительно небольшое количество процессоров (обычно до ), которые имеют равноправный полный доступ к общей оперативной памяти (рис 1. При этом шина доступа к оперативной памяти является узким местом подобных систем и существенно ограничивает возможность масштабирования, поскольку только один процессор может обращаться к памяти в каждый момент времени. Метод разделения памяти на блоки и использование коммутатора для соединения процессора с блоком памяти позволил распараллелить процедуру доступа к различным блокам памяти (рис. Тем не менее, остается еще одна серьезная проблема -синхронизация содержимого кэш-памяти процессоров и общей памяти. Согласно тестам SPEC [6,7], производительность SMP-систем даже на последовательных программах растет нелинейно от количества используемых процессоров. Преимуществом же симметричных систем является простота и естественность организации обмена данными между процессорами через разделяемые сегменты памяти. Кроме того, такой способ обмена является самым быстрым. Обычно компьютеры с SMP-архитектурой работают под управлением единственного экземпляра операционной системы, которая распределяет процессы по доступным процессорам. Рис. Системы с массовым параллелизмом характеризуются наличием распределенной памяти [4]. МВС состоит из однородных вычислительных узлов, которые соединены между собой коммуникационной средой. Каждый узел работает под управлением собственной копии ОС (обычно - сокращенный и оптимизированный вариант) и состоит из процессорного элемента, локальной оперативной памяти и, возможно, дополнительного коммуникационного процессора. Очень часто в состав МВС данного типа включают также так называемый хост-компьютер, который обеспечивает запуск программ на узлах МВС, предоставляет базовый сервис ввода-вывода и т. При этом каждый ПЭ, входящий в состав вычислительного узла, имеет доступ только к локальной памяти, а для доступа к данным, находящимся в памяти другого узла используются каналы коммуникационной среды. При этом, естественно, скорость доступа к удаленным данным существенно ниже, чем к локальным. Способ связи процессоров между собой определяет топологию коммуникационной среды. Очевидно, что самым эффективным решением было бы соединить каждый узел с каждым. Но такая организация потребовала бы создания огромного количества каналов связи, что неосуществимо на практике. Поэтому применяются различные топологии, каждая из которых имеет свои преимущества и недостатки. Примерами топологий могут служить кольцо (рис. Поскольку эти топологии не обеспечивают непосредственного соединения любых двух процессоров, возникает проблема маршрутизации сообщений через промежуточные узлы. Рис. NUMA (Non Uniform Memory Acccss)-cncTeMbi [3] представляют собой промежуточный вариант между двумя вышеперечисленными архитектурами. В таких системах память физически распределена между процессорами, но логически общедоступна. Доступ к памяти других вычислительных узлов реализуется на аппаратном уровне, но при этом скорость доступа к локальным и удаленным данным различается в несколько раз. Это обстоятельство с одной стороны облетает разработку параллельных программ, поскольку позволяет работать с единым адресным пространством, с другой стороны, за счет неоднородности остается проблема эффективной реализации алгоритмов. В связи с развитием высокоскоростного сетевого оборудования, широкое распространение получили кластерные системы [8-]. Такие системы являются более дешевым вариантом МРР-систем.