Планирование задач в распределённых вычислительных системах на основе метаданных

• Автор: Голубев, Иван Алексеевич
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2014
• Место защиты: Санкт-Петербург
• Количество страниц: 137 с. : ил.

Содержание
Введение
Глава 1. Особенности построения современных систем планирования задач в распределённых системах

1.1. Анализ предметной области и обзор научных публикаций

1.1.1. Основные типы распределённых систем обработки

1.1.2. Системы управления ресурсами и планировщики заданий .

1.1.3. Свойства задач и ресурсов в распределённых системах

1.1.4. Методы планирования использования ресурсов и выполнения задач

1.2. Анализ распространённых промышленных планировщиков заданий и систем управления ресурсами

1.2.1. Система HTCondor

1.2.2. Система DIET

1.2.3. Программный стек ProActive
1.2.4. Системы управления ресурсами Slurni и Torque
1.2.5. Планировщик МоаЬ
1.2.С. Планировщик Maui
1.3. Выводы
Глава 2. Использование метаданных для планирования в РСОД
2.1. Классификация метаданных
2.2. Создание и хранение мультимедийных метаданных
2.3. Связь между метаданными и ресурсными требованиями
2.4. Поиск близких задач
2.5. Выводы
Глава 3. Разработка теоретических основ планирования задач
в РСОД
3.1. Математическая модель планирования задач в РСОД

3.2. Метод планирования задач в РСОД па основе метаданных.....и.ресурсных метрик
3.2.1. Вычисление ресурсных затрат выполнения на основе ресурсных метрик
3.2.2. Оценка ресурсных затрат на выполнение на основе метаданных
3.2.3. Вычисление матрицы назначения
3.3. Модификация алгоритма поиска ближайших соседей па основе
метода локализованного хэширования
3.4. Методика планирования задач на основе метаданных и ресурсных
метрик
3.5. Выводы
Глава 4. Экспериментальная оценка эффективности предложенного метода
4.1. Архитектура программной системы
4.2. Задача декодирования видео данных
4.2.1. Описание задачи
4.2.2. Инфраструктура и метаданные
4.2.3. Жизненный цикл метаданных
4.2.4. Оценка вычислительных затрат
4.2.5. Обработка результатов эксперимента
4.3. Задача обработки гидрографических данных
4.3.1. Задача построения карт высот
4.3.2. Планирование задач обработки гидрографических данных
4.4. Выводы
Заключение
Литература
Введение
Актуальность темы исследования
Системы планирования задач служат для решения проблемы эффективного и гибкого назначения поступивших задач обработки данных на доступные вычислительные ресурсы распределенных систем обработки данных (РСОД).
При развертывании и сопровождении РСОД основной проблемой является трудоёмкость настройки программного обеспечения, выполняющего назначение задач на вычислительные ресурсы которая, как правило, связана со следующими свойствами РСОД:
1. Разнородность задач по ресурсным требованиям, аппаратная гетерогенность вычислительных узлов и различная загрузка узлов РСОД требуют специального учёта, что ведёт к созданию сложных политик планирования.
2. Отсутствие полной информации о ресурсных требованиях задач усложняет принятие интеллектуальных решений по их планированию.
Широкое распространение кластерных систем, грид-систем и облачных систем связано с увеличением числа решаемых прикладных задач и значительным возрастанием нагрузок на вычислительные системы. Поставщики сетевых сервисов, опираясь на крупные консолидированные центры обмена данных, особое внимание стали уделять совершенствованию методов планирования задач обработки данных.
Требования сокращения временных издержек на решение прикладных задач, упрощения процедуры сопровождения распределенных систем обработки данных в существующих условиях обосновывают актуальность разработки новых методов планирования задач в РСОД.
Объектом исследования являются системы планирования задач в РСОД.
Предметом исследования выступают методы планирования задач, которые используются в системах планирования для РСОД.

1.2.5. Планировщик Moab
Планировщик Moab преследует цели равноправного и эффективного использования распределённых ресурсов кластера, определяя где и при каких условиях исполнять задачи.
Планировщик Moab поддерживает интеграцию с системами управления ресурсами SLURM и TORQUE [22].
Узел-обработчик в большинстве случаев представляет собой стандартную рабочую станцию, но поддерживается также и возможность работы с виртуальными машинами, предоставляемыми гипервизором.
Для Moab ресурсом в конечном счёте могут выступать:
1. Процессоры (количество);
2. Оперативная память (Мб);
3. Область подкачки (Мб);
4. Дисковая внешняя память (Мб).
Планировщик Moab функционирует как в режиме опроса системы управления ресурсами, так и в событийном режиме. В качестве событий, активирующих следующий цикл планирования могут выступать:
1. Поступление новой задачи обработки данных;
2. Завершение выполнения ранее запущенной задачи;
3. Добавление нового узла-обработчика;
4. Внесение изменений в политики (настройки) системы управления ресурсами.
На каждой итерации планирования планировщик запрашивает у системы управления ресурсами актуальную информацию о состоянии ресурсов, рабочей нагрузки и конфигурации политик планирования.
Затем Moab выполняет следующие действия:
1. Получает список задач, для которых условия выполнения удовлетворены.
2. Упорядочивает задачи в соответствии с их относительным приоритетом в