Модели, методы и программное обеспечение обработки интенсивного потока экспериментальных данных на суперкомпьютере

• Автор: Щапов, Владислав Алексеевич
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2014
• Место защиты: Пермь
• Количество страниц: 128 с. : ил.

Оглавление
Введение

Глава 1. Обзор технологий распределенной обработки больших объемов данных

1.1. Тенденции развития вычислительных технологий и технологий передачи данных

1.2. Методы распределенной обработки больших объемов данных

1.3. Методы обработки потока данных

1.4. Технологии передачи данных в распределенных системах

1.4.1. Передача данных в интерконнектах суперкомпьютеров .

1.4.2. Технологии, использующие систему хранения данных суперкомпьютера

1.4.3. Специализированные транспортные протоколы передачи данных

1.4.3.1. Алгоритмы управления перегрузкой для ТСР .

1.4.3.2. Протоколы передачи данных на базе 1ШР
1/1.3.3. Анализ эффективности протоколов
1.5. Выводы но главе
Глава 2. Модель обработки потока данных в распределенных системах
2.1. Идея модели обработки потока данных
2.1.1. Особенности инфраструктуры распределенных суперком-
пьютерных систем
2.2. Модель очередей для обработки потока данных

2.2.1. Пример применения предложенной модели в проекте «Распределенный РІУ»
2.3. Математическое обоснование преимущества системы с общей очередью
2.3.1. Система массового обслуживания Еп/М/
2.3.2. Система массового обслуживания М/М/п
2.3.3. Сравнение систем Еи/М/1 и М/М/п
2.4. Технология взаимодействия оконечных систем и менеджера очередей
2.4.1. Алгоритм распределения элементов потока данных по вычислителям
2.4.2. Метод взаимодействия оконечных систем и менеджера
очередей
2.5. Преимущества модели очередей и технологии взаимодействия оконечных систем с менеджером очередей
2.6. Методика оценки требуемых коммуникационных и вычислительных ресурсов
2.7. Выводы по главе
Глава 3. Программная инфраструктура распределенной обработки данных
3.1. Анализ существующих технологий работы с очередями в распределенных системах
3.1.1. Скорость упаковки данных и диспетчеризации
3.1.2. Простота реализации формата передачи данных
3.1.3. Поддержка сторонних транспортных протоколов
3.1.4. Простота использования
3.1.5. Безопасность

3.1.6. Поддержка структурированных сообщений
3.2. Протокол ЭПИР
3.2.1. Формат пакета протокола ЭслМР
3.2.2. Возможности протокола ЭслМР
3.2.3. Иллюстрация работы протокола ЭПИР
3.3. Методы обработки параллельных сетевых соединений
3.4. Программное обеспечение распределенной обработки данных
3.4.1. Сервер очередей
3.4.2. Клиентская библиотека
3.4.3. Управляющее программное обеспечение
3.5. Выводы по главе
Глава 4. Апробация предложенных решений
4.1. Условия проведения экспериментов
4.1.1. Характеристики оконечных систем
4.1.2. Настройки сетевых подсистем в оконечных системах
4.1.3. Схема установки программного обеспечения
4.2. Тестирование эффективности алгоритмов ТСР
4.3. Исследование и анализ пропускной способности системы
4.3.1. Определение диапазонов значений варьируемых параметров
4.3.2. Обработка потока данных с использованием транспортного протокола ТСР
4.3.3. Обработка потока данных с использованием транспортного протокола II ОТ
4.4. Тестирование масштабируемости программного обеспечения
4.5. Тестирование программного обеспечения при обработке продолжительных потоков данных

2.3. Математическое обоснование преимущества системы с общей очередью
Рассмотрим две стратегии параллельной обработки данных.
Первый вариант - статическое циклическое распределение элементов потока данных по вычислителям (рисунок 2.8). В этом случае обработка элементов производится с шагом п, равным числу вычислителей. Тогда г-й вычислитель обрабатывает элементы потока с номерами г + у * п, где j - номер итерации каждого вычислителя, начиная с 0. Этот вариант эквивалентен ситуации, когда каждый вычислитель имеет собственную очередь данных для обработки и источник данных изначально определяет в какую очередь поместить текущий элемент потока данных.

1+2*п

Рисунок 2.8. Схема статического циклического распределения элементов потока данных по вычислителям
Второй вариант - распределение данных в порядке общей очереди (рисунок 2.9). В этом случае поток данных представляется в виде очереди, а вычислители берут на обработку сообщение, которое в текущий момент времени находится в начале очереди.
Выявить и обосновать преимущества общей очереди можно с применением теории массового обслуживания. Существуют два основных метода анализа