Методы и модели проектирования параллельных СУБД

• Автор: Самарев, Роман Станиславович
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2007
• Место защиты: Москва
• Количество страниц: 254 с. : ил.

1. АНАЛИЗ СУЩЕСТВУЮЩИХ МЕТОДОВ ПОСТРОЕНИЯ ПАРАЛЛЕЛЬНЫХ СУБД И ИС НА ИХ ОСНОВЕ,

АНАЛИЗ МЕТОДОВ МОДЕЛИРОВАНИЯ.

1.1. Анализ существующих методов построения

параллельных СУБД. Особенности организации.

1.1.1. Модели данных

1.1.2. Схема данных и языки запросов

1.1.3. Архитектура ВС для СУБД

1.1.4. Методы размещения данных.

1.1.5. Транзакционная обработка данных

1.1.6. Блокировка данных

1.1.7. Методы организации параллельного выполнения запросов.

1.1.8. Архитектура взаимодействия клиента и сервера СУБД
1.2. Анализ методов моделирования производительности ИС
1.2.1. Анализ математических методов моделирования
1.2.2. Применение методов моделирования для оценки характеристик производительности СУБД
1.2.3. Средства моделирования СУБД и ИС.
1.3. Анализ ОСУБД i как объекта исследования.
1.3.1. ИПС Обзор СМИ
1.4. Выводы.
2. РАЗРАБОТКА МЕТОДА МОДЕЛИРОВАНИЯ
ПРОИЗВОДИТЕЛЬНОСТИ ИС, ИСПОЛЬЗУЮЩЕЙ СУБД
2.1. Расширение свойств алгебры РЕРА.
2.1.1. Формальное определение алгебры i
2.2. Решение моделей
2.2.1. Генерация сокращенной марковской цепи.
2.2.2. Генерация полной марковской цепи
2.3. Весовое расширение алгебры.
2.3.1. Структурные и параметрические ограничители
2.3.2. Выбор факторов в векторе потребления ресурсов.
2.3.3. Анализ целесообразности введения операции
взаимоисключения в РЕРА
2.4. Модели производительности ИС, использующей СУБД.
2.4.1. Модель выполнения запросов
2.4.2. Анализ обработки запросов в ОСУ БД i и
ИПС Обзор СМИ
2.4.3. Упрощенная модель сервера СУБД
2.4.4. Модель запросов подсистемы поиска.
2.4.5. Полная модель ИС
2.4.6. Модели пропускной способности подсистемы памяти.
2.4.7. Модель для оценки числа обработчиков параллелизатора
2.5. Выводы
3. УЛУЧШЕНИЕ ХАРАКТЕРИСТИК ПРОИЗВОДИТЕЛЬНОСТИ СУБД С ИСПОЛЬЗОВАНИЕМ АДАПТИВНОГО ПЛАНИРОВЩИКА ПАРАЛЛЕЛЬНЫХ ЗАПРОСОВ
3.1. Разработка параллелизатора запросов.
3.1.1. Синхронное адаптивное управление
3.1.2. Асинхронное адаптивное управление.
3.1.3. Выбор параллельного планировщика
3.1.4. Оценка применимости выбранных параметров
планировщика для идентификации состояния системы.
3.2. Реализация модуля параллелизатора.
3.3. Выводы
4. МЕТОДИКИ ПРОЕКТИРОВАНИЯ ПАРАЛЛЕЛЬНЫХ СУБД
4.1. Методика реорганизации СУБД в соответствии с заданными
ХАРАКТЕРИСТИКАМИ.
4.2. Методика нагрузочного тестирования сервера ОСУБД
В СОСТАВЕ ИС.
4.3. Методика оценки характеристик производительности
ИС НА ОСНОВЕ СУБД
4.4. Методика разбиения последовательного кода программы на
НЕЗАВИСИМЫЕ
4.5. Методика параметризации моделей для различных
ВС С РАЗЛИЧНЫМИ методами доступа к ОЗУ.
4.6. Метод использования параллелизатора в тексте программ
4.6.1. Пример применения метода
4.7. Применение методики нагрузочного тестирования
сервера ОСУБД в составе ИС.
4.7.1. Выбор средства анализа программного кода
4.7.2. Выбор метода измерения временных интервалов.
4.7.3. Трассировка выполнения программы
4.7.4. Выбор способа организации синхронизации потоков.
4.7.5. Организация нагрузочного тестирования ИС
4.7.6. Измерение показателей ИС
4.7.7. Съем данных с реальной системы
4.8. Выводы
5. ВЫПОЛНЕНИЕ МОДЕЛЬНЫХ И НАТУРНЫХ ЭКСПЕРИМЕНТОВ, АНАЛИЗ РЕЗУЛЬТАТОВ
5.1. Выполнение модельного эксперимента с разработанными
МОДЕЛЯМИ.
5.1.1. Модель запросов подсистемы поиска по реквизитам.
5.1.2. Модели пропускной способности подсистемы памяти.
5.2. Анализ результатов моделирования
5.2.1. Эксперимент и моделирование подсистемы
полнотекстового поиска ИС
5.3. Анализ экспериментальных данных.
5.4. выводы
6. ЗАКЛЮЧЕНИЕ
1. ОБЩИЕ ВЫВОДЫ
8. ЛИТЕРАТУРА
Принятые сокращения
ВЗУ внешнее запоминающее устройство
ВМ виртуальная машина
ВС вычислительная система
ЛВС локальная вычислительная сеть
НЖМД накопитель на жестких магнитных дисках
ОЗУ оперативное запоминающее устройство
ОС операционная система
САП стохастическая алгебра процессов
ЦП центральный процессор
ЭВМ электронновычислительная машина
БД база данных
ООСУБД объектноориентированная СУБД ОСУБД объектная СУБД РСУБД реляционная СУБД СБД сетевая БД
СУБД система управления базами данных
АИС автоматизированная информационная система
ИПС информационнопоисковая система
ИС информационная система
ОИС объектная информационная система
ПО программное обеспечение
ПП прикладной продукт
i i i обобщенные стохастические сети Петри
язык объектных запросов
vi алгебра процессов для оценки производительности
i ivi Стохастические сети деятельности
i стохастическая алгебра процессов САП i i стохастические сети Петри
язык структурированных запросов
Введение


В процессе обслуживания в СУБД, исходные запросы подвергаются оптимизации по времени или используемым ресурсам ВС. БД, что включает количество типов, количество кортежей каждого типа, частота обращений по типам, по атрибутам кортежей, времена выполнения элементарных запросов и пр. На основании этой статистики, модуль оценки стоимости запросов вычисляет стоимость конкретных логических планов выполнения. В работах 1, акцентируется внимание именно на тот факт, что стоимость одного и того же плана выполнения при различных состояниях БД будет различной. В работе 3 рассматривается алгебраический подход для многоаспектного описания СУБД, позволяющий как формально специфицировать схему данных, выполняемые операции, взаимодействие с пользователем, так и выполнить анализ некоторых характеристик с использованием машины абстрактных состояний МЛС . На данный момент, несмотря на большое количество упоминаний машины абстрактных состояний, эти работы остаются в значительной степени теоретическими, поскольку не удалось выявить реальных инструментальных средств для их выполнения и решения. Также следует отметить работы, посвященные формальному описанию языков программирования на основе мутирующих алгебр , тесно связанными с МАС и, в частности, позволяющие описать выполнение операций объектной СУБД с учетом объектных преобразований типов и объектного наследования. Использование алгебраических моделей позволяет построить формальное описание модели данных. Оптимизация логического плана, представленного в виде формальной комбинации операций над множествами и их отображений, является математической задачей. Данные методы могут использоваться как для формальной разработки модели данных СУБД, так и для моделирования характеристик производительности. Рассмотрим основные типы СУБД по критерию параллельности выполнения запросов. Последовательные СУБД предусматривают обработку запросов пользователей в исключительно последовательном режиме. Данный вид СУБД в настоящее время применим только как СУБД специального назначения, например, для ВС на базе процессоров, без поддержки многозадачности, без возможности построения многопроцессорной конфигурации. Параллельные СУБД с последовательным выполнением запросов предполагают параллельное выполнение запросов при условии, что каждый запрос выполняется строго последовательно. Данный вариант позволяет масштабировать систему для увеличения суммарной производительности, однако совершенно неэффективен в случае малой плотности запросов. В этом случае выполнение одного запроса происходит за то же время, что и в случае полной загрузки, однако используется лишь некоторая часть ВС. Масштабирование системы возможно только при условии, что эффективное использование оборудования будет происходить только в случае высокой плотности запросов. Параллельные СУБД с параллельным выполнением запросов подразумевают параллельное выполнение нескольких запросов, но при этом, производится разбиение последовательности выполнения каждого запроса на ряд параллельных фаз. Это позволяет сокращать время обслуживания одного запроса в случае наличия свободных вычислительных ресурсов. Такие системы являются наиболее сложными в реализации, поскольку требуют максимально возможного разбиения запроса на слабо связанные микрооперации, однако обеспечивают возможность масштабирования с наиболее эффективным использованием ресурсов. ЕОТ с единой памятью. Проиллюстрируем данную классификацию схемами из работы . На рис 1. I
Ф . Рис. Одиск, специализированная высокоскоростная соединительная сеть. БЕ. Общая память позволяет легко балансировать загрузку процессоров и обеспечивать межпроцессорный обмен данными, однако наиболее серьезной проблемой является то, что эффективная работа достигается при количестве процессоров не более . Это ограничивает масштабирование системы. Кроме того, система имеет низкую отказоустойчивость. БЭ. Наличие индивидуальной памяти позволяет ускорить параллельную обработку, однако усложняется обмен данными между процессорами. Общая шина доступа к дискам серьезно ограничивает производительность в целом.