Методы внедрения фрагментного параллелизма в последовательную СУБД с открытым исходным кодом

• Автор: Пан, Константин Сергеевич
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2013
• Место защиты: Челябинск
• Количество страниц: 101 с. : ил.

1. Фрагментный параллелизм и СУБД с открытым кодом

1.1. Фрагментный параллелизм

1.2. Обзор последовательных свободных СУБД с открытым исходным кодом

1.3. Архитектура СУБД PostgreSQL

1.3.1. Взаимодействие процессов СУБД

1.3.2. Этапы обработки запроса

1.3.3. Модульная структура

1.3.4. Размещение компонентов

1.4. Выводы но главе

2. Внедрение параллелизма в последовательную СУБД

2.1. Методы внедрения фрагментного параллелизма

2.1.1. Тиражирование запросов
2.1.2. Организация обменов
2.1.3. Построение параллельного плана запроса
2.1.4. Обработка запросов на изменение данных
2.1.5. Хранение метаданных о фрагментации
2.1.6. Портирование приложений
2.1.7. Модификация исходных текстов
2.2. Архитектурные подходы и алгоритмы
2.2.1. Подсистема тиражирования
2.2.2. Подсистема портирования
2.2.3. Оператор обмена (exchange)
2.2.4. Параллелизатор плана запроса
2.2.5. Запросы на изменение данных
2.2.6. Запросы на определение данных
2.3. Архитектура параллельной СУБД Ра^геЗСД
2.3.1. Взаимодействие процессов СУБД
2.3.2. Этапы обработки запроса
2.3.3. Модульная структура
2.3.4. Размещение компонентов
2.4. Выводы по главе
3. Применение параллельной СУБД Ра^геБСД для интеллектуального анализа графов
3.1. Определение задачи разбиения графа
3.2. Обзор существующих решений задачи разбиения графа
3.3. Разбиение графа с помощью СУБД РагдгеЭСД
3.3.1. Реляционная схема данных
3.3.2. Огрубление графа
3.3.3. Уточнение разбиения графа
3.4. Выводы по главе
4. Вычислительные эксперименты
4.1. План и аппаратная платформа экспериментов
4.2. Ускорение и расширяемость
4.3. Производительность на тестах ТРС
4.4. Исследование разбиения сверхбольших графов
4.5. Выводы по главе
Заключение
Литература
Приложение. Статистические данные о популярности
современных свободных СУБД

Актуальность темы
В настоящее время одним из феноменов, оказывающих существенное влияние на область технологий обработки данных, являются сверхбольшие даниые. В условиях современного информационного общества имеется широкий спектр приложений (социальные сети [24, 64], электронные библиотеки [1, 90], геоинформационные системы [59, 78] и др.), в каждом из которых производятся неструктурированные данные, имеющие сверхбольшие объемы и высокую скорость прироста (от 1 Терабайта в день). Исследования экспертов корпорации ЕМС показывают, что к 2020 г. мировой объем данных достигнет 40 Зеттабайт1.
Сверхбольшие данные путем интеллектуального анализа преобразуются в сверхбольшие реляционные базы данных, которые сохраняют в структурированном виде полученные результаты анализа, требующие параллельной обработки.
Следствием интеллектуального анализа сверхбольших данных на основе соответствующих методов, алгоритмов и программного обеспечения является появление сверхбольших реляционных баз данных, в которых в структурированном виде сохраняются полученные результаты аналитической обработки.
В настоящее время пара.алелъные системы баз данных [32], которые обеспечивают обработку запросов на многопроцессорных и многоядерных вычислительных системах, признаются научным сообществом как единственное эффективное средство для организации храпения и обработки сверхбольших баз данных. Базисной концепцией параллельных систем баз данных является фрагментный параллелизм, предполагающий разбиение
1 Press Release ЕМС2.

атрибут имеет строковый тин и задает имя атрибута, от которого зависит функция фрагментации соответствующей таблицы. Администратор базы данных должен при создании таблицы задавать значение данного атрибута, иначе невозможно корректно выполнить вставку данных. Атрибут fragattr указывается в запросе CREATE TABLE с помощью конструкции WITH. Пример запроса приведен на рис. 29.
create table Person ( id int,
name varchar(30), gender char(l), birth date ) with (fragattr = id);
Рис. 29. Создание таблиц в PargreSQL
Атрибут под именем, которое указано в параметре fragattr' таблицы, будет использован при обработке запросов UPDATE и INSERT для обеспечения фрагментации но формуле ip(t) = t .fragattr mod N, где N — количество узлов в кластерной системе, a mod — операция взятия остатка от деления.
2.3. Архитектура параллельной СУБД PargreSQL
Данный раздел содержит описание архитектуры параллельной СУБД PargreSQL, разработанной путем внедрения фрагментного параллелизма в последовательную СУБД PostgreSQL, и организован следующим образом. В разделе 2.3.1 описаны базовые клиентские и серверные процессы СУБД PargreSQL. В разделе 2.3.2 приведена схема параллельной обработки запроса. Раздел 2.3.3 содержит схему модульной структуры и описание семантики подсистем СУБД PargreSQL. Раздел 2.3.4 содержит описание размещения подсистем СУБД PargreSQL на клиенте и сервере.