Методы и средства интеграции независимых баз данных в распределенных сетях TCP/IP

• Автор: Пыхалов, Александр Владимирович
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2012
• Место защиты: Ростов-на-Дону
• Количество страниц: 169 с. : ил.

Содержание
ВВЕДЕНИЕ.

1. ЗАДАЧА ИНТЕГРАЦИИ ДАННЫХ И ОБЗОР СУЩЕСТВУЮЩИХ МЕТОДОВ ИНТЕГРАЦИИ ДАННЫХ.

1.1. Различные подходы к интеграции данных V, V, V.

1.2. Модели данных и языки запросов, используемые в области интеграции данных

1.3. Методы обработки и оптимизации запросов в СИД.

1.3.1. Методы оптимизации запросов в реляционных СУБД

1.3.2. Методы обработки и оптимизации запросов в распределенных СУБД

1.3.3. Методы борьбы с устаревшей статистикой в СИД

1.3.4. Методы обработки запросов в vi.

1.3.5. Методы обработки и оптимизации запросов в СИД I

1.3.6. Методы обработки запросов в СИД II.
1.3.7. Методы обработки и оптимизации запросов в СИД Ii
i.
1.3.8 . Методы обработки запросов в 2 СИД
1.4. Методы работы с неполными и противоречивыми данными.
1.4.1. Формальная модель для интеграции данных ix.
1.4.2. Методы разрешения противоречий в СИД ix.
1.5. Постановка общей научной задачи и частные задачи исследования
1.6. Выводы по главе 1.
2. МЕТОДЫ ОБРАБОТКИ И ОПТИМИЗАЦИИ ЗАПРОСОВ В РАСПРЕДЕЛЕННОЙ СЕТИ.
2.1. Краткое описание предлагаемых методов и реализующих их средств
2.2. Метод определения источников данных, используемых в запросе к
распределенной совокупности источников данных.
2.2.1. Используемая модель данных.
2.2.2. Подход к построению отображений между глобальной схемой и локальными схемами
2.3. Методы обработки и оптимизации запросов
2.3.1. Общий алгоритм выполнения запросов.
2.3.2. Метод непосредственного выполнения запросов
2.3.3. Оптимизированный метод выполнения запросов.
2.4. Выводы по главе 2
3. АЛГОРИТМЫ ОБРАБОТКИ ЗАПРОСОВ В СИСТЕМЕ ИНТЕГРАЦИИ ДАННЫХ, ПРЕДНАЗНАЧЕННОЙ ДЛЯ РАБОТЫ В РАСПРЕДЕЛЕННОЙ СЕТИ
3.1. Построение графа взаимосвязанности выражений.
3.1.1. Алгоритм унификации предикатов в СИД 0.
3.2. Алгоритмы генерации выражений РА.
3.2.1. Алгоритм генерации выражений РА для нерекурсивных программ. .
3.2.2. Алгоритм генерации выражений РА для рекурсивных программ
3.3. Алгеритм генерации БрЬ по выражениям РА
3.4. Алгоритмы оптимизации запросов
3.4.1. Алгоритм оптимизации запросов на основе правил
3.4.2. Алгоритмы сбора и обработки статистики
3.5. Корректность предлагеемых алгоритмов
3.6. Выводы по главе 3.
4. РЕАЛИЗАЦИЯ МЕТОДОВ И СРЕДСТВ ИНТЕГРАЦИИ ДАННЫХ В РАСПРЕДЕЛЕННОЙ СЕТИ
4.1. Общее описание СИД РЯБвО
4.1.1. Архитектура СИД ГЯБСО.
4.1.2. Схема взаимодействия прикладных программ с СИД 0.
4.2. Экспериментальный анализ производительности работы СИД Б, реализующей предложенные алгоритмы и методы.
4.2.1. Анализ производительности СИД 0 в локальной сети
4.2.2. Анализ производительности СИД 0 в распределенной сети. .
4.2.3. Результат анализа работы представленных средств
4.3. Практическое использование предложенных методов и средств
4.4. Выводы по главе 4
ЗАКЛЮЧЕНИИ
ВВЕДЕНИЕ
Актуальность


Однако, стоит отмстить, что до сих пор не существует эффективных средств и методов объединения множества источников данных (ИД) в распределенных корпоративных и межкорпорагивных сетях. Существующие же системы интеграции данных (СИД) обычно используют недостаточно гибкие методы построения отображений между различными схемами баз данных (далее для краткости -просто схемами), не имеют развитых средств обработки исключительных ситуаций и параллельного выполнения запросов. Отсугствис эффективных средств связано с тем, что в области интеграции данных приходится решать множество задач, часть из которых является общей для смежных с ней областей исследований, часть - уникальной именно для этой области []. Области, наиболее близкие области интефации данных - это ETL (Extract, transform, load) и область создания распределенных СУБД. Термин ETL пришел из области хранилищ данных и под ним обычно понимают процессы извлечения информации из различных ИД, преобразование данных к виду, необходимому для загрузки в хранилище данных, и собственно загрузку данных []. СУБД - оптимизация запросов в распределенной среде и задача представления данных []. Специфичными для области интеграции данных являются задачи получения ответов на запросы в случаях недоступности ИД, агрегирование данных множества ИД с учетом их неполноты. Задача сопоставления двух схем заключается в исследовании двух схем и данных, соответствующих этим схемам, с целью создания отображения между этими ними. Задача поддержания корректности отображений между схемой ИД (которую также называют локальной схемой) и целевой схемой (которую также называют глобальной схемой) заключается в обнаружении изменений схемы и способов представления данных ИД, которые делают некорректным имеющиеся отображения между схемой ИД и целевой схемой, и является особенно важной в области интеграции данных, так как ИД обычно управляются независимо от системы интеграции данных (СИД) и их схемы могут изменяться с течением времени []. Задача оптимизации запросов хорошо исследована в процессе создания распределенных СУБД, однако специфика области интеграции данных предъявляет новые требования к оптимизации запросов: может рассмагриваться оптимизация запросов к различным типам ИД (например, оптимизация запросов к УеЬ-сервисам [] или НТМЬ-формам), оптимизация в случае устаревшей или отсутствующей статистики, оптимизация в случае использования неполных ИД или недоступности отдельных ИД. Под задачей представления данных понимается выбор модели данных (МД), наиболее подходящей для конкретного класса прикладных задач (например, реляционной МД, ХМЬ-модели или 1ШЕ-модели). Задача афегирования данных множества ИД заключается в получении результата из множества ответов различных ИД, которые в большинстве случаев будут неполными, а также могут содержать противоречивую информацию. ИД заключается в том, что СИД должна рассматривать способы получения неполных ответов на запрос пользователя в случае недоступности ИД. В данной главе рассматриваются задачи, методы и средства интеграции данных, уточняется научная задача и частные задачи исследования . Основное внимание уделяется методам оптимизации запросов и получения ответов на запросы в условиях недоступности части ИД. Одним из основных архитектурных различий СИД является подход к интеграции данных. Выбор подхода определяет основные алгоритмы, используемые при формировании ответа на пользовательские запросы. Подход к интеграции данных определяег метод задания и интерпретации отображений между схемами различных ИД. При рассмотрении отображения между двумя схемами обычно говорят о схеме ИД и целевой схеме, в терминах которой формулируются запросы. Выделяют три основных подхода к составлению отображений: GAV (Global As View) [], LAV (Local As View) [] и GLAV []. И хотя подходы GLAV и LAV предоставляют более гибкие, чем при использовании подхода GAV, средства для описания отображений между схемами ИД и целевой схемой, алгоритмы обработки запросов при использовании подходов LAV и GLAV значительно усложняются по сравнению с обработкой запросов к СИД, использующей GAV-подход к составлению отображений между схемами. X):-s1(X7. F7)>. ИД, [].