Методы снижения сетевой нагрузки в OLAP системах

• Автор: Дорожкин, Антон Константинович
• Шифр специальности: 05.13.13
• Научная степень: Кандидатская
• Год защиты: 2005
• Место защиты: Санкт-Петербург
• Количество страниц: 208170-176 с. : ил.

1 ИСПОЛЬЗУЕМЫЕ СОКРАЩЕНИЯ

2 ВВЕДЕНИЕ

3 ОБЗОР СОВРЕМЕННОГО СОСТОЯНИЯ СИСТЕМ

МНОГОМЕРНОГО АНАЛИЗА ДАННЫХ

3.1 Общая архитектура систем поддержки принятия решений

3.2 Особенности систем многомерного анализа данных

3.3 Передача данных по сети в OLAP системах

3.4 Обзор литературы

3.5 Структура диссертационной работы

3.6 Выводы

4 ОБЩИЕ ВОПРОСЫ СИСТЕМ МНОГОМЕРНОГО АНАЛИЗА

4.1 Размеры реляционного и многомерного хранилищ данных
4.2 Модель агрегации данных
4.3 Особенности учета передачи данных по сети
4.4 Производительность систем многомерного анализа данных
4.5 Выводы
5 ЗАГРУЗКА ДАННЫХ
Способы извлечения данных 55

Эффективная загрузка данных
5.6 Выводы
6 ОБРАБОТКА ПОЛЬЗОВАТЕЛЬСКИХ ЗАПРОСОВ
6.1 Модель обращения к реляционным данным
6.2 Модель расчетов на стороне клиента
6.3 Выводы
7 ЭКСПЕРИМЕНТАЛЬНАЯ ЧАСТЬ
7.1 Условия проведения эксперимента и исходные данные
7.2 Проверка адекватности модели предварительного расчета количества ячеек
агрегированных данных
7.3 Эксперименты по загрузке данных
7.3.1 Извлечение данных из источников
7.3.2 Определение эффективной частоты обновления данных
7.4 Эксперименты по обработке пользовательских запросов
7.4.1 Простое извлечение данных из многомерной базы данных
7.4.2 Проверка модели гибридного OLAP
7.5 Имитационное моделирование
7.5.1 Простая модель гибридной OLAP системы
7.5.2 Модель многопользовательского режима при децентрализованных вычислениях
7.5.3 Полная модель системы многомерного анализа данных
7.6 Выводы
8 ЗАКЛЮЧЕНИЕ
9 СПИСОК ЛИТЕРАТУРЫ
10 ПРИЛОЖЕНИЕ
10.1 Условные обозначения
10.2 Исходные тексты программ и скриптов
10.2.1 Функция на языке PL/SQL, для определения размера таблицы
10.2.2 Скрипт для создания и заполнения хранилища данных
10.2.3 Запросы, для определения размеров данных в реляционных источниках данных

10.2.4 Тестовая программа для HOLAP
10.2.5 Запрос на заполнение хранилища данных случайным образом
10.2.6 Программа на языке Oracle Express PL для определения числа заполненных ячеек во всех
^ кубоидах многомерного куба
10.2.7 Макросы на языке Visual Basic для Cognos PowerPlay
10.2.8 Программа на языке GPSS для простой модели HOLAP
10.2.9 Программа на языке GPSS для многопользовательского режима при децентрализованных
вычислениях
10.2.10 Программа на языке GPSS для обобщенной модели системы многомерного анализа
10.3 Результаты экспериментов
10.3.1 Извлечение данных
10.3.2 Результаты экспериментов по загрузке данных
10.3.3 Плотности кубоидов
10.3.4 Результаты эксперимента для многопользовательского режима при децентрализованных
вычислениях
10.4 Структура пакета данных протокола ORO
10.5 Функции и переменные имитационных моделей
10.5.1 Функции модели гибридного OLAP
10.5.2 Переменные модели гибридного OLAP
♦ 10.5.3 Переменные модели децентрализованного вычисления

Выражение (4.28) дает нам описание трафика, создаваемого данными,
л р
извлекаемыми из источников информации. Произведение
« (Р~Н)
дальнейшем будем называть коэффициент сетевой избыточности (кпе,).
Определить параметр I — время, затрачиваемое на передачу «полезных» данных (С) по сети, можно используя значения пропускной способности сети (р) как:
/ = (4.29)
Р-Та
Где тех — среднее значение трафика, существующего в сети в момент передачи необходимых данных. Так как значение существующего трафика в реальных системах непостоянно и непрерывно, то среднее значение за определенный период времени можно выразить как:
г.- у /«<>» -т2 («°)
1 о
Рис. 5 Полезные данные в условиях загруженной сети
Где Т — время передачи данных, т(Т) — количество других данных переданных по сети за время Т. Таким образом, заменяя значение Т в (4.30) на искомое I из (4.29) можем определить значение необходимой пропускной способности сети с учетом ограничения на время передачи «полезных» данных