Модели и алгоритмы системы поддержки принятия решений на основе многомерных хранилищ данных

• Автор: Рахал Ясер
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2010
• Место защиты: Казань
• Количество страниц: 162 с. : ил.

Содержание
Введение

Глава 1. Анализ и исследование существующих систем хранения и обработки информации

1.1. Реляционные модели хранения и обработки информации

1.2. Переход к нереляционным моделям 1

1.3. Многомерное представление данных .

1.3.1. технология.

1.3.2. Сравнение и систем

1.3.3. Система поддержки принятия решений

1.3.4. Многомерное представление данных

1.3.5. Преимущества использование хранилищ данных

1.4. Материализованное представление данных
1.5. Вызоды
Глава 2. Модели и алгоритмы обработки данных с использованием реляционных и многомерных баз данных .
2.1. Добыча данных .
2.2. Классификации .
2.2.1. Классификационные правила.
2.2.2. Методы iv
2.2.3. Деревья решений.
2.3. Регрессионый анализ
2.4. Ассоциативные правила
2.5. Кластерный анализ.
2.6. Методы прогнозирования.
2 . 7 . Выводы.
Глава 3. Разработка хранилища данных для хранения объектной информации .
3.1. Разработка хранилища данных .
3.1.1. Архитектура хранилища данных.
3.1.2. Независимые витрины данных.
3.1.3. Двухуровневое хранилище данных.
3.1.4. Трехуровневое хранилище данных8
3.1.5. Характеристика хранилища данных
3.2. Концептуальное моделирование хранилища данных
3.2.1. Переход от модели сущностей к многомерной модели.
3.2.2. Выявление иерархии при многомерном моделировании
3.3. Построение многомерной модели .
3.3.1. Алгоритмы определения классов иерархии
3.3.2. Объединение в классы иерархии
3.3.3. Схема фактов для предметной области сети магазинов.
3.3.4. Схема реализации модели
3.4. Математическая модель многомерного представления данных
3.4.1. Основные понятия многомерной модели
3.4.2. Пример измерения География
3.4.3. Операции на кубе.I
3.5. Выводы.
Глава 4. Разработка системы поддержки принятия
решений.
4.1. Концептуальная модель системы .
4.2. Требование к системе .
4.3. Алгоритм загрузки данных в ХД.
4.4. Безопосность СППР
4.5. Методы повышения эффективности обработки данных
4.5.1. Использование материализованного представления.
4.5.2. Разделение таблиц и параллельность выборки.
4.5.3. Индексирование данных
4.6. Выбор СУБД
4.7. Выводы
4.8. Основные результаты работы
Список использованной литературы


Для исправления эффективности алгоритма к-средний используем новый алгоритм на основе энтропии. Основная идея данного метода - найти объекты, которые окружены объектами, принадлежащими другому кластеру. Если при вычислении энтропия будет уменьшаться, то перераспределение объектов по кластерам будет давать более правильны]! С целью решения задач прогнозирования разработана трсхслойная нейронная сеть с вычислением весовых коэффициентов. Проведен эксперимент прогнозирования динамики валютного рынка на основе разработанной нейронной сети, а также с использованием традиционных статистических методов. Показано, что более точные результаты были получены с помощью нейронной сети. В третьей главе разработана модель трехуровневого хранилища данных, с независимыми витринами данных, ориентированных па подразделения предприятия. Для перехода от реляционной базы данных к хранилищу данных выделены три категории сущностей: сущность транзакций, составные сущности, сущности классификаций. Сущность транзакций это сущность, где собирается информация о конкретных событиях, которые происходят в бизнесе, например, «продажа», «заказ» и т. Составные сущности определяют детали или компоненты каждой транзакции. Например, сущность, «клиент», «товар», «время» и т. Объекты составные сущности размещены в определенном порядке, называемым «классом иерархии». Сущности классификации это сущности, которые имеют отношение к составным сущностям типа “один - ко - многим ", т. Они представляют иерархию, встроенную в модель данных, которые могут быть свернуты в составные компоненты в форме таблиц измерений в схеме "звезда". Например, сущность «тип-клиент», «тип-товар». Атрибуты сущностей транзакций представлены в виде фактов, а атрибуты составных сущностей представлены в виде измерений. Такое представление образует гиперкуб данных. Математическая модель представления гиперкуба с «Ы» измерениями строится с использованием теории множеств. Ln = (/,,/,,. Ts - набор данных ячейки или набор кортежей в форме: /, = tn,tl2. UJ,m_valuel, где t? Con -базовый куб, состоящий из детальных данных в соответствие с самым низким уровнем класса иерархии. Одним из важнейших свойств куба данных является возможность получения другого куба с помощью функций группирования, таких как {sum, avg, count, max, min }. В диссертации рассматриваются основные операции преобразований гиперкуба и дается их математическое описание. Ds ={dltd2,. Операция проекции (к) позволяет уменьшить количество измерений куба. Навигация (nav) -позволяет подготовить новый куб с новым состоянием, за счет использования '¦ функций навигации (J). Обычно навигация выполняется над классом измерений, чтобы перейти на более низкий уровень данных или на более высокий уровень детализации. Существуют пять основных команд OLAP (Roll Up, DRILL DOWN, SLICE, DICE, PIVOT), позволяющих производить определенные операции над кубом. Операция Roll Up используется для перехода на более высокие уровни обобщения. Операция DRILL DOWN, используется для перехода-на более низкий уровень детализации. Здесь детализация идет сверху - вниз. Эта команда является противоположностью. Roll Up, например, зная общее количество проданных товаров в стране, можно представить продажи по каждому городу. Операция Срез (Slice)' позволяет взять куб с конкретным состоянием, вырезать указанные измерения и оставить остальные измерения без изменения. Операция Кость (Dice) позволяет определить подкуб (кость) путем выборки по двум или более измерениям. В . СППР), разработанная для интеллектуального анализа данных и прогнозирования. Также в четвертой • главе рассматриваются методы повышения эффективности обработки данных с целыо ускорения времени выполнения запросов. Использование материализованного представления, предназначенного для хранения агрегированных данных в отдельной таблице, что позволяет избежать эффекта разреженной таблицы. Разделение таблиц и параллельность выборки. Предлагается делить большие таблицы на маленькие и работать с полученным результатом- в параллельном режиме.