Разработка и исследование технологии аналитической обработки данных с контекстными ограничениями

• Автор: Полуянов, Андрей Николаевич
• Шифр специальности: 05.13.17
• Научная степень: Кандидатская
• Год защиты: 2009
• Место защиты: Омск
• Количество страниц: 98 с. : ил.

Содержание
Введение

Глава 1. Подходы к реализации технологии

Глава 2. Автоматизация формирования гиперкуба

2.1. Общие принципы формирования гиперкуба

2.2. Формирование таблицы соединений

2.3. Формирование гиперкубического представления

2.4. Реализованные зависимости

2.5. Автоматизация формирования контекста приложения

Глава 3. Реализация программного обеспечения системы

3.1. Общее описание системы

3.2. Выбор средств для реализации системы
3.3. Реализация технологии формирования г иперкуба
Глава 4. Использование системы для анализа данных
4.1. Описание задачи
4.2. Анализ данных
4.3. Описание работы программного обеспечения
Заключение
Литература


Имея оперативный доступ к огромным массивам данных, сотрудники предприятия не в состоянии сделать из них какие-либо выводы без использования специальных методов представления и обработки информации. Наиболее популярным способом решения указанной проблемы в настоящее время является технология оперативной аналитической обработки данных OLAP (online analytical processing). Основой OLAP-технологии является построение гиперкубического (многомерного) представления данных. Не менее актуальна проблема автоматизации анализа данных и для пользователей сравнительно небольших баз данных. Поскольку одни и те же данные приходится многократно реорганизовывать вручную для поиска скрытых в них закономерностей. Многие аналитики OLAP придерживаются точки зрения, что кубическое представление данных должно быть постоянно хранимым и периодически обновляемым из операционной базы данных (MOLAP). Основным аргументом в пользу такого дублирования данных выдвигается требование минимального времени отклика системы на запросы пользователя. При этом предполагается, что на одном гиперкубе будут удовлетворены все потребности пользователя в анализе данных. Другой подход заключается в преобразовании схемы исходной операционной базы данных в "звезду" или "снежинку" (ROLAP). Общий недостаток этих двух подходов в регламентированности предполагаемых операций анализа данных. И если пользователю потребуется по иному сгруппировать данные, то ему придется ни один рабочий день потратить на реорганизацию данных совместно со специалистом по информационным технологиям. Это и является основным сдерживающим фактором широкого распространения технологий аналитической обработки данных. Гиперкубическое представление данных далее используется для классификации, кластеризации, прогнозирования и т. Существенные затраты времени для формирования схемы и реализации гиперкуба в данной работе предлагается сократить за счет автоматизации этого процесса с использованием свойств схемы исходной операционной базы данных. Целыо данной работы является исследование задачи автоматизации формирования схемы и представления данных в виде гиперкуба из реляционного представления данных при наложении ограничений на результирующее представление. Рассмотрим основные результаты (защищаемые положения), описанные в соответствующих разделах диссертации. Разработана технология наложения контекстных и логических ограничений на гиперкубическое представление данных. Адаптирована технология формирования гиперкуба на основе межмодельных преобразований данных при наложении ограничений на данные. Разработан алгоритм проверки существования соединения отношений и доказана его корректность. Исследованы свойства реализованных зависимостей, которые используются для направленного перебора отношений при формировании контекстов. Разработан алгоритм автоматического формирования контекстов. Реализовано программное обеспечение генерации гиперкубов на основе межмодельных преобразований данных при наложении ограничений на данные. С использованием программного обеспечения проведена подготовка и анализ данных по оценке эффективности методов лечения пациентов с печеночной недостаточностью. На основе анализа результатов разработано программное обеспечение для визуальной интерпретации состояния пациентов. VIII Школа-семинар «Математическое моделирование и информационные технологии». Улан-Удэ, . Онтологии - Теории» (ЗОНТ-). Новосибирск, . Семинар лаборатории МГТПИ ОФИМ СО РАН им. С.Л. Соболева. Омск, . По теме диссертационной работы опубликовано 5 работ, из них: статьи в изданиях из перечня ВАК - 1. Получено 1 свидетельство об отраслевой регистрации разработки. Глава 1. Построение гиперкубического (многомерного) представления данных является основой для технологии оперативной аналитической обработки данных OLAP (online analytical processing) [,,,,]. В общем виде OLAP-технология представлена на рис. Рис. Схема OLAP технологии. Основное назначение этой технологии — преобразование данных к виду, удобнохму для их последующей аналитической обработки. Такое представление используется в интеллектуальном анализе данных (Data Mining) [,,].