Разработка методов оперативного обнаружения устоявшихся ассоциаций в данных и их использование при сопровождении баз данных корпоративного уровня

• Автор: Платонов, Сергей Валерьевич
• Шифр специальности: 05.13.06
• Научная степень: Кандидатская
• Год защиты: 2003
• Место защиты: Москва
• Количество страниц: 137 с. : ил.

ВВЕДЕНИЕ.
1. СОПРОВОЖДЕНИЕ БАЗ ДАННЫХ КОРПОРАТИВНОГО УРОВНЯ И СОВРЕМЕННЫЕ МЕТОДЫ АНАЛИТИЧЕСКОЙ ОБРАБОТКИ ДАННЫХ

1.1. Обзор особенностей сопровождения баз данных корпоративного уровня.

1.2. Анализ современных методов аналитической обработки данных

1.3. Обзор сфер применения технологии интеллектуального анализа данных.

Выводы по главе

2. АНАЛИЗ МЕТОДОВ ОБНАРУЖЕНИЯ УСТОЯВШИХСЯ АССОЦИАЦИЙ В ДАННЫХ, РАЗРАБОТКА МЕТОДОВ РЕАЛИЗАЦИИ И СТРУКТУР ДАННЫХ

2.1. Алгоритмы поиска устоявшихся ассоциаций в данных

2.1.1. Алгоритм Аргог.

2.1.2. Методы оптимизации алгоритма Аргог.

2.1.2.1. Алгоритм Разбиение.

2.1.2.2. Алгоритм Выборочный анализ
2.1.2.3. Алгоритм Динамический подсчет наборов
2.2. Разработка методов реализации алгоритмов в реляционных
2.2.1. Проблемы реализации алгоритмов поиска устоявшихся
ассоциаций в данных.
2.2.2. Структура исходных данных
2.2.3. Разработка структур рабочих и результирующих данных
2.2.4. Реализация алгоритмов и служебных функций
2.3. Сравнительный анализ алгоритмов.
2.3.1. Условия и методы сравнительного анализа
2.3.2. Анализ сравнительных характеристик работы алгоритмов.
Выводы по главе
3. ОПЕРАТИВНОЕ ОБНАРУЖЕНИЕ УСТОЯВШИХСЯ
АССОЦИАЦИЙ В ДАННЫХ
3.1. Задача оперативного обнаружения устоявшихся ассоциации в данных
3.2. Разработка методов реализации оперативной обработки данных.
3.3. Параметры обработки и оценка результатов.
Выводы по главе 3.
4. РАЗРАБОТКА РЕАЛИЗАЦИИ ОПЕРАТИВНОГО ОБНАРУЖЕНИЯ УСТОЯВШИХСЯ АССОЦИАЦИЙ В ДАННЫХ ДЛЯ СОПРОВОЖДЕНИЯ РБД АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ ОПЕРАТИВНОГО ДИСПЕТЧЕРСКОГО УПРАВЛЕНИЯ ООО ПЕРМТРАНСГАЗ
4.1. Особенности реализации базы данных системы оперативного диспетчерского управления
4.2. Сбор исходных статистических данных использования БД
4.3. Обработка статистических данных использования БД
4.4. Анализ результатов обработки данных
Выводы по главе 4.
ЗАКЛЮЧЕНИЕ.
ЛИТЕРАТУРА


Реализация программных модулей оперативного обнаружения ассоциаций для анализа данных аудита использования объектов промышленной БД пользователями и процессами. Существующие подходы к решению задач выявления закономерностей в данных 4, в частности, устоявшихся ассоциаций в данных, связаны с обработкой больших объемов ранее накопленных данных и требуют значительных затрат ресурсов на выполнение обработки, в следствие чего практически не пригодны для обработки поступающих в реальном времени данных с целью оперативного выявления происходящих изменений в закономерностях. В данной работе осуществляется попытка разработки методов, позволяющих осуществлять оперативное обнаружение изменений в тенденциях формирования наборов в данных при решении задач сопровождения промышленных БД корпоративного уровня. БД корпоративного уровня, разработке и апробации элементов ИС. Разработанные алгоритмы и методы расширяют возможности выявления и анализа тенденций и закономерностей , в частности, анализа физической реализации базы данных и информационных систем , с точки зрения выполняемых задач обработки данных, сокращают затраты ресурсов на выполнение анализа, автоматизируют процесс мониторинга использования базы данных, повышают качество информационного обслуживания администраторов. В практическом плане ценность диссертации заключается в разработке и апробации методик реализации оперативного обнаружения устоявшихся ассоциаций в данных аудита использования объектов БД для осуществления анализа релевантности физической структуры данных, выявления трендов поведения пользователей и прикладных систем и отклонений от них. Результаты, полученные в диссертации, доведены до практического использования в предприятиях нефтегазовой промышленности. Разработан программный комплекс, позволяющий в интерактивном режиме получать оперативные данные об использовании объектов базы данных для принятия решений по перепроектированию и модификации физической структуры БД, настроек СУБД, программных комплексов и обеспечению безопасности и сохранности данных. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в ЗЛОАтлантикТрансгазСнстема, 0Пермтрансгаз, а также используются в учебном процессе в МЛДИГГУ. Диссертационная работа состоит из введения, 4х глав основного текста, заключения, списка литературы, состоящего из го наименования и приложения. Во введении подчеркивается актуальность проведенных исследовании, поставлена цель, сформулированы решаемые задачи и приводится краткое содержание глав диссертации. В первой главе рассмотрены основные аспекты и особенности сопровождения промышленных БД корпоративного уровня, необходимость и перспективы автоматизации аналитической обработки данных при выполнении ряда задач сопровождения. Представлены основные концепции хранения и анализа корпоративных данных. Проанализированы современные тенденции и основные направления в области автоматизации аналитической обработки данных, представлены три базовые сферы анализа данных. Особое внимание уделено, в частности, интеллектуальному анализу данных ИЛД сфера закономерностей. Представлена классификация задач по типам извлекаемой информации, классификация стадий и технологических методов ИЛД. Рассмотрены основные сферы применения ИЛД. Во второй главе приводится формализация задачи обнаружения устоявшихся ассоциаций в данных, детально рассматриваются наиболее эффективные, с точки зрения обработки больших объемов данных, масштабируемые алгоритмы, выделяются их основные особенности с точки зрения обработки данных. Выделяются основные проблемы реализации и предлагаются методы реализации структур рабочих данных и их обработки с учетом реализации в рамках реляционной СУБД. Рассматриваются варианты представления исходных данных и способы их обработки. Предлагается вариант реализации предложенных методов в рамках реляционных СУБД корпоративного уровня с использованием имеющихся в них средств оптимизации обработки данных. Приводятся результаты сравнительного анализа реализаций алгоритмов посредством предложенных методов в рамках СУБД Огас1с.