Математическое и программное обеспечение для поиска информационных шаблонов в хранилищах и потоках транзакций

• Автор: Янкелевич, Алексей Владимирович
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2007
• Место защиты: Москва
• Количество страниц: 132 с. : ил.

Содержание
ВВЕДЕНИЕ

ГЛАВА 1. ПРОБЛЕМЫ ПОИСКА ИНФОРМАЦИОННЫХ ШАБЛОНОВ В ХРАНИЛИЩАХ И ПОТОКАХ ИНФОРМАЦИИ

1.1. ЭВОЛЮЦИЯ СИСТЕМ ОБРАБОТКИ ДАННЫХ

1.2. Анализ современных средств поиска информационных шаблонов

1.2.1. Информационный шабло I

1.2.2. элементные множества и последовательности элементных множеств

1.2.3. Ассоциативные правила

1.2.4. основы теории поиска информационных шаблонов

1.2.5. Компактное представление коллекций шаблонов

1.2.6. Кластеризация

1.3. Выводы И ПОСТАНОВКА ЗАДАЧИ
ГЛАВА 2. ПОВЫШЕНИЕ ЭФФЕКТИВНОСТИ ПОИСКА ИНФОРМАЦИОННЫХ ШАБЛОНОВ В ХРАНИЛИЩАХ ИНФОРМАЦИИ
2.1. Задача поиска последовательностей элементных множеств в хранилище ТРАНЗАКЦИЙ
2.2. Разработка алгоритма поиска последовательностей элементных множеств в ХРАНИЛИЩЕ ТРАНЗАКЦИЙ
2.3. Исследование эффективности алгоритма
2.4. Выводы
ГЛАВА 3. РАЗРАБОТКА АЛГОРИТМОВ ПОИСКА ШАБЛОНОВ В ПОТОКАХ ТРАНЗАКЦИЙ
3.1. Задача поиска информационных шаблонов в потоке транзакций
3.2. Разработка алгоритма поиска элементных множеств в потоке транзакций . Исследование эффективности алгоритма поиска элементных множеств в потоке транзакций
3.4. Разработка алгоритма поиска поеледовательностей элементных множеств в потоке транзакций
3.5. Исследование эффективности алгоритма поиска последовательностей элементных множеств в потоке транзакций
3.6. Выводы
ГЛАВА 4. ПРИМЕНЕНИЕ РАЗРАБОТАННЫХ АЛГОРИТМОВ В ЗАДАЧАХ ИНФОРМАЦИОННОАНАЛИТИЧЕСКОГО ОБЕСПЕЧЕНИЯШ
4.1. Система автоматизации информационной инфраструктуры
4.2. Выводы
ЗАКЛЮЧЕНИЕ
СПИСОК ЛИТЕРАТУРЫ


Она характеризуется высокой гетерогенностью(разнородностью), обусловленной различиями в плотности, частоте появления, семантике обрабатываемых информационных блоков. Последние несколько лет развития информационных систем обозначили четкую тенденцию в эволюции систем хранения. В настоящее время простое накопление данных уходит на второй план, задачей первостепенной важности, без сомнения, становится обработка информации - извлечение полезных для человека сведений. Реляционные базы данных, язык SQL является одной из первых прикладных реализаций систем обработки больших массивов данных. Данный инструмент позволяет выполнять поиск, на базе него строятся системы классификации. Следующим эволюционным шагом являются OLAP - системы позволяющие делать сводные, консолидированные выборки из различных источников. Наиболее актуальной и востребованной задачей, в настоящее время, является задача Data Mining - извлечение неявных данных из информационных потоков и хранилищ. Информационные системы масштаба предприятия, как правило, содержат приложения, предназначенные для комплексного многомерного анализа данных, их динамики, тенденций. Такой анализ в конечном итоге призван содействовать принятию решений. Нередко эти системы так и называются — системы поддержки принятия решений. Принять любое управленческое решение невозможно, не обладая необходимой для этого информацией, обычно количественной. Для этого необходимо создание хранилищ данных (Data warehouses). То есть процесс сбора, отсеивания и предварительной обработки данных с целью предоставления результирующей информации пользователям для статистического анализа (а нередко и создания аналитических отчетов). Ральф Кимбалл (Ralph Kimball), один из авторов концепции хранилищ данных, описывал хранилище данных как "место, где люди могут получить доступ к своим данным” [7]. Удовлетворять всем перечисленным требованиям в рамках одного и того же продукта зачастую не удается. Поэтому для реализации хранилищ данных обычно используется несколько продуктов, одни их которых представляют собой собственно средства хранения данных, другие — средства их извлечения и просмотра, третьи — средства их пополнения и т. Типичное хранилище данных, как правило, отличается от обычной реляционной базы данных. Во-первых, обычные базы данных предназначены для того, чтобы помочь пользователям выполнять повседневную работу, тогда как хранилища данных предназначены для принятия решений. Во-вторых, обычные базы данных подвержены постоянным изменениям в процессе работы пользователей, а хранилище данных относительно стабильно: данные в нем обычно обновляются согласно расписанию (например, еженедельно, ежедневно или ежечасно — в зависимости от потребностей). В идеале процесс пополнения представляет собой просто добавление новых данных за определенный период времени без изменения прежней информации, уже находящейся в хранилище. И, в-третьих, обычные базы данных чаще всего являются источником данных, попадающих в хранилище. Кроме того, хранилище может пополняться за счет внешних источников, например статистических отчетов. Системы поддержки принятия решений обычно обладают средствами предоставления пользователю агрегатных данных для различных выборок из исходного набора в удобном для восприятия и анализа виде. Как правило, такие агрегатные функции образуют многомерный (и, следовательно, нереляционный) набор данных (нередко называемый гиперкубом или метакубом), оси которого содержат параметры, а ячейки — зависящие от них агрегатные данные - причем храниться такие данные могут и в реляционных таблицах, но в данном случае мы говорим о логической организации данных, а не о физической реализации их хранения). Вдоль каждой оси данные могут быть организованы в виде иерархии, представляющей различные уровни их детализации. Благодаря такой модели данных пользователи могут формулировать сложные запросы, генерировать отчеты, получать подмножества данных. Технология комплексного многомерного анализа данных получила название OLAP (On-Line Analytical Processing). OLAP— это ключевой компонент организации хранилищ данных.