Разработка моделей и методов построения и автоматизированного наполнения системы метаданных

• Автор: Бутенко, Игорь Всеволодович
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2011
• Место защиты: Санкт-Петербург
• Количество страниц: 147 с. : ил.

Оглавление
Оглавление.

Список используемых сокращений.

Введение.

1 Метаданные в информационных аналитических системах.

1.1 ИЛС как средство обработки больших объемов данных

1.1.1 Хранилища данных.

1.1.2 Федеративные системы.

1.2 Способы построения НАС

1.2.1 Системная интеграция

1.2.2 Перепое данных

1.2.3 Метаданные
1.3 Использование метаданных в И АС.
1.3.1 Операционные системы
1.3.2 Метаданные в аналитических системах.
1.3.3 Системы будущего
1.3.4 Средства работы с метаданными.
1.4 Способы повышения качества хранимой информации в ИЛС
1.4.1 Стандартизация и ингероперабельность
1.4.2 История стандартизации метаданных.
1.4.3 Международные проекты и инициативы в области моделей и схем метаданных
1.5 Требования к метасистеме
1.6 Обзор существующих метасистем.
1.6.1 Критерии сравнения метасистем.
1.6.2 Сравнение метасистем
1.7 Постановка задачи.
2 Модели описания объектов метасистемы
2.1 Формирование требований к разработке
2.1.1 Введение.
2.1.2 Общий вид взаимодействия в рамках метасистемы.
2.1.3 Подходы к построению репозитория метаданных.
2.1.4 Выбор мстамодели
2.1.5 Определение архитектуры высокого уровня.
2.1.6 остроснне базы метасистемы
2.1.7 Добыча данных.
2.1.8 Этапы построения МС.
2.2 Модель описания объектов исходной базы данных.
2.2.1 редста влС и е объекта.
2.2.2 Параметры объекта.
2.2.3 Описание объекта
2.3 Модель описания классификаторов.
2.3.1 Определение.
2.3.2 Поддержка многоуровневости
2.4 Построение базы данных метасистемы
2.4.1 Конкретизация свойств объектов
2.4.2 Построение базы данных
2.4.3 Поддержка версионности данных.
2.4.4 Выбор варианта храпения объектов в метасистеме
2.4.5 Структура базы данных описания объектов.
2.4.6 Схема базы данных метасистемы.
3 Инструментальная поддержка основных этапов построения метасистемы.
3.1 Наполнение данных метасистемы.
3.1.1 Модель загрузки данных п метасистему
3.1.2 Закачка данных в метасистему
3.1.3 Особенности загрузки
3.1.4 Выбор способа загрузки данных.
3.1.5 Алгоритм наполнения данных метасистемы
3.2 Построение дерева классификаторов.
3.2.1 Выбор способа описания пользовательских классификаторов
3.2.2 Описание классификаторов.
3.3 Организационные мероприятия
3.3.1 Подготовка исходной информации для загрузки
3.3.2 Введение пользовательских типов
3.4 Методика построения МС.
3.5 Выводы по главам 2 и 3.
4 Реализация и примеры использования
4.1 Реализация МС
4.1.1 Выбор средств реализации.
4.2 Примеры использования МС.
4.2.1 Задача анализа работы уборочной техники
4.2.2 Решение задачи с использованием МС.
4.2.3 Создание пользовательского интерфейса
4.2.4 Загрузка данных в ОЬАРкуб.
4.2.5 Задачи построения аналитической подсистемы для коммерческого банка.
4.3 Характеристика решаемых задач
4.4 Оценка результатов.
4.5 Выводы.
Заключение.
Список использованной литературы


Серверный подход предполагает физическое создание федеративного пути для одновременного доступа к данных из нескольких разнородных источников. Поставщики модернизируют серверы баз данных так, чтобы они с большей эффективностью взаимодействовали с другими серверами. Подход на базе программного обеспечения промежуточного слоя предполагает установление каналов связи между пользователями и источниками данных программным путем. Доступ одних серверов к другим осуществляется не через аппаратные компоненты, а с помощью программных средств. Итак, как видим, в современном мире все большую роль играют системы, помогающие принимать те или иные стратегические решения - НАС. Технологии, позволяющие работать с аналитическими данными, могут быть различными. Но общей остается задача: получить как можно больше информации на основе имеющихся данных. ИДС, остановимся более подробно на способах их построения. Для ( о чюбы принимать обоснованные решения, организации необходима надежная система данных. Такая система должна включать как текущие, так и исторические данные из операционных систем, чтобы можно было выявлять тенденции и прогнозировать будущие результаты. Технология интеграции данных является ключевым фактором для обьединения этих данных и создания информационной инфраструктуры, удовлетворяющей стратегическим проектам НАС. Такая информационная инфраструктура включает Хранилища данных, витрины данных и операционные склады данных. Создание Хранилища данных (или, в более ограниченном масштабе, ви грины данных, содержащей данные только об одном предмете) существенно упрощает доступ к необходимым данным. Сбор и консолидация данных, необходимых для Хранилища или витрины данных, и периодическое пополнение их содержимого новыми значениями при сохранении более ранних величин является практическим приложением технологии интеграции данных. Существует гри основных метода интеграции данных: консолидация, федерализация и распространение (Рисунок 1. Ныбор конкретного метода зависит от многих факторов. Например, с какой задержкой or появления данных в оперативной базе они должны появляться в аналитической (в режиме on-line либо с задержкой в несколько минут или часов), как часто какого рода запросы (и/или вычисления) могут производится п НАС, какие каналы связи между источниками данных и MAC, какая организационная структура принята в организации []. Рассмотрим болсс подробно каждый из методов и особенности применения. Своевременная ЕТЬ (ИТ' БТЬ) Тиражирование Еорпоративных данных (ЕЭР. Рисунок 1. При использовании этого метода данные собираются из нескольких первичных систем и интегрируются в одно постоянное место хранения. Такое место хранения может быть использовано для подготовки огчсшости и проведения анализа, как в случае Хранилища данных, или как источник данных для других приложений, как к случае операционного склада данных. При этом обычно существует некоторая задержка между моментом обновления информации в первичных системах и временем, когда данные изменения появляются в конечном месте хранения. В зависимости от потребностей бизнеса такое отставание может оставлять несколько секунд, часов или много дней. Термин "режим, приближенный к реальному времени" часто используется для описания конечных данных, обновление которых отстает от источника на несколько секунд, минут или часов. Данные, не отстающие от источника, считаются данными в режиме реального времени, но это трудно достижимо при использовании метода консолидации данных. Конечные места хранения данных, содержащие данные с большими временами отставания (например, более одного дня), создаются с помощью пакетных приложений интеграции данных, которые извлекают данные из первичных систем с определенными, заранее заданными интервалами. Такой подход использует запросы к данным, которые получают периодические "мгновенные снимки" первичных данных. Хотя подобные запросы получают текущие данные, они пс отражают тех изменений, котор»ле произошли между двумя последовательными запросами. Л за это время данные мог ли обновляться несколько раз.