Управление метаданными в гетерогенных информационно-аналитических системах масштаба предприятия

• Автор: Шовкун, Алексей Владимирович
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2005
• Место защиты: Москва
• Количество страниц: 152 с. : ил. + Прил. (125с.:ил.)

Оглавление
Введение

1. Проблемная область Хранилища данных

1.1. Цели построения хранилища данных

1.2. Базовые элементы хранилища данных

1.3. Проблемы построения хранилища данных

1.4. Описание метаданных на основе моделей

1.5. Постановка задачи создания инструмента управления метаданными в хранилищах данных

1.6. Выводы по главе 1

2. Теоретические аспекты эффективного управления метаданными в хранилищах данных

2.1. Организация обмена метаданными

2.1.1. Децентрализованный доступ к метаданным
2.1.2. Подход общая шина метаданных
2.1.3. Централизованный доступ к метаданным
2.1.4. Конфедеративный доступ к метаданным
2.1.5. Доказательство эффективности конфедеративного подхода
Ф 2.2. Классификация метаданных для хранилища данных
2.2.1. Классификация по фазе жизненного цикла проекта
2.2.2. Классификация по модели данных
2.2.3. Классификация по уровню абстракции
2.2.4. Классификация по этапу жизненного цикла данных
2.2.5. Классификация по пользователям
2.2.6. Классификация по степени общности
2.2.7. Сводная классификация метаданных для ХД
2.3. Теоретические основы технологии манипулирования метаданными
Ф 2.3.1. Спецификация
2.3.2. Спецификация X I XI
2.4. Выводы по главе 2
3. Технология создания и использования центрального Репозитория метаданных хранилища данных
3.1. Концептуальная архитектура Репозитория метаданных
3.1.1. Связь со спецификацией
3.1.2. Обоснование использования многомерной модели данных для описания предметной области
3.1.3. Виды моделей метаданных Репозитория
3.1.4. Модель метаданных Репозитория как расширение спецификации
3.2. Модель метаданных Репозитория
3.2.1. Используемые обозначения
3.2.2. Структура описания модели метаданных Репозитория
3.2.3. Отображение концептуального уровня метаданных на логический
3.3. Технология создания корпоративного хранилища данных с использованием Репозитория метаданных
3.3.1. Сценарий 1 Создание хранилища данных
3.3.2. Сценарий 2 Модификация хранилища данных решение новой прикладной задачи
3.3.3. Обмен метаданными с другими компонентами системы
3.4. Выводы по главе 3
4. Практическое применение и оценка эффективности
4.1. Практическое применение технологии управления метаданными в хранилищах данных
4.1.1. Описание Корпоративного каталога показателей
4.1.2. Использование Корпоративного каталога показателей на примере производственноторговой компании
4.2. Оценка экономической эффективности проекта по созданию Репозитория
4.2.1. Оценка прибыли за счет внутренней экономии ресурсов на проектах по созданию ХД
4.2.2. Оценка прибыли за счет исполнения внешних проектов по созданию крупных хранилищ данных
4.2.3. Оценка финансовых показателей
4.3. Выводы по главе 4
Заключение
Словарь терминов и сокращений
Список литературы


Внутренняя логика инструментов использует метаданные в качестве исходной информации для принятия решения о том, как следует обрабатывать данные. Для того чтобы любой заданный набор инструментов мог эффективно образовывать цепочку доставки информации (хранилище данных) и обеспечивал взаимодействие на уровне данных, необходимо единое понимание метаданных, описывающих обрабатываемые данные. Или, если перефразировать, все программные системы и инструменты, входящие в состав хранилища данных, должны быть интегрированы между собой на уровне метаданных перед тем, как они смогут быть эффективно интегрированы на уровне данных[]. Интеграция на уровне метаданных является сложной задачей, поскольку большинство коммерческих программных продуктов хранят метаданные в различных форматах (различные инструменты имеют различные реализации моделей метаданных). Доступ к метаданным инструмента, как правило, предоставляется через специализированный интерфейс, предоставляемый этим инструментом. Даже если метаданные общедоступны, это еще не означает, что они одинаково интерпретируются. Форма представления и семантика метаданных, а также интерфейсы доступа к метаданным как правило отличаются для различных программных продуктов и инструментов, используемых при создании хранилища данных (даже для продуктов одного производителя). Кроме этого внутреннее представление метаданных инструмента и интерфейс доступа к метаданным разрабатываются с точки зрения эффективной работы самого инструмента, а не эффективной интеграции с другими программными продуктами. Эта несовместимость является результатом истории создания и развития интегрируемых программных продуктов. Часто программные продукты и инструменты проектируются и создаются в относительной изоляции друг от друга. Например, OLAP сервер, создаваемый одним производителем, разрабатывается со своей собственной моделью метаданных, идеально подходящей для самого сервера, по не достаточно адекватной для различных аналитических инструментов, которые будут работать с этим сервером. Интеграция на уровне метаданных инструментов, на основе которых строится хранилище данных, является ключевой задачей для создания хранилища данных, наиболее близкого к «идеалу». Несмотря на высокую стоимость, управление метаданными является необходимым для эффективной интеграции данных. Если рассмотреть всё хранилище в целом, то видно, что на самом деле задача интеграции метаданных является более глобальной, нежели чем организация попарного обмена метаданными. Необходимо построить единое пространство метаданных для всех программных систем и инструментов, участвующих в цепочке доставки информации, а не только между соседними в этой цепи компонентами. Одна и та же информация о предметной области (метаданные) используется и в источниках данных, и в центральном хранилище и в аналитических инструментах. Пользователю, работающему с аналитическим инструментом, может понадобиться получить информацию о том, как и откуда были получены агрегированные данные. В таком случае он захочет получить детальные данные из центрального хранилища данных или, более того, из системы-источника данных. Для того, чтобы это было возможно, должно существовать единое общезначимое описание всех данных, имеющихся в хранилище данных, и всех преобразований, выполняемых над этими данными. Эти общие должны быть доступны и одинаково интерпретируемы всеми программными системами и инструментами, входящими в хранилище данных. Потребность в общедоступных метаданных удовлетворяется созданием в хранилище специального компонента - репозитория метаданных. Репозиторий метаданных - это специализированная информационная система, предназначенная для хранения, управления и предоставления доступа к метаданным. В данной работе предлагается использовать Центральный Репозиторий метаданных в качестве основного интегрирующего компонента хранилища данных. Детальное описание этого решения и доказательство его эффективности приведено в разделе «2. Организация обмена метаданными», где предлагаемый подход назван «конфедеративным».