Автоматизированная технология проектирования модели данных и контроля качества данных при построении информационно-аналитических систем

• Автор: Ильин, Алексей Андреевич
• Шифр специальности: 05.25.05
• Научная степень: Кандидатская
• Год защиты: 2008
• Место защиты: Тамбов
• Количество страниц: 136 с. : ил.

1.1 Проектирование модели данных.

1.1.1 Логическая модель данных.

1.1.2 Физическая модель данных.

1.1.3 Классификация технологий проектирования моделей данных

1.1.3.1 Разработка модели данных с нуля

1.1.3.2 Индустриальные модели данных.

1.1.3.3 Универсальная модель данных

1.2 Обеспечение качества данных

1.2.1 Классификация существующих технологий контроля качества данных

1.2.1.1 Репозитории метаданных.

1.2.1.2 Средства профилирования информации.

1.2.1.3 Системы мониторинга данных.
1.2.1.4 Средства очистки информации
1.2.1.5 Системы управления базами данных.
1.2.1.6 Средства управления справочниками
1.3 Постановка задачи
1.3.1 Недостатки существующих технологий проектирования модели данных
1.3.2 Недостатки существующих средств повышения качества данных.
1.3.3 Требования к разрабатываемой технологии
ФОРМАЛИЗАЦИЯ ЗАДАЧИ И РАЗРАБОТКА АВТОМАТИЗИРОВАННЫХ МЕТОДОВ ПРОЕКТИРОВАНИЯ МОДЕЛИ ДАННЫХ И КОНТРОЛЯ КАЧЕСТВА ИНФОРМАЦИИ
2.1 Автоматизация проектирования модели данных.
2.1.1 Математическое моделирование модели данных.
2.1.2 Возможность автоматизации разработки модели данных.
2.1.3 Макроязык для определения правил генерации структуры базы данных
2.1.4 Шаблоны генерации структурььбазы данных
2.1.5 Использование шаблонов автоматической генерации структуры базы данных и автоматизированная разработка модели данных.
2.2 Автоматизация контроля качества данных.
2.2.1 Контроль качества данных атрибутов.
2.2.2 Контроль качества данных фактов
2.2.3 Классы проверок качества данных
2.2.3.1 Контроль значений колонок таблицы
2.2.3.2 Контроль наличия в таблице всех необходимых значений
2.2.3.3 Контроль дубликатов.
2.2.3.4 Контроль правила Зо.
2.2.3.5 Контроль качества информации с помощью прогнозирования
2.2.4 Контроль качества данных и ЕТЪ
2.2.5 Абсолютное качество данных
РАЗРАБОТКА ПРОГРАММНОГО КОМПЛЕКСА И АНАЛИЗ РЕЗУЛЬТАТОВ ПРИМЕНЕНИЯ РАЗРАБОТАННОЙ ТЕХНОЛОГИИ.
3.1 Архитектура программного комплекса
3.2Подсистема проектирования модели данных.
3.3 Подсистема контроля качества данных.
3.3.1 Использование системы контроля качества данных при разработке процедур ЕТЬ.
3.4 Репозиторий метаданных.
3.4 Производительность и расширяемость системы.
3.5 Информационноаналитическая система для анализа деятельности университета
3.6 Снижение трудозатрат при использовании разработанной технологии и программного комплекса при создании информационноаналитических систем1 I
ЗАКЛЮЧЕНИЕ.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК.
ПРИЛОЖЕНИЯ
ВВЕДЕНИЕ


Информационноаналитические системы должны включать в себя также инструменты анализа информации, содержащейся в хранилище данных, и средства представления ее в более удобном, для восприятия виде графики, сводные таблицы, отчеты, позволяющем принимать обоснованные решения. С этой целью используют инструменты i Ii. На основе типовых задач, решаемых разработчиками, можно привести определение информационноаналитической системы. Понятие информационноаналитической системы определяется различными авторами поразному. В настоящей работе используется определение, приводимое Р. Проектирование модели данных. Наполнение хранилища данных информацией с помощью процедур ЕТЬ. Обеспечение качества данных. Предоставление удобного доступа к информации пользователям и визуализация анализируемых данных. Для задач 2 и 4 созданы специализированные универсальные программные средства, пригодные для использования в любом проекте по созданию информационноаналитической системы, поэтому в данной работе эти задачи рассматриваться не будут. Задачи 1 и 3 являются уникальными для каждого проекта и решаются каждый раз заново , , . Таким образом, ключевыми факторами, влияющими на успех проекта по созданию информационноаналитической системы, являются задачи проектирования модели данных и обеспечения качества данных ,. В результате этого, несмотря на опыт и методики, накопленные за более чем летнюю историю, проекты по созданию информационноаналитических систем остаются рискованными. Высокий уровень рисков, связанный с проектами по созданию информационноаналитических систем, а также постоянно увеличивающийся спрос на системы данного класса требуют поиска и разработки новых технологий проектирования модели данных и контроля. Цель и задачи исследования. Целью данной работы является разработка автоматизированной технологии проектирования модели данных и контроля качества данных, позволяющей сократить трудозатраты, необходимые для создания информационноаналитических систем. Объект исследования информационноаналитические системы. Предмет исследования технология проектирования модели данных и контроля качества данных для построения информационноаналитических систем. Научная новизна. Практическая ценность работы заключается в снижении трудозатрат при разработке информационноаналитических систем в возможности использования опыта предыдущих проектов в разработке данного в возможности разделения функций универсального специалиста на независимые функции специалиста предметной области и специалиста по системам управления базами данных и средствам анализа данных. Полученные в рамках диссертационной работы результаты были использованы в работе консалтинговой компании Ii г. Москва при исследованиях и разработках в области информационноаналитических систем. Разработанная технология и программный комплекс были успешно применены при разработке информационноаналитических систем компаний Данон, Кампомос обе г. Москва, Балтийский банк г. СанктПетербург и М. Видео г. Москва. Апробация работы. Полученные результаты докладывались и обсуждались на третьей и четвертой ежегодных конференциях i Ii Москва, и 6, конференции XI Державинские чтения Тамбов, Всероссийских конференциях XII и XIII Державинские чтения Тамбов, и 8, , XVII Международной конференциивыставке ИТО Москва, 7 и в рамках публичных лекций для студентов и аспирантов в ходе мероприятий, посвященных летию Института математики, физики и информатики ТГУ им. Г.Р. Державина. Результаты работы использовались в реализации совместного европейского проекта в ТГУ им. Г.Р. Державина по использованию информационных технологий в модернизации университетского управления I i ii ivi , 7. Публикации. Основные положения диссертации опубликованы в печатных работах 1, 6, в том числе 4 статьи опубликованы в двух журналах из Перечня рецензируемых научных журналов ВАК за г. Программные продукты и системы приложение к журналу Проблемы теории и практики управления, Вестник Тамбовского университета. Серия Естественные и технические науки. Структура диссертационной работы. Диссертационная работа состоит из введения, трех глав и заключения, изложенных на 6 страницах, содержит рисунка, 4 таблицы и библиографический список из наименований.