Высокоуровневые методы и алгоритмы классификации интеграционных взаимосвязей структур данных

• Автор: Юмагужин, Николай Валерьевич
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2008
• Место защиты: Переславль-Залесский
• Количество страниц: 135 с. : ил.

Содержание
1. Введение

1.1. Постановка задачи

1.2. Содержание диссертации

1.3. Актуальность и новизна

1.4. Методы исследования

2. Теоретическая работа

2.1. Обзор

2.2. Классификация взаимосвязей между схемами баз данных

2.2.1. Примеры взаимосвязей

2.2.2. Классификация взаимосвязей между доменами
2.2.3. Классификация взаимосвязей схем данных
2.3. Способы сопоставления записей
2.3.1. Алгоритм Смита-Ватермана IV
2.3.2. Оптимизированный алгоритм Ряшо
2.3.3. Обобщенный алгоритм Рзмд
2.4. Способы устранения дубликатов
2.4.1. Полное устранение дублирования
2.4.2. Устранение дубликатов с сохранением истории
2.4.3. Пометка дубликатов в БД
2.4.4. Хранение информации о дублировании в НСИ
2.5. Организационные вопросы
2.5.1. Разрешение организационных конфликтов
3. Экспериментальная работа
3.1. Пример 1: Задача учета ЮЛ и ФЛ
3.1.1. Описание предметной области и проекта
3.1.2. Интеграция банковской и контрольной систем
3.1.3. Интеграция регистрирующей и контрольной систем

3.1.4. Устранение дублирования
3.2. Пример 2: Задача централизованных закупок
3.2.1. Описание предметной области и проекта
3.2.2. Анализ процесса планирования закупок
3.2.3. Формирование справочника-прейскуранта
3.2.4. Бизнес-процесс формирования плана закупок
3.2.5. Задача расчета цен
4. Заключение
4.1. Планируемое продолжение работы
5. Литература

1. Введение
1.1. Постановка задачи
Последние годы усиливается интерес к исследованиям в областях интеграции баз данных, очистки данных и извлечения знаний. Такой интерес вызван экспоненциальном ростом объемов информации обрабатываемых компьютерными системами и доступной через интернет. С ростом количества источников информации увеличивается разнообразие форматов данных, и ухудшается качество представляемой информации. Разнообразие форматов приводит к проблемам при переносе данных между системами, а также при поиске одних и тех же объектов в различных системах. Ухудшениение качества данных связано с возникновением дубликатов, нарушением логических связей и ссылочной целостности, орфографическими ошибками, абревиатурами, недопустимыми значениями и другими проблемами.
Целью данной работы является построение предметно-независимой классификации взаимосвязей между различными схемами данных, а также разработка технологии интеграции баз данных на основе построенной класификации. В данной задаче рассматривается две или более баз данных, которые могут иметь различную архитектуру, систему кодирования и типы данных, но должны содержать однотипные или взаимосвязанные визические сущности. Под интеграцией понимается возможность:
1. Делать запросы, для обработки которых требуется информация из нескольких баз;
2. Конвертировать данные для передачи между базами;
3. Синхронизировать однотипные справочные данные между интегрируемыми базами.

строки. Зазор это последовательность символов в строке, которые не участвуют в сопоставлении. В следующем примере зазоры указаны символом дефиса:
Строка 1: 152020, переславль-Залесский ярославской области,
Строка 2: 152020, переславль
Строка 1: Институт программных систем ран.
Строка 2: И
Скалярный параметр э - это стоимость начала зазора, параметр с - это стоимость продолжения зазора. Значения этих параметров существенно влияют на поведение алгоритма. Например, если значения параметров таковы, что относительно дешево продолжать зазор (с<э), то алгоритм Смита-Ватермана будет стараться найти один длинный зазор вместо нескольких коротких. Поскольку алгоритм Смита-Ватермана позволяет учитывать зазоры из несоответствующих символов, интуитивно понятно, что он должен хорошо работать с аббревиатурами. Так же он должен хорошо работать когда строки имеют незначительные синтаксические отличия или когда в них пропущены короткие подстроки.
В ходе работы алгоритм Смита-Ватермана вычисляет матрицу весов Е. Одна из строк помещается по горизонтальной оси матрицы, а вторая строка помещается по вертикальной оси. Элемент Е(Ц) матрицы - это лучший вес сопоставления подстрок 5х(1.. I) первой строки и х2(1.у) второй строки. Когда подстроки (или строки целиком) полностью совпадают, оптимальный путь проходит в матрице Е по главной диагонали. При приблизительном соответствии строк оптимальный путь проходит на небольшом расстоянии от главной диагонали. Формально значение Е(у) вычисляется следующим образом: