Метод приближенной обработки запросов в системах оперативного анализа данных

• Автор: Ухаров, Андрей Олегович
• Шифр специальности: 05.13.17
• Научная степень: Кандидатская
• Год защиты: 2011
• Место защиты: Москва
• Количество страниц: 187 с. : ил.

1.1. Системы оперативного анализа данных.

1.2. Концепция приближенной обработки запросов.

1.3. Критический анализ методов выборки

1.3.1. Однородная случайная выборка i i

1.3.2. Смещенные выборки i i i

1.3.3. Прогрессивная выборка i i i

1.3.4. Динамически используемые смещенные выборки.

1.3.5. Недостатки, присущие методам приближенной обработки запросов на основе выборки

1.4. Критический анализ методов гистограмм.

1.4.1. Гистограммы равной ширины и глубины. Гистограммы со смещением

1.4.2. Гистограммы с контролем ошибок.

1.4.3. Многомерные гистограммы
1.4.4. Г истограммы на основе отношений.
1.4.5. Недостатки, присущие методам приближенной обрабо тки запросов на основе гистограмм.
1.5. Критический анализ методов вейвлетпреобразования.
1.5.1. Вычисление интервальных запросов на основе вейвлетдекомпозиции.
1.5.2. Приближенная обработка произвольных запросов на основе вейвлетпредставления Чакрабарти.
1.5.3. Приближенная обработка запросов на основе вероятностного сжатия вей влетдекомпозиции.
1.6. Постановка задачи
1.7. Выводы.
ГЛАВА 2. Методы дискретного нестандартного вейвлетпреобразования Хаара для произвольной длины измерения исходного массива данных с возможностью обновления декомпозиции, оценки распределения погрешности восстановления исходных элементов.
2.1. Дискретное нестандартное вейвлетпреобразование Хаара ДНВПХ многомерного набора данных
2.2. Прямая и обратная вей влетдекомпозиция дискретного набора данных с произвольной длиной измерения.
2.2.1. ДНВПХ Чакрабарти СЬакгаЬагб.
2.2.2. ДНВПХ с произвольной длиной измерения и уменьшенным количеством операций чтениязаписи.
2.2.3. Восстановление исходного элемента данных с помощью обратного ДНВПХ с произвольной длиной измерения
2.2.4. Восстановление суммы исходных элементов данных с помощью обратного ДНВПХ с произвольной длиной измерения
2.3. Обновление вейвлетдекомпозиции дискретного набора данных
2.4. Оценка распределения погрешности восстановления исходного элемента данных и суммы элементов при сжатии вейвлетдекомпозиции
2.4.1. Оценка распределения погрешности восстановления исходного элемента данных
2.4.2. Оценка распределения погрешности восстановления суммы исходных элементов данных
2.4.3. Расчет распределения погрешности при сжатии и обновлении вейвлетдекомпозиции.
2.5. Выводы.
ГЛАВА 3. Разработка инструментального средства приближенной обработки запросов на основе ДНВПХ с произвольной длиной измерения
3.1. Обоснование создания ИС
3.2. Концептуальное описание системы
3.2.1. Функциональное описание системы
3.2.2. Структурное описание системы.
3.2.3. Описание архитектуры системы.
3.3. Проектирование базы данных.
3.4. Проектирование прикладной части ПО.
3.5. Выводы.
ГЛАВА 4. Использование разработанного средства для создания компонента ОЬАРмодуля системы Надзор за заболеваемостью.
4.1. Описание предметной области
4.2. Реализация подсистемы приближенной обработки запросов
4.2.1. Комплекс технических средств и топология.
4.2.2. Комплекс программных средств.
4.2.3. Многомерные кубы.
4.3. Анализ результатов использования подсистемы приближенной обработки запросов
4.4. Выводы.
ЛИТЕРАТУРА
ВВЕДЕНИЕ


В этом случае приближенная обработка данных является одним из перспективных решений в области анализа сверхбольших объемов данных ,. В 1. В 1. Далее приводится критический анализ основных методик приближенной обработки данных на основе выборки в 1. В 1. Интенсивное развитие систем автоматизированного сбора и хранения информации во множестве отраслей ведет к накоплению все больших объемов данных, требующих управления и обработки. В такой ситуации одним из ключевых вопросов является анализ данных. Традиционные системы оперативной обработки транзакций i i i, базирующиеся на реляционной модели, оказываются в данном случае неэффективными. Более того, выполнение большинства аналитических функций требует упорядоченности данных и манипулирования агрегатами, что обеспечивается реляционной моделью крайне неэффективно. Множество критически необходимых для систем функциональных возможностей, реализуемых в РСУБД, являются избыточными для аналитических задач, например развитые средства устранения взаимных блокировок или поддержка транзакций, т. Все перечисленные особенности есть следствие ориентированности реляционных моделей прежде всего на оперативную обработку транзакций. Э.Ф. Кода писал о том, что реляционный подход никогда не предназначался для решения на его основе задач, требующих синтеза, анализа и консолидации данных. Изначально предполагалось, что такого рода функции должны реализовываться с помощью внешних по отношению к РСУБД, инструментальных средств . Именно он, в году впервые ввел термин системы оперативного анализа данных i i i. Основой таких систем стало хранилище данных база данных, содержащая историческую информацию в удобном для анализа виде. В этой работе был также сформулирован ряд общих принципов, впоследствии несколько раз пересматриваемых, которым должна удовлетворять АРсистема ,. Основополагающим является принцип о многомерном концептуальном представлении данных. Имеется в виду не многомерность визуализации, а многомерное концептуальное представление при описании структур данных и поддержка многомерности в языках манипулирования данными. При визуализации данных попрежнему используется хорошо известное и используемое аналитиками двумерное представление, проще говоря, таблицы. Приведем логическое представление одной и той же структуры данных, описывающей количество заболеваний в городах, с помощью многомерной см. Рис. Рис. Например рассматриваемый куб с измерениями Город, Диагноз, Дата. Таким образом, многомерное представление есть представление данных в виде многомерного массива куба, индексированного значениями измерений и содержащего в качестве элементов исходные либо агрегированные данные показатели ,9. Колво показателей, измерений, а так же длина измерений, т. В целях наглядности на рис. При двух измерениях, например Город и Диагноз, и одном показателе, например Количество случаев многомерный куб представлял бы собой обычную сводную таблицу. Структура измерений обычно является иерархичной. Например, измерение Дата может быть представлено сбалансированной иерархией годкварталмесяц см. Помимо самих данных многомерное представление может содержать и агрегированные данные. На рис. Город, т. Концептуальное многомерное представление максимально приближено к взгляду аналитиков на данные . Каждая ячейка куба есть мера, отражающая влияние параметров, находящихся на его осях. Количество измерений куба определяется составом анализируемых параметров. Чем больше измерений содержит куб, тем более гибкий анализ можно проводить. Каждая из реализаций хранилищ данных в той или иной степени удовлетворяет перечисленным принципам. Понятно, что одинаково успешное воплощение всех принципов в одной системе невозможно. Однако существует общая для всех хранилищ данных проблема обработка и хранение сверхбольших объемов данных 2,,,8,0. Точного определения термина сверхбольших баз данных нет. Принято считать, что к такому типу относятся БД, которые требует специальных средств для организации хранения, и оперирования данными вследствие их большого объема. Рассмотрим пример представленный на рис.