Системный подход к анализу скрытых закономерностей в больших массивах слабоструктурированных данных

• Автор: Булычев, Александр Викторович
• Шифр специальности: 05.13.01
• Научная степень: Кандидатская
• Год защиты: 2010
• Место защиты: Москва
• Количество страниц: 91 с. : ил.

Введение. Актуальность и степень разработанности проблемы

ГЛАВА 1. ОСНОВНЫЕ ПОНЯТИЯ И ОПРЕДЕЛЕНИЯ

1.1. Структура анализа данных

1.2. Основные этапы анализа данных.

1.3. Описание множества состояний объектов.

1.4. Задача классификации объектов.

ГЛАВА 2. РАЗВИТИЕ БАЙЕСОВСКОЙ КЛАССИФИКАЦИИ

2.1. Байесовские классификаторы. Обратная вероятность

2.2. Априорные ФПВ функции плотности вероятностен

2.3. Условные апостериорные распределения параметров моделей

2.4. Точечные оценки параметров и классификатор Байеса.

2.5. Интервалы и области для параметров
2.6. Прогнозные функции плотности распределения вероятностей
2.7. Применение результатов байесовского анализа.
ГЛАВА 3. БАЗОВЫЕ АЛГОРИТМЫ II.
3.1. Новые разработанные методы анализа данных
3.2. Описание алгоритмов.
3.3. Комитеты моделей
ГЛАВА 4. АНАЛИЗ ДАННЫХ ИНФОРМАЦИОННЫХ СИСТЕМ
4.1. Анализ минеральных ассоциаций.
4.1.1. Актуальность задачи.
4.1.2. Постановка задачи.
4.1.3. Входные данные
4.1.4. Описание результатов анализа данных.
4.1.5. Формализация результатов
4.2. Анализ текстовых данных.
4.3. Анализ данных социальноэкономической информации
4.3.1. Описание входных данных.
4.3.2. Постановка задачи.
4.3.3. Алгоритмы решения задач.
4.3.4. Формализация результатов
4.4. Анализ данных производственного предприятия.
4.4.1. Актуальность проблемы.
4.4.2. Постановка задачи.
4.4.3. Описание уравнения
4.4.4. Описание входных данных.
4.4.5. Формализация построенных закономерностей
4.4.6. Сравнение со стандартными подходами.
ЗАКЛЮЧЕНИЕ. Основные результаты исследования.
Введение


Особенностью анализа данных ii является использование различных алгоритмов нахождения закономерностей в данных . Анализ данных информационных различными алгоритмами подробно отражен в работах автора . В арсенале современного анализа данных существует десятки различных традиционных методов и алгоритмов анализа данных статистических, кластеризационных, классификационных и т. Перечисленные методы не всегда обладают достаточно хорошей степенью точности и достоверности при описании новых закономерностей. Например, в случае статистических методов данная проблема связана с отсутствием статистической устойчивости в данных или сложностью построения гипотез относительно вида функций распределения самих величин и функций распределения параметров моделей. Наряду с указанными причинами исследования в области анализа данных при решении определенного класса задач сталкиваются с трудностями иного рода формальнологическй вывод из обнаруженных закономерностей не всегда может нести в себе принципиально новые знания. Поэтому существующий подход анализа данных, который использует конечное число гипотез, нуждается в дальнейшем изучении, формализации и дополнении i новыми подходами . Общепринятые методы анализа данных заключаются в построении одной или нескольких информационноаналитических моделей. В зависимости от того, насколько хорошо та или иная модель описывает закономерности в данных, применяется способ композиции результатов с помощью выбранного решающего правила. При таком подходе результаты, как правило, зависят от априорных знаний аналитика, его опыта и интуиции при формировании гипотез. В этом случае отсутствуют критерии формального научно обоснованного построения гипотез, объясняющих зависимости в данных, и применения решающих правил принятия коллективных решений комитетами моделей. В результате могут получаться, вопервых, субъективные или слишком грубые выводы, вовторых, закономерности, лишенные новых формализованных знаний,, . В диссертационной работе разработан научный подход, который позволяет во многом разрешить указанные проблемы. В исследовании используется системный подход для разработки и обоснования применения новых методов, построения информационных моделей для анализа слабоструктурированных данных и решения плохо формализованных задач, расширения алгоритмов и моделей анализа данных. На разных этапах исследования для качественного анализа данных привлекались специалисты из предметных информационных областей. В диссертации найдены новые закономерности и формализованы новые знания в сложных информационных системах различной природы. Разработанные методы применяются для класса задач, которые описываются табличными данными. В качестве базовой методологии решения задач поиска закономерностей в данных и интерпретации результатов используется методология интеллектуального анализа данных ii. В качестве важного примера приведем одну из последних областей применения результатов разработанной методологии теория катастроф и безопасности. Выявленные на ранней стадии комплексные закономерности в возникновении природных катастроф уменьшают масштаб их последствий . Цель и задачи исследования. Ставится задача получения новых закономерностей о функционировании сложных систем, в которых присутствуют сложные взаимодействия с большим числом связей. Разработанные методики применяются к данным информационных систем различной природы. Построить новые модели для анализа различного типа информации геологической, экономической, производственной, которые позволят существенно улучшить систематизацию процессов, структурных и функциональных связей внутри системы с помощью аппарата теории классификации, распознавания, искусственного интеллекта, статистических методов и комитетов указанных алгоритмов. Разработать научно обоснованные формализованные методы и алгоритмы анализа данных комитетами алгоритмов для описания сложных систем различной информационной природы, которые позволят при обработке больших объемов данных значительно улучшить точность и увеличить скорость анализа данных по сравнению с уже существующими методами.