Разработка и исследование методов и алгоритмов кластеризации для систем анализа данных

• Автор: Елизаров, Сергей Иванович
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2008
• Место защиты: Санкт-Петербург
• Количество страниц: 147 с. : ил.

СОДЕРЖАНИЕ
Содержание
Введение

Глава 1. Интеллектуальный анализ данных и задача кластеризации.

1.1 Понятие об интеллектуальном анализе данных

1.2 Формальное описание задач интеллектуального анализа данных

1.2.1 Задачи регрессии и классификации.

1.2.2 Задача поиска ассоциативных правил.

1.2.3 .Задача кластеризации

1.3 Методы интеллектуального анализа данных.

1.3.1 Математический аппарат интеллектуального анализа данных

1.3.2 Алгоритмические особенности решения задач интеллектуального анализа данных.
1.4. Первичный анализ данных и задача кластеризации.
1.4.1 Сравнение данных.
1.4.2 Методы и алгоритмы кластеризации.
Выводы.
Глава 2. Разработка метода иецентроидной нечеткой кластеризации
2.1 Анализ свойств нечетких бинарных отношений применительно к анализу данных.
2.1.1 Отношения и свойства отношений.
2.1.2 Сравнение данных.
2.1.3 Нечеткое отношение толерантности.
2.1.4 Нечеткое отношение эквивалентности.
2.2 Построение шкалы нечеткого отношения эквивалентности как алгоритм анализа данных
Выводы.
Глава 3. Адаптивная кластеризация
3.1 Выбор параметров решения задачи кластеризации.
3.1.1 Расстояние.
3.1.2 Целевая функция, алгоритм.
3.1.3 Количество кластеров
3.2 Критерии оценки качества решения задачи кластеризации центроидные методы
3.2.1 Коэффициент разбиения.
3.2.2 Энтропийные критерии
3.2.3 Эффективность разбиения.
3.3 Исследование критериев на предопределенных наборах центроидные методы
3.3.1 Искусственный набор данных
3.3.2 Ирисы i ii.
3.4 Критерий оценки качества решения задачи кластеризации метод нечеткого отношения эквивалентности
3.4.1 Представление результатов решения задачи кластеризации при использовании нечеткого отношения эквивалентности.
3.4.2 Построение критерия оценки качества разбиения, полученного с использованием нечеткого отношения эквивалентности
3.5 Исследование критериев на предопределенных наборах метод нечеткого отношения эквивалентности
3.5.1 Искусственный набор данных
3.5.2 Ирисы i ii.
3.6 Методика адаптивной кластеризации.
3.6.1 Предварительная подготовка данных.
3.6.2 Определение целей анализа.
3.6.3 Определение средств анализа и способа представления результатов.
3.6.4 Подготовка данных.
3.6.5 Формулировка ограничений, критериев оценки качества решения.
3.6.6 Применение адаптивной кластеризации и анализ результатов
Выводы.
Глава 4. Практическое применение адаптивной кластеризации
4.1 Контроль качества программного обеспечения
4.2 Методики анализа данных как необходимый элемент зрелости организации.
4.3 Пример применения методики адаптивной кластеризации.
4.3.1 Постановка задачи анализа данных.
4.3.2 Уточнение целей и инструментария.
4.3.3 Нормировка данных, подготовка к кластеризации
4.3.4 Формулировка ограничений, критериев оценки качества решения
4.3.5 Адаптивная кластеризация.
4.3.6 Анализ результатов, корректировка исходных данных, повторная кластеризация, заключение по анализу
4.4 Многоагентная система интеллектуального анализа данных
4.4.1 Системы мобильных агентов.
4.4.2 Описание методики проектирования многоагентной системы
4.4.3 Задача интеллектуального анализа распределенных данных.
4.4.4 Разработка многоагентной системы интеллектуального анализа данных
Выводы.
Заключение
Список литературы


Методы интеллектуального анализа данных получили особое развитие вследствие явления, получившего название информационного взрыва. Информационный взрыв лавинообразное нарастание количества информации, накапливаемой в различных областях человеческой деятельности, и связанное с развитием средств вычислительной техники, особенно, средств хранения данных. Одним из следствий информационного взрыва явилось невозможность обработки всей накапливаемой информации при помощи имеющихся методов в основном статистических. Важное отличие интеллектуального анализа данных от традиционных методик связано с выявлением при его помощи скрытых закономерностей в данных, в то время как другие методики занимаются параметрической оценкой уже известных закономерностей. Актуальность интеллектуального анализа выражается в большом количестве работ и конференций по данной тематике. Задачи интеллектуального анализа деля гея на группы по типу искомых закономерностей. Классификация это отнесение объектов наблюдений, событий к одному из заранее известных классов. Кластеризация это группировка объектов наблюдений, событий на основе данных свойств, описывающих сущность объектов. Объекты внутри кластера должны быть похожими друг на друга и отличаться от объектов, вошедших в другие кластеры. Чем больше похожи объекты внутри кластера и чем больше отличий между кластерами, тем точнее кластеризация. Регрессия, в том числе задачи прогнозирования. Установление функциональной зависимости . Поиск ассоциативных правил выявление закономерностей между связанными событиями. Примером такой закономерности служит правило, указывающее, что из события X следует событие У. Такие правила называются ассоциативными. Впервые это задача была предложена для нахождения типичных шаблонов покупок, совершаемых в супермаркетах, поэтому иногда ее еще называют анализом рыночной корзины. Представленные задачи по назначению делятся на описательные и предсказательные. Описательные задачи уделяют внимание сути зависимостей в исследуемых данных. Результат решения таких задач представляет собой эмпирическую модель данных и должен быть хорошо понятен и интерпретируем. Как правило, найденные закономерности описывают конкретный процесс, порождающий анализируемые данные, и не обобщаются для других процессов без дополнительного анализа. К описательным задачам можно отнести поиск ассоциативных правил и кластеризацию. В ходе решения предсказательных задач по исследуемым данным строится предсказательная модель. Построенная модель не обязательно хорошо интерпретируема, но может быть обобщена на другие данные. К подобным задачам относятся классификация, регрессия и, отчасти, поиск ассоциативных правил. Разделение на описательные и предсказательные задачи достаточно условно. Одни и те же задачи в зависимости от анализируемых данных можно отнести как к описательным, так и к предсказательным. Примером такого анализа может служить связка кластеризации и последующей классификации по полученным кластерам. Способы решения задач интеллектуального анализа данных можно разделить на обучение с учителем и обучение без учителя. Данные термины связаны с предоставлением учителем или непредоставлением дополнительной информации об анализируемых данных. Так решение задачи классификации относится к обучению с учителем, поскольку всегда предполагает наличие информации о классовой принадлежности каждого из элементов исследуемого множества. Задача кластеризации может быть отнесена к обучению без учителя, поскольку в идеальном случае не требует предоставления дополнительной информации. Кроме того, обучение с учителем часто связано с этапом уточнения решения, качество которого обеспечивается экспертом или специальной адаптивной процедурой. В задачах регрессии и классификации требуется определить значение зависимой переменной объекта на основании значений других переменных, характеризующих данный объект. Хк и Хк допустимое множество значений признака. Пусть значения признаков х,. Тогда задача заключается в определении по известным признакам неизвестного признака 1.