Разработка метода автоматического формирования рубрикатора полнотекстовых документов

• Автор: Пескова, Ольга Вадимовна
• Шифр специальности: 05.13.17
• Научная степень: Кандидатская
• Год защиты: 2008
• Место защиты: Москва
• Количество страниц: 151 с. : ил.

Содержание
Введение
1. Методы автоматической кластеризации и формирования информационно-поисковых образов полнотекстовых документов

1.1. Задача автоматической кластеризации полнотекстовых

, документов

1.2. Обзор методов автоматической кластеризации полнотекстовых документов

1.3. Оценка качества автоматической кластеризации полнотекстовых документов

1.4. Задача формирования информационно-поисковых

образов полнотекстовых документов

1.5. Статистические алгоритмы формирования информационно-поисковых образов полнотекстовых документов
Выводы по разделу
2. Метод автоматического формирования рубрикатора полнотекстовых документов
2.1. Формирование информационно-поисковых образов документов
2.2. Кластеризация информационно-поисковых образов документов
2.3. Преобразование множества кластеров в рубрикатор коллекции полнотекстовых документов
2.4. Оценка алгоритма кластеризации коллекции документов

Выводы по разделу
3. Программная реализация метода автоматического формирования рубрикатора документов и его исследования
3.1. Структура программного комплекса
3.2. Исследование предлагаемого метода на основе испытаний программной системы
3.3. Оценка эмпирических значений параметров формирования информационно-поисковых образов и их влияния на алгоритм кластеризации
3.4. Исследование процесса формирования вербальных описаний кластеров коллекции документов
3.5. Испытание способа формирования образов документов с применением предложенного алгоритма редукции пространства признаков
3.6. Испытание модифицированного алгоритма послойной кластеризации с оценкой эмпирических значений его входных параметров
3.7. Выводы по разделу
4. Испытание системы автоматического формирования рубрикатора полнотекстовых документов
4.1. Описание тестовой коллекции текстов
4.2. Испытание предлагаемого метода автоматического формирования рубрикатора коллекции полнотекстовых документов
Выводы
Список литературы

или шестиугольной конфигурации) [88, 93, 57, 114]. Обучение сети состоит из последовательной коррекций векторов, представляющих нейроны. На каждом шаге обучения-из исходного набора данных случайно выбирается вектор и ищется среди векторов-нейронов тот, который наиболее похож на вектор входов по оценке расстояния между векторами, которое вычисляется в евклидовом пространстве. Затем производится корректировка весов как нейрона-победителя, так и векторов, описывающих его соседей, которые в сетке перемещаются в направлении входного вектора.
Кластером на карте является группа векторов, расстояние между которыми внутри этой группы меньше, чем расстояние до соседних групп. Структура кластеров при использовании алгоритма SOM отображается путем визуализации расстояния между опорными векторами (весовыми коэффициентами нейронов). Такой способ представления структуры кластеров не соответствует способу представления формируемого в данной работе рубрикатора. Кроме того, недостатками нейросетевых алгоритмов являются проблемы, связанные со сложностью построения и длительностью обучения, и отсутствие гарантии, что процесс обучения сети определенной структуры будет продолжаться, пока не достигнет допустимого порога ошибки, или не попадет в локальный минимум.
Алгоритмы, основанные на эволюционном подходе.
Эволюционный подход пытается воспроизвести «естественную эволюцию», применяя эволюционные операторы и популяцию решений для получения глобально оптимального разделения данных [84, 87, 113]. Решения-кандидаты кластеризационной задачи рассматриваются как хромосомы. Применяемыми эволюционными операторами являются селекция, рекомбинация и мутация, каждая из которых трансформирует одну или более входных хромосом в одну или более выходных хромосом. На основе анализа значения функции здоровья выясняется вероятность выживания хромосомы в следующем поколении. Опишем эволюционный алгоритм для