Математическая и информационная поддержка методов обработки литературных текстов на основе формально-грамматических параметров

• Автор: Сидоров, Юрий Владимирович
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2002
• Место защиты: Петрозаводск
• Количество страниц: 127 с. : ил

Оглавление
Введение
Глава 1. Анализ методик исследования и полученных результатов, на основе параметров, предложенных Г. Хетсо

$ 1. Выбор параметров исследования

$ 2. Средняя длина слова в буквах

§ 3. Общее распределение длины слова

§ 4. Средняя длина предложения в словах

§5. Общее распределение длины предложения

§ 6. Лексический спектр текста на уровне словаря

§ 7. Лексический спектр текста на уровне текста

§ 8. Индекс разнообразия лексики ^
Выводы к главе
Глава 2. Использование методов прикладного статистического анализа для атрибуции
$ 1. Понятие и гипотеза об авторском инварианте
§ 2. Принципы кодирования текстов
§ 3. Компонентный анализ
§ 4. Метод иерархической кластеризации
4.1 Описание метода иерархической кластеризации
4.2 Результаты применения метода иерархической кластеризации
4.3 Сравнение иерархических деревьев
4.4 Оценка коэффициентов близости иерархических деревьев
4.5 Коэффициентов близости иерархических деревьев для исследуемых статей
£ 5. Метод корреляционных плеяд
Заключение к главе
Глава 3. Решение задачи атрибуции при помощи метода оценки парной связи грамматических классов
$ 1. Описание методики
§ 2. Результаты применения методики для исследуемых статей
Заключение к главе
Глава 4. Информационная система «Статистические методы анализа литературных текстов»
§ 1. Цели и задачи разработки ИС «СМАЛТ»
§ 2. Требования к ИС «СМАЛТ»
§ 3. Структура и основные части ИС «СМАЛТ»

3.1 Переход от программного комплекса «Атрибуция» к ИС «СМАЛТ»
3.2 Структура базы данных
3.3 Структура клиентской части
Заключение к главе
Основные выводы и рекомендации
Литература
Приложения

Введение
Актуальность темы. Когда в 1851 году английский логик Август де Морган впервые предложил в письме другу использовать математический аппарат для решения задачи установления авторства (или задачи атрибуции), он невольно породил фактически бесконечную дискуссию о возможностях применения математических методов для решения подобных задач [4]. Этот спор продолжается вот уже более полутора веков, разгораясь снова и снова каждый раз, когда делаются попытки атрибутировать тот или иной анонимный или псевдонимный текст. Гипотезу де Моргана развил американский физик Томас Мандельхолл, опубликовав в 1880 году результаты своего исследования по изучению длин нескольких сотен тысяч слов из работ Бэкона, Марлоу и Шекспира, тем самым, положив начало количественным методам анализа текстов [7].
В настоящее время решение задачи количественного анализа текстов связано со многими, как прикладными историко-филологическими дисциплинами, так и с широким кругом естественно-технических наук, например, таких как, статистика и теория вероятностей, теория коммуникаций, теория искусственного интеллекта и др. Естественно, что с развитием вычислительной техники, появилась возможность использовать методы, требующие огромных вычислений, учитывая и варьируя различные лингвостатистические параметры.
Основная задача атрибуции заключается в установлении авторской принадлежности произведения, когда оно анонимно или подписано псевдонимом, а также в случае литературных мистификаций. Частным случаем атрибуции является атетеза — отрицание принадлежности данному автору произведения, ранее ему приписывающегося [58].
Задачи атрибуции с использованием методов количественного анализа текстов встречаются не только в литературоведении, но и в других областях знаний: искусствоведении, истории, психологии,

объекте существует набор характеристик (Ху, Х2у....Хщ), которые меняются от объекта к объекту. Предварительно исходные данные необходимо привести к стандартному виду, то есть произвести операции центрирования и нормирования:
Вводя комбинированный фактор F = £ с, ■ Z,, где С; - const (i — 1,... ,n),

можно предположить, что у F большая информативность, чем Zi-..Z„. Комбинированные факторы, для которых дисперсия принимает максимальное значение и =1, i =1...п, называют главными факторами (компонентами).
Далее составляется задача поиска такого набора коэффициентов с,, i=l...n таких, что модуль вектора F - максимален, при условии равенства единице суммы квадратов коэффициентов. Решение такой задачи сводится к нахождению собственных чисел матрицы Грамма.
Таким образом, алгоритм компонентного анализа состоит в следующем:
1. Ввод исходных данных.
2. Стандартизация (центрирование и нормирование) X—>Z.
3. Расчет элементов матрицы Грамма (Zk,Zs), где k,s = 1...П - матрицы статистических оценок коэффициентов корреляции.
4. Расчет собственных чисел и собственных векторов матрицы Грамма.
5. Анализ главных компонент: Ji> 1г>... V
. X — X
Z = ' '= - приведенные исходные факторы
1 N
Xt=—^Х(1, і = 1,.. .,п — среднее по признаку.
N і-i