Метод многофакторной идентификации морфологических признаков русского слова : на материале имени существительного по корпусу текстов

• Автор: Гашков, Александр Владимирович
• Шифр специальности: 10.02.21
• Научная степень: Кандидатская
• Год защиты: 2012
• Место защиты: Пермь
• Количество страниц: 153 с. : ил.

Содержание
Введение
ГЛАВА 1. Проблемы автоматизации морфологического анализа существительного русского языка

1.1. Принципы системно-комплексного подхода

1.2. Принципы алгоритмизации автоматического анализа естественного языка

1.2.1. Определение алгоритма

1.2.2. Подходы к алгоритмизации при автоматическом анализе естественного языка

1.3. Нечёткие множества

1.4. Морфологические признаки существительного как нечёткие множества с позиций системно-комплексного подхода

1.4.1. Грамматические категории имени существительного в русском языке

1.4.1.1. Категория рода
1.4.1.2. Категория числа
1.4.1.3. Категория падежа
1.4.1.4. Категория одушевленности
1.4.2. Представление морфологических свойств неизвестных существительных с помощью нечётких множеств
1.5. Лингвистический автомат
1.6. Проблемы автоматизации морфологического анализа
1.6.1. Лексическая омонимия и омонимия окончаний
1.6.2. Точность определения морфологических признаков неизвестных слов
1.6.3. Проблема ресурсоёмкое™ алгоритмов
1.6.4. Использование словарей в автоматическом морфологическом анализе: их роль и требования к ним
Выводы
ГЛАВА 2. Методы определения морфологических признаков слов
2.1. Обзор современных методов определения морфологических признаков слов
2.2. Методы морфологического анализа неизвестных слов
2.3. Решение задачи определения свойств неизвестных слов в существующих системах автоматического морфологического анализа
2.4. Выбор метода анализа отдельных слов
2.5. Алгоритм морфологического анализа методом аналогий и теоретическая оценка его точности
Выводы
ГЛАВА 3. Многофакторный алгоритм морфологического анализа и его экспериментальная проверка
3.1. Общий ход анализа
3.2. Формирование корпусов текстов, использованных в эксперименте
3.3. Оптимизация метода аналогий
3.4. Использующиеся структуры данных
3.5. Подалгоритм определения морфологических признаков отдельного слова
3.6. Подалгоритм парадигматического анализа словоформ неизвестной лексемы
3.7. Подалгоритм синтагматического анализа
3.8. Многофакторное определение морфологических свойств существительного по корпусу текстов
Выводы по главе
Заключение
Список литературы
Список иллюстративного материала

Введение
Настоящее диссертационное исследование выполнено на стыке лингвистики, информатики и математики, в рамках прикладной и компьютерной лингвистики, посвящено проблеме идентификации морфологических признаков русского существительного при автоматическом морфологическом анализе по корпусу текстов.
Проблема использования вычислительных машин в интеллектуальной деятельности человека является одной из важнейших научных и прикладных проблем в последние десятилетия. Вычислительная мощность и количество компьютеров непрерывно увеличивается, возрастает их роль при решении практически любых задач; в том числе таких сложных, ранее относимых исключительно к сфере компетенции человека, как обработка текстов на естественном языке. Такая обработка не представляется возможной без определения морфологических характеристик входящих в текст и составляющих его слов. Морфологический анализ входит в любой алгоритм обработки текста как основной или вспомогательный метод [Марчук, 2007; Мельчук, 1964; Сокирко, 2001; Beesley, Karttunen, 2003; Brinkmann, 1999; Helwig, 2002; Koskenniemi, 1983 и др.]. Одним из требований, выдвигаемых Ю.Н. Марчуком к современному алгоритму автоматического морфологического анализа, является то, что неизвестные слова (т.е. слова, отсутствующие в словаре автоматической системы) должны обрабатываться наряду с известными, а вероятность их правильного определения должна составлять не менее 90-95% [Марчук, 2007: 67-68]. Проблема автоматического анализа известных слов может считаться практически решённой [Марчук, 2007: 62], однако до сих пор нерешённой является проблема анализа неизвестных слов, поскольку существующие анализаторы не удовлетворяют вышеназванному критерию. Поэтому актуальной является разработка алгоритма

общего рода как совокупности двух лексем. Выбор был обусловлен следующими соображениями: количество существительных общего рода не превышает 0,1% от общего количества существительных в русском языке (наша оценка по словарю A.A. Зализняка. - А.Г.). Если мы выбираем вариант с существованием общего рода как отдельной категории, то необходимо обеспечить 4 варианта выбора в категории рода для каждого существительного. Если существует всего п существительных, то общее количество вариантов выбора Ni = п*4. Во втором случае количество вариантов - 3 для каждого существительного, однако общее количество лексем увеличивается за счёт разделения каждого существительного общего рода на два - мужского и женского родов. Общее количество вариантов будет N2 = (n+n*0,001)*3 = n*3,003 < Ni. Именно это соотношение количества вариантов определило наш выбор.
Учёными (В.А. Плотникова, Н.Ю. Шведова и др.) также отмечается, что во множественном числе грамматическое значение рода существительных не имеет выражения: оно не обозначается системами падежных флексий ни самих существительных, ни согласуемых с ними слов, например: новые дома, белые облака, прекрасные картины, новых домов, белых облаков, прекрасных картин [Русская грамматика, 1982, с. 466].
Учитывая изложенное выше, сделаем краткий вывод:
• каждое существительное относится к одному из трёх родов: мужскому, женскому или среднему;
• существуют парные лексемы, парадигмы которых полностью совпадают, первая из которых - мужского рода, а вторая - женского.
1.4.1.2. Категория числа
Известно, что число - это грамматическая категория, выражающая количественные характеристики предметов мысли. Грамматическое число — одно из проявлений более общей языковой категории количества