Исследование устойчивости лексико-статистических характеристик текста

• Автор: Гребенников, Александр Олегович
• Шифр специальности: 10.02.21
• Научная степень: Кандидатская
• Год защиты: 1998
• Место защиты: Санкт-Петербург
• Количество страниц: 210 с. : ил.

СОДЕРЖАНИЕ
ВВЕДЕНИЕ
ГЛАВА I.
ГЛАВА II.
ГЛАВА III.

ОСНОВНЫЕ НАПРАВЛЕНИЯ ИЗУЧЕНИЯ
ЛЕКСИКО-СТАТИСТИЧЕСКОЙ СТРУКТУРЫ ТЕКСТА
1.1 Задачи и методы статистической лексикографии
1.2 Поиск обобщающих параметров лингвистических распределений
1.3 Лексико-статистические методы стилеметрии
1.4 Некоторые общие вопросы представления линг вистических распределений
1.5 Роль автоматизации в решении лингвостатистически х
задач
МАТЕРИАЛ ИССЛЕДОВАНИЯ
И ЕГО ПАРАМЕТРИЗАЦИЯ
2.1 Описание материала. Выборка
2.2 Обработка материала. Лемматизадия
2.3 Отбор параметров для исследования
2.4 Сводные графики изменения исследуемых статистических характеристик
2.5 Выводы
ИССЛЕДОВАНИЕ СОСТОЯТЕЛЬНОСТИ
СТАТИСТИЧЕСКИХ ПАРАМЕТРОВ ТЕКСТА
3.1 Аппроксимация и се результаты
3.2 Отличия теоретических кривых от кривых эмпирических распределений для словаря словоформ рассказов А.П.Чехова
3.3 Отличия теоретических кривых от кривых эмпирических распределений для словаря лексем рассказов А.П.Чехова
3.4 Экстраполяция и ее результаты
Выводы
ЗАКЛЮЧЕНИЕ
СПИСОК ЦИТИРОВАННОЙ ЛИТЕРАТУРЫ
ПРИЛОЖЕНИЕ 1 Произведения, использованные при составлении
словарей
ПРИЛОЖЕНИЕ 2 Частотный словарь рассказов А.П.Чехова
Предисловие
Слова, встретившиеся более двух раз
Слова, встретившиеся два раза
Слова, встретившиеся один раз
Таблица распределения рангов и частот слов
Имена собственные, встретившиеся более двух раз
Имена собственные, встретившиеся два раза
Имена собственные, встретившиеся один раз
Таблица распределения рангов и частот имен собственных 207 Перечень омонимов

ВВЕДЕНИЕ
В современной филологии все большее внимание уделяется поиску общих принципов, лежащих в основе различный языковых явлений и раскрывающих логику их внутрисистемных связей, в том числе - природу организации художественного текста и индивидуального авторского стиля.
Одним из основных методов такого рода исследований является моделирование с помощью статистических распределений, частным случаем которого является создание частотных словарей.
Развитие междисциплинарных контактов привело к появлению рада систем автоматической обработки лингвистических данных, позволяющих быстро и эффективно составлять частотные словари различного объема.
Поиск характеристик, наглядно отражающих и обобщающих различные виды распределений с целью их дальнейшего анализа и сопоставления, является одной из наиболее актуальных задач в современной статистике вообще, и лингвостатистике в частности.
Это обстоятельство и определяет прежде всего актуальность данной диссертации, в которой рассматриваются проблемы устойчивости лексико-статистических характеристик текста.
В качестве материала исследования привлекался представительный корпус произведений признанных мастеров русского рассказа конца XIX -начала XX веков: А.П.Чсхова, А.И.Кунрина, В.В.Набокова, Л.Н.Андреева, общим объемом более 700 тысяч словоупотреблений.
Основные результаты диссертации, определяющие ее новизну и теоретическую значимость заключаются в следующем:

Личные местоимения репрезентируются именительным падежом, остальные - именительным падежом единственного числа (мужского рода -если есть изменение по родам).
Числительные сводятся к именительному падежу, порядковые, кроме того, - к единственному числу мужского рода.
Неизменяемые слова считаются представленными своей словарной формой, т.е. лемма совпадает со словоформой.
В результате были получены 15 последовательно нарастающих по объему словарей словоформ рассказов А. П.Чехова, 4 словаря словоформ чеховских пьес, 4 словаря словоформ рассказов Л.Аидреева, 8 словарей словоформ рассказов В.Набокова, 9 словарей словоформ рассказов Куприна и аналогичное количество словарей лексем. Помимо этого автором был составлен “Частотный словарь рассказов А.П.Чехова” (см. Приложение 2).
Следует заметить, что компьютерный анализ при составлении словарей конечно же не решает всех проблем, возникающих при такого рода работе. В частности, на этапе лемматизации значительные трудности вызывает автоматическая идентификация имен собственных и географических названий, сокращений, фонетически удлиненных форм с повторами букв (например, авто-мма-тически), всех видов омонимии и омографии и т.д. и т.п. Естественно, что все это приводит к некоторым искажениям в величинах, показывающих реальное количество словоупотреблений, словоформ и лексем в текстах, которые требуют дальнейшей ручной сверки. Кроме того, в связи с некоторой разницей в принципах выделения единиц текста в системах “ЛИНДА” и “УНИЛЕКС-Т” ( в частности, система “ЛИНДА” не предусматривает возможности не регистрировать иноязычные слова, переданные средствами иноязычного алфавита и т.п.), наблюдаются отличия при подсчете количества