Модели лингвистического анализа текстов таджикского языка : на материале газелей Хафиза

• Автор: Джаъфарова, Давлатхоним Файзалиевна
• Шифр специальности: 10.02.22
• Научная степень: Кандидатская
• Год защиты: 2013
• Место защиты: Душанбе
• Количество страниц: 151 с. : ил.

ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ
ГЛАВА I. ПРИМЕНЕНИЕ МЕТОДОВ МАТЕМАТИЧЕСКОЙ ЛИНГВИСТИКИ ПРИ СОСТАВЛЕНИИ ЧАСТОТНЫХ СЛОВАРЕЙ
1.1 Особенности множества лингвистических элементов
1.2. Математическая лингвистика
1.3. Компьютерная лингвистика
1.4. Направления компьютерной лингвистики
1.5. Корпусная лингвистика
1.6. Поэтический корпус
1.6.1. Понятие о поэтическом корпусе
1.6.2. Поэтический корпус русского языка
1.6.3. Основные параметры поэтического корпуса таджикского
языка
ГЛАВА II. ТЕХНОЛОГИЯ СОСТАВЛЕНИЯ ЧАСТОТНЫХ СЛОВАРЕЙ
2.1. Постановка задачи
2.2. Используемые технологии
2.3. Описание программного комплекса
2.3.1. Модель элементов программного комплекса
2.3.2. Реализация программного комплекса
2.4. Дополнительные элементы программного комплекса
2.4.1. Формализация метрических размеров
2.4.2. Закономерность образования стихотворных размеров
2.4.3. Алгоритм определения размера
ГЛАВА III. РЕАЛИЗАЦИЯ АЛГОРИТМА ДЛЯ РЕШЕНИЯ ЛИНГВИСТИЧЕСКИХ ЗАДАЧ НА ОСНОВЕ СТАТИСТИЧЕСКОГО АНАЛИЗА
3.1. Основные задачи и возможные способы их решения
3.2. Разработка и проектирование базы данных
3.3. Интерфейс программного комплекса
3.4. Составление частотного словаря газелей Хафиза
3.5. Первичная статистическая обработка
3.5.1. Длина словоформы
3.5.2. Распределение словоформ
3.6. Исследование качественных признаков
ЗАКЛЮЧЕНИЕ
БИБЛИОГРАФИЯ

ВВЕДЕНИЕ
На современном этапе бурно развивается такая отрасль, как компьютерная лингвистика - направление в прикладной лингвистике, ориентированное на использование компьютерных инструментов - программ, компьютерных технологий организации и обработки данных - для моделирования функционирования языка в тех или иных условиях, ситуациях, проблемных сферах и т.д., а также всю сферу применения компьютерных моделей языка в лингвистике и смежных дисциплинах. В то же время компьютерное моделирование языка может рассматриваться и как сфера приложения информатики и теории программирования к решению задач науки о языке. На практике, однако, к компьютерной лингвистике относят практически всё, что связано с использованием компьютеров в языкознании.
Как научное направление, компьютерная лингвистика оформилась в 1960-е годы. Поток публикаций в этой области очень велик. Кроме тематических сборников, в США ежеквартально выходит журнал «Компьютерная лингвистика». Большую организационную и научную работу проводит Ассоциация по компьютерной лингвистике, которая имеет региональные структуры (в частности, европейское отделение). Каждые два года проходят международные конференции по компьютерной лингвистике - СОЬШО. Соответствующая проблематика обычно бывает широко представлена на различных конференциях по искусственному интеллекту.
Компьютерная лингвистика как особая прикладная дисциплина выделяется, прежде всего, по инструменту — то есть по использованию компьютерных средств обработки языковых данных. Поскольку компьютерные программы, моделирующие те или иные аспекты функционирования языка, могут использовать самые разные средства программирования, оболочки и платформы, поэтому описать компьютерное моделирование языка с единой позиции весьма затруднительно. Вместе с тем существуют общие принципы компьютерного моделирования мышления, которые, так или иначе, реализуются в любой компьютерной модели. В основе этих принципов лежит теория

знаний, разработанная в искусственном интеллекте и образующая важный раздел когнитивной науки. Определенным образом организованный набор структур знаний формирует «модель мира» когнитивной системы и ее компьютерной модели. В системах искусственного интеллекта модель мира образует особый блок, в который в зависимости от выбранной архитектуры могут входить общие знания о мире, а также ценности и их иерархии.
В настоящее время достижения в области компьютерной лингвистики находят все большее применение для анализа поэтических материалов. Очевидно, что компьютерная программа ещё долго не будет способна делать полноценный анализ поэтического текста: ей не под силу определить жанр, тему, сюжет, образную часть и т.д. И, тем более, компьютер, в отличие от человека, никогда не сможет понять художественную ценность произведения. Тем не менее имеется определённый минимум возможностей, из которого можно получить начальные сведения о стихах, а именно:
• вычислить количественные характеристики стихотворения;
• определить размер стиха;
• выяснить тип рифмовки в стихотворении - начиная от простых и заканчивая сложными смешанными рифмовками;
• распознать форму стихотворения (как, например, рубаи, газель, касыда, китъа, маснави и т.п.);
• определить распределение по различным параметрам (длина слова, размер стиха и т.д.);
• составить частотный словарь.
Актуальность темы. Развитие любой отрасли науки наряду с фундаментальными ее понятиями, структурой внутреннего динамизма и другими факторами находится в прямой зависимости от применения в ней средств и методов ряда смежных прикладных отраслей. В настоящее время использование в языкознании, литературоведении и других направлениях современной филологической науки аппарата математики, и в первую очередь стати-

бое собрание текстов, предназначенное для хранения, обработки и исследования. В контексте современной лингвистики понятие «корпус» всё более специфицируется в употреблении. Терминологизация лексемы «корпус» проявляется уже в том случае, когда он понимается как сформированная по определённым принципам выборка данных из проблемной области [24; 25]. В корпусной лингвистике считается, что корпус должен отвечать следующим требованиям:
1) образцовость и репрезентативность;
2) ограниченный размер;
3) машинное представление информации в стандартной форме [80].
«Ограниченный размер» в данном контексте означает отнюдь не малое
количество входящих в него единиц, а, скорее, вполне определённое и исчисляемое их количество. В таком случае для корпуса более подходящим будет следующее его определение: «Под названием лингвистический, или языковой, корпус текстов понимается большой, представленный в электронном виде, унифицированный, структурированный, размеченный, филологически компетентный массив языковых данных, предназначенный для решения конкретных лингвистических задач» [62, с.З]. Характеристики, перечисленные в определении В.П. Захарова, предоставляют большие возможности для исследователей различного профиля в использовании корпуса.
Поэтому корпусная лингвистика в последнее десятилетие всё более активно включается в научный оборот, особенно в плане практического использования корпусов в лингвистических исследованиях, подготовке словарей и грамматик. В то же время осмысление теоретических оснований нового направления в определённой мере отстаёт от конкретных исследований с применением корпусов. Несмотря на то, что проблемы корпусной лингвистики рассматриваются в учебных пособиях [24; 25; 61; 62], им посвящены специальные выпуски научных журналов [88; 89], в которых публикуются статьи по общим и специальным проблемам создания и функционирования
корпусов текстов, ряд проблем остаётся неразработанным. К таким пробле-