Разработка и исследование методов и моделей автоматической проверки текстов на соответствие требованиям технической документации

• Автор: Тарасенко, Антон Витальевич
• Шифр специальности: 05.13.17
• Научная степень: Кандидатская
• Год защиты: 2009
• Место защиты: Таганрог
• Количество страниц: 204 с. : ил.

1. Стандартизация естественных языков

1.1. Естественные, искусственные, формальные языки.

1.2. Контролируемые языки и подмножества языка.

1.2.1. Проекты контролируемых языков.

1.2.2. Спецификации АЗОЗТЕЮО

1.3. Адаптация спецификаций А8ТЕ0 к другим языкам.

1.4. Определение языковых характеристик, необходимых для автоматического контроля технической документации на русском языке.

1.4.1. Анализ психологических аспектов восприятия текстовой

информации

1.4.2. Сравнительный анализ спецификаций АБОБТЕ0 и УТР

1.5. Постановка задачи лингвистической валидации технической

документации
1.6. Выводы
2. Анализ автоматических методов разбора текста на естественном языке
2.1. Цели и задачи прикладной лингвистики
2.2. Наука о языке.
2.2.1. Подходы к автоматическому анализу естественного языка
2.2.2. Компоненты грамматики.
2.3. Автоматический анализ естественного языка.
2.4. Автоматический морфологический разбор.
2.4.1. Слова и формы слова.
2.4.2. Категоризация.
2.4.3. Анализ автоматических методов распознавания словоформ
2.5. Анализ методов автоматического синтаксического разбора
2.6. Анализ систем автоматического синтаксического разбора.
2.7. Определение лексикосинтаксического анализа.
2.8. Выводы
3. Разработка обобщенной модели представления предложения на русском языке и метода лексикосинтаксического анализа.
3.1. Обобщенный лексикосинтаксический граф
3.1.1. Начальный граф предложения
3.1.2. Модификация ребер начального графа
3.1.3. Модификация вершин начального графа.
3.1.4. Правила слияния.
3.2. Поддержка методов описания синтаксической структуры.
3.3. Разработка метода лексикосинтаксического анализа.
3.4. Алгоритмы лексикосинтаксического анализа.
3.5. Оценка вычислительной сложности алгоритмов ЛСА.
3.6. Выводы.
4. Программная реализация ЛСА и результаты экспериментальных исследований
4.1. Основные требования к программной модели разрабатываемого
метода.
4.2. Программная реализация ЛСА.
4.2.1. Лексический анализ.
4.2.2. Правила слияния синтаксических групп1.
4.2.3. Выявление и разрешение синтаксических неоднозначностей
4.3. Экспериментальная проверка теоретической оценки вычислительной сложности алгоритмов
4.4. Применение модели ЛСГ и метода ЛСА в Системе валидации
технической документации.
4.5. Выводы.
Заключение.
Библиографический список.
Приложение А РЕЗУЛЬТАТЫ АНАЛИЗА СОДЕРЖАТЕЛЬНОЙ ЧАСТИ
ТЕХНИЧЕСКИХ ТЕКСТОВ, спецификаций АЬПБТЕЮО и УТР
А. 1 Особенности технического текста па русском языке1
А.2 Правила спецификаций АБОБТЕЮО и УТР
Приложение Б ПРОГРАММНАЯ РЕЛИЗАЦИЯ МОДЕЛИ ЛСГ и МЕТОДА
Б. Список правил слияния для алгоритма ЛСА.
Б. 2 Типы данных для моделирования морфологии русского языка в
соответствии с реестром языковых характеристик
Приложение В примеры ошибок, идентифицируемых СЛВТД.
ВВЕДЕНИЕ


Иными словами, если для теоретического исследования предполагается полное описание проблемной области со всеми ее сложностями, то прикладное оптимизированное описание может быть удовлетворительным только для конкретной задачи. Примером таких ограничений является один из самых первых проектов по реализации системы понимания естественного языка БНШЭЬи название состоит из 6 первых букв клавиатуры, построенной по принципу наиболее частого употребления букв в английском языке 2. Проект был разработан в году Терри Виноградом Теггу i и представлял собой программу, написанную на языке М1Л8Р, осуществлявшую общение пользователя и компьютера на английском языке. Пользователь просил компьютер оперировать различными объектами в мире кубиков, среде, содержащей кубики, конусы, шары и т. Уникальным ЗНШЭЬи делала успешная комбинация четырех идей, которые обещали большой успех системам понимания текстов. Вопервых, мир 8НМЬи настолько прост, что для полного его описания достаточно примерно слов. Например, существительные конус, кубик, глаголы положить, переместить, прилагательные большой, синий. Кроме того, в ЭНШЭЬи были реализованы базовые механизмы работы с контекстом. Пользователь имел возможность попросить компьютер положить синий кубик на красный кубик, а после снять кубик. При этом программа могла корректно определить, о каком кубике шла речь. ЭНШЗЬи также могла проводить обратный поиск в контекстной памяти, т. Следствием использования контекстной памяти и набора правил, по которым работает 5НШЗШ, является возможность принятия решений о реализуемости того или иного события. Основываясь на собственном опыте, система могла сделать вывод, что кубики можно складывать в стопку, а пирамидки нет. Пример успешной реализации системы подобного назначения вдохновил значительное количество ученых на создание новых методов и алгоритмов анализа и разбора текста. Однако, по мере расширения функциональности и снятия ограничений, по мере приближения искусственно ограниченного языка к его естественному состоянию многозначности и сложности реального мира, падала точность и эффективность разработанных алгоритмов. Ограниченные языки помимо чистого научного интереса не имеют никакой практической пользы. В то же время расширенная постановка задачи делает ничтожными шансы на успешную се реализацию. А1полных, не лишив ее при этом практической ценности. Подобный ограничитель должен носить естественный характер. Ограничить такую структуру, как естественный язык, формировавшуюся веками и аккумулировавшую в себе все достижения цивилизации представляется маловозможным нельзя заставить человека отказаться от использования в повседневной жизни речевых оборотов или синонимов. Этот факт связан с исследованиями в области психолингвистики. Согласно гипотезе лингвистической относительности Сепира Уорфа ЭаретШЬогф язык определяет мышление и способ познания реальности. Предполагается, что люди, говорящие на разных языках, поразному воспринимают мир и поразному мыслят. В частности, отношение к таким фундаментальным категориям, как пространство и время, зависит в первую очередь от родного языка индивида . Из языковых характеристик европейских языков выводятся не только ключевые особенности европейской культуры, но и важнейшие достижения европейской науки. Гипотеза не была однозначно принята профессиональными лингвистами , но она послужила стимулом создания искусственных языков с целью ее проверки на практике. Таких языков было создано несколько, но значимого распространения они не получили. Точно так же не получили распространения и попытки их автоматизации. Однако существуют такие сферы человеческой деятельности, в которых участники общения сознательно ограничивают себя в богатстве и разнообразии языковых форм . Ограниченные подмножества языка могут появляться самопроизвольно в тех сферах человеческой деятельности, в которых письменная или устная речь используются с особой целью. В отличие от подмножеств языков, ограниченные контролируемые языки не возникают спонтанно, а являются результатом осознанной деятельности человека.