Лингвистическое и программное обеспечение автоматизированной системы верификации орфографии и грамматики текстов финно-угорских языков

• Автор: Килеев, Вячеслав Васильевич
• Шифр специальности: 05.13.12
• Научная степень: Кандидатская
• Год защиты: 2013
• Место защиты: Йошкар-Ола
• Количество страниц: 121 с. : ил.

ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ
ГЛАВА 1. АВТОМАТИЗИРОВАННЫЕ СИСТЕМЫ ВЕРИФИКАЦИИ ОРФОГРАФИИ И ГРАММАТИКИ ТЕКСТОВ ФИННО-УГОРСКИХ ЯЗЫКОВ.
1Л. Общая схема работы систем верификации орфографии и грамматики текстов естественных языков
1.2. Классификация методов и алгоритмов, применяемых в системах верификации орфографии и грамматики текстов естественных языков.
1.2.1. Классификация методов верификации орфографии
1.2.2. Классификация методов ранжирования списка вариантов исправления ошибки
1.2.3. Классификация методов верификации грамматики
1.3. Особенности применения методов и алгоритмов в системах, ориентированных на языки, для которых отсутствуют лингвистические корпуса
1.4. Архитектура автоматизированной системы верификации орфографии и грамматики текстов финно-угорских языков
Выводы
ГЛАВА 2. РАЗРАБОТКА МОДЕЛЕЙ КОМПОНЕНТОВ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ ВЕРИФИКАЦИИ ОРФОГРАФИИ И ГРАММАТИКИ ТЕКСТОВ
2.1. Унифицированное обозначение лингвистических компонент автоматизированной системы
2.1.1. Модель прикрепления нескольких аффиксов в системе И.С. Ашманова («ОРФО»)
2.1.2. Модель прикрепления нескольких аффиксов в системе «НипэреП»
2.2. Новые лингвистические компоненты для верификации орфографии текстов финно-угорских языков в автоматизированной системе
2.3. Модель распознавания предложения текста по правилам формальной грамматики, вводимым лингвистами
2.4. Правила вывода модели распознавания предложения марийского языка
Выводы
ГЛАВА 3. АЛГОРИТМ СТЕММИНГА В ПОДСИСТЕМЕ ВЕРИФИКАЦИИ ОРФОГРАФИИ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ
3.1. Использование алгоритмов стемминга для верификации орфографии..
3.1.1. Алгоритм Ловинс
3.1.2. Алгоритм Портера
3.1.3. Алгоритм стемминга в системе И.С. Ашманова («ОРФО»)
3.1.4. Алгоритм стемминга в системе «НипэреИ»
3.2. Разработка алгоритма стемминга в автоматизированной системе верификации орфографии и грамматики финно-угорских языков
3.3. Алгоритм генерации подсказок в подсистеме верификации орфографии
3.4 Кодировка символов переменной длины в алгоритме Дамерау-Левенштейна
Выводы
ГЛАВА 4. ИНФОРМАЦИОННЫЕ И ЛИНГВИСТИЧЕСКИЕ КОМПОНЕНТЫ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ ВЕРИФИКАЦИИ ОРФОГРАФИИ И ГРАММАТИКИ ТЕКСТОВ ФИННО-УГОРСКИХ ЯЗЫКОВ
4.1. Функциональные возможности автоматизированной системы
4.2. Представление лингвистических компонент в информационном обеспечении автоматизированной системе верификации орфографии и грамматики текстов
4.3. Программные интерфейсы информационного обмена в автоматизированной системе
4.4. Оценка производительности системы верификации орфографии финно-угорских языков
Выводы
ЗАКЛЮЧЕНИЕ
СПИСОК ЛИТЕРАТУРЫ

архитектуры был выбран параллельный архитектурный паттерн. Кроме этого, параллельный архитектурный паттерн [26] обладает также следующими преимуществами:
1. Параллельная архитектура позволяет сократить время на операциях ввода/вывода. Подсистемы верификации орфографии и грамматики подгружают лингвистические компоненты всего один раз при своей инициализации, а при поступлении запросов на верификации используют уже загруженные данных.
2. При необходимости данную систему можно модифицировать в распределенную. Информационный обмен между подсистемой взаимодействия с пользователем и подсистемами верификации орфографии и грамматики осуществляется через UNIX-сокеты, при этом все процессы исполняются на одном узле сети. Если заменить UNIX-сокеты на TCP/IP-сокеты и разместить эти подсистемы на разных узлах сети, то получится распределенная система.
Рассмотрим структуру программного обеспечения каждой подсистемы в отдельности. Структура подсистемы взаимодействия с пользователем изображена на рис. 1.6. В структуре подсистемы выделим две основные части - клиентскую и серверную, информационный обмен между которыми осуществляется асинхронными запросами по технологии AJAX. Алгоритм работы подсистемы следующий:
1. Модуль получения событий пользователя получает события на верификацию текста от пользователя, например, когда новый текст был введен в поле ввода текста.
2. Далее данный текст посредством асинхронного запроса передается из клиентской части в модуль обработки событий пользователя серверной части подсистемы.
3. Модуль обработки событий пользователя, получив текст, который необходимо верифицировать, осуществляет его парсинг при помощи модуля парсинга с целью разбиения на отдельные предложения и слова.
4. Далее, разбитый на отдельные слова текст через механизм UNIX-сокетов отправляется в подсистему верификации орфографии.