Машинный семантический анализ русского языка и его применения

• Автор: Мозговой, Максим Владимирович
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2006
• Место защиты: Санкт-Петербург
• Количество страниц: 116 с. : ил.

Оглавление
Оглавление.
Введение.

О структуре диссертации

Глава 1. Задача формализации естественного языка

Формальные грамматики Н. Хомского.

Модель смысл О текст И. Мельчука

Семантический анализатор В. Тузова

Глава 2. Семантический анализ в вопросноответных системах

Принципы организации простой вопросноответной системы

Классификация вопросительных предложений

Примеры вопросов и ответов
Глава 3. Семантический анализ в задачах информационного поиска
и рубрикации
Поиск и рубрикация с помощью словарей классов.
Усовершенствованный механизм поиска.
Дополнительные возможности для существующих поисковых машин
Глава 4. Спеллчекер и тезаурус
Семантический анализатор как модуль проверки правописания.
Контекстноориентированный тезаурус на основе семантического
анализатора.
Глава 5. Поиск частично совпадающих документов и выявление
плагиата
О задаче выявления плагиата и поиске частичных совпадений.
Технические особенности систем выявления плагиата.
Использование семантического анализатора в задаче выявления
плагиата
Глава 6. Введение в машинный перевод.
Морфологический и синтактикосемантический уровни анализа текста
Семантический уровень анализа текста.
Адаптация семантического анализатора для различных языков
Схема простейшей системы машинного перевода на основе
семантического анализатора.
Практический пример русскофинский перевод
Глава 7. Технические детали
Текущая реализация семантического анализатора и е перспективы.
Формат выходных данных семантического анализатора
Заключение
Литература


Семантический анализатор, с одной стороны, позволяет сравнительно малыми усилиями повысить качественный уровень решений многих задач сферы NLP (что вполне согласуется с современным подходом: если не удаётся достичь революционного улучшения, сделайте хотя бы шаг вперёд). С другой стороны, принципы, заложенные в семантический анализатор, теоретически позволяют добиться весьма значительных результатов, хотя и ценою гораздо больших затрат времени и труда. Первая глава знакомит читателя с формальными моделями естественного языка. Попытки строго научного описания языков предпринимаются, но крайней мере, с пятидесятых годов XX века (если не считать единичных работ XIX столетия и даже более раннего времени). Лишь немногие из них, однако, оказали существенное влияние на современное состояние NLP. Мы рассмотрим три возможных подхода: грамматики Хомского как наиболее влиятельную модель, оказавшую большое воздействие на теорию компиляции, модель «смысл О текст» И. Мельчука, охватывающую самые разные пласты языкознания, и функциональную теорию языка В. Тузова, на основе которой был разработан семантический анализатор. Теории, посвящённые частным аспектам языка (морфологии, синтаксису) в работе не рассматриваются. Вторая глава иллюстрирует, как семантический анализатор может быть применён в задаче разработки вопросно-ответных систем, предназначенных для организации полноценного интерфейса на естественном языке между человеком и компьютером. Во второй главе также рассматривается классификация вопросительных предложений, имеющих смысл в контексте диалога с компьютером. Третья глава посвящена задачам информационного поиска и рубрикации документов. Современные системы поиска и рубрикации обычно основываются на статистическом анализе текстов и анализе различных эвристических показателей (таких как популярность документа и количества ссылок на него, если речь идёт о странице в интернете). Это делает используемые алгоритмы независимыми от языка документов, но не позволяет использовать информацию, напрямую заложенную в слова. Семантический анализатор способен сделать поиск более интеллектуальным, что доказывается на примерах применения словаря классов и деревьев разбора предложений. В четвёртой главе описывается механизм использования семантического анализатора в задачах проверки правописания и подбора синонимов слов. Семантический анализатор основан примерно на тех же принципах, что и компилятор языка программирования, поэтому (в частности) проверка правильности структуры входных предложений является его прямой задачей. Кроме того, в состав анализатора входит семантический словарь, которым можно воспользоваться как словарём синонимов. В пятой главе рассматривается задача поиска частично совпадающих документов и выявления плагиата. Неструктурированные данные приходится сравнивать достаточно простыми средствами, в то время как для файлов, поддающихся структурному анализу, можно создать более качественную специализированную процедуру. Семантический анализатор способен структурировать тексты на естественном языке, расширяя возможности для разработки эффективных алгоритмов их сравнения. В шестой главе изучается возможный подход к решению задачи машинного перевода с помощью семантического анализатора. Машинный перевод изобилует неожиданными трудностями, поэтому говорить о возможности полноценного его осуществления с помощью применения какой-либо технологии не приходится. Однако принципы, на которых основан семантический анализатор, позволяют естественным образом решать задачи, оказывающиеся весьма сложными для других методов построения автоматизированных систем перевода. Седьмая глава фокусирует внимание на некоторых технических аспектах, связанных с использованием семантического анализатора. Анализатор представляет собой сложную систему, предназначенную для решения нетривиальных задач, и способ его общения с внешним миром сам по себе заслуживает внимания. Также здесь обсуждаются перспективы развития семантического анализатора как программного продукта.