Построение вопросно-ответной системы с использованием метода математической формализации естественных языков

• Автор: Корхов, Александр Вадимович
• Шифр специальности: 01.01.09
• Научная степень: Кандидатская
• Год защиты: 2001
• Место защиты: Санкт-Петербург
• Количество страниц: 133 с.

ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ

ГЛАВА I. ОСНОВНЫЕ ПРИНЦИПЫ ФОРМАЛИЗАЦИИ ПРЕДЛОЖЕНИЙ НА РУССКОМ ЯЗЫКЕ

§1. Базовые тезисы

§2. Иерархия базисных понятий

§3. Семантика предложно-падежных форм

ГЛАВА II. СЕМАНТИКА ПРЕДЛОЖЕНИЯ

§1. Предварительная (морфологическая) обработка предложения

п.1 Создание морфологической структуры предложения

п.2 Простейший отброс альтернатив

§2. Объектная обработка предложения

п.1 Создание и заполнение 0-формы
п.2 Создание и заполнение 1-формы
п.З Создание и заполнение 2-формы
§3. Первичная обработка операций над действиями
§4. Первичный анализ однородных членов предложения
§5. Первичная обработка причастных и деепричастных оборотов
§6. Алгоритм склейки части предложения, для которой определено
центральное слово
§7. Построение семантической формулы для причастных оборотов
§8. Построение семантической формулы для деепричастных оборотов
§9. Генеральная склейка простого предложения в семантическую формулу.
ГЛАВА III. ПОСТРОЕНИЕ ВОПРОСНО-ОТВЕТНОЙ СИСТЕМЫ
§1. Постановка задачи
§2. Некоторые особенности семантического анализа текста
§3. Организация базы знаний
§4. Обработка входного текста и запросов. Организация уровней понимания
в ВОС
§5. Организация механизма доступа
ЗАКЛЮЧЕНИЕ
ЛИТЕРАТУРА

Введение.
Мы живем во время бурного развития информационных и компьютерных технологий. Задачи передачи, хранения и использования информации являются сегодня одними из самых актуальных проблем в области кибернетики и информатики. При решении конкретных задач в этой области непременно сталкиваешься с проблемой анализа текстов на естественных языках, будь то английский, русский или какой-нибудь другой язык общения людей между собой. Эта проблема стала в некотором роде «бичом» разработчиков интеллектуальных систем, таких как системы машинного перевода ([1, 2, 3]), системы автоматического поиска текста в массивах «необработанных» данных ([4, 5]), заполнение баз знаний и т. п.
Между тем, эта проблема родилась не сегодня, а в конце пятидесятых годов, когда появление первых компьютеров вызвало «интеллектуальный взрыв» в научном обществе, связанный с постановкой новых задач перед разработчиками систем искусственного интеллекта. В отличие от других задач для ЭВМ, которые имеют некоторое алгоритмическое решение, задачи данного класса характеризуются отсутствием известных схем решения априори. Для их решения используются иерархические построения и программы, имитирующие механизмы мышления человека [6]. Традиционно «узким» местом здесь является автоматическое выделение хотя бы элементарного смысла из текста на естественном языке.
Пионерами в области автоматического распознавания текстов принято считать специалистов Кембриджской школы семантики [7], в частности, М. Мастермана. Английскими учеными уже в начале 60-х годов была построена целая серия семантических языков, наибольший интерес из них представляет поздняя версия. В языке (английском) было выделено 58 элементарных смыслов - сем, или классификаторов, а также были введены рекурсивные правила построения из них формул. Классификаторы были сведены в несколько сот шаблонов, каждый из которых содержит по 3 класси-

фикагора, определяющих класс элементарных ситуаций. К таким шаблонам, к примеру, относятся формы «человек-место-делать», или «человек-движе-ние-место». Далее анализ производится в два этапа. На первом этапе текст при помощи специального алгоритма разбивается на фрагменты, которые затем проверяются на содержание троек классификаторов, соответствующим шаблонам, которые далее и заменяются шаблонами. Разбиение предложения на шаблоны при этом может быть и неоднозначным (перекрещивающимся). На втором этапе для каждого варианта разбиения устанавливается, является ли полученная последовательность шаблонов семантически связанной. Два следующих друг за другом шаблона считаются семантически связанными, если какой-нибудь классификатор первого шаблона совпадает с каким-нибудь классификатором (или отрицанием классификатора) второго шаблона. Подробней об этом алгоритме можно узнать в [8].
Можно сказать, что результаты исследований ученых из Кембриджа повлияли на возникновение и все дальнейшее развитие новой по тем временам науки - компьютерной лингвистики (см. о компьютерной лингвистике в [9]). Несмотря на то, что представителям Кембриджской школы семантики не удалось по чисто техническим причинам довести свой проект до логической точки, основные результаты этих исследований, а также их некоторые методы и приемы легли в основу, или хотя бы эхом отозвались в работах многих известных ученых в этой области, таких как Н. Хомский [10], И.А. Мельчук [11,12], Ю.Д. Апресян [7].
В нашей стране «бум» компьютерной лингвистики пришелся на середину-конец 70-х годов прошлого века (см., например [13, 14, 15, 16]). После некоторого периода скептицизма (80-е годы) вновь начал возрастать интерес к прикладным задачам теории искусственного интеллекта и компьютерной лингвистики ([17, 18, 19, 20, 21]). Этот рост продолжается и по сей день.
Настоящая работа также имеет непосредственное отношении к проблеме анализа текста на естественном языке с последующим выделением из него смысла. Исследование проходит на базе задачи «Вопрос-Ответ», суть
12. Те же См. п.7 1. Иван побежал в лес
Таблица
Проверка на несколько альтернатив и отброс ненужных производится дважды: сначала проверяются все слова с первого до последнего, а затем в обратном порядке. Это позволяет практически полностью исключить «лишние» морфологические альтернативы, удовлетворяющие условиям, указанным в таблице 3.
§2. Объектная обработка предложения.
После морфологической обработки текста - заполнения морфологической структуры и отброса простейших альтернатив - следует фаза объектной обработки текста. На этой стадии из предложения, опираясь на созданную морфологическую структуру, выделяются и сортируются объекты, признаки объектов, анализируются предложно-падежные формы8. Результаты этих исследований записываются в три специальные объектные формы: 0-форму, 1-форму и 2-форму. В 0-форме хранятся основные данные об объекте, в 1-форме данные о характеристиках объекта, выраженных в определительных словах. В 2-форме объект рассматривается как составная часть предложнопадежной формы. При заполнении 2-формы используются принципы семантического анализа предложно-падежных форм, рассматриваемые в §3 Главы I.
п.1 Создание и заполнение О-формы.
Прежде всего, создается так называемая 0-форма - база данных об объектах, встречающихся в предложении. Под объектами здесь подразумеваются все существительные, местоимения, а также количественные числительные. На данном этапе отбор объектов происходит исключительно по морфологическим признакам, т.е. исходя из морфологических описателей,
"Анализ предложно-падежной формы может и не проводиться, если на предыдущих этапах было выяснено, что данный объект точно является несвободной формой. Например, если этот объект - ЗРПО (см. далее), либо прямое дополнение.