Математическое моделирование процесса анализа близости предикатов семантических отношений

• Автор: Корнышов, Александр Николаевич
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2007
• Место защиты: Великий Новгород
• Количество страниц: 138 с. : ил.

ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ
1. МОДЕЛИРОВАНИЕ ПРОЦЕССА ОБОБЩЕНИЯ ПРЕДИКАТОВ В ХОДЕ МАШИННОГО ОБУЧЕНИЯ РАСПОЗНАВАНИЮ СЕМАНТИЧЕСКИХ ОТНОШЕНИЙ. ПОСТАНОВКА ЗАДАЧИ
1.1. Функциональная постановка задачи количественной оценки близости Предикатов Семантический Отношений
1.2. Свойства Естественного Языка как критерии адекватности моделирования Семантики Конструкций Естественного Языка.
1.3. Анализ существующих методов моделирования Семантики Конструкций Естественного Языка и методов моделирования Знаний о Семантике

1.4. Выбор методов моделирования

1.5. Концептуальная модель процесса обобщения Предикатов в ходе машинного обучения распознаванию Семантических Отношений

1.6. Выводы.

2. ПОСТРОЕНИЕ ФОРМАЛЬНОГО АППАРАТА МАТЕМАТИЧЕСКОГО МОДЕЛИРОВАНИЯ ПРОЦЕССА ОБОБЩЕНИЯ ПРЕДИКАТОВ СЕМАНТИЧЕСКИХ ОТНОШЕНИЙ И ИССЛЕДОВАНИЕ СВОЙСТВ ПРЕДЛОЖЕННОГО АППАРАТА

2.1. Исследование принципов таксономии прецедентов Семантических Отношений.

2.2. Математическая модель процесса обобщения Предикатов Семантических Отношений и ее свойства.
2.3. Мера близости Семантических Знаний и ее использование для распознавания Семантических Отношений.
2.4. Способы вычисления количественной оценки близости Предикатов Семантических Отношений.
2.5. Выводы.
3. ПОСТРОЕНИЕ СИСТЕМ ПРЕДИКАТОВ СЕМАНТИЧЕСКИХ ОТНОШЕНИЙ
3.1. Иерархизация Предикатов Семантических Отношений и ее интерпретация в рамках концептуальной модели процесса обобщения Предикатов.
3.2. Система Предикатов Семантических Отношений как основа представления Семантических Знаний.
3.3. Примеры использования механизма обобщения Предикатов Семантических Отношений для решения проблем моделирования Конструкций Естественного Языка
3.4. Применение системы Предикатов Семантических Отношений в задаче моделирования сортовой и родовидовой классификации лексики.
3.5. Выводы
4. АЛГОРИТМИЗАЦИЯ МЕТОДОВ КОЛИЧЕСТВЕННОЙ ОЦЕНКИ БЛИЗОСТИ ПРЕДИКАТОВ СЕМАНТИЧЕСКИХ ОТНОШЕНИЙ
4.1. Алгоритмы нахождения количественной оценки близости Предикатов Семантических Отношений
4.2. Использование оценки близости систем Предикатов Семантических Отношений для их трансформаций
4.3. Практические рекомендации по использованию разработанных методов и алгоритмов
4.4. Выводы.
ЗАКЛЮЧЕНИЕ.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
Приложение А. Пример построения системы НПП.
Приложение Б. Автоматическая морфологическая классификация слов
СПИСОК СОКРАЩЕНИЙ.
ВВЕДЕНИЕ
Целью создания Искусственного Интеллекта ИИ является формализация различных форм интеллектуальной деятельности человека. Попытки перенести часть знаний человека в область работы вычислительной техники имеют целью облегчить деятельность человека, осуществляемую с применением этой техники, в том числе и интеллектуальную. Облегчение взаимодействия между человеком и машиной открывает путь для более широкого и интенсивного использования человеком базовых вычислительных возможностей ЭВМ, таких как обработка больших объемов данных, сложные математические вычисления над ними и основанный на последних анализ данных, по скорости и безошибочности выполнения которых вычислительная техника намного превосходит человека.
В настоящий момент одним из приоритетных направлений в области развития ИИ является облегчение взаимодействия между человеком и вычислительной техникой с помощью Естественного Языка ЕЯ . Именно ЕЯ люди используют в своей повседневной деятельности, и поэтому было бы удобно использовать ЕЯ и для общения человека с различными Интеллектуальными Системами ИС. Разработка ИС, способных понимать ЕЯ, некоторыми специалистами вообще считается основной целью исследований в области ИИ . ЕЯ служит человеку для выражения собственных мыслей и понимания мыслей других людей, и, таким образом, вполне подходит для сохранения и передачи некоторых знаний при общении с машиной.
Несмотря на успехи в исследовании методов и разработке с их помощью систем по Обработке ЕЯ i и даже успешное использование таких ИС в отдельных областях применения, ряд вопросов данного направления вс ещ остатся малоисследованным, а для полноценного функционирования ИС Обработки ЕЯ возникают технические препятствия.
Среди множества затруднений технического характера, мешающих применению в информационных системах интеллектуальнокоммуникативных технологий, предполагающих взаимодействие человека и ЭВМ на ЕЯ, выделим две следующих группы.
Первая группа технических затруднений состоит в необходимости предварительного ввода в ЭВМ всей полноты Знаний о ЕЯ, которые используются для общения между носителями данного языка. Объем этих Знаний велик, и поэтому их ввод требует огромных затрат труда множества квалифицированных специалистов, в том числе для предварительной формализации и систематизации этих Знаний. При традиционном подходе не учитывается возможность неполноты и противоречивости самих Знаний о ЕЯ, относительность представления как о ЕЯ, так и ситуациях его использования, а также потребность в постоянном изменении введнных Знаний. Если для некоторых областей применения на коротком временном промежутке функционирования ИС изменениями в ЕЯ можно пренебречь, то в целом изменчивость глубинное и универсальное свойство как естественных, так и искусственных языков , и его необходимо учитывать.
Причина чрезмерной трудомкости отсутствие на настоящий момент методов предметноадаптивной формализации и автоматической систематизации Знаний о ЕЯ. Как следствие этого, при использовании существующих подходов к формализации Знаний о ЕЯ для каждого языка и тематического подмножества требуется производить заново как формализацию, так и ввод Знаний, что увеличивает затраты труда на разработку ИС. Разработка математической модели процесса ввода и систематизации информации о ЕЯ с помощью автоматического выявления и применения машиной закономерностей каждого ЕЯ позволила бы решить задачу автоматического накопления и систематизации ИС Знаний об используемом ЕЯ. Здесь можно выделить задачу интеллектуализации процесса пополнения Знаний, которая заключается в автоматическом построении машиной части модели ЕЯ, и задачу
интеллектуализации самого процесса ввода человекомашинного общения, который, чтобы избавить от рутинной деятельности человекаоператора, необходимо осуществлять на ЕЯ. В данном случае предмет общения как раз ЕЯ, и логично и удобно было бы организовать работу оператора по вводу с использованием самого ЕЯ. Подобно тому, как выполняет роль педагога на ЕЯ автоматизированная обучающая система , только наоборот. Оператору, которому в этом случае уже не нужно быть экспертомлингвистом, а только носителем языка, достаточно ввести в ЭВМ обучающее ИС множество прецедентов Смысловой Эквивалентности СЭ высказываний на ЕЯ.
Вторая группа технических затруднений в области Обработки ЕЯ заключается в значительной вычислительной сложности анализа и необходимых для него преобразований высказываний на ЕЯ. В реализованных на практике методах Обработки ЕЯ присутствует противоречие между скоростью обработки, которая является следствием применения простых правил преобразований, и универсальностью представления ЕЯпреобразований, которая позволяет более полно описывать ЕЯ с помощью сочетания сложных правил. В последнем случае уменьшается трудомкость описания ЕЯ, но увеличивается вычислительная сложность алгоритмов анализа, воспроизводящего полноту и непротиворечивость языкового описания путм согласования множества правил. Анализ и преобразования на основе сложных формализмов моделей приводят к комбинаторному взрыву, лингвистическими причинами которого являются омонимия и синонимия в ЕЯ, сочетание подчинительных и сочинительных связей, что накладывается на линейную структуру предложений и тем самым увеличивает длины связей между словами и количество возможных вариантов комбинирования связей. При автоматическом накоплении и систематизации ИС Знаний о ЕЯ неполнота и противоречивость Знаний, вводимых оператором в простой, но универсальной форме, устраняются на этапе обучения ИС, и их не требуется восполнять вычислениями на этапе анализа и преобразований, причм каждый раз делать это заново.
Настоящая диссертационная работа посвящена использованию существующих в ЕЯ закономерностей для автоматизации накопления и систематизации ИС Знаний об этом ЕЯ. Для решения данной проблемы в диссертации ставится задача разработки модели процесса ввода и систематизации Семантических Знаний о ЕЯ в ЭВМ путем машинного обучения ИС по прецедентам СЭ высказываний на ЕЯ и использования накапливаемых таким способом Семантических Знаний в задачах анализа семантической эквивалентности ЕЯвысказываний, таких как задача распознавания Семантических Отношений СО Конструкций ЕЯ , задача количественной оценки накапливаемых Семантических Знаний, задача построения морфологической, сортовой, родовидовой классификации лексики. Таким образом, решаемая проблема ориентирована на практическую реализацию в ИС Обработки ЕЯ.
Накопление и систематизация Семантических Знаний ИС предполагает процесс обобщения Знаний. Объект настоящих исследований Предикаты СО Конструкций ЕЯ, с помощью которых в модели ЕЯ представляются Семантические Знания. Систематизация ИС Семантических Знаний на основе присутствующих в них закономерностей является процессом обобщения Предикатов СО.
Предметом исследований является процесс анализа близости Предикатов СО. Определение меры близости Семантических Знаний с помощью сравнения Предикатов СО использует закономерности, которые выявлены в ЕЯ в процессе обобщения Предикатов. Возможности как процесса анализа близости, так и процесса обобщения Предикатов ограничены уровнем автоматического выявления закономерностей в ЕЯ алгоритмом обобщения. Поэтому, за исключением предельного случая автоматического построения машиной полной модели ЕЯ, для процесса обобщения Предикатов возможна лишь частичная автоматизация, тогда как процесс анализа близости Предикатов СО,
используя готовые результаты процесса обобщения Предикатов, допускает полностью автоматическое выполнение.
Актуальность


В качестве прикладных областей для применения данной модели можно также назвать диалоговые и экспертные системы, автоматическое реферирование и обработку документов и информации, а также связанную с этим задачу поиска необходимой информации. Диссертационная работа состоит из введения, четырех глав, заключения, двух приложений, списка используемых сокращений и библиографического списка. Семантических Знаний в этой модели. Во второй главе построен формальный аппарат математического моделирования процесса обобщения Предикатов СО в форме Наборов Правил Преобразований НЛП и исследованы свойства построенной модели. На основе предложенного аппарата описан процесс распознавания СЭ высказываний на ЕЯ, предложены и сравнены различные методы количественной оценки близости Предикатов СО. Третья глава посвящена применению построенного аппарата для моделирования сложных систем Предикатов СО и исследованию их свойств. Промоделировано множество видов синонимических преобразований, известных из лингвистики. Рассмотрено как предлагаемая модель решает затруднения моделей, основанных на перифразировании, и моделирует преобразования, учитывающие различные уровни синонимии. Уделено внимание применению системы Предикатов СО в задачах моделирования процесса морфологической, сортовой и родовидовой классификации лексики. Четвертая глава посвящена разработке алгоритмов нахождения количественной оценки близости Предикатов в общем виде с учетом возможных методов оценивания и оптимизации этих алгоритмов для сравнения сложных, иерархизированных систем Предикатов СО. Описывается алгоритмическая составляющая и использование количественной оценки близости для трансформации систем Предикатов СО в процессе обобщения Предикатов. В заключении приводятся главные научные результаты и их практическая значимость, описаны перспективы дальнейших научных исследований в области автоматического формирования Семантических Знаний. В приложении А показан пример построения системы НПП путем обобщения Предикатов и распознавания СЭ ЕЯвысказываний в этой системе в приложении Б пример автоматической морфологической классификации слов. МАШИННОГО ОБУЧЕНИЯ РАСПОЗНАВАНИЮ СЕМАНТИЧЕСКИХ ОТНОШЕНИЙ. Основными задачами, решаемыми в данной главе, являются формулирование требований к моделированию процесса обобщения Предикатов СО с использованием количественной оценки близости Предикатов в ходе машинного обучения распознаванию СО Конструкций ЕЯ, а также выбор теоретического подхода к моделированию ЕЯ, модели представления Знаний о СО Конструкций ЕЯ и методов, подходящих для оценивания близости Семантических Знаний в этой модели. Предикатов в ходе машинного обучения распознаванию СО Конструкций ЕЯ путем процесса обобщения Предикатов, представляющих Семантические Знания. Функциональная постановка задачи количественной оценки близости Предикатов Семантический Отношений. Целью настоящего параграфа является функциональное описание задачи количественной оценки близости Предикатов Семантических Отношений СО, которая используется для решения общей задачи машинного обучения автоматическому распознаванию СО Конструкций Естественного Языка ЕЯ, что будет сделано на основе определяемых в данном параграфе базовых понятий и терминов. Также будут рассмотрены конкретизирующие условия постановки и решения задачи установления Смысловой Эквивалентности СЭ высказываний на ЕЯ. Согласно современным воззрениям, Искусственный Интеллект ИИ 1, , как средство имитации человеческого интеллекта и поведения можно представить в виде некоторой совокупности Интеллектуальных Агентов ИА. ИА это компьютерные системы с чтко заданными целями, способные автономно действовать в сообществе аналогичных программ, выбирая оптимальную линию поведения для достижения этих целей , с. ИА как части Интеллектуальных Систем ИС , , функционируют в виде подсистем, решающих свои отдельные специализированные кибернетические интеллектуальные подзадачи. Такой задачей, базовой для коммуникативных возможностей ИИ, то есть общения с человеком путм обработки Текстов на ЕЯ, является задача установления СЭ двух или нескольких высказываний на ЕЯ. Рассмотрим понятие ЕЯ и производные от него понятия.