Разработка и исследование моделей и информационной технологии семантико-синтаксического анализа русскоязычного текста

• Автор: Бледнов, Андрей Михайлович
• Шифр специальности: 05.13.18, 05.13.01
• Научная степень: Кандидатская
• Год защиты: 2007
• Место защиты: Ижевск
• Количество страниц: 120 с. : ил.

СОДЕРЖАНИЕ

УСЛОВНЫЕ ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ.

ВВЕДЕНИЕ

1. ТЕОРЕТИЧЕСКИЙ ОБЗОР МЕТОДОВ АНАЛИЗА ТЕКСТА

1.1. Задачи обработки текстов.

1. 2. Этапы анализа текста

1.2.1. Общая схема обработки текстов

1.2.2. Анализ отдельных слов

1.2.3. Анализ отдельных предложений.

1.2.4. Семантический анализ.

1.3. Методы семантического анализа

1.4. Комплексные интеллектуальные программные системы для обработки текстов
1.5. Выводы и постановка задачи исследования
2. РАЗРАБОТКА И ИССЛЕДОВАНИЕ СТАТИСТИЧЕСКОЙ МОДЕЛИ ТЕКСТА.
2. 1. Статистическая модель текста
2.2. Информационный портрет текста
2.3. Выводы по главе
3. ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ АНАЛИЗА ТЕКСТА.
3.1. Описание модели текста.
3.2. Этапы анализа текста.
3.3. Выделение векторов цели
3.4. Выводы по главе
4. СИСТЕМА АНАЛИЗА ТЕКСТА.
4.1. Архитектура системы и сценарий диалога.
4.2. Эксперименты с текстом.
4.2.1. Изучение статистических характеристик текста.
4.2.1. Выделение векторов цели
4.3. Пополнение баз знаний на основе информационной технологии.
4.4. Выводы по главе.
ЗАКЛЮЧЕНИЕ
СПИСОК ЛИТЕРАТУРЫ


До % новых знаний пользователи получают, изучая тексты и в ближайшем будущем наиболее востребованными будут системы с максимально автоматизированными ETL-процессами (extract, transfer, load -сбор, выделение, преобразование, загрузка) структурирования контента []. Другой важной чертой современных технологий является наличие функции оперативного анализа информации, полученной по запросу для выбора дальнейшего направления исследования документов, выполняемой с помощью методов интеллектуального анализа текста. Основные методы анализа текста достаточно подробно изложены в трудах Апресяна Ю. Д., Виноградова Д. В., Гладкого A. B., Клосса Б. М., Кожуновой О. С., Мельчука И. Д., Солтона Г. Селезнева К. Супруна А. Е., Тодда А. Трубецкого Н. С., Филмора Ч. Финна В. К., Фоменко А. Н. П. Шведовой Н. Ю. и др. Ряд современных усовершенствованных методов представлены в статьях Ермакова А. Е., Леонтьевой H. H., Мозгового М. В., Плешко В. В., Сокирко А. Толпегина П. В., Тузова В. А. и др. Cros (Кронос-Информ), diskMETA (ЗАО “МЕТА”), Oracle Text, ODB-Text (НИЦ «ИНТЕЛТЕК ПЛЮС»), TextAnalyst, инструменты компании Smartware, XANALYS Link Explorer, «Аналитический курьер», инструменты компании Гарант-Парк-Интернет, «Медиалогия», «Система управления досье X-Files» и целый ряд других. Анализ текста предполагает извлечение семантически связанной, полезной для пользователя информации, которая может быть использована им при построении различных онтологий, классификаторов, банков данных, баз данных, баз и систем знаний, в том числе, профессиональных [, , , , ,]. Однако можно отметить, что на текущий момент задачи автоматического проведения анализа русскоязычных текстов до конца не решены. Это связано, в первую очередь, с характерной особенностью русскоязычных текстов, отличающихся разнообразием и сложностью структуры предложений. Существующие методы компьютерного анализа текста показывают относительно невысокие результаты на уровне семантического анализа предложений сложной структуры. Таким образом, существующие методы компьютерного анализа текста не полностью обеспечивают потребности конечных пользователей, связанные с обработкой русскоязычных текстов, автоматизацией процессов накопления и использования информационных ресурсов по различным направлениям профессиональной деятельности. Указанные обстоятельства и обусловили выбор темы диссертационного исследования. Объектом исследования являются методы компьютерного анализа русскоязычного текста на естественном языке. Предметом исследования являются методы синтаксического и семантического анализа русскоязычного текста. Методы исследований. Теоретические исследования выполнены с применением методов системного анализа, метода аналогий, теории графов и математической логики, методов искусственного интеллекта. Исследование базируется на всестороннем анализе отечественных и зарубежных источников, сравнительном анализе известных программных продуктов компьютерной обработки текстовой информации. Экспериментальные исследования выполнены с помощью разработанного программного комплекса анализа текстовой информации. ТЕКСТАН». Практическая полезность. Полученные результаты могут быть применимы для дальнейшей научной разработки принципов и методов, связанных с разработкой профессионально-ориентированных информационных систем и формированием соответствующих информационных ресурсов. Практические рекомендации по решению указанных выше задач могут быть использованы в деятельности образовательных учреждений, коммерческих и других предприятий при создании и использовании соответствующих информационных ресурсов. Реализация результатов работы. Основные положения, модели и технология обработки русскоязычных текстов реализованы автором в виде программного комплекса «ТЕКСТАН». Данный программный комплекс разработан как часть программного обеспечения информационной системы ИжГТУ и применен при формировании «Фонда электронных изданий» (создание онтологий предметных областей, формирование рефератов, выделение метаинформации) по направлению «Информатика и вычислительная техника». Программный комплекс «ТЕКСТАН» послужил прототипом создания АРМ преподавателя для подготовки к лекционным и практическим занятиям. Апробация работы.