Разработка модели представления, методов и алгоритмов интеллектуальной обработки текста с целью его формализации в информационных системах

• Автор: Циликов, Илья Сергеевич
• Шифр специальности: 05.13.01
• Научная степень: Кандидатская
• Год защиты: 2010
• Место защиты: Санкт-Петербург
• Количество страниц: 148 с. : ил.

Оглавление
Введение.

Глава 1. Общая характеристика проблемы интеллектуальной обработки текста.

1.1 .Предметная область

1.2. Общая характеристика направлений в области интеллектуальной обработки

текста.

1.3.Общая характеристика моделей представления и методов интеллектуальной

обработки текста.

1.4. Общая характеристика перспективных моделей представления и методов интеллектуальной обработки текста и сложность их применения в настоящее

1.5.Общая характеристика задач и основная терминология интеллектуальной

обработки текста.

1.6. Постановка задачи
Выводы по главе 1.
Глава 2. Выбор модели представления и методов интеллектуальной обработки текста.
2.1. Выбор модели представления текста.
2.2. Выбор метода первоначальной обработки текста и формы представления
конечного результата.
2.3. Выбор методов интеллектуальной обработки текста.
2.4. Выбор метода кластеризации семантической сети и метода получения
агрегирующих характеристик.
2.5. Выбор метода иерархической кластеризации для формирования оглавления
текста.
Выводы по главе 2.
Глава 3. Разработка методов и алгоритмов интеллектуальной обработки текста.
3.1. Разработка методов кластеризации семантической сети и получения
агрегирующих характеристик.
3.2. Разработка алгоритма иерархической кластеризации и формирования
оглавления текста
3.3. Разработка алгоритма синтеза заголовков выделенных разделов текста
3.4. Разработка алгоритма формирования связанного текста
Выводы по главе 3
Глава 4. Экспериментальное исследование методов и алгоритмов
интеллектуальной обработки текста.
4.1. Общее описание и характеристика эксперимента
4.2. Экспериментальное исследование метода получения агрегирующих
характеристик
4.3. Экспериментальное исследование метода иерархической кластеризации и
формирования структуры текста
4.4. Экспериментальное исследование метода синтеза заголовков выделенных
разделов текста.
4.5. Экспериментальное исследование метода формирования связанного
текста.
Выводы по главе 4
Заключение.
Список использованной литературы


Эта связь потеряла смысл: документ создается в оперативной памяти компьютера, сохраняется на его же жёстком диске, а затем в процессе обращения и хранения неоднократно перезаписывается на новые носители разных типов. Другими словами, электронный документ должен иметь более широкий круг метаданных, которые традиционно называли реквизитами, по сравнению с бумажным. При этом информация, содержащаяся в документе, может обладать разной степенью структурированности. Различная степень структурированности является характерной чертой электронной информации. С одной стороны, данные, хранящиеся в традиционных реляционных и обт>ектно-ориентированных базах данных, имеют строгую и правильную структуру. С другой стороны, аудио и видео изображения можно отнести к полностью неструктурированным данным. Между этими двумя крайностями находится наибольший объем данных. Такие данные и называются полуструктурированными [2]. Примером, полуструктурированных данных может быть форматированный текст, HTML-страницы, данные в нетрадиционных форматах, в формате XML и т. Кроме того, в последнее время проводятся большие исследования, связанные с вопросами интеграции распределенных данных. При этом даже при интеграции нескольких источников, данные которых достаточно хорошо структурированы, не удается придумать жёсткую схему для полученных обобщенных данных. В связи с этим возникает задача интеграции полуструктурированных данных, представленных в другом виде, чем тот, что требуется в информационной системе. Как было сказано ранее, в предлагаемой работе рассматривается применение к описанной выше области интеграции разнородных данных в информационных системах технологий интеллектуальной обработки текста на естественном языке (Text Mining). Обработка естественных языков — общее направление искусственного интеллекта и лингвистики. Оно изучает проблемы компьютерного анализа и синтеза естественного языка. Применительно к искусственному интеллекту анализ означает понимание языка, а синтез — генерацию грамотного текста. Примером одной из первых систем обработки естественных языков является SHRDLU, работающая с ограниченным «миром кубиков» и использующая ограниченный словарный запас [3]. Виноградом в Массачусетском технологическом институте в — годах на языках Micro Planner и Lisp на компьютере DEC PDP-6 и использовала графический терминал DEC. Название SHRDLU образовано от ETAOIN SHRDLU — расположения алфавитных клавиш на линотипах в соответствии с убыванием частоты появления букв в английском языке. Пользователь общался с программой SHRDLU с помощью обычных выражений английского языка. По его приказу SHRDLU перемещала простые объекты в упрощенном «мире блоков»: кубики, конусы, шары и т. Уникальной SHRDLU стала благодаря комбинации нескольких простых идей, взаимодействие которых сделало видимость «понимания» программой пользователя гораздо более убедительной. Одна из этих идей состоит в том, что мир SHRDLU был настолько прост, что полный набор объектов и локаций мог быть описан, наверное, не более чем пятьюдесятью различными словами — существительными, такими как «блок» или «конус», глаголами, такими как «помести на» или «перемести в», и прилагательными, такими как «большой» или «синий». Всевозможные комбинации этих базовых блоков языка были элементарны, и программа, в известной степени успешно, понимала то, что имел в виду пользователь. SHRDLU также включала простейшую память для поддержания контекста общения. В результате существовала способность программы отвечать на вопросы о том, что было возможно в мире, а что нет. Кроме того, система SHRDLU могла запоминать названия, данные объектам, и расположение этих объектов. Но после первых исследований в этой области оптимизм быстро иссяк, когда эти системы столкнулись со сложностью и неоднозначностью реального мира. В -х годах с появлением первых языков программирования, начались также эксперименты с машинным переводом, особенно русских научных журналов. В -х годах подобные исследования проводились и в СССР. Были созданы первые системы искусственного интеллекта, такие как SHGSL. Первая публичная демонстрация машинного перевода (так называемый Джорджтаунский эксперимент) состоялась в году.