Исследование и разработка информационно-аналитической системы получения релевантных данных и знаний в сети интернет

• Автор: Толкачев, Демид Максимович
• Шифр специальности: 05.13.01
• Научная степень: Кандидатская
• Год защиты: 2015
• Место защиты: Краснодар
• Количество страниц: 149 с. : ил.

СОДЕРЖАНИЕ

Список сокращений

Введение

ГЛАВА 1 АНАЛИТИЧЕСКИЙ ОБЗОР ПОДХОДОВ К ПОИСКУ

РЕЛЕВАНТНОЙ ИНФОРМАЦИИ В СЕТИ ИНТЕРНЕТ

1Л Современное состояние вопросов информационного поиска

1.2 Автоматический анализ неструктурированной информации

1.3 Web Content Mining как метод получения данных и знаний

1.4 Проблемы автоматического получения ответов на вопрос

1.5 Выводы

ГЛАВА 2 ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ПОЛУЧЕНИЯ ДАННЫХ И ЗНАНИЙ ИЗ ТЕКСТА

2.1 Методика проблемно-ориентированного автореферирования
2.2 Поиск семантических связей между предложениями
2.3 Методические положения по агрегации информации из различных источников и определению смыслового подобия
2.4 Поиск ответов на вопросы
2.5 Выводы
ГЛАВА 3 АЛГОРИТМЫ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ТЕКСТА
3.1 Проблемно-ориентированное автореферирование
3.2 Обеспечение семантической связности текста
3.3 Автоматическая оценка смыслового подобия текстов
3.4 Алгоритмы поиска ответов на вопросы
3.5 Выводы
ГЛАВА 4 ПРАКТИЧЕСКАЯ РЕАЛИЗАЦИЯ ИНФОРМАЦИОННОАНАЛИТИЧЕСКОЙ СИСТЕМЫ И ОЦЕНКА ЕЁ ЭФФЕКТИВНОСТИ
4.1 Реализация информационно-аналитической системы в виде программного комплекса
4.2 Оценка эффективности информационно-аналитической системы
4.3 Использование разработанных теоретических и практических аспектов в системах поддержки принятия решений
4.4 Выводы
ЗАКЛЮЧЕНИЕ
СПИСОК ЛИТЕРАТУРЫ
ПРИЛОЖЕНИЕ А
ПРИЛОЖЕНИЕ Б

СПИСОК СОКРАЩЕНИЙ
ПОА - проблемно-ориентированное автореферирование
СППР - система поддержки принятия решений
ИАС - информационно-аналитическая система
НКА - недетерминированный конечный автомат
ЛПР - лицо, принимающее решения
ИА - интегрированный автореферат
ПВ - пользовательский вопрос
УСД - универсальный словарь действий
СПВ - синонимы слов из пользовательского вопроса
ТС - тематический словарь
ИИСИ - извлечение информации из слабоструктурированных источников

Данный метод в чистом виде обычно не применяется, однако он реализован в некоторых комбинированных решениях, например, в уже указанных [69] и [70].
Основной проблемой рассматриваемого метода является то, что он требует определённых правил размещения информации на самих веб-сайтах. Если сайт написан с учётом какого-либо из существующих микроформатов, извлечь соответствующие данные и знания из него не составит труда. Если же микроформаты при разработке сайта не использовались, метод Микроформатов в данном случае попросту не применим.
Нами был проведён анализ HTML-кода ряда сайтов российских компаний, занимающихся вопросами недвижимости, на предмет соответствия размещённой контактной информации микроформату hCard, одному из наиболее известных и простых. В результате было получено, что данному микроформату соответствует не более 7% сайтов, причём точное значение, скорее всего, ниже, поскольку анализу подверглись наиболее раскрученные и хорошо проиндексированные поисковиками, а, следовательно, и наиболее современные веб-сайты. Из этого можно сделать вывод, что в русскоязычном секторе Интернета процент сайтов, соответствующих существующим микроформатам, весьма низок, а, следовательно, в настоящее время метод Микроформатов не применим для поиска данных и знаний для СППР.
Автореферирование, рассмотренное в предыдущем параграфе, также может использоваться в качестве метода Web Content Mining. В отличие от предыдущих, оно не учитывает структуру HTML. Для его использования вебстраница должна быть преобразована к обычному тексту без тэгов. Данный метод с тех или иных позиций описывается в [4], [71], [72] и ряде других источников, однако куда более распространено в литературе автореферирование без привязки к сети Интернет. Это обусловлено, во-первых, появлением метода автоматического реферирования текстов до повсеместного распространения Интернета, и, во-вторых, наличием дополнительных трудностей при авторефери-