Исследование и разработка методов автоматической кластеризации интернет-пользователей и интернет-ресурсов для персонализации поиска

• Автор: Зейн Али Нажи
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2014
• Место защиты: Москва
• Количество страниц: 303 с. : ил.

ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ
1. АНАЛИЗ СУЩЕСТВУЮЩИХ МЕТОДОВ КЛАССИФИКАЦИИ ИНТЕРНЕТ-ПОЛЬЗОВАТЕЛЕЙ И ИНТЕРНЕТ-РЕСУРСОВ,

ПРИМЕНЯЕМЫХ ДЛЯ ПЕРСОНАЛИЗАЦИИ ПОИСКА

1.1. Примеры использования информации о пользователях и их

активности в социальных сетях для решения задач персонализации

1.2. Методы нскластерной классификации Интернет-пользователей

и Интернет-ресурсов

1.3. Кластерные методы классификации Интернет-пользователей

и Интернет-ресурсов

1.4. Математические модели кластерных методов - иерархические и итерационные алгоритмы кластеризации
1.5. Основные результаты и выводы по первой главе
2. ЛИНГВИСТИЧЕСКИЙ АНАЛИЗ ЗАПРОСОВ ИНТЕРНЕТ-ПОЛЬЗОВАТЕЛЕЙ
И ТЕКСТОВ ИНТЕРНЕТ-РЕСУРСОВ
2.1 . Методы анализа содержания текста
2.2. Лингвистическая обработка запросов Интернет-пользователей
и текстов Интернет-ресурсов
2.3. Основные результаты и выводы но второй главе
3. РАЗРАБОТКА МЕТОДОВ КЛАСТЕРИЗАЦИИ ИНТЕРНЕТ-
ОБЪЕКТОВ С ДИНАМИЧЕСКИМИ КОМПОНЕНТАМИ Л
3.1. Динамические изменения в кластерной структуре Интернет-объектов
3.2. Переход от динамической к статической кластеризации
с применением числовых коэффициентов усиления
3.3. Трёхтактная кластеризация ИIгтер[гет-ресурсов с применением £>СШ-фнльтрацитг
3.4. Выбор методов кластеризации Интернет-пользователей и Интернет-ресурсов,

прошедших £>Ш/-фильтрацшо
3.5. Основные результаты и выводы по третьей главе
4. ОБОБЩЁННОЕ МАТЕМАТИЧЕСКОЕ ОПИСАНИЕ ИНТЕРНЕТ-ОБЪЕКТОВ И ЕГО ПРИМЕНЕНИЕ В КЛАСТЕРНОМ АНАЛИЗЕ ДЛЯ ПЕРСОНАЛИЗАЦИИ ПОИСКА
4.1. Метод экспериментального исследования модели графов для комбинированной кластеризации
4.2. Метод экспериментального исследования модели графов для обобщённой кластеризации
4.3. Результаты экспериментального сравнения методов
комбинированной и обобщённой кластеризации
4.4. Основные результаты и выводы по четвертой главе
5. РЕАЛИЗАЦИЯ МЕТОДОВ КЛАСТЕРИЗАЦИИ ИНТЕРНЕТ-ПОЛЬЗОВАТЕЛЕЙ И ИНТЕРНЕТ-РЕСУРСОВ В СИСТЕМАХ ПЕРСОНАЛИЗАЦИИ ПОИСКА
5.1. Концепция построения корпоративной системы персонализации Интернет-поиска
5.2. Структуризация данных о поисковой активности Интернет-пользователей
5.3. Структуризация данных о содержании Интернет-ресурсов
5.4. Описание программных модулей intemetjres search и
ie_analyzer
5.5. Описание программного модуля HTMLDocDom
5.6. Подсистема кластерного анализа и классификации Интернет-пользователей и Интернет-ресурсов
5.7. Экспериментальные исследования и оценка результатов
5.8. Основные результаты и выводы по пятой главе
ЗАКЛЮЧЕНИЕ
СПИСОК СОКРАЩЕНИЙ И ТЕРМИНОВ
СПИСОК ЛИТЕРАТУРЫ
СПИСОК ИЛЛЮСТРАТИВНОГО МАТЕРИАЛА
ПРИЛОЖЕНИЕ 1. ИСХОДНЫЙ SQL-КОД КЛАСТЕРИЗАЦИИ МЕТОДАМИ TF
и TF-DOM
ПРИЛОЖЕНИЕ 2. МЕРЫ БЛИЗОСТИ
ПРИЛОЖЕНИЕ 3. АНАЛИЗ МЕТОДОВ КЛАСТЕРИЗАЦИИ
ИНТЕРНЕТ-ПОЛЬЗОВАТЕЛЕЙ И ИНТЕРНЕТ-РЕСУРСОВ
П.1. Математическое описание Интернет-пользователей
и их дивизивная кластеризация
П.2. Агломеративная кластеризация Интернет-пользователей
П.З. Математическое описание Интернет-ресурсов
и их кластеризация методом ^-средних
П.4. Кластеризация Интернет-ресурсов методом Форель
ПРИЛОЖЕНИЕ 4. РЕАЛИЗАЦИЯ КОМБИНИРОВАННОЙ И ОБОБЩЕННОЙ
КЛАСТЕРИЗАЦИИ С ПОМОЩЬЮ 5(Д.-СКРИПТА
ПРИЛОЖЕНИЕ 5. РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ ПРИМЕНЕНИЯ МЕТОДОВ КОМБИНИРОВАННОЙ И
ОБОБЩЕННОЙ КЛАСТЕРИЗАЦИИ
ПРИЛОЖЕНИЕ 6. ИСХОДНЫЙ КОД ПРОГРАММНОГО
МОДУЛЯ internet res search
ПРИЛОЖЕНИЕ 7. ИСХОДНЫЙ КОД ПРОГРАММНОГО
МОДУЛЯ ie analyzer
ПРИЛОЖЕНИЕ 8. ИСХОДНЫЙ КОД ПРОГРАММНОГО
МОДУЛЯ АС КИПР
ПРИЛОЖЕНИЕ 9. SQL-СКРШтл СОЗДАНИЯ КОМПОНЕНТОВ
БД IntemetDB
ПРИЛОЖЕНИЕ 10. ТАБЛИЦА СООТВЕТСТВИЯ КОДИРОВАННЫХ
СИМВОЛОВ В ПОИСКОВЫХ СИСТЕМАХ Ш-НЕТА
ПРИЛОЖЕНИЕ И. ИСХОДНЫЙ КОД ПРОГРАММОЮ МОДУЛЯ
HTMLDocDom
ПРИЛОЖЕНИЕ 12. ПРОЦЕДУРЫ КЛАСТЕРНОГО АНАЛИЗА,

степенное расстояние и другие [3, 30]. К сложным метрикам можно отнести расстояние между центрами тяжести, групповое среднее расстояние, расстояние Чебышева и другие. С подробным описанием различных метрик можно познакомиться в приложении 2.
Перенесём математическое описание абстрактных объектов в область исследования поисковых запросов ИП. Пусть LJSR - множество наблюдаемых ИП, us г і - |-ый наблюдаемый ИП, гиг, є USR. В произвольный момент времени tk є Т., указанный ИП можно представить характеристическим вектором следующего вида:
Ui{tк) (Ui,l(tk)> •••> (1.2)

- u,j{tk) - весу-ого поискового термина из глобального словаря терминов Vu в момент времени равный числу вхождений этого термина в запросы в поисковой истории /-го ИП, в течение наблюдаемого временного окна At;
- noJ{V) — размер вектора /-го ИП, равный числу слов в глобальном словаре терминов Vu.
Числовые координаты г/,//*), 1 < у < noJ{Vu) расположены в
характеристическом векторе в порядке, соответствующем лексикографическому порядку следования соответствующих терминов в словаре Vu. Переход от вербального к числовому представлению результатов происходит за счет позиционного кодирования терминов и подсчёта числа их вхождений в запросы поисковой истории ИП.
В наши дни методы кластерного анализа широко применяются для решения широкого спектра задач в Интернете. Кластерные методы со сложными алгоритмами оптимизации применяются в поисковых системах, Интернет-магазинах, системах анализа контента сайтов, системах проверки подлинности текстов диссертаций и ещё во многих сферах. Методы кластерного анализа разнообразны. Их можно разбить на множество групп:
- по способу обработки данных: иерархические (агломеративные методы и дивизнвные методы); неиерархические методы (итеративные);