Математическое и программное обеспечение распределенной обработки больших объемов данных из социальных медиа

• Автор: Якушев, Андрей Владимирович
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2013
• Место защиты: Санкт-Петербург
• Количество страниц: 125 с. : ил.

Глава 1. Принципы сбора и обработки больших объемов данных в социальных медиа
1.1. Модели информационных процессов в социальных медиа
1.2. Принципы сбора данных в Интернет
1.3. Обзор существующих систем сбора данных
1.4. Классификация задач сбора и обработки данных в социальных медиа
Выводы по главе
Глава 2. Математическое обеспечение сбора данных
2.1. Адаптивная процедура сбора данных
2.2. Тематический сбор данных в социальных медиа
2.3. Мониторинг социальных медиа
2.4. Репрезентативные выборки из графовых структур
Выводы по главе
Глава 3. Программное обеспечение сбора данных
3.1. Общая архитектура системы
3.2. Интеграция с платформой облачных вычислений СЬАУШЕ
3.3. Программная реализация системы сбора данных
Выводы по главе
Глава 4. Применение к исследованиям социальных медиа
4.1. Психологический портрет пользователей, вовлеченных в пропаганду наркотиков в социальных медиа
4.2. Анализ соответствия реальных и виртуальных связей пользователей сети УкогйаЙе
4.3. Исследование процессов формирования пользовательских сообществ на основе общих интересов
4.4. Внедрение системы сбора данных в производственно-исследовательский вебцентр «Социодинамика»
Выводы по главе
Заключение
Список использованных источников

Основные обозначения и сокращения
СМ — социальные медиа;
ВОП — виртуальное общество пользователей;
ИП — информационный процесс;
AaaS — Application as a Service, приложение как сервис;
SaaS — Software as a Service, программное обеспечение как услуга;
API — Application Programming Interface;
URL — Uniform Resource Locator;
JSON — JavaScript Object Notation, нотация объектов языка JavaScript;
XML — Extensible Markup Language, расширяемый язык разметки;
БД — база данных;
СУБД — система управления базами данных;
CLAVIRE — CLoud Applications VIRtual Environment, виртуальная среда для облачных приложений;
МИТП — многопрофильная инструментально-технологическая платформа;
КП — композитное приложение;
WF — workflow, «поток работ»;
iPSE — Intelligent PSE, интеллектуальная PSE.

группы был высчитано среднее значение функции задержки. Результаты представлены на рисунке 2.12. Результаты показывают, что стратегии учитывающие частоту обновления блогов дают больше улучшений для часто обновляемых блогов. Тогда как для редко обновляемых блогов равномерное распределение квот дает результаты лучше.
2.4. Репрезентативные выборки из графовых структур
Социальные медиа обладают большим количеством данных, но при этом накладывают жесткие ограничения на их получение. Это приводит к невозможности получения всех данных. Но даже если эти данные получены, то на них невозможно вычислить ряд важных метрик, поскольку для своей работы на таком объеме данных они требует больших вычислительных мощностей. К таким метрикам относятся: кратчайшие пути между вершинами, центральность вершин, промежуточность. Это является одной из причин необходимости получения репрезентативных выборок из социальных медиа.
Так же при исследовании социальных медиа встает задача поиска множества элементов, обладающих определенным свойством. Например, получения всех пользователей входящих в тоже топологическое сообщество, что и заданные пользователи. Данные задачи решаются элементарными методами, если известны все данные, но как говорилось выше, на практике эти данные неизвестны. Поэтому при исследовании социальных медиа требуется решать задачи получения репрезентативных выборок, обладающих заданным свойством.
Данные социальных сетей характеризуются не только своими атрибутами, но еще связями друг с другом. Поэтому для описания социальных медиа используются графы, где вершины соответствуют элементам СМ, а ребра графа соответствуют связям между элементами. Задачи получения выборок из социальных медиа можно разделить на следующие типы:
1. получение выборок обладающих заданными свойствами атрибутов, и которые не учитывают связи между элементами сети;
2. получение выборок обладающих заданными топологическими свойствами, и которые не учитывают атрибуты элементов сети;
3. получение выборок обладающих заданными свойствами, как атрибутов, так и топологии.
Первый тип задач получения выборок, в некотором роде, относится к задачам тематического сбора данных, при котором определяется соответствие данных заданным критериям, при этом данные о связях между элементами используются «пассивно».