Модели и методы определения эмоционального состояния человека на основе автоматизированной обработки и анализа видеоинформации

• Автор: Бобков, Артем Сергеевич
• Шифр специальности: 05.13.01
• Научная степень: Кандидатская
• Год защиты: 2013
• Место защиты: Москва
• Количество страниц: 170 с. : ил.

СОДЕРЖАНИЕ
Введение
1 Аналитический обзор
1.1 Подходы к распознаванию эмоциональных реакций
1.2 Автоматизированные технологии определения эмоций
1.3 Автоматизированное распознавание движений человека
1.4 Моделирование динамической информации
1.5 Методы грануляции информации
1.6 Постановка задачи автоматизированного определения эмоционального
состояния человека по телодвижениям и позам
2 Методика автоматизированной идентификации эмоционального
реагирования на основе анализа характерных телодвижений и поз
2.1 Метод выделения на видеоизображении отдельных поз и телодвижений
по двигательной активности человека
2.2 Метод определения базовых эмоциональных состояний человека
по телодвижениям и позам
2.3 Модель движений тела человека на основе нечетких темпоральных
высказываний
2.4 Модель идентификации характерных телодвижений человека
2.5 Модель идентификации позы человека и эмоциональной реакции
на основе гранулярной структуризации
2.6 Выводы
3 Алгоритмическое и программное обеспечение для определения
эмоциональной реакции человека
3.1 Архитектура программного комплекса распознавания эмоциональных
реакций по видеоряду
3.2 Структура базы данных характерных телодвижений
3.3 Алгоритм распознавания эмоциональной реакции человека
3.4 Алгоритмы идентификации телодвижений

3.5 Алгоритмы предварительной обработки видеоинформации
3.6 Анализ и оценка разработанных алгоритмов
4 Апробация методики автоматизированного определения эмоционального
состояния человека по видеоизображению
4.1 Экспериментальное исследование программного комплекса
4.2 Оценка эмоциональной реакции при переговорах
4.3 Выводы
Заключение
Список использованных источников
Приложение А. Динамическое описание последовательности движений
в виде нечеткого гиперграфа
Приложение Б. Примеры видеофрагментов телодвижений, характерных
для эмоциональных реакций
Приложение В. Примеры гранул поз, характерных для эмоциональных
реакций
Приложение Г. Акт о внедрении результатов диссертации
Введение
Эмоции играют важную роль в человеческой жизни. Анализ эмоционального состояния человека даёт возможность отслеживать изменение поведения людей, их отношение к происходящим событиям. Эмоции влияют на когнитивные процессы и принятие решений. Поэтому потребность в определении эмоциональных реакций приобретает всё большее значение. Основной вклад в развитие теории эмоций внесли: З.Фрейд, Ч.Дарвин, Г.Спенсер, Т.Рибо, У.Джеймс, К.Ланге, У.Кэннон, Ф.Бард, Л.Феетингер, К.Изард, Р.Лазарус,
А.НЛеонтьев, П.В.Симонов, Е.П.Ильин, и др. Проявление эмоций через телодвижения также остаётся всё ещё слабо изученной областью психологии, которая активно развивается в настоящее время.
Недостаточно разработаны и методы формального описания эмоций. Обычно в психологии эмоциональные реакции описываются текстом на естественном языке. В работах М.Коулсона и Дж.Ван дер Стока показано, что можно эффективно определять эмоции по движениям и позам человека, как и по другим показателям, в частности, по мимике. Данная задача тесно связана с анализом динамической нечеткой и неполной информации, полученной при помощи видеокамер. Поэтому для моделирования и формализации описания эмоциональных реакций по движениям и позам целесообразно использовать методы нечеткой математики. Нечеткие системы и вычисления, в частности, методы анализа нечетких временных рядов и нечетких темпоральных высказываний, грануляции информации были рассмотрены в работах Л.Заде, Д.А.Поспелова, В.Педрича, А.П.Еремеева, А.В.Заболеевой-Зотовой,
Н.ГЛрушкиной, С.М. Ковалева, В.Б.Тарасова и др.
Отсутствие моделей и методов, обеспечивающих идентификацию эмоциональных реакций по телодвижениям, не позволяет пока эффективно автоматизировать этот процесс. Вместе с тем автоматизированная обработка информации об эмоциональном состоянии даст возможность решения производственных, экономических, социальных и бытовых проблем [4].

Трехмерный формат файла COLLADA (dae) [119] используется для того, чтобы обмениваться цифровыми данными между различными графическими редакторами; основан на XML-схеме COLLADA. Формат COLLADA разработан Sony и сейчас поддерживается Sony и Khronos Group. Файлы данного формата очень ветвисты и громоздки. Размер файла, содержащий аналогичную анимацию, в формате dae и в bvh отличаются в 7 и более раз. Первоначально этот формат не был рассчитан на работу со скелетной анимацией. Спецификация dae универсальна, но фильтрация файла и получение нужной информации о телодвижениях затруднено.
Формат VALVE Source Engine Animator SMD (smd) [153] используется для анимации в движках Half Life. Это текстовый файл, хранящий модель и анимацию. Недостаток формата smd в том, что для каждого узла хранится как смещение относительно родительского узла, так и угол поворота, относительно родительского элемента. Таким образом, при использовании именно этого формата придётся удалять много незначащей информации (положение относительно родительского элемента). Как следствие, модуль фильтрации будет громоздким, скорость работы системы уменьшиться. Для просмотра и редактирования данного файла в графических редакторах необходима конвертация в более популярные форматы.
Исходя из проведенного сравнения преимуществ и недостатков перечисленных форматов и учитывая возможности систем для захвата движения, в частности, Brekel Kinect и IpiStudo экспортировать анимацию, для использования был выбран формат bvh.
В настоящее время разработаны методы, алгоритмы и системы, которые позволяют отслеживать движение человека, пальцев рук при помощи нескольких несинхронных камер, которые могут как фиксироваться в определённом положении, так и двигаться.
Проведенный анализ разработок в области безмаркерного распознавания людей на видео [112, 123] показал, что сейчас существуют всего три проекта, которые вышли из этапа исследований и находятся на стадии коммерческих