Алгоритмы распознавания жестов на видеопоследовательностях

• Автор: Нгуен Тоан Тханг
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2014
• Место защиты: Томск
• Количество страниц: 146 с. : ил.

ОГЛАВЛЕНИЕ
Введение
Глава 1. Аналитический обзор методов распознавания жестов
1.1. Понятие жеста
1.2. Походы к решению задачи распознавания жестов
1.2.1. Методы на основе внешности
1.2.2. Методы с использованием ЗБ модели руки
1.2.3. Статистический подход
* 1.2.4. Синтактический подход
1.2.5. Методы отслеживания руки
1.3. Обсуждение и постановка задач
1.4. Выводы по главе
Глава 2. Метод распознавания жестов на видеопоследовательностях
2.1. Архитектура комплексного алгоритма распознавания жестов
2.2. Обнаружение руки на видеокадре
2.1.1. Признаки Хаара
* 2.1.2. Интегральное изображение
2.1.3. АсІаВоозї-классификатор
2.3. Трекинг руки на последовательных кадрах
2.4. Предложенный алгоритм распознавание позы руки
2.4.1. Метод выделения характерных признаков
2.4.2. Кластеризация БиНГ-дескрипторов и генерация словаря признаков
2.4.3. Генерация дескрипторов для нейронной сети
2.4.4. Обучение и распознавание в нейронной сети
2.5. Предложенный алгоритм распознавания движения руки
2.5.1. Алгоритм Рамера-Дугласа-Пекера
* 2.5.2. Передискретизация и преобразование траектории
2.5.3. Вычисление дескриптора
2.5.4. Обучение и распознавание в нейронной сети
2.6. Выводы по главе
Глава 3. Численные эксперименты и анализ результатов распознавания
жестов
3.1. Эксперименты на созданных выборках
3.1.1. Тестирование на выборке с однородным фоном
3.1.2. Тестирование на выборке с присутствием других объектов

3.1.3. Тестирование на сильно зашумленной выборке
3.1.4. Выводы
3.2. Тестирование на известных открытых выборках
3.2.1. Тестирование на базе статических поз руки
3.2.2. Тестирование на базе жестов Кембриджского университета
3.2.3. Сравнение с другими алгоритмами распознавания поз
3.3. Тестирование алгоритма распознавания движения
3.4. Выводы по главе
Глава 4. Программная реализация системы распознавания жестов
4.1. Описание реализуемой программной системы
4.1.1. Общее описание
4.1.2. Средство программирования
4.1.3. Реализованные классы
4.2. Пользовательский интерфейс прог раммы «Hand Recognitor»
4.2.1. Главный интерфейс пользователя
4.2.2. Создание нового набора примитивов формы
4.2.3. Распознавание движения
4.2.4. Управление компьютерной системой с помощью жестов
4.3. Выводы по главе
Заключение
Список источников и литературы
Список публикаций автора
Приложение
ВВЕДЕНИЕ
Актуальность работы. В истории развития персонального компьютера наблюдалась эволюция пользовательского интерфейса в человеко-машинном взаимодействии (4MB) от текстового командного интерфейса до графического интерфейса, от простой клавиатуры до мыши, джойстика, электронной ручки, видео камеры, и т.д. Устройства 4MB стали более удобными и естественными для пользователя. В настоящее время, с введением новых понятий, таких как «виртуальная среда - ВС», «человеко-машинная интеллектуальная интеракция -4МИИ», «перцепционный пользовательский интерфейс - ППИ» и т.д. требуется разработка более мощных и удобных способов взаимодействия человека с компьютерной системой.
В качестве одного из способов обеспечения комфортного взаимодействия с компьютером, человеческая рука может быть использована в качестве интерфейса ввода [3, 71, 131]. Жесты являются мощным каналом связи, который формирует основную часть передачи информации в нашей повседневной жизни. По сравнению с традиционными устройствами 4MB, жесты являются менее навязчивым, простым, более удобными и естественным способом взаимодей-ствия для пользователей. Тем не менее, выразительность жестов все еще остается недостаточно изученной для решения проблемы человеко-машинного взаимодействия.
В последние годы появилась и начала быстро развиваться тенденция использования жестов, особенно жестов руки, как способа взаимодействия с компьютерной системой. Распознавание жестов, таким образом, стало важнейшей частью в 4МИИ и начало привлекать множество исследователей. Кроме того, разработанные в 4МИИ технологии также находят применение в других областях, таких как управление роботами, телеконференции, перевод языка жестов (для глухих), управление компьютерными играми, и т.д. В числе пионеров в области распознавания жестов и построения интерфейса на основе жестов можно выделить Kurtenbach G., Huit een E., Kendon A., Quek, Mapes D. J.,
алгоритма индукции на основе созданных правил для распознавания жестов в пространстве. Данный подход очень эффективен, т.к. сложная модель жестов создается с помощью небольшого множества правил.
Новое представление процесса изменения жестов во времени, которое описывается в виде сети доменов PNF (Past-Now-Future Domain Network), было разработано Pinhanez и Bobick [107]. Происхождение жеста вычисляется путем минимизации домена соответствующей PNF-cen и при условии, заданном текущим состоянием сенсоров и предыдущими состояниями сети.
1.2.5. Методы отслеживания руки
Моделирование низкоуровневой динамики движения руки помогает одновременно решать задачу отслеживания руки и распознавания жестов. Динамика низкого уровня служит количественным представлением несложных движений, которые могут классифицироваться. Для этого траектория движения руки обозначается в параметрическом сокращенном векторном виде. Однако, модель движения низкого уровня часто не достаточна для описания более сложных жестов руки. В моделировании динамики объектов распространена фильтрация Кальмана (Kalman filter) [12], которая позволяет оценивать, интерполировать, и предсказывать параметры движения объекта. Тем не менее, в большинстве случаев, модель на основе фильтрации Кальмана не подходит для представления движения человеческой руки.
Pentland и Liu [106] представили жесты в комплексной модели с несколькими состояниями. Для описания движения человека используются несколько альтернативных моделей, при этом каждая модель соответствует одному классу. Переход между моделями основывается на наблюдении состояния движения. Данный подход вырабатывает обобщенную максимальную вероятную оценку текущего и будущего значения переменных (параметров) движения. Распознавание осуществляется путем определения самой подходящей к наблюдению модели.