Распознавание динамических жестов в системе компьютерного зрения на основе медиального представления формы изображений

• Автор: Куракин, Алексей Владимирович
• Шифр специальности: 05.13.17
• Научная степень: Кандидатская
• Год защиты: 2012
• Место защиты: Москва
• Количество страниц: 108 с. : ил.

Содержание
Введение .
Глава 1. Постановка задачи. Обзор существующих методов. Структура предлагаемого подхода.

1.1. Постановка задачи распознавания жестов

1.2. Обзор существующих методов.

1.2.1. Обзор методов классификации динамических последовательностей

1.2.2. Генерация признаков для распознавания жестов

1.3. Структура предлагаемого подхода

1.3.1. Получение и сегментация исходного видео.

1.3.2. Генерация признаков на отдельном кадре

1.3.3. Межкадровая фильтрация признаковых описаний .

1.3.4. Распознавание жестов
1.4. Выводы главы 1.
Глава 2. Генерация признаков на основе медиального представления формы объектов.
2.1. Непрерывный скелет.
2.1.1. Понятие скелета.
2.1.2. Ветвь скелета и ее свойства.
2.2. Сегментация тела человека по карте глубины.
2.2.1. Построение контуров.
2.3. Выделение ключевых точек по скелету
2.3.1. Обнаружение кончиков пальцев по силуэту ладони .
2.3.2. Обнаружение рук на силуэте тела человека
2.3.3. Работа с циклами скелетного графа
2.3.4. Использование стереопары силуэтов для определения
трехмерных координат ключевых точек
2.4. Метод сегментации объекта за счет аначПиза противоположных частей его границ.
2.5. Выводы главы 2.
Глава 3. Генерация признаков но динамическим сценам
3.1. Слежение за положениями рук.
3.2. Слежение за кончиками пальцев.
3.2.1. Трекинг объектов.
3.2.2. Трекинг ключевых точек.
3.2.3. Фильтрация результатов трекинга
3.3. Выводы главы 3
Глава 4. Распознавание динамических жестов
4.1. Распознавание простых жестов с помощью набора правил .
4.1.1. Метод распознавания жестов.
4.1.2. Аппаратнопрограммный комплекс с ГЮВ камерами . .
4.1.3. Аппаратнопрограммный комплекс с камерой глубины .
4.2. Распознавание сложных жестов с помощью метрического классификатора .
4.2.1. Классификация видео состоящего из одного жеста .
4.2.2. Мера близости траекторий.
4.2.3. Мера близости отдельных кадров.
4.2.4. Классификация видео содержащего несколько жестов .
4.2.5. Эксперименты.
4.3. Анализ вычислительной сложности.
4.4. Выводы главы 4.
Заключение.
Литература


Но жесты также являются удобным средством взаимодействия с компьютером во многих сценариях. Руки и тело человека являются естественными манипуляторами и обладают большим числом степеней свободы, поэтому успешное решение задачи распознавания выполняемых ими жестов раскрывает перспективы для решения широкого круга прикладных задач. В диссертации рассматривается задача распознавания жестов на основе информации, полученной с доступных визуальных сенсоров, таких как вебкамеры и камеры глубины. В литературе рассматриваются различные методы решения задач распознавания отдельных классов жестов. В частности, достаточно много работ [-] посвящены определению статической позы руки, при использовании ВОВ камеры в качестве сенсора. Но предлагаемые решения либо работают с простейшими одиночными жестами, либо обладают большой вычислительной сложностью, которая не позволяет использовать их в системах реального времени. Появление сенсора Ктес1 в году, первой камеры глубины доступной широкой аудитории, открыло широкие возможности для создания систем распознавания жестов, что чрезвычайно повысило актуальность задачи распознавания жестов с использованием камеры глубины. Л разработанное для Кшео1, программное обеспечение выполняет определения положений основных суставов тела человека []. В целом, решение задач, связанных с распознаванием сложных динамических жестов находится на начальном уровне. А разнообразие жестов и способность человека к их пониманию столь велики, что проблема, их распознавания с помощью компьютера будет оставаться актуальной долгое время. Научная задача. Основная задача данной работы заключается в разработке метода классификации динамических жестов по видеопоследовательности на основе непрерывного медиального представления объекта, совершающего жесты. В качестве объектов, совершающих жесты, рассматриваются рука и тело человека. Сложность задачи определяется очень большим разнообразием жестов и вариантов их исполнения, что связано с большим числом степеней свободы рук и тела человека, разнообразием индивидуальных антропометрических и двигательных особенностей различных людей, требованием реального времени работы системы компьютерного зрения. Выделение признаков затруднено из-за того, что объект нередко наблюдается с окклюзиями (т. Более того, так как в работе рассматриваются динамические жесты, их продолжительность во времени может быть различна как для разных жестов, так и для повторения одного и того же жеста. Это приводит к тому, что «эффективная» размерность признакового пространства, описывающего жесты, меняется как от жеста к жесту так и между повторениями одного и того же жеста. Цель исследования. Достижение цели повысит эффективность и расширит возможности современных систем компьютерного зрения и распознавания жестов. Предлагаемый подход. Совокупность признаковых описаний отдельных кадров образует траекторию жеста. Распознавание жестов предлагается выполнять с помощью метрического классификатора, за счет сравнения траекторий распознаваемых жестов с траекториями эталонных жестов. Методы, основанные на непрерывном медиальном представлении [], дают информативное признаковое описание и обладают достаточной скоростью обработки. Однако подобные методы не использовались ранее для онлайн анализа видеопоследовательностей и распознавания динамических жестов, соответственно, их использование в рассматриваемой задаче требует научной проработки. Результаты, выносимые на защиту. Метод распознавания жестов, представленных видеопоследовательностями, основанный на выделении ключевых точек формы объектов в отдельных кадрах, построении динамических траекторий ключевых точек в последовательностях изображений и вычислении меры близости траекторий на основе выравнивания. Метод генерации признаков пространственной формы объекта по изображениям или по карте глубины на основе непрерывного медиального представления плоских проекций объекта. Метод связывания фрагментов границ в контуры, основанный па построении внешнего скелета исходных фрагментов границ.