Разработка и исследование методов захвата, отслеживания и распознавания динамических жестов

• Автор: Алфимцев, Александр Николаевич
• Шифр специальности: 05.13.17
• Научная степень: Кандидатская
• Год защиты: 2008
• Место защиты: Москва
• Количество страниц: 167 с. : ил.

1.1. Постановка задачи

1.2. Классификации жестов человека

1.3. Выбор базового алфавита жестов.

1.4. Основные модели распознавания жестов.

1.4.1. Скрытые Марковские модели

1.4.2. Нейронные сети.

1.4.3. Байесовые сети.

1.4.4. Другие модели

1.5. Системы распознавания жестов.

1.6. Выводы.

ГЛАВА 2. ЗАХВАТ И ОТСЛЕЖИВАНИЕ ОБЛАСТИ ИНТЕРЕСОВ НА СЛОЖНОМ ФОНЕ

2.1. Постановка задачи
2.2. Алгоритм захвата и отслеживания основанный на анализе перемещения области интересов.
2.3. Алгоритм захвата и отслеживания основанный на анализе цвета области интересов.
2.4. Алгоритм захвата и отслеживания областей интересов, основанный на последовательном выделении объектов по перемещению, цвету и кластерам.
2.5. Оценка вычислительной сложности алгоритма захвата и отслеживания областей интересов, основанного на последовательном выделении объектов по перемещению, цвету и кластерам
2.6. Алгоритм захвата и отслеживания областей интересов, основанный на параллельном каскадном детекторе с использованием характерных признаков Хаара.
2.7. Оценка вычислительной сложности алгоритма захвата и отслеживания областей интересов, основанного на параллельном
каскадном детекторе с использованием характерных признаков Хаара.
2.8.Выводы.
ГЛАВА 3. НЕЧЕТКАЯ МОДЕЛЬ РАСПОЗНАВАНИЯ ДИНАМИЧЕСКИХ
ЖЕСТОВ
3.1. Постановка задачи . .
3.2. Принципы выполнения динамических жестов и формирования их моделей
3.3. Распознавание динамических жестов с использованием модели, основанной на нечетких конечных автоматах и грамматиках
1. Основные понятия и определенияТ.
3.3.2. Нечеткие конечные автоматы и грамматики.
3.4. Выводы
ГЛАВА 4. МУЛЬТИМОДАЛЬНОЕ АГРЕГИРОВАНИЕ В ЗАДАЧАХ РАСПОЗНАВАНИЯ
4. V. Постановка задачи
4.2. Актирование модальностей с помощью операторов Суджено и Шоке.
4.3. Мультимодальное распознавание на основе операторов агрегирования Суджено и Шоке.
4.4. Мультимодальное распознавание сцен, определяемых жестами
4.5. Выводы
ГЛАВА 5. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ И АПРОБИРОВАНИЕ СИСТЕМЫ РАСПОЗНАВАНИЯ ДИНАМИЧЕСКИХ ЖЕСТОВ
5.1. Постановка задачи.
5.2. Архитектура системы распознавания жестов
5.3. Эксперимент 1. Нахождение порогового значения разности интенсивностей пикселей
5.4. Эксперимент 2. Нахождение времени работы алгоритма захвата и отслеживания областей интересов, основанного на последовательном выделении объектов по перемещению, цвету и кластерам.
5.5. Эксперимент 3. Нахождение оптимального числа слоев каскада для алгоритма захвата и отслеживания областей интересов, основанного на параллельном каскадном детекторе.
5.6. Эксперимент 4. Сравнение алгоритмов захвата и отслеживания областей интересов.
5.7. Эксперимент 5. Нахождение надежности распознавания жестов, выполненных одной рукой одним человеком
5.8. Эксперимент 6. Нахождение надежности распознавания жестов, выполненных двумя руками по очереди одним человеком
5.9. Эксперимент 7. Нахождение надежности распознавания жестов, выполненных одной рукой различными людьми
5 Выводы.
ЗАКЛЮЧЕНИЕ И ОБЩИЕ ВЫВОДЫ
ЛИТЕРАТУРА


Задачей данной главы является проведение сравнительного анализа современных математических моделей и программных систем распознавания жестов человека, обоснование выбора базовых жестов для разрабатываемой в диссертации автоматизированной системы распознавания динамических жестов. Для решения этой задачи в настоящей главе было осуществлено следующее. Проведена классификация жестов, наиболее часто используемых при общении людей, как имеющих, так и не имеющих ограничения по здоровью. Обоснован выбор базового алфавита динамических жестов для автоматизированного распознавания. Проведен анализ известных математических моделей, используемых при распознавании динамических жестов с точки зрения их сложности. Выполнен обзор достоинств и недостатков современных систем распознавания жес тов. Научный интерес к проблемам общения взаимодействия людей с помощью вербальных речевых и невербальных жестов, мимики, телодвижений, прикосновений и т. XX веке, когда появилась необходимость учитывать в процессе принятия тех или иных решений особенности поведения людей в процессе общения. Основы теории общения долгое время разрабатывались на интуитивном уровне. Серьезные научные исследования вербальных и невербальных коммуникативных процессов начались в годах в рамках теории журналистики. Психологами было установлено, что в процессе взаимодействия людей от до информации передается невербальными средствами, и только вербальными . Более того, большинство исследователей разделяют мнение, что вербальный канал в значительной мере используется для передачи фактографической информации, в то время как невербальный канал выступает как средство выражения межличностных отношений, и только в некоторых случаях используется вместо словесных сообщений. Эти данные свидетельствуют о важной роли невербальной информации, содержащейся жестах и мимике людей, для психологического анализа процессов общения и взаимопонимания людей. Жесты изучаются в рамках науки о телодвижениях, в которой существует несколько классификаций жестов. Большинство исследователей рассматривает науку о жестах, прежде всего как жестах с помощью рук . В данной работе будет использоваться именно эта трактовка термина жест. Жест это знаковая единица общения, которая выполняет базовые функции в процессах взаимодействия коммуникации людей, выражает смысловую позицию личности и может выполняться как сознательно, так и бессознательно. Известно несколько принципов, положенных в основу классификации жестов. Е.А. Петрова рассматривает жесты с точки зрения использования их учителем и учениками в процессе обучения. Выделяются визуальные, визуально акустические и визуально акустически тактильные жесты. Жесты делятся на общекоммуникативные и специфические, т. Общекоммуникативные жесты используются при вступлении в контакт, в ситуациях поддержания и усиления контакта, завершения общения, выхода из контакта с помощью общекоммутативных жестов выражаются эмоции, даются оценки, установки. Характер общекоммутативных жестов преподавателя с первых минут создает определенный настрой в аудитории, в привлечении внимания обучаемых также важную роль играют жесты педагога. Среди специфических жестов особо выделяются жесты, используемые для организации внимания жесты указания, имитации, подчеркивающие. Г.Л. Кириленко предложил классификацию жестов в зависимости от выражаемой ими тональности общения а возвышенные ритуальные жесты, жесты ораторов б нейтральные жестырегуляторы, жесты индикаторы в нейтральнообиходные фамильярные вульгарные. Акишина предложила классификацию жестов, основанную на указании органа, выполняющего жест, его направленности цикличности, этапносги в совершении жестов отношении к положению человеческого тела в пространстве. Сходный принцип лежит в основе классификации К. Дельсарта , различающего а жесты в зоне живота инстинкты б жесты в зоне груди душевность в жесты в зоне лба интеллектуальность г жесты над головой превосходство. М. Нэпп и Д. Холл классифицируют жесты с точки зрения их соотношения с речью. Они разделяют жесты на независимые от речи и связанные с речью.