Интерфейс бесконтактного человеко-машинного взаимодействия на основе данных сенсора-дальномера

• Автор: Котюжанский, Леонид Анатольевич
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2014
• Место защиты: Екатеринбург
• Количество страниц: 146 с. : ил.

ОГЛАВЛЕНИЕ

Основные термины, обозначения и сокращения

ВВЕДЕНИЕ

ГЛАВА 1 АНАЛИЗ ПОДХОДОВ К СОЗДАНИЮ СИСТЕМ ЗАХВАТА ДВИЖЕНИЯ

1.1. Маркерные системы захвата движения

1.2. Безмаркерные системы захвата движений

1.3. Возможности сенсора-дальномера для создания

бесконтактного интерфейса

1.4. Алгоритмы и методы стереозрения для получения карты глубины изображения

ГЛАВА 2 АРХИТЕКТУРА И АЛГОРИТМЫ БЕСКОНТАКТНОГО ЧЕЛОВЕКО-МАШИННОГО ИНТЕРФЕЙСА

2.1. Общая архитектура системы бесконтактного управления
2.2. Общая архитектура модуля распознавания
2.3. Предварительная обработка входных данных
2.4. Верификация вероятного пользователя. Поиск лица пользователя в окрестности точки CtdH
2.5. Алгоритм распознавания вытянутых рук
2.6. Алгоритм распознавания пальцев
2.7. Методы фильтрации центроида руки и определение координат управляющего курсора пользователя
2.8. Алгоритм детектирования прикосновения к поверхности путем анализа карты глубины. Программный прототип сенсорного экрана на любой поверхности
ГЛАВА 3 КОНЦЕПЦИЯ И РЕАЛИЗАЦИЯ ПРИКЛАДНОГО ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ДЛЯ БЕСКОНТАКТНОГО УПРАВЛЕНИЯ
3.1. Система жестов и особенности бесконтактного управления
3.2. VisionTouch Gallery - интерактивная витрина на базе бесконтактного управления. Предпосылки к разработке
3.3. Системные требования и рекомендации по использованию VisionTouch Gallery
3.4. Описание функционала VisionTouch Gallery
3.5. Особенности программной реализации VisionTouch Gallery и результаты тестирования алгоритмов
ЗАКЛЮЧЕНИЕ
СПИСОК ЛИТЕРАТУРЫ

Основные термины, обозначения и сокращения
Бесконтактное управление - в контексте данной работы управление программным обеспечением посредством движения рук пользователя на расстоянии от 0,5 до 3 м перед сенсором. При этом на руках пользователя отсутствуют какие-либо датчики, фиксирующие движение. Распознавание жестов происходит посредством анализа данных с сенсора-дальномера.
Сенсор-дальномер - в контексте данной работы это оптическое устройство определяющее расстояние от наблюдателя до всех, видимых в поле зрения сенсора, объектов. Как результат своей работы такой сенсор возвращает полутоновое изображение - карту глубины и массив точек трехмерного пространства.
Распознавание жестов - идентификация движения пользователя (движения рук, количества видимых рук и пальцев) посредством анализа данных с сенсора-дальномера для возможности управления программным обеспечением.
Захват движения - определение положения частей тела человека и формирование кинематической модели для возможности ее использования в системах управления жестами и 3D анимации.
Шейдер - программа, выполняемая на ГПУ.
GLSL (OpenGL Shading Language) - высокоуровневый язык программирования шейдеров. Используется для написания программ обработки изображений в области компьютерной графики и машинного зрения.
Kinect - сенсор, изначально разработанный компанией Microsoft в качестве игрового контроллера. Сочетает в себе два отдельных сенсора - цветную камеру и дальномер с инфракрасным прожектором.
SDK (Software Development Kit) - комплект средств разработки программных продуктов, позволяющий создавать приложения определенного типа и направленности.
OpenCV (Open Source Computer Vision Library) - библиотека алгоритмов компьютерного зрения, обработки изображений и численных алгоритмов общего

назначения с открытым кодом.
OpenGL (Open Graphics Library) - открытая графическая библиотека, предоставляющая программный интерфейс для написания приложений, использующих двумерную и трехмерную графику. Обеспечивает аппаратное ускорение при визуализации 2D и 3D графики.
ГПУ (GPU - Graphics Processing Unit) - отдельное устройство персонального компьютера или игровой приставки, выполняющее графический рендеринг и параллельные вычисления.
ЦПУ (CPU - Central Processing Unit) - центральный процессор компьютера.
Трекинг - отслеживание объектов в поле зрения сенсора, как правило, с присвоением отслеживаемому объекту целочисленного номера.
Blob или блоб - сегментированный фрагмент (регион) изображения. Сегментация происходит согласно отклонениям по яркости, контрасту, цвету на изображении.
Медианный фильтр - цифровой фильтр, используемый для обработки сигналов и изображений для уменьшения уровня шума.
Фильтр Калмана - эффективный рекурсивный фильтр, корректирующий вектор состояния динамической системы.
Метод Виолы-Джонса — метод детектирования объектов на изображении на основе использования признаков Хаара.

Одна из важных задач стереозрения - процесс преобразования двух плоских изображений в трехмерную сцену с восстановлением информации (рис. 18) о глубине каждой точки [123, 124] плоского изображения (расстоянии от
стереокамеры до соответствующей точки реальной сцены). Зная информацию о глубине (функция двух переменных), можно генерировать ЗБ модели ландшафта и других природных объектов для использования в различных приложениях, таких как виртуальная реальность, симуляция полета, робототехника. В частности, знание об удаленности точек изображения от реального прообраза позволяет делать захват опорных точек движущегося объекта для получения трехмерных координат, что важно в индустрии спецэффектов, кино и телевидении. Захват координат опорных точек позволяет строить уникальные бесконтактные человеко-машинные интерфейсы, управление в которых осуществляется движениями пальцев рук или вообще жестов в пространстве па некотором удалении от стереокамеры.
На данный момент известны активные и пассивные методы восстановления глубины информации из реальной сцены.
Активные методы используют ультразвуковые преобразователи или лазерное освещение рабочего пространства, дающие на выходе быструю и точную информацию о глубине [125]. Однако у этих методов есть ограничения по отношению к диапазону измерений и высока стоимость аппаратных компонентов.
Пассивные методы, основанные на компьютерном зрении, обычно реализуются более простыми и недорогими сенсорами, определяющими расстояние. Такие методы способны генерировать информацию о глубине по полученной паре изображений и параметрам двух камер. Одна из фундаментальных проблем стереозрения заключается в установлении точного соответствия между левым и правым изображением стереопары. Существующие локальные методы по вычислению карты диспаритета основаны на принципе «скользящего окна» [126]. Они характеризуются определенной сбалансированностью скорости - качества, хорошо масштабируются и реализуются на таких параллельных архитектурах, как видеокарты.