Программный комплекс пользовательского интерфейса на базе манипуляционных устройств ввода

• Автор: Зырянов, Александр Владимирович
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2010
• Место защиты: Екатеринбург
• Количество страниц: 119 с. : ил.

Оглавление
Введение.

Глава первая. Обзор существующих решений

Постановка задачи.

Методы ввода трхмерных жестов без использования манипуляторов.

Методы калибровки систем оптического захвата движений.

Выбор метода захвата движений для хорошего интерфейса

Глава вторая. Аппаратная составляющая интерфейса

Интерфейс фонарика

Испытание 1 точность ввода и скорость работы

Испытание 2 взаимодействие с объектами

Глава третья. Пользовательский интерфейс на основе жестов.
На пути к распознаванию жестов
Алгоритм сравнения двух траекторий
Распознавание жестов
Пользовательский интерфейс на основе жестов.
Испытание 3 пример интерфейса.
Глава четвртая. Алгоритм автоматической калибровки оптических камер
От персонального компьютера к большим экранам.
Почему задача калибровки является настолько сложной
Калибровка камер и интерфейс фонарика.
Алгоритм автоматической калибровки камер и вычисления абсолютных положений фонариков.
Итоговая схема Интерфейса фонарика.
Глава пятая. Сравнение с существующими решениями.
Сравнение с существующими решениями
Сравнение интерфейса фонарика и мыши
Описание программного комплекса.
Заключение.
Список литературы


За последние десять лет было создано (и продолжают создаваться) большое количество новых средств ввода. Исследования и разработки активно ведутся в таких научных центрах, как Массачусетский технологический институт, Мэрилендский университет, Оксфордский университет, университет города Осака, Стэнфордский университет, Торонтский университет, а также исследовательские центры таких компаний как Apple, Microsoft, Nintendo, Sony. В России данной проблемой занимается, в частности, Институт Проблем Управления РАН. Новые средства ввода (и связанные с ними новые пользовательские интерфейсы) гораздо лучше подходят для взаимодействия с «большими» экранами, однако и они не лишены тех или иных недостатков. Одни решения являются громоздкими, дорогими, требующими большого количества времени на установку и настройку. Другие решения требуют серьёзных модификаций (вплоть до замены средства ввода) при расширении набора взаимодействий, и, как следствие, требуют повторного обучения пользователей. Искусственность некоторых средств ввода заставляет пользователя концентрироваться не на взаимодействии при помощи интерфейса, а на взаимодействии с самим интерфейсом. Также, сложность установки и настройки многих трёхмерных интерфейсов связана с использованием нескольких оптических камер и, как следствие, с необходимостью калибровки. А существующие методы калибровки требуют больших усилий со стороны пользователей, больших вычислительных ресурсов, они могут приводить к ошибкам в силу их вычислительной неустойчивости. Из-за того, что традиционные (графические) интерфейсы не обеспечивают достаточного удобства, а новые (основанные на жестах) — достаточной гибкости, проблема манипулирования объектами в трёхмерных визуальных средах по-прежнему является актуальной и не до конца решённой задачей. Данную задачу активно пытаются решать как путём улучшения интерфейсов при помощи новых метафор взаимодействия (например, []), так и путём создания новых методов ввода трёхмерных жестов (например, []). Вместе с тем, метафоры - эго абстракции, которые не позволяют взаимодействовать с объектом так, как если бы он находился прямо перед нами. Что же касается методов ввода трёхмерных жестов, то они с большим трудом масштабируются для работы с большими экранами (либо не масштабируются вовсе) из-за проблемы калибровки. Целью работы является разработка легко расширяемого пользовательского интерфейса для современных средств графического вывода, в том числе «больших» экранов и виртуальных сред. Манипуляции с устройством ввода должны соответствовать воздействшо на виртуальный объект. Разрабатываемый интерфейс должен быть легко и быстро настраиваемым. Алгоритмы, обеспечивающие работу пользовательского интерфейса, должны работать в реальном времени вне зависимости от характера входных данных и обеспечивать требуемую точность. В первой главе формируются критерии, которым должен удовлетворять разрабатываемый интерфейс. Поскольку мы хотим взаимодействовать с виртуальным объектом точно так же, как если бы он находился у пользователя в руках, и иметь возможность выполнять все взаимодействия при помощи одного устройства ввода, в качестве метода взаимодействия пользователя с виртуальной средой выбираются трёхмерные жесты. Также в данной главе приводится обзор существующих технологий ввода жестов, описываются преимущества и недостатки каждой технологии применительно к рассматриваемой задаче, и производится выбор технологии, в наибольшей степени подходящей для разрабатываемого интерфейса. Во второй главе описывается разработанный метод ввода трёхмерных жестов на базе источника света и единственной веб-камеры. Использование источника света позволяет обеспечить высокую точность ввода, не накладывая при этом никаких ограничений на фон кадра. Приводится алгоритм вычисления положения маркеров в просгранстве и доказывается теорема о вычислительной сложности данного алгоритма. Также описываются результаты исследования качества работы алгоритма, как при помощи тестовых замеров, так и с участием потенциальных пользователей.