Исследование и разработка графического интерфейса с использованием альтернативных средств ввода-вывода

• Автор: Евреинов, Григорий Евгеньевич
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 1998
• Место защиты: Ростов-на-Дону
• Количество страниц: 166 с. : ил.

СОДЕРЖАНИЕ
ВВЕДЕНИЕ
1. ИССЛЕДОВАНИЕ ПРОБЛЕМ ГРАФИЧЕСКОГО ИНТЕРФЕЙСА ПОЛЬЗОВАТЕЛЯ И ПРОЕКТИРОВАНИЯ АЛЬТЕРНАТИВНЫХ СРЕДСТВ ОТОБРАЖЕНИЯ ИНФОРМАЦИИ
1.1 Преобразование графических интерфейсов в мультимодальные
1.2 Обзор экспериментальных методов альтернативного
звукового отображения информации
1.2.1 Некоторые проблемы восприятия зрительной информации
1.2.2 Аудиторная экстернализация
1.2.3 Альтернативные методы звукового отображения
1.2.3.1 Векторные аудио дисплеи
1.2.3.2 Виртуальный аудио р
1.2.3.3 Спектральный мэппинг
1.2.3.4 Виртуальный звуковой векторный дисплей
1.2.4 Освоение атрибутов слухового пространства,
практическое применение озвучивания
1.2.5 Обзор инструментальных средств и систем озвучивания
общего назначения
1.2.5.1 Система визуализации данных EXVIS
1.2.5.2 Инструментальные средства озвучивания:
язык Куша и система Capybara
1.2.5.3 Система визуализации арЕ
1.2.5.4 Система озвучивания Porsonify и проект Pablo
1.2.5.5. Инструментальные средства озвучивания данных LISTEN
1.3 Выводы
2. ПРОЕКТИРОВАНИЕ АППАРАТНО-ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ
2.1 Виртуальный акустический монитор ВАМ
2.2 Виртуальный акустический монитор В AM
2.3 Озвучивание графических символов (ВAM-1.1)
2.4 Виртуальный акустический монитор ВАМ
2.4.1. Графический интерфейс
2.4.2 Звуковой интерфейс ВАМ
2.5 Виртуальный аудио монитор ВАМ
2.5.1 Аппаратное обеспечение
2.5.2 Программное обеспечение ВАМ
2.5.2.1 Программирование графических объектов. Форма УШЕО.ИТМ
2.5.2.2 Управления звуковыми параметрами. Форма 801Ж01.РКМ
2.5.2.3 Файловые операции
3. ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ
3.1. Объектно-относительное смещение, восприятие движения
и отображение плоских виртуальных объектов
3.2 Взаимодействие звуковых потоков
3.3 Изоморфное озвучивание пространственных отношений
3.2.1 Пространственнализация изображения
3.2.2 Изобразительные признаки удаленности
3.2.2.1 Линейная перспектива
3.2.2.2 Система координат при воспроизведении нескольких объектов
3.2.2.3 Поворот плоскости
3.2.2.4 Тень
3.2.3 Изоморфное озвучивание реальных объектов
3.4 Выводы
4. РАЗРАБОТКА И ПРИМЕНЕНИЕ АЛЬТЕРНАТИВНЫХ УСТРОЙСТВ ВВОДА-ВЫВОДА
4.1 Полярные координаты, метафора циферблата
и концепция “схемы тела”
4.2 Графический интерфейс РасЮгарй
4.3 Система команд РасЮгарй
ЗАКЛЮЧЕНИЕ
СПИСОК ЛИТЕРАТУРЫ
ПРИЛОЖЕНИЕ
ПРИЛОЖЕНИЕ
ПРИЛОЖЕНИЕ
ПРИЛОЖЕНИЕ

ВВЕДЕНИЕ
Актуальность темы.
Преимущественное развитие визуальной культуры привело к ведущей роли зрительного анализатора в любой сфере деятельности человека: от бытовой до ориентирования и манипулирования виртуальными объектами программной среды. Вероятность утраты одной или нескольких физиологических модальностей рассматривается как реальная угроза жизнедеятельности только в специальном разделе авиационной медицины, связанном с влиянием гравитационной перегрузки на зрительную и слуховую системы пилота [3, 26]. Слепоту очень легко моделировать, для этого пользователю компьютера достаточно закрыть глаза и попробовать продолжить выполнение операций, например, с помощью мыши или джойстика. Имеется много задач, включающих текущий контроль или управление физической средой, которые требуют, чтобы зрительное внимание оператора постоянно переключалось или было сфокусировано на другом объекте, чем дисплей компьютера [28, 87, 99]. Чем шире область распространения графического интерфейса, тем больше проблем возникает при его эксплуатации не только в случае индивидуальных физиологических ограничений у определенного контингента пользователей. Перегрузка зрительного поля при отображении динамически изменяющихся многомерных массивов данных в реальном масштабе времени может вызвать информационно-психологическое блокирование, что существенно ограничивает возможности визуализации и оперативного контроля. Не обсуждая надежность оптических средств отображения, становится ясно, что тенденция развития мультимодального интерфейса - проблема более чем актуальная во многих аспектах ее приложения [6].
Мультимодальность становится основным критерием доступности информации при проектировании средств и систем отображения, а использование альтернативных средств ввода - непременным атрибутом графического интерфейса систем виртуальной реальности, носимых компьютеров и мобильных средств связи [6, 40,51, 106].

Проект EX VIS был первой системой, которая обеспечила интерактивное манипулирование звуком с помощью мыши. Это была первая интегрированная система визуализации, использующая и графику и звук для исследования данных [71]. EXVIS не была ограничена определенным типом данных, которые могла обрабатывать. Но, ее ограниченность состоит в использовании исключительно двумерных иконографических изображений. Аудио дисплей мог создавать озвучивание только как дополнительный атрибут иконок. В проекте не рассматривались вопросы адаптации или расширяемости системы пользователем.
1.2.5.2 Инструментальные средства озвучивания: язык Куша и система СаруЬага
В 1991 г. Carla Scaletti из Университета Штата Иллинойс, работая над проектом озвучивания данных CERL/NCSA, разрабатывала систему, которая использовала бы цифровые сигнальные процессоры для выполнения звукового синтеза. Цель проекта состояла в том, чтобы разработать прототип набора инструментальных средств для озвучивания, которые могли бы применяться к изменяющимся во времени массивам данных.
Проект был выполнен на основе специального языка Куша, разработанного в Symbolic Sound Corporation. Чтобы создавать озвучивание, пользователь должен был управлять инструментальными средствами визуально с помощью иконок (Рис. 1.6). Система была предназначена для реализации на Macintosh или 486 PC, компонент программного обеспечения системы язык Кута написан в объектно-ориентированной среде Smalltalk. Звуковые аппаратные средства состояли из многопроцессорной системы СаруЬага, содержащей девять цифровых сигнальных процессоров, действующих параллельно. Эти аппаратные средства позволяли выполнять звуковой синтез в реальном времени.
Инструментальные средства озвучивания включали:
• Shifter (сдвигающее устройство), которое сдвигает сигналы из ультразвукового диапазона в слуховой диапазон и создает массив данных;