Алгоритмы построения трехмерных компьютерных моделей реальных объектов для систем виртуальной реальности

• Автор: Конушин, Антон Сергеевич
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2005
• Место защиты: Москва
• Количество страниц: 158 с. : ил.

ВВЕДЕНИЕ.

ГЛАВА 1. СИСТЕМА РЕКОНСТРУКЦИИ 3Х МЕРНЫХ МОДЕЛЕЙ ПО

НАБОРУ ИЗОБРАЖЕНИЙ.

1.1 Обзор существующих подходов

1.2 Предлагаемая система.

ГЛАВА 2. РОБАСТНАЯ ОЦЕНКА ПАРАМЕТРОВ МОДЕЛИ.

2.1 Постановка задачи

2.2 Робастная оценка параметров модели

2.2.1 Общая схема оценки параметров на основе случайных выборок б

2.2.2 Робастное уточнение оценки параметров модели.

2.3 Обзор существующих алгоритмов на основе случайных выборок

2.3.1 Варианты оценочных функции.
2.3.2 Варианты схемы выборки.
2.3.3 Модификации схемы оценки модели
2.3.4 Другие модификации.
2.4 Колебания шума в последовательности оценок
2.4. 1 Задача оценки позы камеры.
2.4.2 Колебание шума.
2.5 Предлагаемый алгоритм
2.5.1 Оценка максимального правдоподобия.
2.5.2 Оценка параметров шума в исходных данных.
2.5.3 Критерий остановки.
2.5.4 Оценка параметров смеси вероятностей на выборке исходных данных
2.5.5 Локальная оптимизация
2.5.6 Полная схема алгоритма С.
2.6 Нелинейная минимизация
2.6.1 Оценка параметров смеси по текущей гипотезе
2.6.2 Параметры смеси как свободные параметры модели.
2.7 Применение алгоритма на реальных данных
2.8 Применение алгоритма на синтетических данных.
2.8.1 Тесты на синтетических данных подгонка линий.
2.8.2 Оценка позы камеры тесты на синтетических данных.
2.9 Заключение.
ГЛАВА 3. ОТСЛЕЖИВАНИЕ ТОЧЕЧНЫХ ОСОБЕННОСТЕЙ
3.1 Постановка задачи.
3.1.1 Критерии качества набора следов точечных особенностей.
3.1.2 Исходные последовательности изображений.
3.1.3 Подзадачи.
3.2 Обзор.
3.2.1 Обнаружение точечных особенностей.
3.2.2 Виды алгоритмов поиска соответствий.
3.2.3 Краткий обзор методов сопоставления точечных особенностей.
3.2.4 Краткий обзор методов отслеживания точечных особенностей
3.2.5 Сравнение алгоритмов отслеживания и сопоставления.
3.2.6 Обзор алгоритмов сегментации ложных следов и соответствий.
3.2.7 Обзор алгоритмов построения набора следов точечных особенностей
3.3 Предлагаемый алгоритм построения набора следов
3.3.1 Управляемое слежение
3.3.2 Управляемое сопоставление.
3.3.3 Коррекция следов по точечным особенностям.
3.3.4 Инициализация следов с разбиением на корзины
3.3.5 Выбор ключевых кадров.
3.3.6 Общая структура алгоритма.
3.3.7 Применение алгоритма на реачьных данных.
3.4 Алгоритм построения следов в видеопоследовательностях с изменениями
резкости.
3.4.1 Предлагаемый алгоритм.
3.4.2 Определение резкости изображений
3.4.3 Зависимость количества найденных особенностей от резкости
изображения.
3.4.4 Сопоставление особенностей и сегментация ложных.
3.4.5 Сопоставление особенностей до и после дефектного участка
3.4.6 Применение алгоритма на реальных данных.
3.5 Заключение
ГЛАВА 4. ОПРЕДЕЛЕНИЕ ТРАЕКТОРИИ ДВИЖЕНИЯ КАМЕРЫ
4.1 Постановка задачи
4.2 Обзор существующих алгоритмов
4.2.1 Общий подход к решению задачи структуры и движения.
4.2.2 Подзадачи
4.2.3 Инициализация движения.
4.2.4 Инициализация 3х мерной структуры.
4.2.5 Выбор ключевых кадров для инициализации движения камеры
4.2.6 Определение позы камеры
4.2.7 Уточнение структуры
4.2.8 Метод связок.
4.2.9 Алгоритмы определения структуры и движения.
4.3 Предлагаемый алгоритм.
4.3.1 Общая схема.
4.3.2 Разбиение последовательности на сегменты
4.3.3 Вычисление траектории движения на сегменте
4.3.4 Объединение траектории камеры на сегментах
4.4 Применение предложенного алгоритма на реальных данных.
4.5 Заключение
ГЛАВА 5. ПОСТРОЕНИЕ 3Х МЕРНЫХ МОДЕЛЕЙ.
5.1 Постановка задачи.
5.1.1 Сеточная модель трехмерного объекта.
5.1.2 Набор изображений с глубиной
5.1.3 Параметрические модели
5.1.4 Классификация методов построения 3х мерных моделей.
5.2 Подгонка параметрической модели.
5.2.1 Выделение объектов
5.2.2 Краткий обзор существующих методов
5.2.3 Подгонка цилиндра.
5.2.4 Подгонка параллелепипеда
5.2.5 Текстурирование модели по изображениям
5.3 Алгоритм реконструкции на основе плотного стерео
3.3.1 Построение карты глубины
3.3.2 Совместный анализ карт глубины
5.3.3 Редактирование модели.
5.4 Результаты применения на реальных данных.
5.5 Заключение.
ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ.
ПРИЛОЖЕНИЕ А.
А.1 Свойства перспективной проекции
А.2. Эпиполярная геометрия.
ЛИТЕРАТУРА


Изображение объекта с произвольной точки зрения синтезируется путем сложного смешения множества исходных фотоизображений с близкорасположенных точек зрения. За счет этого достигается возможность моделирования объектов сложной формы из материалов с недиффузными свойствами, вплоть до полупрозрачных и зеркальных объектов. Другим недостатком таких алгоритмов является отсутствие модели поверхности объекта, что делает невозможным их редактирование и значительно затрудняет использование моделей на основе световых полей совместно с моделями других типов. Сравнивая системы типа Фасад с системами на основе других подходов можно отметить противоположенность их недостатков. Алгоритмы на основе согласования цветов, стерео и световых полей работают автоматически, без взаимодействия с пользователем, в то время как системы типа Фасад требуют большого объема взаимодействия с пользователем. Однако все существующие автоматические алгоритмы реконструкции в огромном числе случаев дают очень неточные или совершенно некорректные модели, которые невозможно использовать для визуализации. Надежность же пользовательского ввода в системе Фасад оказывается гораздо выше автоматических алгоритмов. Взаимодействие с пользователем также оказывается эффективным механизмом коррекции построенных моделей, поскольку пользователь может обнаружить недостатки во введенных им данных и исправить их, а также добавить новые данные для повышения точности модели. За счет высокой надежности только системы типа Фасад достигли уровня коммерческих продуктов. Но объем взаимодействия с пользователем и высокие требования к его точности резко снижают удобство их использования. На текущий момент любые системы построения моделей реальных объектов по изображениям не обеспечивают той надежности, точности и удобства применения, которыми обладают системы на основе структурированного света, например В таких системах объект освещается светом прожектора, пропущенного через фильтр специальной конфигурации. В момент освещения объект фотографируется одной или несколькими камерами. На полученных изображениях определяются яркие участки, и вычисляются их трехмерные координаты благодаря известному взаимному расположению камеры и прожектора. Существующие полностью автоматические подходы к построению 3х мерных моделей реальных объектов не обеспечивают той надежности реконструкции и не обладают широкими возможностями для корректирования результата, которыми обладает опирающаяся на взаимодействие с пользователем система Фасад. С другой стороны, избыточный объем взаимодействия затрудняет использование системы типа Фасад. Поэтому для снижения объема взаимодействия предлагаемая система опирается на автоматическое определение траектории движения камеры и вычисление множества 3х мерных точек на поверхностях наблюдаемых объектов. Множество 3х мерных точек затем используется для подгонки параметрических моделей аналогично системе Фасад и алгоритмам, предложенным в работах 5. Однако вместо точного выделения точек и ребер на изображениях объекта, пользователю достаточно выделить на нескольких исходных изображениях прямоугольной рамкой области, соответствующие изображению объекта. Поскольку на самом деле часть из выделенных точек лежит на поверхностях других объектов, разработаны алгоритмы подгонки параметрических моделей типа шестигранник, параллелепипед и цилиндр, устойчивые к присутствию не принадлежащих объекту точек. Алгоритмам автоматического определения траектории движения камеры посвящено большое количество работ, к наиболее известным среди которых относятся . Большой интерес к таким алгоритмам объясняется актуальностью их применения при создании компьютерных спецэффектов в кинофильмах Также эти алгоритмы используются в некоторых исследовательских системах построения 3х мерных моделей на основе методов плотного стерео . Все алгоритмы определения траектории движения камеры опираются на автоматическое выделение точеных особенностей в исходных изображениях и вычисление соответствующих им трехмерных точек на поверхностях объектов наблюдаемой сцены.