Многокадровая система повышения разрешения для видеоконтроля движущихся объектов

• Автор: Феофанов, Кирилл Валерьевич
• Шифр специальности: 05.11.16
• Научная степень: Кандидатская
• Год защиты: 2009
• Место защиты: Санкт-Петербург
• Количество страниц: 175 с. : ил.

Содержание
Введение

1. Аналитический обзор и систематизация методов повышения разрешения изображений

1.1. Однокадровое восстановление изображений

1.1.1. Однокадровая модель формирования изображения

1.1.2. Однокадровое восстановление

1.2. Многокадровое восстановление

2.2.1. Многокадровое повышение разрешения

2.2.2. Многокадровая модель формирования изображения

2.2.3. Восстановление многокадровыми методами повышения разрешения

1.3. Анализ методов оценивания межкадровых движений
1.3.1. Соотношение трёхмерного движения и его двухмерной проекции. Оптический поток
1.3.2. Классификация методов оценивания межкадровых движений
1.3.3. Дифференциальные методы оценивания межкадровых движений
1.3.4. Блочные методы оценивания межкадровых движений
1.3.5. Методы, основанные на анализе Фурье-спектров
1.3.6 Исследование характеристик блочного и дифференциального методов оценивания межкадровых движений
1.4. Анализ методов формирования изображений высокого разрешения по видеопоследовательностям низкого разрешения
1.4.1. Классификация методов формирования изображений высокого разрешения по видеопоследовательностям низкого разрешения
1.4.2. Методы, основанные на преобразовании Фурье
1.4.3. Интерполяция неравномерно расположенных отсчётов
1.4.4. Метод деформации и слияния
1.4.5. Метод максимума апостериорной вероятности
1.5. Анализ особенностей применения многокадровых методов повышения разрешения к видеопоследовательностям, формируемым в СВН
1.6. Выводы и постановка задачи диссертационной работы
2. Комбинированный метод оценивания межкадровых движений
2.1. Разработка комбинированного метода оценивания межкадровых движений
2.2. Исследование харак теристик комбинированного метода оценивания межкадровых движений
2.2.1. Исследование с использованием видеопоследовательностей, синтезированных путем параллельного сдвига
2.2.2. Исследование с использованием реалистичных тестовых
видеопоследовательностей
2.3. Критерий сравнения блоков для блочного метода оценивания межкадровых движений
2.3.1. Критерий максимума взаимной информации для блочного метода
2.3.2. Экспериментальное исследование критерия максимума взаимной информации в блочном методе
2.4. Адаптивный выбор размеров окрестности
2.4.1. Адаптивный выбор размеров окрестности на основе правила пересечения доверительных интервалов
2.4.2. Экспериментальное исследование метода оценивания межкадровых движений при адаптивном выборе размеров окрестностей
2.5. Практические пределы оценивания межкадровых движений с субпиксельной точностью
2.6. Результаты и выводы

3. Формирование изображения высокого разрешения из видеопоследовательности низкого разрешения
3.1. Разработка метода формирования изображения высокого разрешения на основе деформации и слияния
3.1.1. Этап деформации исходных кадров
3.1.2. Этап слияния деформированных изображений
3.1.3. Этап устранения размытости
3.2. Анализ погрешностей восстанавливаемого изображения высокого разрешения
3.3. Разработка способа объединения оценок для метода деформации и слияния, минимизирующего среднеквадратичную погрешность восстанавливаемого изображения
3.4. Описание алгоритма формирования изображения высокого разрешения
3.5. Исследование характеристик разработанного метода формирования изображения высокого разрешения
3.5.1. Исследование погрешности восстановленного изображения
3.5.2. Экспертная оценка восстановленного изображения
3.5.3. Оценка согласованности метрики погрешности восстановленного изображения и экспертной оценки
3.5.4. Исследование разрешения восстановленных изображений
3.6. Результаты и выводы
4. Практическая реализация алгоритма многокадрового сверхразрешения для систем видеонаблюдения
4.1. Требования к разрабатываемому программному обеспечению
4.2. Средства разработки
4.3. Алгоритм работы разрабатываемого программного обеспечения
4.4. Описание разработанного программного обеспечения
4.5. Практическое исследование возможностей программного обеспечения
4.6. Результаты и выводы
Заключение
Список литературы
Приложение А
Листинги программ

Введение
Актуальность темы. Основной задачей систем видеоконтроля (СВК) является формирование качественного видеоизображения, обеспечивающего возможность анализа наблюдаемых объектов. Основным показателем, определяющим качество видеоизображений в СВК, является разрешение, характеризуемое воспроизведением мелких деталей наблюдаемой сцены.
Основным фактором, ограничивающим разрешение изображений, формируемых видеокамерами СВК, является количество элементов твердотельных матричных фотоприёмников (ПЗС или КМОП-матриц), используемых в видеокамерах в качестве фоточувствительных элементов. Использование в многоканальных СВК, таких, например, как системы видеонаблюдения (СВН), видеокамер с большим количеством элементов фотоприёмника имеет ряд существенных ограничений, таких, как ограничения используемых стандартов видеосигнала, ухудшение соотношения сигнал/шум, ограничения каналов передачи данных, ограничения объёмов устройств хранения видеоданных.
Одним из перспективных подходов для решения задачи повышения разрешения формируемых изображений является использование методов восстановления изображений высокого разрешения по видеопоследовательностям низкого разрешения. Восстановление осуществляется путём использования нескольких соседних кадров исходной видеопоследовательности для построения приближения идеального изображения наблюдаемой сцены. Для возможности осуществления такого восстановления необходимо наличие относительного движения камеры и наблюдаемой сцены. С 1980-х годов такие методы являются объектом исследований многих учёных, и исследования по их применению активно проводятся в таких областях, как медицина и аэрокосмические фотосъёмки.
В настоящее время многокадровые методы повышения разрешения в СВН не применяются [10,11]. Существующие многокадровые методы не

количеству пикселей исходных кадров. Таким образом, если размер исходных кадров А’хМ, а необходимо восстановить изображение размером 2И*2М, то должны использоваться четыре исходных кадра и наличие большего количества кадров не позволит получить более качественное восстановление.
Другой подход к интерполяции неравномерно расположенных отсчётов был предложен в работе [53]. Авторы распространили идею, описанную в [92] на более общий случай, допускающий не только параллельный сдвиг между кадрами. Они представили исходные Я кадров размером ЛхЛ как кадров размером 1x1 пиксель каждый. Для кадров размером А',| хЛ/2 пикселей любая модель движения может быть представлена как параллельный сдвиг соответствующих кадров размером 1x1 пикселей. Тогда, используя одноточечное преобразование Фурье и свойство сдвига преобразования Фурье, они получили систему линейных уравнений, аналогичную (1.4.5). Основным недостатком, препятствую щи м применению метода, является большая размерность получаемой системы уравнений даже при относительно небольших размерах обрабатываемых кадров.
Ещё одним подходом к интерполяции неравномерно расположенных отсчётов является использование триангуляции. Под триангуляцией понимают планарный граф, получающийся при соединении узлов интерполяции отрезками, такой, что нельзя добавить ни одного нового отрезка без нарушения планарности (то есть без пересечения отрезками друг друга) [6]. При этом граница триангуляции будет, очевидно, оболочкой множества узлов интерполяции. Значения пикселей новой пространственной решетки высокого разрешения при этом определяются таким образом, чтобы эти точки лежали на треугольниках получившегося планарного графа. Триангуляция широко используется в компьютерной графике для построения трёхмерных поверхностей. Основным недостатком такого подхода является то, что в нём не учитывается возможное искажение узлов интерполяции аддитивным шумом.