Методы маскирования искажений в видео потоке после сбоев в работе кодека

• Автор: Куликов, Дмитрий Леонидович
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2009
• Место защиты: Москва
• Количество страниц: 164 с. : ил.

Введение

Глава 1. ПРИЧИНЫ ВОЗНИКНОВЕНИЯ ИСКАЖЕНИЙ В ВИДЕО, ИХ ТИПЫ И МЕТОДЫ БОРЬБЫ С НИМИ

1.1. Причины возникновения искажений

1.1.1. Устройство кодека

1.1.2. Ошибки при передаче данных по сети. .

1.2. Типы ошибок и искажения, к которым они приводят .

1.2.1. Типы ошибок

1.2.2. Влияние ошибок на визуальное качество видео . .

1.3. Методы борьбы с искажениями

1.3.1. Механизмы борьбы с ошибками для разных типов данных .

1.3.2. Обнаружение ошибок в видео

1.3.3. Методы маскирования искажений и восстановления сигнала.
Глава 2. МЕТОДЫ ПРОСТРАНСТВЕННОГО МАСКИРОВАНИЯ ИСКАЖЕНИЙ.
2.1. Постановка задачи.
2.2. Обзор методов пространственного маскирования
2.2.1. Методы на основе поиска образцов . . . .
2.2.2. Методы на основе реконструкции
2.2.3. Комбинированные методы
2.2.4. Сравнение методов поиска образцов, методов реконструкции и комбинированных методов .
2.3. Предложенный метод на основе классификации подобластей
2.3.1. Общая схема метода.
2.3.2. Классификация областей.
2.3.3. Предсказание класса неизвестной области .
2.3.4. Маскирование текстурных областей.
2.3.5. Маскирование структурных областей с границами
2.3.6. Маскирование структурных областей
2.3.7. Сравнение с методом синтеза текстур и методом на
основе классификации
2.4. Предложенный метод на основе адаптивных словарей . .
2.4.1. Общая схема метода.
2.4.2. Построение адаптивного словаря
2.4.3. Разложение кадра по словарю
2.4.4. Вычисление степеней доверия
2.4.5. Заполнение неизвестных областей
2.5. Вопросы реализации
2.5.1. Метод маскирования на основе классификации . .
2.5.2. Метод маскирования с адаптивными словарями . .
2.6. Сравнительный анализ предложенных и существующих методов
2.6.1. Анализ методов для работы в режиме реального
времени с помощью объективных метрик качества
2.6.2. Анализ методов для работы в режиме постообработ
ки с помощью объективных метрик качества
2.6.3. Анализ качества методов с помощью экспертной оценки .
2.7. Заключение
Глава 3. МЕТОДЫ ВРЕМЕННОГО МАСКИРОВАНИЯ ИСКАЖЕНИЙ В ВИДЕО.
3.1. Введение и постановка задачи .
3.2. Обзор методов и алгоритмов временного маскирования искажений
3.2.1. Алгоритмы поиска блоков
3.2.2. Методы на основе реконструкции векторов движения
3.2.3. Сравнение методов поиска и методов реконструкции векторов движения
3.3. Предложенный метод поиска блоковкандидатов
3.3.1. Общая схема метода
3.3.2. Гибридный алгоритм маскирования.
3.3.3. Оценка ошибки вдоль границ .
3.3.4. Пространственное и временное восстановление .
3.3.5. Выводы
3.4. Предложенный метод на основе оптического потока
3.4.1. Общая схема метода
3.4.2. Построение оптического потока
3.4.3. Фильтрация векторного поля
3.4.4. Поиск неоднородностей векторного поля
3.4.5. Интерполяция неоднородностей векторного поля и
реконструкция векторов
3.4.6. Выводы
3.5. Вопросы реализации .
3.5.1. Общая схема.
3.5.2. Метод поиска блоковкандидатов .
3.5.3. Метод оптического потока .
3.6. Сравнительный анализ предложенных и существующих методов
3.6.1. Сравнительный анализ с использованием объективной метрики качества видео
3.6.2. Сравнительный анализ с использованием экспертной оценки
3.7. Заключение
Глава 4. МЕТРИКИ ОБЪЕКТИВНОГО КАЧЕСТВА . .
4.1. Постановка задачи и обзор методов измерения качества видео
4.1.1. Экспертная оценка .
4.1.2. Объективные методы
4.1.3. Объективные методы с исходной последовательностью
4.1.4. Объективные методы без исходной последовательности .
4.1.5. Связь между объективными и субъективными экспертными тестами .
4.2. Оценка адекватности метрик и I
4.3. Адаптация метрики I при оценке методов пространственного маскирования
4.3.1. Проблемы существующего подхода
4.3.2. Общая схема работы алгоритма
4.3.3. Разложение на частоты.
. 4.3.4. Вычисление энергии маскирующих свойств фона .
4.3.5. Вычисление энергии искажений .
4.3.6. Вычисление расстояния в цветовом пространстве .
4.3.7. Вычисление коэффициента искажения и значения
метрики .
4.3.8. Сравнение ЭЭШ и БЭША.
4.4. Адаптация метрики БЭМ для оценки методов временного маскирования
4.4.1. Проблемы существующего подхода .
4.4.2. Общая схема алгоритма
4.4.3. Анализ однородности векторного поля
4.4.4. Вычисление коэффициента искажения и значения
метрики.
4.4.5. Сравнение ЗБМ и ЭЯШВ.
4.5. Заключение .
Заключение .
Литература


Эти части системы маскирования искажений в видео и в изображениях были приобретены компаниейзаказчиком для обработки мультимедиа данных. Метод 1 частично портирован в декодер из набора iv, выбранного на основе сравнительного анализа 2 декодеров как наилучший для маскирования искажений в результате ошибок передачи. Адаптированный метод 4 использовался для демонстрации возможностей подходов маскирования при начале работ совместно с Государственным Комитетом по Кинематографии РФ. Метод 5 реализован в виде динамически подключаемой библиотеки к программной системе автоматической оценки качества видеоизображений Vi i 1. Исследования в области разработки методов маскирования искажений при работе кодека были поддержаны грантом РФФИ 9а Создание субоптимальной системы кодирования видео в рамках международных стандартов кодирования видеосигналов. Апробация работы. Ю.М. Объединнном семинаре по робототехническим системам иод руководством А. К. Платонова, Ю. Ф. Голубева и В. Е. Пряничникова ИПМ им. М.В. Автоматизации систем вычислительных комплексов факультета ВМиК МГУ под руководством членкорр. РАН Л. Н. Королева. Публикации. Материалы диссертации опубликованы в печатных работах 1, из них 2 статьи рецензируемых журналах, рекомендованных ВАК7, , 8 статей в сборниках трудов конференций и семинаров , 8, 9, и 1 тезис доклада 6. Структура и объем диссертации. Диссертация состоит из введения, четырх глав, заключения, списка литературы и приложения. Содержание работы изложено на 3 страницах, приложение занимает страниц. Список литературы включает 7 наименований. В первой главе датся краткий обзор существующих подходов к борьбе с искажениями в видео, возникающими изза ошибок, описываются причины возникновения ошибок, способы их обнаружения, подходы к их моделированию, методы и алгоритмы их удаления и уменьшения влияния. Во второй главе описываются методы пространственного маскирования искажений, в том числе два разработанных метода для работы в режиме реального времени и задач высококачественной постобработки. Проводится сравнительный анализ разработанных и существующих мтеодов при помощи объективных метрик качества и экспертной оценки. В третьей главе описываются методы временного маскирования искажений в видео, использующие для обработки текущего кадра помимо пространственной информации, также и временную, то есть информацию из предыдущего или в общем случае из опорного кадра. Также предлагается два разработанных метода и проводится сравнительный анализ разработанных и существующих методов. В четвртой главе датся классификация подходов к измерению качества видео, описываются используемые метрики качества. Проводится анализ метрик качества для поставленной задачи и предлагается подход для адаптации метрики объективного качества ЭЭШ с целью повышения корреляции с экспертными оценками для данной задачи. В приложении Б описываются результаты практического применения разработанных методов в реальных кодеках. Датся описание проведнного сравнительного анализа результатов работы исходного кодека и модифицированного и приводятся результаты данного анализа. В приложении В описывается схема реализованной программной системы. Большинство цифровых видео последовательностей, передающихся по различным сетям передачи данных, хранящихся на СБ или БУП дисках, использующихся в спутниковой передачи, закодированы при помощи кодеков. Основная идея работы любого кодека видео уменьшение избыточности информации в исходном сигнале, за счт чего уменьшается размер закодированных данных, при этом возрастает значимость каждого бита в результирующем сигнале. Так при инверсии одного бита закодированного видео возможно искажение части кадра или даже группы кадров в декодированном видео. Основные искажения, вносимые в исходный сигнал, появляются как в результате самого процесса кодирования, так и в результате искажений в процессе передачи или хранения данных. В данной работе рассматривается преимущественно второй тип искажений. На рисунке 1. Исходное видео поступает на вход кодеру сигнала для сжатия с необходимым битрейтом1.