Исследование и разработка методов мониторинга аудиовизуального ряда в телевизионных и кинематографических системах

• Автор: Федина, Александра Александровна
• Шифр специальности: 05.11.18
• Научная степень: Кандидатская
• Год защиты: 2008
• Место защиты: Санкт-Петербург
• Количество страниц: 121 с. : ил.

Содержание
Введение
1 Принципы мониторинга аудиовизуального ряда в свете современных тенденций развития кинематографических и телевизионных систем
1.1 Мультимодальный мониторинг
1.2 Многоуровневый и распределенный мониторинг
1.3 Мониторинг как задача контроля и управления метаданными
1.4 Мониторинг временного рассогласования видео и звука
1.5 Семантический мониторинг
Выводы
2 Исследование и разработка методов измерения временного рассогласования изображения и звука в задачах мониторинга временных метаданных в кинотелевизионных системах
Введение
2.1 Покадровый метод фонемно-виземного анализа изображения и речи
2.1.1 Метод распознавания фонем
2.2 Метод оценки локальной несинхронное™ видео и звука
2.2.1 Распознавание визем
2.2.2 Нахождение локального рассогласования аудио и видео
Выводы
3 Оценка заметности нарушений синхронности изображения и звука в кинотелевизионных системах
3.1 Постановка задачи
3.2 Существующие нормативы на допустимые значения несинхронное™
сигналов видео и звука
3.3 Субъективная оценка несинхронное™ при внесении статического сдвига53
3.3.1 Методика проведения и обработка данных эксперимента
3.3.2 Результаты эксперимента по оценке заметности нарушений
синхронности изображения и звука
3.4 Особенности рассогласования изображения и звука на малых интервалах
времени в цифровом кинематографе
3.4.1 Речевая сегментация (интонационные характеристики речи)
3.4.2 Артикуляционные характеристики речи
3.4.3 Методика проведения и обработка данных эксперимента
3.4.4 Результаты эксперимента по оценке заметности нарушений
синхронности изображения и звука
3.5 Оценка вероятности обнаружения несинхронное™ и оценка на шкале 1ТО для «псевдослучайного» сдвига отдельных слов сюжета
3.5.1 Методика формирования и проведения эксперимента
3.5.2 Оценки разных целевых групп
Выводы
4 Исследование и разработка модели субъективной заметности нарушений синхронности
Введение
4.1 Постановка задачи
4.2 Построение моделей оценки несинхронности
4.2.1 Начальный этап построения модели
4.2.2 Создание модели
4.2.3 Разведочный анализ
4.2.4 Качество модели восприятия импульсной несинхронности а/в материала, возникающего при дублировании
4.3 Применение модели для рационализации процессов дублирования
Выводы
5 Исследование и разработка методов семантического мониторинга
5.1 Постановка задачи
5.2 Общий стандарт описания мультимедийного контента МРЕО
5.2.1 Экстенсивное и интенсивное описание программ
5.2.2 Зависимость оценок от времени
5.2.3 Целевые группы
5.3 Генерация метаданных семантического мониторинга
5.3.1 Семантическая компрессия
5.3.2 Семантическая оценка информпрограмм
Выводы
Заключение
Литература
Введение
Телевидение и кинематограф как технические системы претерпевают на современном этапе серьезные трансформации. Происходит замена традиционных технологий производства на цифровые и информационные, осуществляется переход от аппаратных решений к программным. Появляется телевидение высокой четкости, в котором значительно (более чем в четыре раза) улучшается четкость изображения. Появляются домашние кинотеатры, в которых используются видеопроекторы высокой четкости [87]. Звуковая составляющая телевизионных программ и фильмов в домашних кинотеатрах воспроизводится по системе окружающего звука. Телевизионные системы высокой четкости образуют техническую базу цифрового театрального кинематографа. Появляются новые службы: телевидение по запросу, мобильное телевидение. В традиционных и новых кинематографических и телевизионных системах используются общие технические решения многих элементов систем, у них общий выходной продукт -аудиовизуальный контент, но воспроизводимый различными техническими устройствами с экранами разных размеров — от экрана мобильного телефона до экрана кинотеатра[63,92,93,188].
Развитие технических средств т елевидения и кинематографа неразрывно связано с совершенствованием техники и методов измерений. Разработка и внедрение новых систем и служб требует разработки, новых методов измерений. Однако принципы измерений в цифровой технике телевидения и кинематографа остаются неизменными -такими, какими они были разработаны отечественной школой телевизионных измерений [57,60,61,6,1].
Теория и практика измерений в телевидении и цифровом кинематографе направлена на достижение следующих основных целей:
• Метрологическое обеспечение научных исследований, разработок и системного проектирования.
• Метрологическое обеспечение процесса производства аппаратуры.
• Метрологическое обеспечение процесса производства телевизионных программ и фильмов.
• Метрологическое обеспечение процесса передачи телевизионных программ и демонстрации цифровых фильмов.
В процессе научных исследований требуется производить самые разнообразные измерения, причем основным требованием к измерительным устройствам является

s(n) = aS(n) + У/ак -s(n-k)

Общая форма предсказания

s(n)-ak-s(n-k) => en = s(n) -s(n) = s {n)-ak-s{n-k)
k=1 k=
Прогнозируемые коэффициенты °k выбираются из условия минимума квадратического значения ошибки. Полная средняя квадратическая ошибка:
ETYje2{n) = YJ[s (и) - 2 ак ' *(" ~ k)f
(2.3)
(2.4)
среднего
Параметры к можно найти, положив

8 а , ' /=1,2
что даёт систему уравнений

& 'Фл = <Р

і = 1,2 ,

<Рл = 'Zs(n-i)-s(n-k)
/1 = 1 К i ? Р

/ = 1,2 ,
V* - коэффициенты автокорреляционной матрицы.
(2.5)
(2.6)
(2.7)
'Д(о)Д(1). R(P - 1) «і ’ R( 1) '
Д0)й(О). R(P - 2) a2 = R( 2)
R(P - 1 )R(P - 2)R(0) -ar- _R(P)_
(2.8)
В работе был использован автокорреляционный метод, в котором вся информация о сигнале, необходимая для определения коэффициентов линейного предсказания, содержится в кратковременной ненормированной автокорреляционной функции. В результате получаем систему линейных алгебраических уравнений(2.6), которая в матричном виде представляет собой матрицу Теплица (2.8). Для решения системы линейных алгебраических уравнений с такой матрицей используем алгоритм Левинсона-Дарбина [114], который требует меньших вычислительных затрат.