Разработка и исследование алгоритмов многоуровневой временной сегментации речевых сигналов

• Автор: Зилинберг, Андрей Юрьевич
• Шифр специальности: 05.13.01
• Научная степень: Кандидатская
• Год защиты: 2010
• Место защиты: Санкт-Петербург
• Количество страниц: 161 с. : ил.

ОГЛАВЛЕНИЕ

ОБОЗНАЧЕНИЯ И АББРЕВИАТУРЫ

ВВЕДЕНИЕ

1. АНАЛИЗ ИССЛЕДОВАНИЙ ПО ПРОБЛЕМЕ АВТОМАТИЧЕСКОЙ СЕГМЕНТАЦИИ РЕЧЕВЫХ СИГНАЛОВ

1.1. Аналитический обзор публикаций по автоматическому анализу и сегментации речевых сигналов .

1.2. Алгоритмы сегментации речевых сигналов

1.2.1. Спектральные алгоритмы сегментации

1.2.2. Алгоритмы сегмегстации речевых сигналов с использованием

вейвлетпреобразования

1.2.3. Корреляционные алгоритмы сегментации

1.2.4. Алгоритмы сегментации на основе анализа временной

структуры речевого сигнала
1.2.5. Алгоритмы сегментации речевых сигналов с использованием
скрытых цепей Маркова
1.2.6. Алгоритмы сегментации речевых сигналов с использованием
нейронных сетей
1.3. Варианты реализации алгоритмов оценки параметров речевых сигналов
1.3.1. Алгоритмы оценки xi речевых сигналов
V 1.3.2. Варианты реализации алгоритмов V
1.3.3. Варианты реализации алгоритмов определения периода
основного тона говорящего
1.4. Основные результаты раздела
2. РАЗРАБОТКА ИЕРАРХИЧЕСКОЙ МОДЕЛИ РЕЧИ ДЛЯ РЕАЛИЗАЦИИ МВС. АНАЛИЗ ТРЕБОВАНИЙ К АЛГОРИТМАМ
2.1. Задача сегментации речевого сигнала
2.2. Анализ моделей речевых сигналов как временных функций. Разработка классификации речевых сегментов
2.3. Многоуровневая сегментация речевых сигналов
2.4. Основные результаты раздела
3. РАЗРАБОТКА АЛГОРИТМОВ МНОГОУРОВНЕВОЙ ВРЕМЕННОЙ СЕГМЕНТАЦИИ РЕЧЕВЫХ СИГНАЛОВ
3.1. Сегментация речевых сигналов верхнего уровня
3.1.1. Разработка VАОалгоритма
3.1.2. Сегментация по типовым речевым элементам.
Корреляционный подход
3.1.3. Сегментация по типовым речевым элементам.
Спектральный подход
3.2. Сегментация речевых сигналов нижнего уровня
3.2.1. Разработка структурных алгоритмов оценки периода ОТ
3.2.1.1. Структурные алгоритмы анализа вокализованных
сегментов
3.2.1.2. Разработка структурного алгоритма оценки периода ОТ с использованием однознаковых кластеров
3.2.1.3. Разработка структурного алгоритма оценки периода ОТ с использованием кластеров монотонности
3.2.2. Анализ и характеризация ОТкластеров РС
3.2.3. Анализ и характеризация кортежей ОТкластеров РС.
Обнаружен ие разладок
3.3. Основные результаты раздела
4. ОСОБЕННОСТИ РЕАЛИЗАЦИИ АЛГОРИТМОВ МНОГОУРОВНЕВОЙ ВРЕМЕННОЙ СЕГМЕНТАЦИИ
4Л. Точность сегментации речевых сигналов. Особенности алгоритмов МВС
4.2. Методы повышения точности работы алгоритма УАЕ
4.3. Уточнение алгоритма анализа корреляционной структуры периода ОТ
4.4. Повышение точности работы корреляционного алгоритма оценки
периода ОТ
4.5. Использование структурных методов анализа ОТкластеров вокализованных сегментов для обнаружения разладок и оценки трендов параметров последовательности ОТкластеров
4.6. Основные результаты раздела
ЗАКЛЮЧЕНИЕ
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
ПРИЛОЖЕНИЕ А
Описание исследовательского программного обеспечения для анализа и
сегментации речевых сигналов
АЛ. ПРОГРАММА АНАЛИЗА ФОНОГРАММ
А. 1.1. Назначение программы
АЛЛ. Функциональные возможности программы
А.2. ПРОГРАММА АНАЛИЗА КОРРЕЛЯЦИОННЫХ ФУНКЦИЙ КОРРЕЛОГРАММ А
А.2.1. Назначение программы
А.2.2. Предварительный этап работы с фонограммой
А.2.3. Порядок работы в программе Коррслограмма
А.2.4. Дополнительные возможности программы Коррслограмма
А.З. ПРОГРАММНЫЙ МОДУЛЬ АЛГОРИТМА V
А.4. ПРОГРАММА АНАЛИЗА СПЕКТРОВ ФОНОГРАММ СПЕКТР
А.4Л. Назначение программы
АЛЛ. Функциональные возможности программы
ПРИЛОЖЕНИЕ В
Примеры типовых речевых сегментов, полученные в результате ручной разметки фонограмм Один, Два, Три, Шесть, Восемь
Девять
ПРИЛОЖЕНИЕ С
Описание алгоритма модификации темпа произнесения речи с
использованием МВС
ОБОЗНАЧЕНИЯ И АББРЕВИАТУРЫ
АЧХ амплитудночастотная характеристика
АС амплитудный спектр
ВЧобласть высокочастотная область
БКВсегмент БиКомпонентный вокализованный сегмент
БКОТкластер бикомпонентный ОТкластер
БКФОТкластер бикомпонентный формантный ОТкластер
БКШОТкластер бикомпонентный шумовой ОТкластер
Всегменты вокализованные сегменты
ГИ голосовой источник
МКВсегменты МоноКомпонентные Всегменты МВС многоуровневая временная сегментация МКОТ МКОТкластер монокомпонентный ОТкластер НЧКОТкластер низкочастотная компонента ОТкластера НЧобласть низкочастотная область
ОТкластер фрагмент фонограммы, соответствующий периоду основного тона Псегмент сегмент пауза
РТ речевой тракт РС речевой сигнал
ФКОТкластер формантная компонента ОТкластера
ЦСП цифровой сигнальный процессор
ШКОТкластер шумовая компонента ОТкластера
Шсегменты шумовой сегмент
ЭВМ электронновычислительная машина
ВВЕДЕНИЕ
Актуальность


Разрабатывать алгоритмы сегментации речи с использованием фонетических кластеров фонем, аллофонов, дифонов и др. Разрабатывать новые методы обработки речи, учитывающие особенности внутренней структуры РС. Внедрение результатов. Основные результаты работы использованы в разработках ЗАО НПП ИстаСистемс, а также в учебном процессе кафедры бортовой радиоэлектронной аппаратуры СанктПетербургского государственного университета аэрокосмического приборостроения. Внедрение результатов работы подтверждено соответствующими актами. Апробация работы. ГУАП г. XII Международная научнотехническая конференция студентов и аспирантов МЭИ г. Мобильные системы передачи данных Московского Института Электронной Техники г. Проблемы современных инфотелекоммуникаций СанктПетербургского государственного университета телекоммуникаций имени проф. М.А. БончБруевича г. СанктПетербург, . Публикации. По теме диссертации опубликовано печатная работа, в том числе одна в издании, рекомендованном ВАК РФ. Объем и структура диссертации. Диссертационная работа состоит из введения, четырех разделов, заключения, списка использованных источников, включающего наименований, и трех приложений. Общий объем работы составляет 4 страницы, включая 7 страниц основного текста, рисунков и три приложения. В.1. Количество библиографических ссылок . Разработка иерархической модели речи для реализаци МВС. Разработка алгоритмов многоуровневой временной сегментации речевыхсигналов. ОТкластеров
Особенности реализации. МВС
Рис. В.1. Интенсивное развитие исследований во второй половине XX века, связанных с пониманием процесса речеобразования, возможностью его математического описания, созданию адекватных моделей РС, методам автоматического анализа фонограмм, способствовали выходу в открытой печати ряда монографий и публикаций, отражающих состояние проблемы на каждом из этапов развития речевых технологий. Необходимо отметить работы зарубежных и отечественных ученых и исследователей, чьи важные фундаментальные труды способствовали развитию данного научного направления, как в теоретическом, так и в прикладном плане, среди них Г. Фант, Дж. Л. Фланаган, Л. Р. Рабинср, Р. В. Шафер, Дж. Д. Маркел, А. Х. Грэй, М. А. Сапожков, Т. К. Винцюк, Н. Г. Загоруйко, Ю. В.Н. Сорокин, Р. К. Потапова, В. Г. Михайлов, Л. В. Златоустова, В. Н. Трунин . Донской, Ю. Н. Прохорова, В. Я. Чу чу пал, Л. В. Бондарко, О. И. Шелухин и др Мб. В настоящее время под термином автоматический анализ речевых сигналов понимается процесс получения в автоматическом режиме без использования работы оператора ПК информации из РС. Под информацией в данном контексте понимается вектор параметровпризнаков, который необходимо сформировать применительно к решаемой задаче по обработке речевого сигнала или к частным алгоритмам например, алгоритмам сегментации. Одной из целей анализа РС является попытка сократить размерность пространства описания, с одновременным повышением эффективности алгоритмов обработки речи , . РС во временной области и др. Рис. На рис. Она состоит из трех блоков алгоритмов, оценки параметров о нем упоминалось выше, собственно алгоритма сегментации, функционального алгоритма, реализующего основную функцию данного речевого приложения . Как видно из рисунка, алгоритм сегментации является важным связующим звеном между исходным речевым сигналом и конкретным функциональным алгоритмом от реализации которого зависит эффективность реализации речевого приложения в целом. Составить полную классификацию всех существующих алгоритмов сегментации не представляется возможным по причине большой разрозненности вариантов реализации алгоритмов, отсутствия общепринятых критериев и стандартов описания, а также по ограничениям связанным с недостатком информации, являющейся зачастую коммерческой тайной. На рис. Основные существующие направления исследований в области разработки алгоритмов сегментации речевых сигналов представлены в следующем подразделе. Рис. Спектральные методы представления РС наиболее широко используются в разнообразных алгоритмах обработки речи.