Алгоритмическое распознавание аккордов в цифровом звуке

• Автор: Глазырин, Николай Юрьевич
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2015
• Место защиты: Екатеринбург
• Количество страниц: 88 с. : ил.

Содержание
Введение

ОЛ История задачи

0.2 Существующие подходы и их слабые стороны

0.3 Цель и задачи работы

0.4 Используемые методы

0.5 Основные результаты

0.6 Структура н содержание диссертации

1 Необходимые ісорегические сведении

1.1 Звук

1.2 Свойства звука

1.3 Основные понятия из ісории .музыки
1.4 Цифровой звук
1.5 Свойства музыкальных звукозаписей
1.6 Формализация задачи
1.6.1 Часто і но-времеипое представление
1.6.2 Классификация
2 Обзор лит ерат уры
2.1 Предварительная обрабшка
2.2 Спектрограмма
2.3 Векторы признаков
2.4 Классификация вектров признаков
2.4.1 Меіод ближайшего соседа
2.4.2 Скрытые марковские .модели и байесовские се і и
2.4.3 Друте модели
2.5 Выводы
3 Распознавание аккордов без использования машинного обучения
3.1 Частотно-временное представление звукозаписи
3.1.1 Определение частоты настройки музыкальных инструментов
3.1.2 Определение ритма
3.1.3 Снижение влияния ударных инструментов
3.1.4 Получение спектра
3.2 Выделение мелодических компонент спектра и векторы признаков
3.3 Применение самоподобия
3.4 Классификация и исправление ошибок
3.4.1 Классификация хроматических векторов
3.4.2 Определение отсутствия звучащего аккорда
3.4.3 Исправление ошибок классификации
3.5 Выводы

4 Получение признаков с использованием нейронных сетей
4.1 Теоретические сведения
4.2 Построение нейронной сети и прсдобучснис при помощи автоассоциаторов
4.3 Выводы
5 Эксперименты
5.1 Оценка качества распознавания аккордов
5.1.1 Коллекции текстовых аннотаций
5.1.2 Сопоставление последовательностей аккордов
5.1.3 Сопоставление границ сегментов
5.1.4 Статистическая значимость
5.1.5 Совокупная длительность
5.1.6 Типы ошибок
5.2 Вычисление спектрограммы
5.2.1 Определение ритма
5.2.2 Определение задержки
5.2.3 Определение частоты настройки
5.2.4 Разрешение по времени и но частоте, сглаживание
5.3 Преобразования спектрограммы
5.3.1 Применение свёртки
5.3.2 Настройка алгоритма вычисления признаков CRP
5.3.3 Применение самоподобия
5.4 Нейронные сети
5.4.1 Конфигурация нейронной сети
5.4.2 Влияние логарифмирования спектрограммы
5.4.3 Влияние зашумдетшя на этапе предварительною обучения
5.4.4 Влияние циклических сдвигов на этане тестирования
5.5 Классификация векторов признаков
5.5.1 Шаблонные векторы
5.5.2 Эвристики
5.5.3 Определение отсутствия аккорда
5.6 Результаты MIREX Audio Chord Estimation 2
5.7 Быстродействие
5.8 Выводы
Заключение
Список рисунков
Список таблиц
Литература
А Результаты распознавания аккордов в используемой коллекции

Введение
С давних времён в области музыки возникают задачи воспроизведения (в том числе повторного), записи, хранения, классификации, поиска. В настоящее время все они решаются в том числе с помощью компьютеров. Тематика данной работы относится к областям классификации и поиска музыки.
На текущий момент компьютер является основным средством для хранения и обработки музыки и любой информации о музыке, будь то ноты или аккорды, биография композитора, год выпуска записи или график концертов группы. Эта дополнительная информация даёт возможность ориентироваться в музыкальных коллекциях, находить новую музыку, организовывать существующие записи. Возможны ситуации, когда для данной звукозаписи необходимо найти или определить некоторую дополнительную информацию. Точно так же возможны и противоположные ситуации, когда необходимо найти или восстановить звукозапись по некоторой известной информации. Соответственно, возникают задачи, связанные с обработкой звука с целью выделения из него некоторой информации: идентификация композиции, нахождение разных версий одной композиции, определение заданной композиции в потоке звука с радио, поиск похожих композиций, определение мелодии композиции для последующего воспроизведения на музыкальном инструменте и другие. Одним из способов решения названных задач является автоматизированное при помощи компьютера извлечение мелодии и/или аккордов из цифровой записи звука с последующим использованием извлеченной информации для индексации, поиска, сравнения. Данная диссертация посвящена задаче определения последовательности аккордов в звуке.
Звук обычно представляют в цифровом виде как последовательность значений воздушного давления, измеренных через очень короткие промежутки времени. Задача распознавания аккордов в музыкальных звукозаписях состоит в получении из этой последовательности последовательности аккордов с указанием позиций начала и конца звучания каждого из них (определение аккорда и сопутствующие понятия будут даны в главе 1). Обычно это делается путем различных математических преобразований исходной последовательности.
Представление звукозаписи в виде последовательности аккордов может являться промежуточным шагом в работе других алгоритмов, а также может представлять ценность само по себе. Так, информацию о последовательности аккордов в композиции можно использовать для определения структуры этой композиции, её разделения на более крупные сегменты. При помощи такого представления можно индексировать музыкальные произведения для поиска композиций по заданной последовательности аккордов, находить разные аранжировки одной и той же композиции. К данному виду информации может быть и чисто прикладной интерес, например, у людей, обучающихся игре на гитаре. Работающая в реальном времени система распознавания аккордов в звуке позволит контролировать процесс обучения и немедленно фиксировать ошибки. Такая система может быть полезной при обучении музыке, в курсах гармонии, музыкальной формы, сольфеджио.

него соотношения между компонентами спектрограммы лучше соответствуют человеческому восприятию интенсивности звука.
Такое преобразование применяется, в частности, в алгоритме вычисления признаков CRP [81]. Будем рассматривать Ст[п] как сигнал (количество энергии, приходящейся на данную частоту, в зависимости от частоты). Применим к этой функции дискретное косинусное преобразование.
DCm[k] = У] Cmj}

j + ;

к = О,

В полученной последовательности значений занулим первые £ значений, после чего произведём обратное дискретное косинусное преобразование. Зануляемые первые коэффициенты соответствуют низкочастотным компонентам сигнала Ст[п], которые, в свою очередь, соответствуют достаточно длинным последовательностям существенно отличных от нуля значений. При этом имеющиеся в функции «острые» пики выделяются более чётко.
Для выделения горизонтальных линий на спектрограмме можно применить подход, используемый в обработке изображений - свёртку спектрограммы со специальным образом построенной матрицей. Будем для каждого фрагмента спектрограммы размера 9 х 3 с центром в точке Ст[п]] вычислять его свертку с матрицей

(-1 -1 -А
-1
-1

-1
-1
(-1 -1 -А
Если полученное значение больше 0, то заменим Ст[п] на него, иначе - на 0. Результат применения описанной операции показан на рисунке 3.3. Количество строк в матрице составляет (А'о/12) • 3. Она состоит из трёх блоков по і/12 одинаковых строк. Выше приведена матрица для значения А'о = 36.
а) б)
Рисунок 3.3: Фрагменты спектрограммы The Beatles - Love Me Do: а) до применения свёртки;
б) после применения свёртки.
В параграфе 5.3.1 приводится сравнение результатов от применения различных методов очистки спектра. Параграф 5.3.2 посвящён подбору наилучших параметров для вычисления признаков CRP.