Cмольникова Полина,
Альперович Вадим,
17ПМИ

Главное предположение нашей работы: Звук тоже картинка!
Действительно, представив аудиофайл нужным образом, можно свести задачу классификации аудио к задаче классификации изображений. Таким образом, мы решили попробовать создать классификатор двух наших любимых жанров в музыке: Классика VS Rap

• Для обучающей выборки было собрано (абсолютно легальным образом) 10 классических композиций и 10 трэков в жанре Rap.
• Вот пример собранных трэков: Piano Sonata No. 11 in A major K331-K300i, Oxxxymiron - Переплетено, Bagatelle For Piano in A Minor 'Fur Elise', MORGENSHTERN - ICE

Аудиосигнал обладает различными характеристиками, связанными в первую очередь с его волновой природой, например частота сигнала. Однако, также существуют параметры, относящиеся к электронному хранению аудио, форматам и записи, например sample_rate - частота дискретизации, т.е. как часто устройство брало отсчеты записываемого сигнала.

Однако, популярным представлением звука является спектограмма.

Обычная спектрограмма содержит всю ключевую информацию о звуке и строится с помощью оконного преобразования Фурье. Суть этой операции в последовательном применении преобразования Фурье к коротким кусочкам речевого сигнала, домноженным на некоторую оконную функцию. Результат применения оконного преобразования — это матрица, где каждый столбец является спектром короткого участка исходного сигнала. то есть набором множества частот и амплитуд.

Эксперименты ученых показали, что человеческое ухо более чувствительно к изменениям звука на низких частотах, чем на высоких. То есть, если частота звука изменится со 100 Гц на 120 Гц, человек с очень высокой вероятностью заметит это изменение. А вот если частота изменится с 10000 Гц на 10020 Гц, это изменение мы вряд ли сможем уловить.

В связи с этим была введена новая единица измерения высоты звука — мел. Она основана на психо-физиологическом восприятии звука человеком, и логарифмически зависит от частоты

Другими словами, на мел-спектрограмме сохраняется больше информации, которая хорошо воспринимается и различается человеком, чем на обычной спектрограмме. Иными словами, такое представление звука больше сфокусировано на низких частотах, и меньше — на высоких.

Параметр num_mels отвечает за размер шага при подсчете спектрограммы, рассмотрим его влияние на качество спектрограммы

Важным решением было скачать всего лишь по 10 аудиофайлов для каждого класса, обработать их и разбить каждый трэк на равный отрывки по 15 секунд. В результате описанных действий мы получили следующие пропорции в наборе данных:

Посмотрим же на выход с первого сверточного слоя нашей сети:

Complete Edition Vol. 5 - Serenades and Divertimenti for Wind-010. Divertimento in C, KV 188-240b - Allegro.mp3

Input:

Output:

Посмотрим на то, как предсказывают модели , на разных отрывках трэков:
0 - классика, 1 - реп,
y_our_pred -предсказание нашей модели, y_res_pred - предсказание дообученной InceptionV2
classique_prob - уверенность в жанре классика от нашей модели, rap_prob - аналогично для репа

Эх, Баста, моя игра - моя игра:

Вивальди времена года - действительно классика:

Научно-технический реп - задача не из легких:

И самая сложная задача, исполненная великим комбинатором собственного сочинения песня стоит послушать!:

Классика никогда не станет репом, а вот реп уже стал классикой...