Drum accompaniment generation using MIDI music database and swquence to sequence neural network

Abstract

This thesis aims to create an artificial intelligence model to reinterpret the drum parts of musical pieces and/or to accompany music with new uniquely generated drum patterns. Besides providing rhythmic indicators, drum parts are essential to emphasize emotions. Every instrument in a musical composition is in harmony with each other to be meaningful as a whole. Based on this observation, in this thesis, a MIDI dataset and an LSTM based Seq2Seq model were used to create a link between different instruments and drums. Before the training, we created a dataset involving midi pieces with drum parts and grouped them as input and output, which are non-drum instruments, and drum parts respectively. The model was trained with six different genres and the teacher forcing method was utilized to improve the training. After the training, at the generation stage, we made it possible to adjust the complexity of the generated drum parts by changing the temperature value, which we called the complexity value, using the temperature sampling method. We also created a user interface with an instrument selection pane to give users control over the drum instruments generated. Moreover, we proposed a novel approach to generalize the idea for not only MIDI data but also WAV data. To accomplish this task, Mel-spectrogram, MFCC, and tempogram features were used. Both proposed methods are shown to produce high-quality unique drum accompaniments for different genres with adjustable complexity and freedom of choosing the desired drum instruments.

Bu tezde yapay zeka modelleri kullanılarak müzik parçaları içerisindeki davul kısımlarının eşsiz bir şekilde yeniden yorumlanması ve/veya yeni davul örüntüleri oluşturularak müziğe eşliği hedeflenmiştir. Davullar, müziklerde ritmi belirlemekte baş rolde bulunsalar da, bunun yanı sıra, duyguları vurgulamakta da çok başarılıdırlar. Müzik kompozisyonları bütünlük açısından bir anlam ifade etmelerini, içerisinde çalınan her enstrümanın birbiriyle bir harmoni içerisinde olmasına borçlulardır. Bu gözleme dayanarak, tezimizde, MIDI veri kümesi ve LSTM yapısına sahip olan diziden diziye modeli kullanılarak davul harici enstrümanlar ve davul enstrümanı arasında bir bağlantı kurulması hedeflenmiştir. Eğitimden önce, veri kümesi örneklenmiş ve davul harici enstrümanlara ait veriler giriş olarak, davul enstrümanına ait veriler çıkış olarak belirlenmiştir. Model, altı farklı veri kümesi kullanılarak eğitilmiş ve öğretmen zorlama tekniği kullanılarak eğitim aşaması iyileştirilmiştir. Eğitimden sonra, üretim aşamasında, üretilen davul örüntülerinin karmaşıklığını ayarlayabilmek için sıcaklık örneklemesi kullanılmış; ve sıcaklık değeri karmaşıklık parametresi olarak tanımlanmıştır. Ek olarak bir kullanıcı arayüzü geliştirilmiş, ve bu sayede, kullanıcının üretilecek olan davul enstrümanları üzerinde tam kontrol sahibi olması amaçlanmıştır. Burada sunduğumuz fikri, MIDI verileri dışında WAV verisi için de genelleştirmek amacıyla, özgün bir yaklaşım ileri sürülmüştür. Bu yaklaşımı gerçekleştirmek için Mel-spectrogram, MFCC, ve tempogram özellikleri kullanılmıştır. Sunulan ve geliştirilen iki yöntem de yüksek kalitede, farklı janra seçenekleri, değiştirilebilen karmaşıklık değeri ve enstrüman seçme özgürlüğüyle eşsiz davul eşlikleri üretimi ile sonuçlanmıştır.