Localization of certain animal species in images via training neural networks with image patches

Abstract

Object detection is one of the most important tasks for computer vision systems. Varying object size, varying view angle, illumination conditions, occlusion etc. effect the success rate. In recent years, convolutional neural networks (CNNs) have shown great performance in different problems of computer vision including object detection and localization. In this work, we propose a novel training approach for CNNs to localize some animal species whose bodies have distinctive pattern, such as speckles of leopards, black-white lines of zebras, etc. To learn characteristic patterns, small patches are taken from different body parts of animals and they are used to train models. To find object location, in a test image, all locations are visited in a sliding window fashion. Crops are fed to CNN, then classification scores of all patches are recorded. To illustrate object location, heat map is generated by the classification scores of the patches. Afterwards, heat maps are converted to binary images and end up with bounding box estimates of objects. The localization performance of our Patch-based training is compared with Faster R-CNN – a state-of-the-art CNN-based object detection and localization algorithm. While evaluating the performances, in addition to the standard precision-recall metric, we use area-precision and area-recall which represent the potential of Patch-based Model better. Experiment results show that the proposed training method has better performance than Faster R-CNN for most of the evaluated classes. We also showed that Patch-based Model can be used with Faster R-CNN to increase its localization performance.Nesne bulma bilgisayarla görü sistemlerinin en önemli görevlerinden biridir. Değişen nesne boyutu, değişen bakış açısı, ortam aydınlatması, örtüşen nesneler ve benzeri etkenler başarım üzerinde etkilidir. Son yıllarda, Evrişimli Yapay Sinir Ağları (EYSA) birçok bilgisayarla görü problemlerinde (nesne konumlandırma ve nesne tespiti) çok iyi bir performans göstermiştir. Bu çalışmada, bedeni üzerinde ayırt edici bir desene sahip hayvanların, örneğin: benekli leoparlar, siyah beyaz çizgili zebralar gibi, konumunu bulmak için EYSA kullanan yeni bir yaklaşım öneriyoruz. Desen özelliklerini öğrenmek için, vücudun çeşitli bölgelerinden küçük parçalar alınır ve modelleri eğitmek için kullanılır. Test imgelerinde nesne konumunu bulmak için bütün konumlara kayan pencere yaklaşımı ile uğranır. Parçalar EYSA’na verilir ve tüm parçaların sınıflandırma skorları kaydedilir. Nesne konumlarını görselleştirmek için tüm parçaların sınıflandırma skorları kullanılarak sıcaklık haritası üretilir. Daha sonra sıcaklık haritaları ikili imgelere çevrilir ve nesneyi kapsayan kutu tahmini yapılarak süreç sonuçlanır. Önerdiğimiz Parçatabanlı eğitim yönteminin nesne konumlandırma performansını EYSA kullanan güncel algoritmalardan biri olan Faster R-CNN ile karşılaştırdık. Performans değerlendirmesi yaparken standart kesinlik-anma metriğine ek olarak, Parça-tabanlı yöntemi daha iyi ifade ettiği için alan-kesinlik ve alan-anma metriğini de kullandık. Deney sonuçlarına göre önerilen eğitim yöntemi Faster R-CNN’e göre neredeyse değerlendirilen tüm sınıflar için daha iyi bir performans göstermektedir. Aynı zamanda, Parça-tabanlı yöntem Faster R-CNN ile kullanılarak Faster R-CNN’in konumlandırma başarısının artırılabileceği deştir.