Detection and localization of motorway overhead directional signs by convolutional neural networks trained with synthetic images

Abstract

Image classification, object detection and recognition have gone a long way in the last decade. The competitions, starting with ImageNet, have shown that various improving implementations of Artificial Neural Networks are the best Machine Learning techniques at the time for such tasks. However, machine learning methods require much training data and the such data for image related tasks come at a cost in terms of time and effort, if it can be obtained at all. When training data is scarce or not representative of the whole target set, synthetic data and data augmentation methods are used to increase the training data using what is already available. This thesis work shows that when the target classification images have a structure, even a loose one, it is still possible to use machine learning methods, deep learning in this case, without any real data to begin with and still produce a good detection model. In this work, a Convolutional Neural Network model is trained to detect and localize informative motorway lane direction signs. Starting with no real samples of the target images, a large computer-generated training set is created to train the model. The resulting detector can detect the required sign types with high accuracy, localizing their position by bounding boxes and categorizing them.

Görüntü sınıflandırması, nesne tespit ve tanımasında son on yıl içinde epey bir mesafe kat edildi. ImageNet ile başlayan yarışmalar, Yapan Sinir Ağlarının muhtelif geliştirmelerle uygulanmasının, içinde bulunduğumuz zaman için bu tarz görevler için en uygun Yapay Öğrenme yöntemi olduğunu gösterdi. Ancak yapay öğrenme yöntemleri oldukça fazla veriye ihtiyaç duyar ve görüntü ile ilgili işlemlerde bu tarz veriler, temin edilebilseler bile zaman ve çaba olarak oldukça maliyetlidir. Eğitim verisi kısıtlı veya tüm hedef seti temsil edemediği durumlarda yapay veri oluşturulması ve veri çoğaltma yöntemleriyle elde olan eğitim verisinin arttırılması yoluna gidilir. Bu tez çalışması, hedef sınıflandırma görsellerinin gevşek de olsa bir yapıya sahip olduğu durumlarda, herhangi bir gerçek veri olmasa bile yine de yapay öğrenme yöntemlerinin (ki buradaki örnekte derin öğrenim yöntemleri kullanılmıştır) kullanılabileceğini ve iyi bir tespit modeli oluşturulabileceğini göstermektedir. Bu çalışmada bir Evrişimli Sinir Ağı modeli, bilgilendirici otoyol şerit yönlendirme işaretlerinin tespit ve konumlandırılması için eğitilmiştir. Hedef görsel işaretlerin hiçbir gerçek örneği olmadan yola çıkılarak, modeli eğitmek için bilgisayar kodu ile geniş bir eğitim seti oluşturulmuştur. Bu set kullanılarak oluşturulan tespit sistemi, istenen işaretleri yüksek doğruluk düzeyi ile tespit ederek, görüntü içindeki konumlarını sınırlayıcı kutular ile işaretleyerek sınıflandırabilmektedir.