Develepment of framework for frequent itemset mining under multiple support thresholds

Abstract

Frequent pattern mining is an essential method of data mining that is used to extract interesting patterns from massive databases. Traditional methods use single minimum support threshold to find out the complete set of frequent patterns. However, in real word applications, using single minimum support threshold is not adequate since it does not reflect the nature of each item and causes a problem called rare item problem. Recently, several methods have been studied to tackle this problem by avoiding using single minimum item support threshold. The nature of each item is considered where different items are specified with different minimum support thresholds. By this, the complete set of frequent patters are generated without creating uninteresting patterns and losing substantial patterns. In this thesis, we propose an efficient method, Multiple Item Support Frequent Pattern growth algorithm, MISFP-growth, to mine the complete set of frequent patterns with multiple item support thresholds. In this method, Multiple Item Support Frequent Pattern tree, MISFP-Tree, is constructed to store all crucial information to mine frequent patterns. Since in the construction of the MISFP-Tree is done with respect to minimum of Multiple Itemset Support values; pruning and reconstruction phases are not required. To show the efficiency of the proposed method, it is compared with a recent tree-based algorithm, CFP-growth++. To evaluate the performance of the proposed algorithm, various experiments are conducted on both real and synthetic datasets. Experimental results reveal that MISFP-growth outperforms the previous algorithm in terms of execution time, memory space as well as scalability.

Sık kümeler madenciliği yöntemleri yoğun veri tabanlarındaki özellikli örüntülerin bulunmasını sağlarlar. Bu yöntemler, sık kümeler setlerini bulurken tek bir destek eşik değerini esas alırlar. Oysa gerçek dünya uygulamalarında tek bir destek eşik değeri örüntülerin tek başlarına özelliğini yansıtmakta yetersiz kalmakta ve seyrek örüntü (rare item) problemi ortaya çıkarmaktadır. Son zamanlarda, bu seyrek örüntü probleminin çözümüne odaklanan çalışmalar bulunmaktadır. Bu çalışmalar kümelere ve küme elemanlarına farklı destek eşik değerleri atanmasına izin vermektedir. Böylece gereksiz örüntüler oluşturulmadan seyrek örüntüler ele geçirilebilmektedir. Bu tez kapsamında, etkin bir Çoklu Destek Eşiklerinde Sık Kümeler (Multiple Item Support Frequent Pattern growth algorithm, MISFP-growth) yöntemi önerilmektedir. Bu yöntem veri tabanından sık örüntülerin bulunmasını sağlayacak veriyi bir ağaçta saklamaktadır (MISFP-Tree). Bu ağaç tüm veriyi değil de çoklu eşiklerin minimumunu dikkate alarak oluşturulduğu için, oluşturulma sonrası budama ve yeniden oluşturulmaya gereksinim duymamaktadır. Bu yöntemin etkinliği yeni bir ağaç tabanlı yöntemle (CFP-growth++) karşılaştırılarak gösterilmiştir. Karşılaştırma çalışmaları gerçek ve sentetik veri tabanları üzerinde gerçekleştirilmiştir. Başarım değerlendirme sonuçları MISFP-growth yönteminin diğer yönteme göre, çalışma zamanı, bellek kullanımı ve ölçeklenebilirlik açısından daha başarılı olduğunu göstermiştir.