Automatic story construction from news articles in an online fashion

Abstract

Every day, thousands of local and global news become online. Each arriving news piece can have a connection with some previous information, but in a large-scale news flow, it is quite difficult for readers to integrate news and evaluate the agenda in the light of past. Thus, grouping news in a coherent way to construct news stories is a fundamental requirement. To meet this requirement, first of all meaningful representation of documents on which the clustering is performed must be extracted, and the new story clusters must be generated on the fly in an online fashion. In this work, we analyze the complex relations of the news articles, and propose a system to generate continuously updated news stories in online fashion. As part of the experimental validation, we provide a step by step construction of a meaningful news story out of news articles that are coming from different sources. The constructed news stories demonstrate the usefulness of the developed system.

Her gün, internet üzerindeki haber kaynaklarından binlerce yerel ve küresel haber yayınlanmaktadır. Gelen her yeni bilgi, önceki bilgilerle bir bütünlük oluşturur, ancak okuyucuların, büyük ölçekteki haber akışı içinde, bu bütünlüğü yakalamaları ve gündemi, geçmiş ışığında değerlendirebilmeleri oldukça zordur. Bu nedenle haberleri tutarlı bir şekilde birleştirerek, bir haber hikayesi halinde sunmak oldukça önemli bir gereksinimdir. Bu gereksinimi karşılamak için öncelikle haber makaleleri, anlamlı bir şekilde temsil edilmeli ve yeni hikaye kümeleri anında çevrim içi olarak oluşturulmalıdır. Çalışmamız kapsamında, bir haber hikayesi oluşturan haberlerin karmaşık ilişkileri incelenerek, birçok kaynaktan toplanan haberleri, bir haber akışı üzerinden otomatik olarak haber hikayeleri halinde kümelendirmeyi sağlayan bir sistem geliştirilmiştir. Deneysel doğrulama kapsamında, belirlenen bir senaryo dahilinde farklı haber kaynaklarından gelen haber dokümanları üzerinde değerlendirme yapılmış ve sistemin başarımı gösterilmiştir.