不同類型數據間的聚類算法.pdf

1、隨著信息時代的發(fā)展,人們所能獲取的數據正成指數形式的爆炸式增長。這些數據往往都具有不同的數據類型,如何在這些不同類型的數據之間建立聯系并聚類,便是本文研究的課題。我們提出通過兩個步驟來完成不同類型數據間的聚類:第一個步驟是對數據的預處理。我們重點介紹了對網頁數據的預處理,并提出了基于塊模板的網頁去雜算法,和基于BloomFilter的網頁去重算法。在網頁去雜算法中,我們以較小的顆粒度來提取模板,使得網頁去雜算法的精確度更高;同時我們利用

2、BloomFilter結構大大降低了網頁去重算法的時間復雜度和空間復雜度。第二個步驟是對數據的聚類。我們提出,對不同類型的數據采用不同的聚類算法(使用K-means算法對網頁數據聚類,使用關聯性分析對表格數據聚類),以便充分利用不同類型數據的特點,最后整合這些聚類的結果,從中找出不同類型數據之間的聯系,進而完成整個聚類過程。在我們的實驗中,我們嘗試利用以上算法為信用卡用戶提供廣告信息,實驗結果表明我們的算法可以很好的完成網頁數據的預處理