基于多特征的Web社區(qū)發(fā)現(xiàn)關(guān)鍵技術(shù)研究.pdf

1、隨著Internet的廣泛應(yīng)用，WWW已經(jīng)成為了一個巨大的、分布廣泛的全球信息服務(wù)中心，提供了新聞、財經(jīng)、廣告、商務(wù)、文化、教育等各種信息服務(wù)。如何利用Web快速、準(zhǔn)確地獲得信息及隱藏在信息中的知識是人們的迫切需要。但互聯(lián)網(wǎng)上存在的信息是海量的，無組織的，這使得在Web上提取知識存在著很大的困難。 互聯(lián)網(wǎng)上高度相關(guān)的頁面聚集在一起形成的一個個具有共同主題的頁面集合是Web社區(qū)。根據(jù)Web社區(qū)從互聯(lián)網(wǎng)中提取知識是一種快速、有效的知

2、識提取途徑。社區(qū)發(fā)現(xiàn)是指在分散和無序的互聯(lián)網(wǎng)環(huán)境中發(fā)現(xiàn)潛在的和已定義的主題社區(qū)，并從互聯(lián)網(wǎng)中抽取這些社區(qū)的過程。本文主要圍繞社區(qū)發(fā)現(xiàn)的三個部分：頁面預(yù)處理、主題社區(qū)發(fā)現(xiàn)和基于社區(qū)的信息檢索模型進行了深入的研究。 在社區(qū)發(fā)現(xiàn)中，Web頁面非線性結(jié)構(gòu)和存在噪音的特點使得我們?nèi)菀讓撁娴闹黝}產(chǎn)生歧義，降低社區(qū)發(fā)現(xiàn)的準(zhǔn)確性。針對該問題，本文在頁面預(yù)處理部分提出了基于頁面結(jié)構(gòu)與內(nèi)容特征相結(jié)合的頁面內(nèi)容提取算法。該算法改進了VIPS算法，根

3、據(jù)頁面塊間的耦合度與頁面塊內(nèi)內(nèi)聚度的關(guān)系定義頁面塊分割的目標(biāo)函數(shù)。并且采用兩層過濾機制過濾噪音塊對分割得到的各塊進行了后處理，保留主題區(qū)域與主題相關(guān)區(qū)域。并對主題區(qū)域與主題相關(guān)區(qū)域的塊進行內(nèi)容的合并。 由于Web頁面是一個多特征集表示的對象，使用單特征集進行社區(qū)發(fā)現(xiàn)通常會導(dǎo)致在不同類型特征上得到不同的社區(qū)分布。因此本文在主題社區(qū)發(fā)現(xiàn)中針對基于多特征的Web社區(qū)發(fā)現(xiàn)問題進行了研究，提出了：1)基于互信息的“軟”聚類集成算法；2)基

4、于差異度的互信息“軟”聚類集成算法；3)基于多視圖聚類的Web社區(qū)發(fā)現(xiàn)算法。 “軟劃分"的聚類集成是多特征Web社區(qū)發(fā)現(xiàn)的重要組成部分。針對“軟劃分”的聚類集成，本文提出了一種基于互信息的“軟”聚類集成算法。該算法是將Strehl&Ghosh提出的基于互信息的聚類集成目標(biāo)函數(shù)擴展到“軟”劃分集成中，并且提出了求解該目標(biāo)函數(shù)的新聚類集成算法。該算法不需要建立不同聚類間的對應(yīng)關(guān)系。 由于聚類集成的質(zhì)量不僅依賴于集成算法，同時

5、也依賴于參加集成的聚類成員本身的分布。通常聚類成員間較大的差異度能有效地提高集成的質(zhì)量。本文主要通過差異度衡量聚類成員對集成的重要性，對聚類成員賦予不同的權(quán)值，提出了一種基于差異度的加權(quán)互信息集成算法。在聚類成員的差異度值分布不均勻或聚類成員的差異度均值不大時，基于差異度的加權(quán)互信息集成算法能有效地提高對“軟”劃分集成的準(zhǔn)確性。對于Web社區(qū)發(fā)現(xiàn)而言，在進行聚類集成前需要采用基本聚類算法在各個特征集上獲得多個聚類結(jié)果。信息瓶頸算法是一種

6、有效的文檔聚類算法，但它是單視圖(即：單個特征集)算法，沒有考慮視圖間的關(guān)系。本文將多視圖學(xué)習(xí)的思想引入信息瓶頸聚類算法中，并且將其與Web頁面的多視圖表示，用于“軟”劃分集成的互信息聚類集成算法結(jié)合在一起，提出了一種基于多視圖聚類的Web社區(qū)發(fā)現(xiàn)算法。該算法充分地利用了多視圖學(xué)習(xí)中的兩個重要條件：條件獨立性與兼容性，將最大化不同視圖間的同意程度作為對多視圖表示對象聚類的兼容性約束。通過增加兼容性約束，在每個視圖上獲得能透露更多正確假設(shè)

7、信息的聚類結(jié)果，并且最終運用基于互信息的軟聚類集成算法對所有單視圖上聚類結(jié)果進行集成，提高了Web社區(qū)發(fā)現(xiàn)的準(zhǔn)確性。該算法是基于多特征的Web社區(qū)發(fā)現(xiàn)的核心。 為了克服“一詞多義”和“一義多詞”帶來的信息檢索查全率和查準(zhǔn)率的降低，本文提出了一個基于社區(qū)的信息檢索模型。該模型是在用戶與通用搜索引擎間定義了一個中間層。用戶通過中間層訪問一個已發(fā)現(xiàn)的主題社區(qū)模型，明確所需的主題并且進一步精化檢索需求。同時該中間層根據(jù)精化的檢索需求，產(chǎn)