基于多特征的Web社區(qū)發(fā)現(xiàn)關(guān)鍵技術(shù)研究.pdf

1、隨著Internet的廣泛應(yīng)用，WWW已經(jīng)成為了一個(gè)巨大的、分布廣泛的全球信息服務(wù)中心，提供了新聞、財(cái)經(jīng)、廣告、商務(wù)、文化、教育等各種信息服務(wù)。如何利用Web快速、準(zhǔn)確地獲得信息及隱藏在信息中的知識(shí)是人們的迫切需要。但互聯(lián)網(wǎng)上存在的信息是海量的，無組織的，這使得在Web上提取知識(shí)存在著很大的困難。 互聯(lián)網(wǎng)上高度相關(guān)的頁(yè)面聚集在一起形成的一個(gè)個(gè)具有共同主題的頁(yè)面集合是Web社區(qū)。根據(jù)Web社區(qū)從互聯(lián)網(wǎng)中提取知識(shí)是一種快速、有效的知

2、識(shí)提取途徑。社區(qū)發(fā)現(xiàn)是指在分散和無序的互聯(lián)網(wǎng)環(huán)境中發(fā)現(xiàn)潛在的和已定義的主題社區(qū)，并從互聯(lián)網(wǎng)中抽取這些社區(qū)的過程。本文主要圍繞社區(qū)發(fā)現(xiàn)的三個(gè)部分：頁(yè)面預(yù)處理、主題社區(qū)發(fā)現(xiàn)和基于社區(qū)的信息檢索模型進(jìn)行了深入的研究。 在社區(qū)發(fā)現(xiàn)中，Web頁(yè)面非線性結(jié)構(gòu)和存在噪音的特點(diǎn)使得我們?nèi)菀讓?duì)頁(yè)面的主題產(chǎn)生歧義，降低社區(qū)發(fā)現(xiàn)的準(zhǔn)確性。針對(duì)該問題，本文在頁(yè)面預(yù)處理部分提出了基于頁(yè)面結(jié)構(gòu)與內(nèi)容特征相結(jié)合的頁(yè)面內(nèi)容提取算法。該算法改進(jìn)了VIPS算法，根

3、據(jù)頁(yè)面塊間的耦合度與頁(yè)面塊內(nèi)內(nèi)聚度的關(guān)系定義頁(yè)面塊分割的目標(biāo)函數(shù)。并且采用兩層過濾機(jī)制過濾噪音塊對(duì)分割得到的各塊進(jìn)行了后處理，保留主題區(qū)域與主題相關(guān)區(qū)域。并對(duì)主題區(qū)域與主題相關(guān)區(qū)域的塊進(jìn)行內(nèi)容的合并。 由于Web頁(yè)面是一個(gè)多特征集表示的對(duì)象，使用單特征集進(jìn)行社區(qū)發(fā)現(xiàn)通常會(huì)導(dǎo)致在不同類型特征上得到不同的社區(qū)分布。因此本文在主題社區(qū)發(fā)現(xiàn)中針對(duì)基于多特征的Web社區(qū)發(fā)現(xiàn)問題進(jìn)行了研究，提出了：1)基于互信息的“軟”聚類集成算法；2)基

4、于差異度的互信息“軟”聚類集成算法；3)基于多視圖聚類的Web社區(qū)發(fā)現(xiàn)算法。 “軟劃分"的聚類集成是多特征Web社區(qū)發(fā)現(xiàn)的重要組成部分。針對(duì)“軟劃分”的聚類集成，本文提出了一種基于互信息的“軟”聚類集成算法。該算法是將Strehl&Ghosh提出的基于互信息的聚類集成目標(biāo)函數(shù)擴(kuò)展到“軟”劃分集成中，并且提出了求解該目標(biāo)函數(shù)的新聚類集成算法。該算法不需要建立不同聚類間的對(duì)應(yīng)關(guān)系。 由于聚類集成的質(zhì)量不僅依賴于集成算法，同時(shí)

5、也依賴于參加集成的聚類成員本身的分布。通常聚類成員間較大的差異度能有效地提高集成的質(zhì)量。本文主要通過差異度衡量聚類成員對(duì)集成的重要性，對(duì)聚類成員賦予不同的權(quán)值，提出了一種基于差異度的加權(quán)互信息集成算法。在聚類成員的差異度值分布不均勻或聚類成員的差異度均值不大時(shí)，基于差異度的加權(quán)互信息集成算法能有效地提高對(duì)“軟”劃分集成的準(zhǔn)確性。對(duì)于Web社區(qū)發(fā)現(xiàn)而言，在進(jìn)行聚類集成前需要采用基本聚類算法在各個(gè)特征集上獲得多個(gè)聚類結(jié)果。信息瓶頸算法是一種

6、有效的文檔聚類算法，但它是單視圖(即：?jiǎn)蝹€(gè)特征集)算法，沒有考慮視圖間的關(guān)系。本文將多視圖學(xué)習(xí)的思想引入信息瓶頸聚類算法中，并且將其與Web頁(yè)面的多視圖表示，用于“軟”劃分集成的互信息聚類集成算法結(jié)合在一起，提出了一種基于多視圖聚類的Web社區(qū)發(fā)現(xiàn)算法。該算法充分地利用了多視圖學(xué)習(xí)中的兩個(gè)重要條件：條件獨(dú)立性與兼容性，將最大化不同視圖間的同意程度作為對(duì)多視圖表示對(duì)象聚類的兼容性約束。通過增加兼容性約束，在每個(gè)視圖上獲得能透露更多正確假設(shè)

7、信息的聚類結(jié)果，并且最終運(yùn)用基于互信息的軟聚類集成算法對(duì)所有單視圖上聚類結(jié)果進(jìn)行集成，提高了Web社區(qū)發(fā)現(xiàn)的準(zhǔn)確性。該算法是基于多特征的Web社區(qū)發(fā)現(xiàn)的核心。 為了克服“一詞多義”和“一義多詞”帶來的信息檢索查全率和查準(zhǔn)率的降低，本文提出了一個(gè)基于社區(qū)的信息檢索模型。該模型是在用戶與通用搜索引擎間定義了一個(gè)中間層。用戶通過中間層訪問一個(gè)已發(fā)現(xiàn)的主題社區(qū)模型，明確所需的主題并且進(jìn)一步精化檢索需求。同時(shí)該中間層根據(jù)精化的檢索需求，產(chǎn)