基于詞匯集聚的網(wǎng)絡(luò)文本相關(guān)度計(jì)算.pdf

1、隨著Internet網(wǎng)信息的急速膨脹，各項(xiàng)和Web有關(guān)的服務(wù)也都逐漸增多，Web信息在很多方面得到了廣泛的應(yīng)用。在本文中，我們探索了網(wǎng)絡(luò)文本之間的相關(guān)度計(jì)算方法。重點(diǎn)討論了以下兩個(gè)問(wèn)題：
　　首先，網(wǎng)絡(luò)文本的獲得。網(wǎng)絡(luò)文本的獲得是指從網(wǎng)頁(yè)中抽取出主題正文信息，屬于信息抽取。網(wǎng)頁(yè)具有半結(jié)構(gòu)化的特點(diǎn)，其內(nèi)容不光有我們所要的表達(dá)某一主題的文本，還有以盈利為目的廣告信息、用來(lái)指示與該網(wǎng)頁(yè)相關(guān)聯(lián)的網(wǎng)頁(yè)的鏈接及鏈接描述（錨文本）、給瀏覽器閱讀

2、的網(wǎng)頁(yè)源代碼等等，從中抽取出其中表達(dá)某一主題的文本，過(guò)濾掉不相干的信息，這是我們所要研究的內(nèi)容。
　　其次，文本相關(guān)度的計(jì)算。文本相關(guān)度指文本之間聯(lián)系的緊密程度。人們常?；谙蛄靠臻g模型來(lái)計(jì)算文本之間的相關(guān)度。
　　本文首次用最大熵解決了網(wǎng)絡(luò)文本的獲取問(wèn)題，提出了基于最大熵的網(wǎng)頁(yè)正文信息抽取算法；對(duì)于文本相關(guān)度計(jì)算，我們研究了詞匯集聚與文本主題之間的關(guān)系，分析了詞匯集聚反應(yīng)文本主題的幾個(gè)因素，并組合了這些因素，最后我們提出了