搜索引擎返回結(jié)果聚類技術(shù)的研究與實現(xiàn).pdf

1、隨著因特網(wǎng)技術(shù)的飛速發(fā)展和搜索引擎技術(shù)的日趨成熟，人們逐漸開始頻繁利用網(wǎng)絡(luò)來獲取所需的資源，而現(xiàn)有的搜索引擎返回的查詢結(jié)果數(shù)量龐大且呈線性排列，用戶很難在較短的時間內(nèi)找到有用的信息，因此如何能夠快捷、準確地發(fā)現(xiàn)信息則成為目前信息檢索領(lǐng)域亟待解決的問題。文本聚類具有較強的靈活性和自動處理能力，已經(jīng)逐漸成為對搜索引擎進行有效地組織和導航的重要手段。 本文就文本聚類算法進行了深入的研究，采用Lingo聚類算法作為主要框架，探索和研究文

2、本聚類在搜索引擎領(lǐng)域內(nèi)的應(yīng)用，主要研究工作如下： 文本預(yù)處理的許多關(guān)鍵技術(shù)直接影響聚類的效果，因此本文對文本聚類預(yù)處理中涉及的關(guān)鍵技術(shù)做了深入的研究，在此基礎(chǔ)上設(shè)計和實現(xiàn)了包含網(wǎng)頁去噪、詞干提取、停止詞過濾等功能的預(yù)處理子系統(tǒng)。 TF-IDF是向量空間模型中最常用的權(quán)重計算方法，它可以有效地強化在文檔中出現(xiàn)的高頻詞匯的權(quán)重，弱化在文檔集合中出現(xiàn)頻率較高但是包含文檔信息量少的常用詞的權(quán)重。但是，事實上詞對文檔的重要程度還

3、與詞的詞性以及詞在文檔中的位置因素有關(guān)，因此本文在傳統(tǒng)的TF-IDF的基礎(chǔ)上加入詞性權(quán)重與位置權(quán)重對其進行修正，實驗證明改進后的TF-IDF可以更加準確的描述詞對文檔的重要程度，有效地提高了聚類算法的查準率和查全率，使算法的整體性能有了較大的提高。 本文對Lingo聚類算法做了深入的研究和分析，通過對比實驗證明它比目前流行的后綴樹算法(STC)聚類的性能更優(yōu)，提取出的類標簽更能反映類別信息，易于理解。但是它產(chǎn)生的聚類沒有層次性，

4、不能很好的反映類別之間的包含關(guān)系。因此本文在Lingo的基礎(chǔ)上引入HSTC(層次的后綴樹聚類算法)中層次組織的方法對Lingo的聚類結(jié)果進行層次組織。實驗證明改進后的層次的Lingo聚類算法(HLingo)能夠較好的表現(xiàn)類別之間的層次關(guān)系，提取出的類標簽也能充分的反應(yīng)類別信息，克服了類合并時出現(xiàn)的類標簽提取過長的問題，而且通過引入雙閾值來調(diào)整包含關(guān)系，有效地克服了HSTC中類合并頻繁的問題。無論是在測試集數(shù)據(jù)比較單一還是比較復(fù)雜的情況下

5、都能獲得較好的聚類效果，比HSTC具有更好穩(wěn)定性。 通常情況下對詞進行詞性標注時必須要考慮詞的上下文環(huán)境，因此如果將詞性標注技術(shù)引入搜索引擎結(jié)果聚類系統(tǒng)則意味著對搜索搜索引擎返回的結(jié)果必須在線進行標注，但由于詞性標注算法的實現(xiàn)往往比較復(fù)雜，算法的時間復(fù)雜度較高，這對搜索引擎結(jié)果聚類系統(tǒng)的運行效率影響很大。本文對詞性標注技術(shù)做了較為深入的研究，考慮到將詞性標注引入聚類系統(tǒng)帶來的巨大的系統(tǒng)開銷，設(shè)計和實現(xiàn)了一個基于XML的詞性詞典，

6、只有第一次被檢索到的文檔才進行詞性標注并更新詞典，否則直接在詞典中查詢即可得到詞的詞性信息，通過這種方式有效地避免了對相同文檔地重復(fù)標注，從而減少了系統(tǒng)不必要的開銷。最后結(jié)合以上幾個方面的研究，設(shè)計和實現(xiàn)了一個聚類系統(tǒng)HappyDonkey，并將開源的搜索引擎Nutch集成到本系統(tǒng)中，實現(xiàn)了一個既可以對Yahoo搜索引擎返回的結(jié)果進行聚類，又可以就本系統(tǒng)的查詢結(jié)果進行聚類，對外開放查詢接口的多功能的聚類系統(tǒng)。 實驗證明，本文所研