基于內(nèi)容的中文Web文檔聚類方法研究與應用.pdf

1、隨著Internet的飛速發(fā)展，對網(wǎng)頁文本數(shù)據(jù)的組織和檢索技術，已成為當今國際上研究熱點之一。文本聚類作為一種對大規(guī)模文本信息進行有效組織、導航、檢索和概括匯總的基礎、關鍵技術而日益受到關注，其主要目的是以無監(jiān)督指導的方式根據(jù)文本的內(nèi)在關系將內(nèi)容近似的文本分成不同的類。文本聚類技術和網(wǎng)絡搜索引擎服務相結(jié)合，已經(jīng)成為文本挖掘領域的一個熱點研究課題。但是，把文本聚類技術應用于中文Web文檔，與中文搜索引擎服務相結(jié)合的研究仍然比較匱乏。針對這

2、一實際問題，根據(jù)四川省科技廳青年軟件創(chuàng)新課題“基于Web的數(shù)據(jù)挖掘服務系統(tǒng)－MinerOnWeb”，對中文Web文檔的文本聚類技術進行研究。本課題的核心研究之一——基于短語匹配的中文Web文檔聚類方法，是為了彌補傳統(tǒng)的文本表示模型應用于中文文檔不足而發(fā)展出來的一種新方法。傳統(tǒng)的中文文本聚類方法需要對高維向量進行處理，有對中文文本需要進行分詞處理等困難。本文提出的一種新的文本聚類方法，采用一種稱為文檔索引圖的結(jié)構(gòu)來構(gòu)建中文文本表示模型。在

3、這種模型之上，可以利用文本當中任意匹配的短語來定義文本之間的近似程度，避免了對中文文本進行分詞以及處理高維向量等問題。再利用增量的聚類算法，可以將文本按照主題進行聚類處理，將主題相近的文檔聚合在一起。 本課題實現(xiàn)了基于短語匹配的中文Web文檔聚類方法，并將其作為中文搜索引擎結(jié)果聚類子系統(tǒng)實現(xiàn)于MinerOnWeb系統(tǒng)中。MinerOnWeb系統(tǒng)是一個基于Web應用的數(shù)據(jù)挖掘服務系統(tǒng)，提供多種在線的數(shù)據(jù)挖掘服務。利用我們的中文搜索