基于NUTCH的中文新聞事件自動分類系統(tǒng)研究.pdf

1、伴隨著互聯(lián)網(wǎng)的蓬勃發(fā)展，從異構的、有噪聲的海量數(shù)據(jù)中獲取所需要的分類內(nèi)容，評判互聯(lián)網(wǎng)熱點事件，關注最新的熱點事件的動態(tài)，不斷成為搜索引擎、各類門戶及SNS社區(qū)吸引用戶、制定營銷方案等所需要首先解決的問題。誰掌握了確切的信息，誰就先一步掌握了事件發(fā)展的方向，在制定營銷方案時就會把握時代、用戶趨勢，在競爭中處于領先的地位。本文正是針對上述需求所撰寫的，力圖解決分類內(nèi)容獲取、熱點事件判定及熱點事件獲取等幾個方面的問題。由于本文所論述的內(nèi)容是基

2、于準實時互聯(lián)網(wǎng)信息的，所以本文在論述時還會解決互聯(lián)網(wǎng)信息噪聲的問題。
　　 本文基于NUTCH的中文新聞事件自動分類系統(tǒng)研究，主要分為三個部分：⑴背景現(xiàn)狀分析。重點介紹當前有關中文文本自動分類的分類方法、熱點事件的理論分析現(xiàn)狀及系統(tǒng)支撐技術。⑵理論闡述及相關特征分析。首先簡單而創(chuàng)新的使用了基于源代碼標簽規(guī)則的網(wǎng)頁噪音去除算法清洗和過濾了互聯(lián)網(wǎng)上的網(wǎng)頁得到網(wǎng)頁的文本內(nèi)容，并進一步論述了相關的中文分詞、KNN分類理論、極度相關新聞事

3、件文檔的判定等鋪墊性內(nèi)容。通過構建新聞事件歷史語料庫，對歷史語料庫進行分析獲得事件的相應特征：主要有時間發(fā)展特征及詞特征，并綜合使用分詞技術、分類理論等建立了評價熱點事件的核心指標，根據(jù)核心指標建立了一套分析、判定、獲取熱點事件的流程框架。從而構建出了分類及熱點事件獲取的兩大核心體系。⑶系統(tǒng)設計、實施及實驗評價。這一部分集中在第四、五章，重點論述了本文原型系統(tǒng)的架構及系統(tǒng)核心模塊類的設計，主要論述了系統(tǒng)中使用的各種開源框架及技術，分析了