中文短文本表示及分類的研究與實現(xiàn).pdf

1、文本分類是指在給定的分類體系下，根據(jù)文本的內(nèi)容自動識別文本類別的過程。它是文本挖掘的基礎(chǔ)與核心。從國內(nèi)外該課題的研究分析可知，對于中文文本分類而言，分詞問題和短文本分類問題成為中文文本分類的兩大難題，另外對文本表示模型的研究也是文本分類領(lǐng)域的一個熱點問題。本文圍繞著這三個問題進(jìn)行研究，試圖跳出傳統(tǒng)的向量空間模型，采用句子包文本表示模型，這樣就可以解決因分詞帶來的歧義問題和短文本特征抽取困難等一系列問題。
　　 下面是本文的主要工

2、作：
　　 1.改進(jìn)并實現(xiàn)中文分句算法。消除了停用詞和停用句，同時合并了高相似度的句子。通過設(shè)置停用詞表和停用句表，在分句的同時與這兩個表對比，如果一樣則去掉，否則，保存分句后的句子；對去掉停用詞后的句子進(jìn)行重新的掃描，計算它們的詞形相似度，如果一樣，就認(rèn)為它們是高相似度的句子，則按照一定的規(guī)則合并它們。
　　 2.改進(jìn)文本相似度的計算方法。把文本劃分為成若干文本塊，考慮各個文本塊對文本內(nèi)容識別和文本類別的區(qū)分的貢獻(xiàn)大小

3、，賦予每個文本塊不同的位置權(quán)值。這樣在計算文本相似度的時候，只需按照一定的加權(quán)方法對文本塊相似度進(jìn)行加權(quán)。改進(jìn)后的計算方法考慮到了句子在文本中的位置因素對文本識別和文本類別區(qū)分的問題。
　　 3.通過對國內(nèi)外大量文獻(xiàn)的研究，總結(jié)文本表示模型和典型的文本分類算法的各自的優(yōu)缺點，并針對本文的特定需求(中文短文本分類)，確定句子包模型為文本分類系統(tǒng)的文本表示模型，kNN為文本分類系統(tǒng)的分類算法。
　　 4.編程實現(xiàn)基于句子包模