基于知網(wǎng)語(yǔ)義的Web中文文本聚類(lèi)方法研究.pdf

1、2013年1月，中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心發(fā)布了《第31次中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》，其數(shù)據(jù)顯示當(dāng)前互聯(lián)網(wǎng)的信息量以驚人的速度持續(xù)增長(zhǎng)。在這些海量數(shù)據(jù)當(dāng)中，80％以上的信息是以非結(jié)構(gòu)化或半結(jié)構(gòu)化的文本形式存在，蘊(yùn)含著豐富潛在價(jià)值的知識(shí)。因此，能夠快速?gòu)腤eb中發(fā)現(xiàn)有價(jià)值知識(shí)的文本聚類(lèi)方法，成為了當(dāng)今的研究熱點(diǎn)。目前，基于向量空間模型的文本聚類(lèi)方法由于其向量高維稀疏的問(wèn)題，使得這種方法的聚類(lèi)效果達(dá)到了瓶頸，很難再有所提高。而很多基于語(yǔ)義概念

2、模型文本聚類(lèi)方法的研究并沒(méi)有區(qū)分文本的種類(lèi)，缺少對(duì)Web中文文本聚類(lèi)與普通文本聚類(lèi)區(qū)別與聯(lián)系的深入分析，導(dǎo)致其應(yīng)用到Web文本時(shí)效率不高甚至不能直接在Web文本聚類(lèi)中使用。
　　 本文從中文文本聚類(lèi)方法的研究現(xiàn)狀出發(fā)，總結(jié)分析其中的關(guān)鍵性技術(shù)。在此基礎(chǔ)上，針對(duì)Web中文文本聚類(lèi)與普通文本聚類(lèi)的區(qū)別與聯(lián)系及其面臨的挑戰(zhàn)，本文采用語(yǔ)義分析方法深入研究面向Web中文文本的聚類(lèi)
　　 方法:
　　 (1)深入研究知網(wǎng)的組

3、成結(jié)構(gòu)，提出一種綜合考慮時(shí)間效率與義原關(guān)系的概念相似度計(jì)算方法，降低計(jì)算復(fù)雜度并保證結(jié)果的合理性。
　　 (2)研究分析Web文本的結(jié)構(gòu)，定義標(biāo)簽特征集與正文特征集。采用特征集語(yǔ)義聚類(lèi)方法對(duì)兩者進(jìn)行聚類(lèi)，得到兩個(gè)特征集合中更加符合文本內(nèi)容的詞語(yǔ)。
　　 (3)提出一種基于標(biāo)簽特征集重要性與TF-IDF的改進(jìn)算法，通過(guò)該算法將文本表示為選取的標(biāo)簽特征集與正文特征集的并集。在其基礎(chǔ)上，提出一種結(jié)合語(yǔ)義以及Web文本特點(diǎn)的We

4、b中文文本、文本簇的表示模型，給出構(gòu)建模型的方法。定義基于該模型的相似度并給出計(jì)算方法。
　　 (4)通過(guò)分析Web文本聚類(lèi)算法的相關(guān)難點(diǎn)，提出一種基于知網(wǎng)語(yǔ)義的Web中文文本聚類(lèi)算法C2HN。該算法是對(duì)最近鄰聚類(lèi)算法的改進(jìn)，以相似度閾值控制聚類(lèi)的迭代次數(shù)，自動(dòng)創(chuàng)建文本簇特征，將文本聚類(lèi)方法量化，便于計(jì)算機(jī)的識(shí)別處理。
　　 最后對(duì)本文方法進(jìn)行實(shí)驗(yàn)分析與對(duì)比，實(shí)驗(yàn)結(jié)果表明:本文提出的方法適用于Web中文文本聚類(lèi)，在特征維