基于N-grams短語的中文Web文本聚類及其預(yù)處理的研究.pdf

1、隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展與應(yīng)用,數(shù)字化的文本數(shù)量不斷增長,互聯(lián)網(wǎng)的發(fā)展更加劇了數(shù)字文本的膨脹。本文的目標(biāo)就是在我國互聯(lián)網(wǎng)資源急劇增長的背景下,為了有效地挖掘中文Web文本信息資源,針對(duì)傳統(tǒng)文本表示模型應(yīng)用于中文文本的不足和傳統(tǒng)文本聚類方法處理高維文本對(duì)象時(shí)運(yùn)行效率低的缺陷,以及中文文本需要進(jìn)行分詞等困難,根據(jù)網(wǎng)頁文本對(duì)象的特殊性和中文語言自身特點(diǎn),嘗試從中文Web文本聚類過程的不同階段入手,研究中文Web文本聚類分析技術(shù)。
　　在

2、預(yù)處理階段,為了能夠提供準(zhǔn)確表達(dá)網(wǎng)頁主題信息的去噪網(wǎng)頁或文本,在分析現(xiàn)有不同網(wǎng)頁主題信息提取或網(wǎng)頁去噪方法的基礎(chǔ)上,針對(duì)這些方法需要不同程度地依賴網(wǎng)頁結(jié)構(gòu)和視覺特征的缺陷,本文提出了一種新的提取方法,即基于正文特征的網(wǎng)頁主題信息提取方法。實(shí)驗(yàn)結(jié)果表明,這種方法無論在主題信息提取的準(zhǔn)確率,還是主題信息提取完整性,結(jié)果都比較好。
　　根據(jù)中文語言自身特點(diǎn),把中文信息處理的基礎(chǔ)技術(shù)——中文自動(dòng)分詞納入研究內(nèi)容之一。詞語粗分是分詞后續(xù)處理

3、的基礎(chǔ)和前提,直接影響到分詞系統(tǒng)最終的準(zhǔn)確率和召回率。針對(duì)目前常用分詞方法單一使用時(shí)存在的不足,綜合機(jī)械分詞的高效性和統(tǒng)計(jì)分詞的靈活性,本文設(shè)計(jì)了一種最短路徑的二元語法中文詞語粗分模型。實(shí)驗(yàn)結(jié)果表明,此粗分模型無論在封閉測試和開放測試中,還是在不同粗分模型對(duì)比測試和不同領(lǐng)域的開放測試中,都有較好的句子召回率。
　　在文本表示階段,傳統(tǒng)文本表示模型應(yīng)用較為廣泛的是基于詞集的向量空間模型(VectorSpaceModel,VSM),在

4、構(gòu)建VSM中,僅僅考慮利用文檔中單個(gè)詞的信息,而忽略了對(duì)聚類來說更重要的詞之間的關(guān)系和順序信息。針對(duì)VSM表示文本的不足和文本信息自身特征,本文提出了一種新的文本表示模型,即短語相關(guān)文檔模型(PhraseRelatedDocumentsModel,PRDM)。在模型中,PRDM使用具有上下文信息的N-grams短語來表達(dá)文檔和文檔關(guān)系,能夠更準(zhǔn)確地聚集相似文檔。
　　在文本聚類階段,針對(duì)傳統(tǒng)文本聚類方法處理高維文本對(duì)象時(shí)運(yùn)行效率低

5、和需要初始化參數(shù)的缺陷,本文提出了一種新的中文文本聚類方法,即基于N-grams短語的中文文本聚類方法。該方法在PRDM的基礎(chǔ)上,構(gòu)建文檔相關(guān)文檔模型(DocumentRelatedDocumentsModel,DRDM);然后在DRDM的基礎(chǔ)上,計(jì)算文檔相似度;最后聚集相關(guān)文檔(相似文檔),得到“物以類聚”的結(jié)果。通過實(shí)驗(yàn)對(duì)比,N-grams短語方法無論在查準(zhǔn)率、查全率,還是F值、聚類用時(shí),都比k-均值算法和AHC算法有更好的性能表現(xiàn)