向量空間模型與語義理解相結(jié)合的論文相似度算法研究.pdf

1、目前在各大高校，學(xué)生畢業(yè)必須撰寫專業(yè)論文，在信息化時代，學(xué)生通過資源共享，查詢資料十分便捷。但是網(wǎng)絡(luò)帶來方便的同時，也造成了不良影響，部分學(xué)生投機取巧，剽竊他人研究成果，因此論文抄襲一直困擾著整個學(xué)術(shù)界。所以論文相似度檢測十分必要，并且相似度檢測在專利保護、智能檢索、文本分類等領(lǐng)域中應(yīng)用也十分廣泛。目前應(yīng)用最廣泛的論文相似度檢測算法是基于向量空間模型(VSM: VectorSpace Model)的相似度算法和基于《知網(wǎng)》的相似度算法，

2、然而前者沒有考慮漢語詞語間的語義關(guān)聯(lián);后者的大多數(shù)研究還停留在詞語相似度階段，并且沒有考慮詞語對論文表達的重要程度。因此研究論文相似度檢測算法是有意義的。
　　為提高相似度計算效率，本文提出了一種改進算法，并對其進行了實驗驗證，本文主要工作如下:
　　1)研究相似度計算相關(guān)理論，了解國內(nèi)外相似度算法發(fā)展現(xiàn)狀及研究成果;
　　2)研究常用論文相似度算法，重點研究基于VSM的相似度算法和基于《知網(wǎng)》的相似度算法，分析其優(yōu)缺

3、點，對不足之處加以改進。提出TF-IDF算法計算權(quán)重時融入特征項位置因素，彌補詞頻統(tǒng)計過于片面的問題;《知網(wǎng)》義原相似度計算時融入語義密度因子、語義深度因子，彌補其只考慮義原相對位置的缺陷;
　　3)結(jié)合VSM和《知網(wǎng)》詞語相似度算法的優(yōu)點，提出VSM與《知網(wǎng)》語義理解相結(jié)合的相似度計算模型:把相同和相似的詞語作為空間坐標的同一維度，計算相似度時融入詞語語義相似度。既彌補VSM在語義層面的不足，又彌補了《知網(wǎng)》詞語相似度算法忽略詞