中文農(nóng)業(yè)網(wǎng)頁(yè)去重及相似度判斷研究.pdf

1、隨著網(wǎng)絡(luò)信息技術(shù)的飛速發(fā)展，農(nóng)業(yè)信息化的建設(shè)、服務(wù)水平得到了極大的促進(jìn)與提高。互聯(lián)網(wǎng)中海量、重復(fù)的農(nóng)業(yè)信息為從事農(nóng)業(yè)領(lǐng)域的朋友們帶來(lái)方便的同時(shí)，也增加了快速、準(zhǔn)確獲取有效信息的難度。如何對(duì)農(nóng)業(yè)網(wǎng)頁(yè)中重復(fù)以及近似重復(fù)的網(wǎng)頁(yè)進(jìn)行有效的管理，成為農(nóng)業(yè)垂直搜索引擎領(lǐng)域研究的重要課題之一。本文的工作主要包括以下幾個(gè)方面:
　　1)深入研究了文本去重及相似度判斷的關(guān)鍵技術(shù)，網(wǎng)頁(yè)預(yù)處理、網(wǎng)頁(yè)正文內(nèi)容提取、中文分詞、特征加權(quán)算法、網(wǎng)頁(yè)去重方法、文

2、本相似度計(jì)算方法以及相似度評(píng)價(jià)標(biāo)準(zhǔn)技術(shù)，以農(nóng)業(yè)網(wǎng)頁(yè)語(yǔ)料庫(kù)為基礎(chǔ)，重點(diǎn)研究了網(wǎng)頁(yè)去重技術(shù)、特征加權(quán)算法以及相似度計(jì)算的方法。
　　2)對(duì)中文農(nóng)業(yè)網(wǎng)頁(yè)中重復(fù)及近似重復(fù)的網(wǎng)頁(yè)的定義標(biāo)準(zhǔn)進(jìn)行研究，構(gòu)建出中文農(nóng)業(yè)網(wǎng)頁(yè)語(yǔ)料庫(kù)。建立一個(gè)由人工鑒別出的網(wǎng)頁(yè)集合，包含225組網(wǎng)頁(yè)集，每組網(wǎng)頁(yè)集中有2至14張近似重復(fù)網(wǎng)頁(yè)，共1110篇網(wǎng)頁(yè)作為網(wǎng)頁(yè)測(cè)試集。
　　3)首先對(duì)網(wǎng)頁(yè)進(jìn)行預(yù)處理，使用MD5方法去除網(wǎng)頁(yè)集合中完全相同的網(wǎng)頁(yè)，再對(duì)其余網(wǎng)頁(yè)提取

3、出正文內(nèi)容，利用庖丁解牛分詞方法進(jìn)行分詞、去除停用詞后，分別使用布爾權(quán)重、詞頻權(quán)重、詞頻倒文檔權(quán)重三種方法對(duì)特征詞進(jìn)行加權(quán)計(jì)算;最后分別使用三種相似度算法（向量空間模型、基于《知網(wǎng)》的語(yǔ)義相似度、潛在語(yǔ)義分析）對(duì)三種不同權(quán)重的特征向量空間模型進(jìn)行了相似度計(jì)算，最終得到9組中文農(nóng)業(yè)網(wǎng)頁(yè)相似度判斷結(jié)果。
　　4)分析比較了9組實(shí)驗(yàn)的準(zhǔn)確率、召回率、F1測(cè)度。結(jié)果表明，沒(méi)有哪種特征加權(quán)算法對(duì)相似度判斷有絕對(duì)的優(yōu)勢(shì)，三種特征加權(quán)算法在不同