基于eMule文件名的英語詞語聚類和相似度分析.pdf

1、eMule已經(jīng)成為世界上最大并且最可靠的點對點文檔共享客戶端軟件。毫無疑問eMule在資源共享方面發(fā)揮了極大地作用，然而在這些浩如煙海的資源中如何快速準(zhǔn)確的找到所需要的資源，已經(jīng)成為當(dāng)前eMule急需解決的問題。傳統(tǒng)的基于文件名的關(guān)鍵字搜索已不能滿足要求，有效的解決方法是目前比較流行的語義搜索，本文正是從這一角度出發(fā)來進(jìn)行研究的。 語義研究，特別是詞匯語義研究，已經(jīng)成為目前自然語言處理領(lǐng)域的熱點和前沿課題。詞匯語義分析目前有兩種

2、研究方法，一是基于大規(guī)模語料庫，另一個是基于語義詞典。但是基于eMule文件名的詞匯語義分析目前還沒有人研究，因此本論文是一個全新的研究課題。重點分析出現(xiàn)在eMule文件名中的英語詞匯之間的語義特征。 本論文主要完成了四部分工作，首先對研究課題做需求分析；接著修改eMule源代碼，從服務(wù)器上抓取文件名；然后對文件名做切詞和統(tǒng)計處理；最后對切出的英文詞匯作聚類和相似度分析，并用Matlab做仿真實驗。 本論文主要采用兩種方

3、法對構(gòu)成eMule文件名的詞匯進(jìn)行研究，一是采用聚類分析的方法，二是采用詞語相似度分析的方法。前者主要采用K-means聚類算法對這些詞匯進(jìn)行分類研究，并且采用了相異度分析法和特征值分析法兩種不同的方法，對這些詞匯作了層層遞進(jìn)分析：后者則是采用兩向量夾角余弦的方法，求出構(gòu)成eMule文件名的詞匯之間的相似度，并與從文本文件中得到的詞語相似度作對比分析。 通過對構(gòu)成eMule文件名的詞匯做聚類和相似度分析，發(fā)現(xiàn)了其中具有規(guī)律性的結(jié)

4、論。從聚類分析的角度來看，構(gòu)成eMule文件名的英文單詞確實被聚成了不同的類別，而聚類選擇的特征值是文件類型，它將構(gòu)成文件名的英文單詞做了很好的區(qū)分。從詞語相似度分析的角度來看，基于eMule文件名的詞語相似度確實與基于文本文件的詞語相似度有很大不同。而二者之所以有很大的不同是由于計算相似度的方法不同，研究的對象也不同。 不管是對這些詞匯做聚類還是相似度分析，都是為了能夠找到這些詞匯在語義上的遠(yuǎn)近關(guān)系。這樣有利于在用戶輸入搜索。