基于哈希編碼的文本拷貝檢測算法優(yōu)化與實現(xiàn).pdf

1、隨著社交網(wǎng)站及各種服務(wù)型網(wǎng)站的迅速興起，各類用戶生成內(nèi)容(UGC)大量生成，而這些內(nèi)容是用來進(jìn)行數(shù)據(jù)挖掘、情感傾向分析等工作的重要數(shù)據(jù)來源。然而，由于這些內(nèi)容中充斥著大量重復(fù)信息，這對數(shù)據(jù)挖掘等工作帶來極大的挑戰(zhàn)和性能瓶頸。因此，如何通過對文本進(jìn)行拷貝檢測，從而快速有效的提取出文本中的重復(fù)內(nèi)容成為一個亟待解決的問題。在進(jìn)行文本拷貝檢測的過程中，首先要對文本進(jìn)行特征提取和向量化操作。本文中將一個漢字或一個英文單詞作為文本的一維特征，從而將

2、文本轉(zhuǎn)化為高維空間中的向量。由于計算量的限制，直接進(jìn)行文本向量的比較在大規(guī)模文本下是不可行的，需要找到一種快速的計算方法。
　　基于哈希的算法由于其簡單有效、計算快速的特點，在文本拷貝檢測的研究中應(yīng)用十分廣泛?；诠５奈谋究截悪z測算法的一般步驟是將代表原始文本的高維向量映射到低維的哈?？臻g中，利用所得哈希編碼距離來反映原始文本的相似度，因此，基于哈希的算法本質(zhì)上是一種降維方法。
　　本文提出了一種新的文本拷貝檢測算法，能夠

3、快速有效的完成微博、評論等短文本的文本拷貝檢測任務(wù)，該算法為優(yōu)化qSign算法。本文首先介紹了基本的qSign算法以及目前針對qSign算法的一種優(yōu)化，并指出了其優(yōu)化過程中存在的三個問題。本文提出的優(yōu)化qSign算法能有效的解決這三個問題，并且能夠取得比目前存在的文本拷貝檢測算法更好的實驗效果。優(yōu)化qSign算法需要解決一個大規(guī)模高維非線性優(yōu)化問題，難以對其直接進(jìn)行優(yōu)化求解，因此，采用合適的算法對該優(yōu)化問題進(jìn)行求解是優(yōu)化qSign算法面

4、對的主要難點。本文實現(xiàn)了馬爾科夫鏈蒙特卡洛算法，通過聚類的方式間接解決了該優(yōu)化問題，取得了不錯的結(jié)果。最后，本文介紹了幾種經(jīng)典的基于哈希編碼的文本拷貝檢測算法，包括局部敏感哈希、最小哈希、譜哈希以及語義哈希，并介紹了每種哈希算法的代碼實現(xiàn)。
　　本文共進(jìn)行了三組實驗，分別比較了各種拷貝檢測算法的實驗對比、qSign算法及其優(yōu)化系列的實驗對比以及本文提出的優(yōu)化算法中不同參數(shù)選擇的實驗結(jié)果對比。實驗結(jié)果表明，本文提出的優(yōu)化算法只需進(jìn)行