基于CSSN算法的重復(fù)記錄檢測研究.pdf

1、重復(fù)記錄檢測問題已有半個世紀(jì)的研究歷史，這個問題所具有的重要實際意義以及挑戰(zhàn)性使得其一直是一個非常熱門的研究方向，吸引了包括統(tǒng)計學(xué)、生物學(xué)、數(shù)據(jù)挖掘、機器學(xué)習(xí)、人工智能、信息檢索、知識工程、數(shù)據(jù)庫等等領(lǐng)域的大量專家學(xué)者。本文對重復(fù)記錄檢測算法進行了研究，主要工作有:
　　(1)對重復(fù)記錄檢測領(lǐng)域進行了廣泛調(diào)研并詳細綜述了相關(guān)研究成果。首先將重復(fù)記錄檢測工作分為三個階段，然后對各個階段使用的技術(shù)和算法進行了歸類整理，最后歸納總結(jié)了重

2、復(fù)記錄檢測的評價標(biāo)準(zhǔn)和檢測框架。
　　(2)針對一個典型的基于聚類的CSSN重復(fù)記錄檢測算法進行了算法效率改進。首先對CSSN算法的功能性能進行了實驗驗證，并詳細分析了算法各步驟的時間復(fù)雜度，然后在分析基礎(chǔ)上來降低算法的時間復(fù)雜度。實驗表明，效率改進后的CSSN算法可以在基本不影響算法準(zhǔn)確度的情況下將算法的時間復(fù)雜度從原來平方級的降低至近似線性的。
　　(3)對效率提高后的CSSN算法進行了通用性擴展。首先對CSSN算法的通