文本相似性度量中參數(shù)相關性與優(yōu)化配置研究.pdf

1、隨著計算機網(wǎng)絡及應用技術(shù)的飛速發(fā)展,Internet成為信息存儲和交流的主要渠道,但同時也引發(fā)了信息爆炸式增長的災難,因此數(shù)據(jù)挖掘、信息檢索和文本分類等信息處理技術(shù)應運而生,作為這些信息處理技術(shù)的基礎,文本相似性度量技術(shù)有著深刻的研究意義和廣泛的應用前景。
　　 本文針對文本相似性度量中的相似度閾值、準確率、召回率、shingle滑動窗口大小、shingle權(quán)重門限、shingle抽取率和文本屬性等參數(shù)相互影響、關系復雜的問題,

2、首先以文本相似性度量的實現(xiàn)過程為線索,對文本數(shù)學表示、特征生成、特征選擇和相似度計算等關鍵技術(shù)進行了詳細的分析；在此分析基礎上實現(xiàn)并比較了兩種最具典型性的文本相似性度量算法:基于特征向量的算法和基于shingle的算法；然后結(jié)合shingling算法的實驗,研究了這些參數(shù)之間的相關性,最后提出了shingle滑動窗口大小、shingle權(quán)重門限和相似度閾值等參數(shù)可優(yōu)化配置的建議,分析與設計了相似度閾值等參數(shù)可適應的相似性度量算法。