基于知網(wǎng)的文本分類算法研究及應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)絡(luò)上的文本信息資源日趨豐富，互聯(lián)網(wǎng)已經(jīng)成為世界上最為巨大的信息倉庫，也逐步成為公安機關(guān)新的重要公開情報源。然而面對浩如煙海的文本數(shù)據(jù)，公安機關(guān)不可能簡單依靠人工去分析，文本分類是對文檔信息進行自動的有序組織的方法，能夠大大提高公安人員的工作效率，但傳統(tǒng)的文本分類算法存在高維稀疏、多義詞和忽略詞語間語義上的聯(lián)系等不足，不能滿足現(xiàn)有公安情報分析工作的需求，在此背景下本文對文本分類算法進行了研究，并將研究成果應(yīng)用到某省

2、的實際公安情報項目中。 本文首先介紹了文本分類的定義、一般過程和常用算法，總結(jié)了當(dāng)前的研究現(xiàn)狀；其次，為了更為準確地獲取文本的概念特征，提出基于知網(wǎng)和上下文加權(quán)的詞義消歧算法(HCWSD)；然后，針對傳統(tǒng)文本分類算法的不足，提出基于知網(wǎng)的文本分類算法(HOTC)。最后，將HCWSD算法和HOTC算法應(yīng)用于公安情報項目的分類系統(tǒng)中。本文的主要研究內(nèi)容如下： (1)提出基于知網(wǎng)和上下文加權(quán)的詞義消歧算法(HCWSD)，該算法

3、借助知網(wǎng)詞典將歧義詞的義項與其上下文語境詞確定的詞義計算加權(quán)的語義相關(guān)度來對歧義詞進行實時消歧無需語料庫訓(xùn)練，克服了傳統(tǒng)算法未考慮上下文距離對相關(guān)度計算的影響和計算存在不合理性等缺點。 (2)提出基于知網(wǎng)和統(tǒng)計的概念相似度計算方法，該方法充分利用了知網(wǎng)詞典和數(shù)據(jù)集的統(tǒng)計信息，克服了傳統(tǒng)方法未考慮在不同數(shù)據(jù)集中詞語相似度計算的不同的缺點。提出文本語義相似度的修正公式，克服了傳統(tǒng)公式計算量大和計算不全面的不足。 (3)針對傳