文本挖掘算法及其在知識管理中的應(yīng)用研究.pdf

1、隨著知識經(jīng)濟的到來，知識管理在社會經(jīng)濟中的作用日益重要。大多數(shù)的知識管理研究是為企業(yè)服務(wù)的，針對科研管理部門的知識管理研究非常少，本文對我國科研管理部門的知識管理問題進行研究。與其他領(lǐng)域相比，科研管理部門的知識管理有一定的特殊性。比如，科研管理部門管理著蘊含大量知識的立項建議申請書。挖掘并利用申請書中的知識，能夠在從科學(xué)研究整體層面、學(xué)科領(lǐng)域?qū)用婧晚椖抗芾韺用鎸蒲泄芾砉ぷ魈峁Q策支持。 申請書中的知識隱含在申請書內(nèi)容之中，從申

2、請書中挖掘知識會面臨如下問題：申請書的知識表示不能完全依賴于詞典；申請書研究內(nèi)容與申報學(xué)科領(lǐng)域不能完全吻合；學(xué)科代碼體系結(jié)構(gòu)與實際研究領(lǐng)域的體系結(jié)構(gòu)不能完全一致。針對上述問題，本文在以下幾個方面進行了研究： 第一，提出一種不依賴于詞典抽取高頻詞的橋接模式濾除算法(BPFA)。首先基于N-gram技術(shù)獲取文本中的漢字結(jié)合模式及出現(xiàn)頻率，然后通過消除橋接頻率得到模式的支持頻率，并依此來判斷和提取正確詞語。實驗結(jié)果顯示，BPFA能夠有

3、效提高分詞結(jié)果的查準(zhǔn)率和查全率。該算法適用于對詞語頻率敏感的中文信息處理。本文應(yīng)用該算法，抽取申請書中出現(xiàn)的新術(shù)語，補充到系統(tǒng)詞表中。 第二，粗分類數(shù)據(jù)中包含有文本內(nèi)容與類別標(biāo)記不符的噪聲數(shù)據(jù)，這些噪聲數(shù)據(jù)會對文本分類結(jié)果的精度產(chǎn)生不良影響。本文提出一種針對粗分類數(shù)據(jù)的噪音修正算法。首先建立文檔關(guān)聯(lián)網(wǎng)絡(luò)，把文檔上標(biāo)記的類別作為原始的社團結(jié)構(gòu)，并用模塊度衡量社團結(jié)構(gòu)的質(zhì)量，通過優(yōu)化模塊度指標(biāo)把噪聲數(shù)據(jù)調(diào)整到正確的類別中，從而提高數(shù)

4、據(jù)質(zhì)量。實驗結(jié)果表明，本文所提算法能夠有效修正粗分類數(shù)據(jù)中的噪聲，具有較高的有效性和魯棒性。該算法可以用于文本分類訓(xùn)練數(shù)據(jù)的預(yù)處理，或作為輔助技術(shù)用于文獻庫建設(shè)等工作。本文把申報到各個學(xué)科代碼下的申請書作為粗分類數(shù)據(jù)，應(yīng)用該算法把與代碼不符的申請書調(diào)整到正確的代碼中。并根據(jù)調(diào)整后的數(shù)據(jù)建立代碼模型，分析代碼所代表研究領(lǐng)域的內(nèi)涵和外延、代碼之間的交叉關(guān)系。 第三，提出基于公共連接強度的快速聚類算法。利用社團成員之間的相似關(guān)系定義了

5、社團連接強度，根據(jù)社團的公共連接強度定義了一種新的相似度計算方法，并應(yīng)用該相似度計算方法提出一種凝聚聚類算法。在相似度計算中，綜合考慮了社團內(nèi)部和外部結(jié)構(gòu)關(guān)系，因此能夠避免其他算法在聚類初期容易出現(xiàn)的聚類錯誤。分別對拓撲和加權(quán)的實驗數(shù)據(jù)進行聚類，實驗結(jié)果證明了所提算法比其他算法更為有效。本文應(yīng)用該算法對申請書進行聚類分析，形成了項目類，并對項目類和學(xué)科代碼之間的關(guān)系進行了分析。 本文在理論方法研究的基礎(chǔ)上，對國家自然科學(xué)基金委員