基于統(tǒng)計(jì)與規(guī)則的特征權(quán)重計(jì)算方法研究與應(yīng)用.pdf

1、隨著信息技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)的普及，寬帶移動(dòng)通信帶來的高速移動(dòng)無線傳輸以及“云計(jì)算”催生的新的數(shù)據(jù)存儲(chǔ)方式，物聯(lián)網(wǎng)端到端的傳輸?shù)刃录夹g(shù)變革，均把人類推向了一個(gè)信息極大豐富的時(shí)代。然而，面對(duì)浩如煙海的電子信息，人們卻又顯得無所適從，如何準(zhǔn)確的獲得人們所需要的信息是目前亟待解決的問題。信息過濾應(yīng)運(yùn)而生，而特征項(xiàng)權(quán)重計(jì)算方法是信息過濾的基礎(chǔ)，也是信息過濾效果前提保障。本文重點(diǎn)研究了特征項(xiàng)粒度的選取、特征選擇方法，特征權(quán)重計(jì)算方法以及特征項(xiàng)之

2、間的組織方式等相關(guān)內(nèi)容，有一定理論價(jià)值及實(shí)際意義。主要研究?jī)?nèi)容包括:
　　1.對(duì)特征選擇與權(quán)重計(jì)算的概念加以界定
　　總結(jié)已有特征選擇函數(shù)與權(quán)重評(píng)價(jià)函數(shù)計(jì)算方法，并對(duì)二者進(jìn)行區(qū)分與對(duì)比，給予概念及意義上的界定，為后繼研究者提供理論基礎(chǔ)。
　　2.改進(jìn)了傳統(tǒng)的信息增益算法
　　重點(diǎn)分析了傳統(tǒng)的信息增益算法的優(yōu)點(diǎn)與不足，并針對(duì)傳統(tǒng)的信息增益算法難以處理不平衡語料這一缺陷，利用特征項(xiàng)分布信息改進(jìn)了傳統(tǒng)的信息增益算法，并

3、利用類內(nèi)離散度和類間離散度作為判斷條件，把改進(jìn)的信息增益算法與傳統(tǒng)的信息增益算法相結(jié)合，這樣不克服了傳統(tǒng)信息增益算法難以處理不平衡語料的缺陷，并且保留了傳統(tǒng)信息增益算法的優(yōu)點(diǎn)。最后，通過實(shí)驗(yàn)證明這一方法的可行性。
　　3.在VSM中引入了句法規(guī)則的思想，增加了特征項(xiàng)的語義描述性
　　目前，詞法系統(tǒng)不的完善是造成特征項(xiàng)語義缺失的主要原因，也是制約中文信息處理發(fā)展的主要瓶頸。本文通過對(duì)文本標(biāo)引及向量空間模型中特征項(xiàng)粒度的選取等領(lǐng)

4、域認(rèn)真研究。針對(duì)當(dāng)前詞法系統(tǒng)不足，把句法規(guī)則引入到 VSM中，利用句法規(guī)則構(gòu)造詞法合并規(guī)則，從而識(shí)別出文本中的基本短語，并利用這些基本短語代替 VSM中的詞，以擴(kuò)充特征項(xiàng)的語義描述性。并通過實(shí)驗(yàn)證明這一方法的有效性。
　　4.構(gòu)建了特征關(guān)系樹，增強(qiáng)了VSM中特征項(xiàng)之間的聯(lián)系
　　由于VSM中各特征項(xiàng)之間相互獨(dú)立，各特征項(xiàng)之間相互干擾，以至于產(chǎn)生搭配歧義和分類噪聲，因此，本文對(duì)VSM中特征項(xiàng)之間的關(guān)系重新組織梳理，引入了樹狀模

5、型，構(gòu)造了VSM特征關(guān)系樹，并把這種思想引入到不良信息情感分類中，取得了良好效果。
　　5.構(gòu)造了統(tǒng)計(jì)與規(guī)則的權(quán)重計(jì)算方法
　　針對(duì)現(xiàn)有權(quán)重計(jì)算方法僅僅利用頻次衡量特征項(xiàng)對(duì)文檔的貢獻(xiàn)程度，容易造成特征曲線平坦難以體現(xiàn)項(xiàng)的區(qū)分度的現(xiàn)象，本文綜合考慮了特征項(xiàng)的分布、位置、頻次及語法角色等信息，構(gòu)造了特征項(xiàng)權(quán)重評(píng)價(jià)函數(shù)。并通過文檔主題句提取、文本分類等實(shí)驗(yàn)綜合評(píng)價(jià)本算法。實(shí)驗(yàn)證明，基于統(tǒng)計(jì)的聯(lián)合權(quán)重計(jì)算方法不僅增加了項(xiàng)的區(qū)分度，而

6、且克服了特征項(xiàng)曲線平坦的現(xiàn)象，而且本算法較基于的頻次的計(jì)算方法有較強(qiáng)的穩(wěn)定性及較早的收斂性。
　　6.設(shè)計(jì)并實(shí)現(xiàn)了基于統(tǒng)計(jì)與規(guī)則的網(wǎng)絡(luò)信息過濾系統(tǒng)
　　本著先進(jìn)性、可靠性、易用性的設(shè)計(jì)目標(biāo)，從用戶角度出發(fā)，設(shè)計(jì)并實(shí)現(xiàn)了基于統(tǒng)計(jì)與規(guī)則的網(wǎng)絡(luò)信息過濾系統(tǒng)，該系統(tǒng)能夠自動(dòng)對(duì)流經(jīng)本機(jī)的信息進(jìn)行分類過濾，并依據(jù)特定用戶的設(shè)定，自動(dòng)進(jìn)行Web頁的URL過濾、關(guān)鍵詞過濾以及內(nèi)容過濾等，其中內(nèi)容過濾主要依據(jù)本文改進(jìn)的特征選擇算法進(jìn)行特征選擇