WEB文本情感分類中關(guān)鍵問題的研究.pdf

1、隨著計算機技術(shù)和互聯(lián)網(wǎng)的迅猛發(fā)展，網(wǎng)絡在線的文檔成為現(xiàn)代主要的信息載體，是人們生活中不可或缺的主要信息來源。而隨著互聯(lián)網(wǎng)進入web2.0時代，人們從被動的接受門戶網(wǎng)站發(fā)布信息，轉(zhuǎn)變?yōu)橹鲃拥墨@取、發(fā)布、共享、傳播信息。同時，由于用戶參與到信息的產(chǎn)生，網(wǎng)絡信息的內(nèi)容形式也變得多樣化，越來越多的具有個人觀點性的內(nèi)容充斥著網(wǎng)絡。這些觀點性內(nèi)容對于網(wǎng)絡電子商務、網(wǎng)絡社區(qū)發(fā)掘、網(wǎng)絡信息安全、網(wǎng)絡信息檢索等多方面都具有重要的意義和實用價值。對網(wǎng)絡文本

2、觀點性內(nèi)容的自動情感分析成為近期web信息處理的一個研究熱點，而其中的核心技術(shù)就是文本情感分類。 在這樣一個背景下，本文對面向web文本的中文分詞、文本情感分類以及Weblog觀點檢索問題進行了下述創(chuàng)新性研究工作： 首先，研究了面向web文本的中文分詞問題。根據(jù)web文本環(huán)境的特點，研究重點在于中文分詞中的未登錄詞識別問題，同時兼顧切分歧義消解、整體切分準確率和高效處理海量文本的能力。在未登錄詞識別方面，提出了POC-N

3、LW字符標記模板，從字符級別的粒度來表征中文詞匯的構(gòu)成機制，并結(jié)合隱馬爾可夫模型，實現(xiàn)了基于字符序列標注的中文分詞方法。此外，分別使用了基于規(guī)則匹配的預處理、基于詞典匹配的初級全切分、基于詞語級別的N-Gram統(tǒng)計切分模型，并通過級聯(lián)方式將上述各模塊有效組合，構(gòu)成了多模型混合的層疊系統(tǒng)。實驗結(jié)果表明，本文提出的基于POC-NLW模板標注的切分方法具有較強的未登錄詞識別能力；而多模型混合的層疊系統(tǒng)在整體切分精度和未登錄詞識別方面都達到了較

4、高的實用水平。另外，本文提出的系統(tǒng)還具有高效的建模和切分處理速度，具有面向海量web文本切分的實用性能。 第二，研究了web文本情感分類問題，主要包括文本的主客觀分類和正負面極性分類兩個子問題。在語言特征表示方面，對比研究了基于多種N-Gram語言特征模板的文本特征表示方式；在文本特征加權(quán)方面，對比了布爾、絕對詞頻、歸一化詞頻以及基于TFIDF的特征加權(quán)方式；在特征選擇方面，提出了全局TFIDF顯著指數(shù)，引入“全局過濾．局部加權(quán)

5、”的特征抽取方式；在情感分類模型方面，以樸素貝葉斯模型做對比，詳細研究了最大熵模型的最大似然估計問題，采用高斯先驗和指數(shù)型先驗，對傳統(tǒng)的最大熵模型進行改進。通過在真實網(wǎng)絡電影評論數(shù)據(jù)集上的詳細對比試驗，以及對語料樣本的分析，證實了采用高階語言特征模板、基于TFIDF的特征選擇和過濾方法、加入指數(shù)型先驗的最大熵模型較好的適用于文本情感分類問題。 第三，研究了Weblog觀點檢索問題，以TREC Blog Track評測為主線，主要

6、研究了面向blog文檔的主題檢索和文本情感分類技術(shù)在觀點檢索中的應用。首先，針對Weblog文檔的特點以及觀點檢索的特殊性，在Weblog文檔的HTML解析、噪聲標簽過濾、文本內(nèi)容提取、詞形還原等預處理方面作了技術(shù)改進；之后，以Indri檢索系統(tǒng)為研究平臺，利用結(jié)構(gòu)化查詢語言和web搜索引擎進行查詢擴展和結(jié)構(gòu)化查詢主題構(gòu)造，并采用基于文檔標題字段的域查詢，有效的提高了基本的ad-hoc主題檢索的性能；在Weblog觀點檢索方面，使用基于