Blog檢索中的關(guān)鍵問題研究.pdf

1、本文針對當前互聯(lián)網(wǎng)環(huán)境及對文本情感分析技術(shù)的需求，研究了Blog檢索中的網(wǎng)頁信息抽取和文本情感分析問題，主要創(chuàng)新工作和成果如下： 第一，提出了一套高效、健壯的網(wǎng)頁文本抽取算法。 該算法克服了主流的基于DOM模型的網(wǎng)頁文本抽取算法性能的性能缺陷，首次以SAX接口實現(xiàn)了對頁面框架結(jié)構(gòu)信息的利用。提出了基于全局噪聲信息去重的方式提取頁面正文的方法。 該方法被應用在TREC Blog06數(shù)據(jù)集上，在將文檔集規(guī)模壓縮87.

2、5％的同時，提高相關(guān)性檢索性能指標52.5％以上。 第二，提出了基于統(tǒng)計模型的情感分析中的幾組關(guān)鍵特征。 對情感分析中詞匯的N-gram特征及其各種權(quán)重計算方法、詞性特征、否定詞特征和同義詞擴展特征在當前情感分析領域的應用和效果進行了分析。通過詞級別和句子級別的情感極性分類實驗，分析了幾種特征及其各種組合的應用效果，發(fā)現(xiàn)詞性、否定詞等高級文本特征在用于詞級別情感分析時需要與位置信息結(jié)合，同時這些高級特征在使用基于統(tǒng)計的分

3、類模型進行句子級別情感分類時效果不如單純使用詞的Unigram特征。 使用本文發(fā)現(xiàn)的特征組合，詞級別情感極性分類準確率達到88.6％，句子級別情感極性分類準確率達到83.9％。 第三，實現(xiàn)了一套Blog觀點發(fā)現(xiàn)系統(tǒng)。 該系統(tǒng)引入網(wǎng)站全局噪聲信息凈化網(wǎng)頁，創(chuàng)造性的結(jié)合段落和篇章全文級別的檢索結(jié)果，從而大幅度提高了話題相關(guān)性檢索性能。在2008年的TREC Blog測試中，該系統(tǒng)由于表現(xiàn)出色被列為后續(xù)任務的基準系統(tǒng)。