Blog檢索中的關鍵問題研究.pdf

1、本文針對當前互聯網環(huán)境及對文本情感分析技術的需求，研究了Blog檢索中的網頁信息抽取和文本情感分析問題，主要創(chuàng)新工作和成果如下： 第一，提出了一套高效、健壯的網頁文本抽取算法。 該算法克服了主流的基于DOM模型的網頁文本抽取算法性能的性能缺陷，首次以SAX接口實現了對頁面框架結構信息的利用。提出了基于全局噪聲信息去重的方式提取頁面正文的方法。 該方法被應用在TREC Blog06數據集上，在將文檔集規(guī)模壓縮87.

2、5％的同時，提高相關性檢索性能指標52.5％以上。 第二，提出了基于統(tǒng)計模型的情感分析中的幾組關鍵特征。 對情感分析中詞匯的N-gram特征及其各種權重計算方法、詞性特征、否定詞特征和同義詞擴展特征在當前情感分析領域的應用和效果進行了分析。通過詞級別和句子級別的情感極性分類實驗，分析了幾種特征及其各種組合的應用效果，發(fā)現詞性、否定詞等高級文本特征在用于詞級別情感分析時需要與位置信息結合，同時這些高級特征在使用基于統(tǒng)計的分

3、類模型進行句子級別情感分類時效果不如單純使用詞的Unigram特征。 使用本文發(fā)現的特征組合，詞級別情感極性分類準確率達到88.6％，句子級別情感極性分類準確率達到83.9％。 第三，實現了一套Blog觀點發(fā)現系統(tǒng)。 該系統(tǒng)引入網站全局噪聲信息凈化網頁，創(chuàng)造性的結合段落和篇章全文級別的檢索結果，從而大幅度提高了話題相關性檢索性能。在2008年的TREC Blog測試中，該系統(tǒng)由于表現出色被列為后續(xù)任務的基準系統(tǒng)。