BBS熱點(diǎn)話題挖掘與觀點(diǎn)分析.pdf

1、分類號(hào)UDC密級(jí)單位代碼_10巧1BBS熱點(diǎn)話題挖掘與觀點(diǎn)分析姚曉娜指導(dǎo)教師魯明羽職稱教授學(xué)位授予單位大連海事大學(xué)申請(qǐng)學(xué)位級(jí)別工學(xué)碩士學(xué)科與專業(yè)計(jì)算機(jī)軟件與理論論文完成日期2008年5月論文答辯日期2008年6月答辯委員會(huì)主席系中文摘要摘要隨著互聯(lián)網(wǎng)的飛速發(fā)展，BBS(即網(wǎng)絡(luò)論壇)已經(jīng)成為人們自由發(fā)表言論，表達(dá)民意的重要平臺(tái)。政府和網(wǎng)管部門需要利用有效的智能技術(shù)，對(duì)BBS進(jìn)行輿情監(jiān)控，以便及時(shí)掌握各個(gè)時(shí)期民眾關(guān)心的熱點(diǎn)話題，并了解民眾對(duì)

2、這些熱點(diǎn)話題的觀點(diǎn)和態(tài)度，從而做出正確、科學(xué)的決策。本文的主要研究?jī)?nèi)容如下:(1)BBS信息的自動(dòng)抽取:為了實(shí)現(xiàn)對(duì)BBS網(wǎng)頁(yè)的自動(dòng)采集和信息抽取，本文采用HTMLParser包和正則表達(dá)式對(duì)HTML類型的BBS網(wǎng)頁(yè)進(jìn)行解析，從中抽取BBS帖子線索的各項(xiàng)信息，并將抽取結(jié)果存入XML文件中。(2)面向BBS文本的特征選擇及權(quán)重計(jì)算:BBS文本的語(yǔ)言和結(jié)構(gòu)與傳統(tǒng)的文本有所不同，有著自己的特點(diǎn)。本文選取詞條的出現(xiàn)次數(shù)、出現(xiàn)位置、詞長(zhǎng)以及包含該詞

3、條的帖子數(shù)目等四個(gè)因子來(lái)評(píng)估特征項(xiàng)，并用綜合評(píng)估函數(shù)代替了TF一IDF公式中的TF項(xiàng)，來(lái)計(jì)算特征項(xiàng)在向量空間模型中的權(quán)重。(3)BBS熱點(diǎn)話題挖掘:話題識(shí)別是熱點(diǎn)話題挖掘的一個(gè)關(guān)鍵步驟，本文分別采用single一Pass、K一Means以及K一Medoids聚類算法進(jìn)行話題識(shí)別，在實(shí)際應(yīng)用時(shí)根據(jù)原算法存在的缺陷做了相應(yīng)改進(jìn)，并給出實(shí)驗(yàn)結(jié)果及其分析。在話題識(shí)別的基礎(chǔ)上，綜合話題的線索數(shù)、精華線索數(shù)、回復(fù)數(shù)、單位時(shí)間瀏覽數(shù)等信息，對(duì)話題進(jìn)行