網(wǎng)絡(luò)輿情敏感話題發(fā)現(xiàn)平臺(tái)的研究.pdf

1、互聯(lián)網(wǎng)作為重要的交流渠道，其存儲(chǔ)和傳輸?shù)男畔?，尤其是一些敏感話題，對(duì)于大眾輿論的形成和傳播有著舉足輕重的影響，其潛在的安全威脅也是不可估量的。因此，敏感話題主動(dòng)發(fā)現(xiàn)技術(shù)已經(jīng)成為一項(xiàng)緊迫而又重要的課題。網(wǎng)絡(luò)輿情敏感話題發(fā)現(xiàn)平臺(tái)圍繞著網(wǎng)絡(luò)信息分析和處理中的各項(xiàng)關(guān)鍵技術(shù)，主要是對(duì)預(yù)處理后的網(wǎng)絡(luò)信息進(jìn)行分詞和結(jié)構(gòu)化存儲(chǔ)及在此基礎(chǔ)上的敏感話題發(fā)現(xiàn)技術(shù)，進(jìn)行了系統(tǒng)的研究。 論文設(shè)計(jì)并實(shí)現(xiàn)了基于網(wǎng)絡(luò)信息分詞結(jié)果與敏感詞庫匹配的網(wǎng)絡(luò)輿情敏感話題

2、發(fā)現(xiàn)平臺(tái)。針對(duì)中文網(wǎng)絡(luò)輿情敏感信息的分詞，本系統(tǒng)實(shí)現(xiàn)了基于層疊隱馬爾可夫模型的中文詞法分析方法，將中文分詞、切分歧義排除、未登錄詞識(shí)別和詞性標(biāo)注整合到一個(gè)框架中。對(duì)敏感詞庫的管理，通過鏈表和序列化方式保證敏感詞庫的完整性和可傳遞性。關(guān)于敏感話題的發(fā)現(xiàn)，采用逆向思維的識(shí)別過程，將處理后的話題與敏感詞庫匹配，即將分詞結(jié)果在敏感詞庫中查詢并識(shí)別出敏感話題，從而提高了敏感話題的識(shí)別發(fā)現(xiàn)效率。 基于以上工作，對(duì)提高敏感話題發(fā)現(xiàn)平臺(tái)的性能上

3、進(jìn)行了以下幾點(diǎn)探索：通過實(shí)驗(yàn)比對(duì)完全二階隱馬爾可夫模型（FHMM2）與隱馬爾可夫模型（HMM）的分詞準(zhǔn)確率與召回率，得出FHMM2在統(tǒng)計(jì)效果和精確率上有著明顯的優(yōu)勢(shì)；對(duì)現(xiàn)有分詞詞典的改進(jìn)提出了基于四字Hash機(jī)制的分詞詞典；在基于語義的敏感話題發(fā)現(xiàn)方面，提出了基于關(guān)鍵詞和隱性語義標(biāo)引的敏感詞識(shí)別和敏感度評(píng)測(cè)方法。 本論文基于以上的工作，最終設(shè)計(jì)并實(shí)現(xiàn)了網(wǎng)絡(luò)輿情敏感話題發(fā)現(xiàn)平臺(tái)，在實(shí)驗(yàn)室范圍內(nèi)測(cè)試，并經(jīng)校園網(wǎng)內(nèi)部試運(yùn)行，結(jié)果證明此