基于語(yǔ)義統(tǒng)計(jì)分析的網(wǎng)絡(luò)輿情挖掘技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和網(wǎng)絡(luò)應(yīng)用的普及，互聯(lián)網(wǎng)成為民眾獲取信息的重要來(lái)源，同時(shí)也成為人們傳播信息和表達(dá)觀點(diǎn)的重要渠道。通過(guò)網(wǎng)絡(luò)了解社情民意，關(guān)注輿情動(dòng)向，對(duì)于促進(jìn)社會(huì)和諧穩(wěn)定、推動(dòng)社會(huì)民主與法制建設(shè)具有重要的現(xiàn)實(shí)意義。
　　 網(wǎng)絡(luò)信息浩如煙海，魚(yú)龍混雜，人工識(shí)別和研判顯得力不從心。如何利用計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)、人工智能技術(shù)和數(shù)據(jù)挖掘技術(shù)，對(duì)網(wǎng)絡(luò)輿情信息有效地挖掘和分析成為了一個(gè)新的研究熱點(diǎn)。如何識(shí)別民眾所關(guān)注的熱點(diǎn)話(huà)題并有效地分類(lèi)，如何

2、判斷民眾對(duì)社會(huì)事件的態(tài)度是正向的還是反向的，如何分析和把握社會(huì)熱點(diǎn)事件的波動(dòng)性等，是網(wǎng)絡(luò)輿情研究中的亟需解決的重點(diǎn)問(wèn)題，對(duì)認(rèn)識(shí)和引導(dǎo)網(wǎng)絡(luò)輿情具有重要的科學(xué)意義。
　　 本文針對(duì)網(wǎng)絡(luò)輿情信息的挖掘和分析中存在的問(wèn)題展開(kāi)研究，將基于Web的文本分類(lèi)技術(shù)、機(jī)器學(xué)習(xí)算法研究、波動(dòng)性的統(tǒng)計(jì)分析等技術(shù)應(yīng)用到網(wǎng)絡(luò)突發(fā)事件的分類(lèi)、網(wǎng)絡(luò)輿情信息的情感傾向性分析、輿情演變的波動(dòng)性分析等研究中。主要的研究?jī)?nèi)容和創(chuàng)新點(diǎn)包括：
　　 1.本文提出

3、將Fisher判別準(zhǔn)則應(yīng)用到網(wǎng)絡(luò)輿情文本的分類(lèi)問(wèn)題中，并實(shí)現(xiàn)對(duì)突發(fā)事件的分類(lèi)。由突發(fā)事件引發(fā)的網(wǎng)絡(luò)輿情信息，從內(nèi)容形式來(lái)看主要為文本，因此輿情信息的分類(lèi)本質(zhì)上是文本分類(lèi)的問(wèn)題。Fisher判別準(zhǔn)則是解決降維問(wèn)題的有效方法之一，但在文本分類(lèi)中研究較少。本文將Fisher判別準(zhǔn)則作為分類(lèi)的特征提取的方法應(yīng)用于文本分類(lèi)，并應(yīng)用于網(wǎng)絡(luò)突發(fā)事件新聞報(bào)道的分類(lèi)。針對(duì)輿情的相關(guān)研究，將突發(fā)事件按照公共安全的四類(lèi)，即突發(fā)自然災(zāi)害、事故災(zāi)難、公共衛(wèi)生事件

4、和社會(huì)安全事件進(jìn)行分類(lèi)。實(shí)驗(yàn)證明，F(xiàn)isher準(zhǔn)則的方法略遜于信息增益，但比較其他特征選擇方法都更好。
　　 2.本文提出基于類(lèi)別相關(guān)度的局部潛在語(yǔ)義分析的算法LR-LSA，改進(jìn)了局部潛在語(yǔ)義分析算法進(jìn)行文本分類(lèi)。分析介紹了潛在語(yǔ)義分析的原理，包括奇異值分解和計(jì)算文檔間相似關(guān)系的方法。通過(guò)分析潛在語(yǔ)義分析方法的局限性，提出算法LR*LSA，先利用SVM分類(lèi)器給每篇文檔一個(gè)類(lèi)別相關(guān)度，然后根據(jù)相關(guān)度的大小選擇生成局部區(qū)域的方法。在

5、中文Web文本語(yǔ)料的兩組分類(lèi)實(shí)驗(yàn)中，驗(yàn)證了算法LR-LSA比LSA和LC-LSA更有效。
　　 3.針對(duì)機(jī)器學(xué)習(xí)方法在情感傾向性分析中對(duì)情感語(yǔ)義信息考慮不足的問(wèn)題，本文提出了將情感模式和機(jī)器學(xué)習(xí)相結(jié)合的方法PMML，并應(yīng)用于Web評(píng)論文本的情感傾向性分類(lèi)。介紹了情感傾向性分析的相關(guān)研究，包括不同粒度級(jí)的基于情感詞典分析的分類(lèi)方法，以及基于機(jī)器學(xué)習(xí)的情感傾向性分類(lèi)方法。利用本文提出的方法PMML對(duì)Web評(píng)論文本分類(lèi)，在對(duì)原始語(yǔ)料文

6、本進(jìn)行基本的分詞之后，先進(jìn)行關(guān)鍵詞提取，再進(jìn)行模式匹配來(lái)提取情感評(píng)價(jià)短語(yǔ)，匹配成功后形成相應(yīng)的情感特征序列，分別計(jì)算每個(gè)特征的情感傾向值，再通過(guò)機(jī)器學(xué)習(xí)的方法最終得到文本的情感傾向。實(shí)驗(yàn)驗(yàn)證了PMML方法較之機(jī)器學(xué)習(xí)的方法在分類(lèi)效果上的有效性。
　　 4.本文提出基于GARCH類(lèi)模型的網(wǎng)絡(luò)輿情信息演變的波動(dòng)性研究方法。在熱點(diǎn)事件的傳播過(guò)程中，波動(dòng)性是其重要特征之一，強(qiáng)烈的波動(dòng)往往意味著信息內(nèi)容的不斷傳播和各種流言的不斷蔓延，存在

7、轉(zhuǎn)變?yōu)橥话l(fā)事件的可能性。通過(guò)分析網(wǎng)絡(luò)輿情演變過(guò)程中的波動(dòng)性的特點(diǎn)，如變化率序列呈現(xiàn)的異方差性、尖鋒厚尾性等，對(duì)比金融領(lǐng)域的波動(dòng)性，本文提出基于GARCH類(lèi)模型的波動(dòng)性研究方法。通過(guò)熱點(diǎn)事件在主流搜索引擎中采集到的Web頁(yè)面數(shù)，定量地分析與這個(gè)事件相關(guān)的輿情演變趨勢(shì)。選擇社會(huì)熱點(diǎn)事件“溫州動(dòng)車(chē)事故”，通過(guò)收集數(shù)據(jù)，分析變化率，分別建立了GARCH，EGARCH，TARCH模型。實(shí)證分析了說(shuō)明GARCH類(lèi)模型對(duì)輿情演變的波動(dòng)性分析的可行性。