基于社交媒體的中文網(wǎng)絡(luò)流行語(yǔ)自動(dòng)獲取方法研究.pdf

1、隨著互聯(lián)網(wǎng)走入我國(guó)的千家萬(wàn)戶以及移動(dòng)互聯(lián)網(wǎng)井噴式的發(fā)展，我國(guó)的信息社會(huì)經(jīng)歷了飛速的發(fā)展。同時(shí)，網(wǎng)絡(luò)生活的不斷豐富，越來(lái)越多的網(wǎng)絡(luò)流行語(yǔ)從“線上”走入到人們的“線下”生活中。網(wǎng)絡(luò)流行語(yǔ)作為網(wǎng)絡(luò)環(huán)境中的交際語(yǔ)言，簡(jiǎn)單實(shí)用、生動(dòng)活潑，深受網(wǎng)民的追捧，在一定程度上影響著數(shù)字化時(shí)代文化傳播的方向，是網(wǎng)絡(luò)文化的體現(xiàn)形式之一。研究網(wǎng)絡(luò)流行語(yǔ)對(duì)于輿情分析、熱點(diǎn)事件追蹤以及語(yǔ)言演化規(guī)律研究等都有重要意義。
　　目前有很多關(guān)于網(wǎng)絡(luò)流行語(yǔ)的評(píng)選活動(dòng)，但

2、通常是通過(guò)問(wèn)卷調(diào)查等人工評(píng)選方式來(lái)獲取的，這種方式主觀性強(qiáng)并且會(huì)耗費(fèi)大量的人力物力。在這種背景下，使用機(jī)器學(xué)習(xí)的方法通過(guò)計(jì)算機(jī)輔助獲取網(wǎng)絡(luò)流行語(yǔ)來(lái)得到客觀的網(wǎng)絡(luò)流行語(yǔ)排名是具有重要的學(xué)術(shù)研究?jī)r(jià)值的。同時(shí)，流行語(yǔ)的自動(dòng)獲取作為一種基于自然語(yǔ)言處理研究上的應(yīng)用性研究工作對(duì)計(jì)算語(yǔ)言學(xué)及中文信息處理的研究都具有重要意義。
　　本文提出了一種使用計(jì)算機(jī)自動(dòng)獲取網(wǎng)絡(luò)流行語(yǔ)的模型，該模型以大規(guī)模網(wǎng)絡(luò)語(yǔ)料庫(kù)為基礎(chǔ)，通過(guò)使用條件隨機(jī)場(chǎng)模型對(duì)網(wǎng)絡(luò)語(yǔ)料

3、進(jìn)行分詞、網(wǎng)絡(luò)百科平臺(tái)規(guī)則提取詞條信息、漢語(yǔ)輸入法細(xì)胞詞庫(kù)的導(dǎo)出等步驟構(gòu)建出網(wǎng)絡(luò)流行語(yǔ)候選集。依據(jù)網(wǎng)絡(luò)流行語(yǔ)在使用度分布上存在短時(shí)間內(nèi)快速提升這一規(guī)律，對(duì)候選詞語(yǔ)在不同時(shí)間節(jié)點(diǎn)的使用頻度進(jìn)行統(tǒng)計(jì)并按年度對(duì)候選詞語(yǔ)建立概率模型，通過(guò)計(jì)算相鄰時(shí)間段的模型間的KL距離對(duì)候選網(wǎng)絡(luò)用語(yǔ)的流行程度進(jìn)行度量并詞語(yǔ)流行度得分，通過(guò)排序自動(dòng)獲取網(wǎng)絡(luò)流行語(yǔ)。
　　最后，依據(jù)中文網(wǎng)絡(luò)流行語(yǔ)獲取模型設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)流行語(yǔ)流行度計(jì)算系統(tǒng)，該系統(tǒng)包括網(wǎng)頁(yè)信息

4、抽取、網(wǎng)絡(luò)用詞頻次統(tǒng)計(jì)、流行語(yǔ)流行度計(jì)算功能等模塊。使用該系統(tǒng)對(duì)2014年度網(wǎng)絡(luò)論壇大數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)的結(jié)果表明，本文提出的中文網(wǎng)絡(luò)流行語(yǔ)獲取模型能有效地識(shí)別網(wǎng)絡(luò)流行語(yǔ)，自動(dòng)獲取的結(jié)果與人工協(xié)同標(biāo)記的結(jié)果具有很高的一致性。由于該方法受調(diào)查者主觀喜好的影響小，所以自動(dòng)獲取的結(jié)果排名甚至在一定程度上優(yōu)于人工排序的結(jié)果，能更客觀地反映語(yǔ)言在真實(shí)使用中呈現(xiàn)出的特點(diǎn)與規(guī)律。該模型不僅僅為計(jì)算機(jī)輔助判定詞語(yǔ)的流行特性提供了參考依據(jù)，同時(shí)也提供了一種便