面向微博文本的分詞及情感分析研究.pdf

1、伴隨著移動(dòng)互聯(lián)時(shí)代的到來(lái),以微博為代表的社交網(wǎng)絡(luò)媒體，得到了研究者們極大的關(guān)注，由于微博的短文本性及隨意性，為很多自然語(yǔ)言處理任務(wù)帶來(lái)了新的挑戰(zhàn)。
　　情感分類是自然語(yǔ)言處理領(lǐng)域中熱門研究之一，微博等網(wǎng)絡(luò)文本同樣給情感分類提出了挑戰(zhàn)，目前情感分類的主流方法是人工設(shè)計(jì)特征，輸入到機(jī)器學(xué)習(xí)分類器中，該類方法準(zhǔn)確率較高，但需要通過對(duì)數(shù)據(jù)的觀察去人工的設(shè)計(jì)特征，無(wú)法應(yīng)用到真實(shí)環(huán)境中。因此，本文利用了基于表示學(xué)習(xí)的情感分類方法自動(dòng)生成微博句

2、子的向量，把該向量看做特征進(jìn)行情感分析，該方法可以避免人工設(shè)計(jì)特征。由于該方法通過組合詞的語(yǔ)義向量來(lái)獲取句子的語(yǔ)義向量，因此分詞結(jié)果的好壞會(huì)直接影響后續(xù)處理的表現(xiàn)，考慮到主流的分詞方法在對(duì)微博等網(wǎng)絡(luò)文本進(jìn)行處理時(shí)分詞結(jié)果不佳，本文首先提出了一種針對(duì)微博文本的中文分詞算法。
　　本文在對(duì)當(dāng)前主流的分詞算法進(jìn)行簡(jiǎn)單介紹與分析之后，提出了一種基于表示學(xué)習(xí)的中文微博分詞算法。該算法首先無(wú)監(jiān)督的從語(yǔ)料中自動(dòng)的學(xué)習(xí)出包含語(yǔ)義信息的字向量，然后

3、以獲取到的向量作為特征輸入到序列標(biāo)注模型中，對(duì)微博待分詞文本進(jìn)行序列標(biāo)注，同時(shí)針對(duì)微博文本的特性，添加了后處理步驟。然后將該分詞方法應(yīng)用到情感分析任務(wù)中，通過訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，組合詞向量獲取到句子的向量，并將其視為特征直接進(jìn)行情感分類。
　　本文在對(duì)已有相關(guān)工作進(jìn)行認(rèn)真分析的基礎(chǔ)上，主要進(jìn)行了以下研究工作：
　?。?）設(shè)計(jì)了一種基于表示學(xué)習(xí)的分詞方法，利用表示學(xué)習(xí)的方法無(wú)監(jiān)督的從語(yǔ)料中學(xué)習(xí)出字向量，利用該向量作為特征進(jìn)行序列

4、標(biāo)注。針對(duì)微博的特點(diǎn)，添加了一些后處理步驟。
　?。?）針對(duì)獲取到的字向量在條件隨機(jī)場(chǎng)中的應(yīng)用，對(duì)特征模板進(jìn)行設(shè)計(jì)。
　?。?）基于卷積神經(jīng)網(wǎng)絡(luò)的句向量生成。通過構(gòu)建一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，將詞語(yǔ)的語(yǔ)義信息組合，獲取句子的向量表示，以便用到情感分類任務(wù)中。
　　最后，本文將上述分詞方法及情感分析方法分別應(yīng)用到NLP&CC和COAE公開的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，其中，本文提出的分詞方法在處理微博文本時(shí)優(yōu)于傳統(tǒng)方法，具有可行性?；诒?/p>