面向微博文本的分詞及情感分析研究.pdf

1、伴隨著移動互聯(lián)時代的到來,以微博為代表的社交網(wǎng)絡(luò)媒體，得到了研究者們極大的關(guān)注，由于微博的短文本性及隨意性，為很多自然語言處理任務(wù)帶來了新的挑戰(zhàn)。
　　情感分類是自然語言處理領(lǐng)域中熱門研究之一，微博等網(wǎng)絡(luò)文本同樣給情感分類提出了挑戰(zhàn)，目前情感分類的主流方法是人工設(shè)計特征，輸入到機器學(xué)習(xí)分類器中，該類方法準(zhǔn)確率較高，但需要通過對數(shù)據(jù)的觀察去人工的設(shè)計特征，無法應(yīng)用到真實環(huán)境中。因此，本文利用了基于表示學(xué)習(xí)的情感分類方法自動生成微博句

2、子的向量，把該向量看做特征進行情感分析，該方法可以避免人工設(shè)計特征。由于該方法通過組合詞的語義向量來獲取句子的語義向量，因此分詞結(jié)果的好壞會直接影響后續(xù)處理的表現(xiàn)，考慮到主流的分詞方法在對微博等網(wǎng)絡(luò)文本進行處理時分詞結(jié)果不佳，本文首先提出了一種針對微博文本的中文分詞算法。
　　本文在對當(dāng)前主流的分詞算法進行簡單介紹與分析之后，提出了一種基于表示學(xué)習(xí)的中文微博分詞算法。該算法首先無監(jiān)督的從語料中自動的學(xué)習(xí)出包含語義信息的字向量，然后

3、以獲取到的向量作為特征輸入到序列標(biāo)注模型中，對微博待分詞文本進行序列標(biāo)注，同時針對微博文本的特性，添加了后處理步驟。然后將該分詞方法應(yīng)用到情感分析任務(wù)中，通過訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，組合詞向量獲取到句子的向量，并將其視為特征直接進行情感分類。
　　本文在對已有相關(guān)工作進行認真分析的基礎(chǔ)上，主要進行了以下研究工作：
　?。?）設(shè)計了一種基于表示學(xué)習(xí)的分詞方法，利用表示學(xué)習(xí)的方法無監(jiān)督的從語料中學(xué)習(xí)出字向量，利用該向量作為特征進行序列

4、標(biāo)注。針對微博的特點，添加了一些后處理步驟。
　?。?）針對獲取到的字向量在條件隨機場中的應(yīng)用，對特征模板進行設(shè)計。
　?。?）基于卷積神經(jīng)網(wǎng)絡(luò)的句向量生成。通過構(gòu)建一個卷積神經(jīng)網(wǎng)絡(luò)，將詞語的語義信息組合，獲取句子的向量表示，以便用到情感分類任務(wù)中。
　　最后，本文將上述分詞方法及情感分析方法分別應(yīng)用到NLP&CC和COAE公開的數(shù)據(jù)集上進行實驗，其中，本文提出的分詞方法在處理微博文本時優(yōu)于傳統(tǒng)方法，具有可行性?；诒?/p>