基于微博的用戶職業(yè)抽取研究.pdf

1、隨著信息技術(shù)的快速發(fā)展，互聯(lián)網(wǎng)已經(jīng)深深融入了人們的日常生活。微博作為互聯(lián)網(wǎng)時代主要的應(yīng)用之一在知識分享、信息傳遞等應(yīng)用中扮演著重要的角色。微博作為一種新興的社交網(wǎng)絡(luò)工具，其用戶數(shù)量大、數(shù)據(jù)資源豐富、傳遞信息快的優(yōu)勢使我們有可能在微博平臺上抽取有商業(yè)價值的信息，例如微博用戶的職業(yè)、年齡等。此類數(shù)據(jù)對于互聯(lián)網(wǎng)時代的廣告推送以及個性化推薦都具有重要的價值。因此，基于微博的用戶信息抽取成為目前互聯(lián)網(wǎng)信息抽取中的一個熱點研究方向。
　　本論

2、文主要研究微博平臺上的用戶職業(yè)信息抽取問題。這一問題的主要挑戰(zhàn)在于現(xiàn)有的微博平臺沒有提供普通用戶的職業(yè)信息認證，而已有的職業(yè)抽取工作采用的是傳統(tǒng)的特征提取方法，操作復(fù)雜且耗時。這要求我們設(shè)計新的面向微博用戶職業(yè)抽取的高效算法。針對這一研究目標，本文從兩個角度研究了微博用戶職業(yè)抽取問題，即基于詞向量和職業(yè)詞典相結(jié)合的微博用戶職業(yè)抽取方法以及基于多層神經(jīng)網(wǎng)絡(luò)模型的抽取方法。總體而言，本論文的主要工作和貢獻可歸納為下面幾點:
　　(1)

3、提出了一種基于特征工程的微博用戶職業(yè)抽取方法。目前已有的針對微博用戶職業(yè)抽取的工作大部分停留在完善提取用戶特征來提高準確率的層面，工作量大且不易實現(xiàn)。本文基于詞語相似性迭代方法來提取職業(yè)相關(guān)的詞典，并使用詞典過濾冗余詞匯，再將每個用戶樣本清洗后的所有詞的詞向量的列取和來表示用戶樣本，不僅可以去除冗余特征，還能夠增強特征的表達能力，有效減少抽取過程的工作量并且提高抽取性能。我們在實際微博數(shù)據(jù)集上的實驗表明，基于詞典過濾的方法可以達到87.

4、12％的準確率，相比于傳統(tǒng)的特征提取方法提高了9％的準確率。
　　(2)將多層神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于微博用戶職業(yè)抽取中，通過實驗對比了MLP、CNN、LSTM以及FastText模型的性能并進行了討論和分析。隨著微博用戶的快速增長和職業(yè)領(lǐng)域的不斷擴張，如果詞典提取不夠完善便無法準確捕獲用戶特征信息，且微博數(shù)據(jù)噪聲干擾大，因此，在應(yīng)用多層神經(jīng)網(wǎng)絡(luò)模型的過程中，本文還提出了一種基于領(lǐng)域偏好的微博數(shù)據(jù)去噪算法，并在此基礎(chǔ)上應(yīng)用多層神經(jīng)網(wǎng)絡(luò)模