基于微博的用戶職業(yè)抽取研究.pdf

1、隨著信息技術(shù)的快速發(fā)展，互聯(lián)網(wǎng)已經(jīng)深深融入了人們的日常生活。微博作為互聯(lián)網(wǎng)時(shí)代主要的應(yīng)用之一在知識(shí)分享、信息傳遞等應(yīng)用中扮演著重要的角色。微博作為一種新興的社交網(wǎng)絡(luò)工具，其用戶數(shù)量大、數(shù)據(jù)資源豐富、傳遞信息快的優(yōu)勢(shì)使我們有可能在微博平臺(tái)上抽取有商業(yè)價(jià)值的信息，例如微博用戶的職業(yè)、年齡等。此類數(shù)據(jù)對(duì)于互聯(lián)網(wǎng)時(shí)代的廣告推送以及個(gè)性化推薦都具有重要的價(jià)值。因此，基于微博的用戶信息抽取成為目前互聯(lián)網(wǎng)信息抽取中的一個(gè)熱點(diǎn)研究方向。
　　本論

2、文主要研究微博平臺(tái)上的用戶職業(yè)信息抽取問(wèn)題。這一問(wèn)題的主要挑戰(zhàn)在于現(xiàn)有的微博平臺(tái)沒(méi)有提供普通用戶的職業(yè)信息認(rèn)證，而已有的職業(yè)抽取工作采用的是傳統(tǒng)的特征提取方法，操作復(fù)雜且耗時(shí)。這要求我們?cè)O(shè)計(jì)新的面向微博用戶職業(yè)抽取的高效算法。針對(duì)這一研究目標(biāo)，本文從兩個(gè)角度研究了微博用戶職業(yè)抽取問(wèn)題，即基于詞向量和職業(yè)詞典相結(jié)合的微博用戶職業(yè)抽取方法以及基于多層神經(jīng)網(wǎng)絡(luò)模型的抽取方法?？傮w而言，本論文的主要工作和貢獻(xiàn)可歸納為下面幾點(diǎn):
　　(1)

3、提出了一種基于特征工程的微博用戶職業(yè)抽取方法。目前已有的針對(duì)微博用戶職業(yè)抽取的工作大部分停留在完善提取用戶特征來(lái)提高準(zhǔn)確率的層面，工作量大且不易實(shí)現(xiàn)。本文基于詞語(yǔ)相似性迭代方法來(lái)提取職業(yè)相關(guān)的詞典，并使用詞典過(guò)濾冗余詞匯，再將每個(gè)用戶樣本清洗后的所有詞的詞向量的列取和來(lái)表示用戶樣本，不僅可以去除冗余特征，還能夠增強(qiáng)特征的表達(dá)能力，有效減少抽取過(guò)程的工作量并且提高抽取性能。我們?cè)趯?shí)際微博數(shù)據(jù)集上的實(shí)驗(yàn)表明，基于詞典過(guò)濾的方法可以達(dá)到87.

4、12％的準(zhǔn)確率，相比于傳統(tǒng)的特征提取方法提高了9％的準(zhǔn)確率。
　　(2)將多層神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于微博用戶職業(yè)抽取中，通過(guò)實(shí)驗(yàn)對(duì)比了MLP、CNN、LSTM以及FastText模型的性能并進(jìn)行了討論和分析。隨著微博用戶的快速增長(zhǎng)和職業(yè)領(lǐng)域的不斷擴(kuò)張，如果詞典提取不夠完善便無(wú)法準(zhǔn)確捕獲用戶特征信息，且微博數(shù)據(jù)噪聲干擾大，因此，在應(yīng)用多層神經(jīng)網(wǎng)絡(luò)模型的過(guò)程中，本文還提出了一種基于領(lǐng)域偏好的微博數(shù)據(jù)去噪算法，并在此基礎(chǔ)上應(yīng)用多層神經(jīng)網(wǎng)絡(luò)模