基于后綴樹算法的地區(qū)微博摘要技術(shù)研究.pdf

1、在這個(gè)社交網(wǎng)絡(luò)工具發(fā)達(dá)、各取所需的時(shí)代，隨著大量組織機(jī)構(gòu)平臺(tái)微博的開通，官方微博開始進(jìn)入了人們的視野，官方微博是經(jīng)過(guò)官方認(rèn)證后的微博，即真實(shí)性已通過(guò)驗(yàn)證。其發(fā)布的博文信息不但具有權(quán)威性、組織性、真實(shí)性，而且還具有地區(qū)性。通過(guò)觀察官方微博數(shù)據(jù)發(fā)現(xiàn)其博文中包含了大量相關(guān)當(dāng)?shù)氐氖录畔?，聚合地區(qū)官方微博數(shù)據(jù)可以發(fā)掘當(dāng)?shù)氐闹匾录畔?，幫助用戶了解地區(qū)近況。因此，針對(duì)地區(qū)官方微博數(shù)據(jù)研究需求的呼吁聲越來(lái)越大。并且微博作為一種新型的社交媒體，任何

2、人都可以隨時(shí)隨地通過(guò)Web、手機(jī)網(wǎng)絡(luò)、API將自己所見所聞發(fā)送出去。與傳統(tǒng)媒體相比，微博的這種低門檻性、操作簡(jiǎn)單性決定了微博更可以占據(jù)信息發(fā)布的制高點(diǎn)，也由此造成發(fā)布的微博數(shù)據(jù)量大，用戶想從數(shù)以萬(wàn)計(jì)的博文中獲取有價(jià)值的地區(qū)事件信息，逐條閱讀微博數(shù)據(jù)造成時(shí)間浪費(fèi)，若針對(duì)官方微博中的地區(qū)微博進(jìn)行聚類然后形成事件摘要，將大大提高用戶獲取地區(qū)事件信息的效率，縮短用戶閱覽和理解博文信息的時(shí)間，并且地區(qū)官方微博數(shù)據(jù)很容易從新浪微博提供的應(yīng)用程序接口

3、（API)中爬取，因此對(duì)地區(qū)官方微博數(shù)據(jù)進(jìn)行自動(dòng)摘要技術(shù)研究具有重要意義。
　　目前針對(duì)地區(qū)官方微博自動(dòng)摘要研究還很少，并且地區(qū)官方微博在形成摘要時(shí)存在著如下挑戰(zhàn)：1）地名別稱及地區(qū)不同層級(jí)劃分；2）混雜了除本地區(qū)外的事件信息；3）地區(qū)標(biāo)簽屬性突顯等特征，因此本文針對(duì)以上挑戰(zhàn)問(wèn)題提出了基于后綴樹算法的地區(qū)微博摘要技術(shù)研究。首先，對(duì)地區(qū)官方微博數(shù)據(jù)進(jìn)行預(yù)處理將不是本地區(qū)事件信息的微博過(guò)濾掉以及利用地區(qū)權(quán)值樹和知網(wǎng)(HowNet)對(duì)地

4、區(qū)微博數(shù)據(jù)進(jìn)行地區(qū)別稱、語(yǔ)義相似度替換，將意思同樣的詞匯進(jìn)行統(tǒng)一，為更好的完成事件聚類；其次，利用后綴樹聚類算法(Suffix Tree Clustering，STC)和奇異值分解(Singular Value Decomposition，SVD)對(duì)地區(qū)微博進(jìn)行事件聚類；然后，結(jié)合地區(qū)微博的特征對(duì)其聚類后的微博句子進(jìn)行綜合打分，選取權(quán)值高有代表性的句子生成摘要；最后，以人工提取的地區(qū)事件摘要為測(cè)評(píng)標(biāo)準(zhǔn)，測(cè)評(píng)本文方法和已有的自動(dòng)摘要方法對(duì)