網(wǎng)絡(luò)文本信息中的共指消歧方法及應(yīng)用.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的快速發(fā)展和網(wǎng)絡(luò)信息的不斷豐富,互聯(lián)網(wǎng)為人們的工作和生活提供了越來越多的便利。要滿足人們對網(wǎng)絡(luò)信息服務(wù)越來越高的要求,我們不僅需要從存儲、傳播和顯示等方面處理信息,更要從內(nèi)容上理解信息。目前網(wǎng)絡(luò)信息的形式已經(jīng)非常豐富,但是文本信息仍然是互聯(lián)網(wǎng)信息的重要組成部分,文本作為語言的載體,理解其內(nèi)容需要自然語言處理的相關(guān)技術(shù),而共指消歧則是其中一個非常重要的方面。網(wǎng)絡(luò)文本信息中包含著許多共指現(xiàn)象,即針對同一實(shí)體有著不同的描述,例如代

2、詞的指代和名詞的縮寫等。這些現(xiàn)象都是語言表達(dá)的常用形式,但對計算機(jī)而言理解其真正內(nèi)容卻是很難的。如果能將這些不同的實(shí)體描述加以識別并歸類,那么文本內(nèi)容將得到更準(zhǔn)確規(guī)范的整理。網(wǎng)絡(luò)文本信息的共指消歧,可以幫助計算機(jī)更準(zhǔn)確的理解信息的內(nèi)容以及用戶的需求,從而提高信息服務(wù)的質(zhì)量。
　　迄今為止,共指消歧特別是中文共指消歧,仍然是自然語言處理的研究難點(diǎn)。中文語言表達(dá)的多樣性使得中文共指消歧更為復(fù)雜。網(wǎng)絡(luò)文本信息中語言表達(dá)形式的不斷發(fā)展,也

3、增加了將共指消歧應(yīng)用到網(wǎng)絡(luò)文本信息處理中的難度。解決共指消歧的基本途徑是利用機(jī)器學(xué)習(xí)方法,其主要思想是將該問題轉(zhuǎn)換成分類問題,利用分類模型完成共指消歧。但是共指消歧問題的復(fù)雜性使得利用單個分類器得到的結(jié)果不夠理想。為此論文提出了基于多分類器投票的中文共指消歧方法。首先對訓(xùn)練數(shù)據(jù)樣例的生成方式進(jìn)行了改進(jìn),平衡了正反例的比例。通過訓(xùn)練多個分類方法,包括決策樹模型,隨機(jī)森林模型和最大熵模型,分別完成共指關(guān)系的判斷,然后投票給出最后的結(jié)果。多個

4、分類器的投票方法,修正了單分類器的判斷錯誤并中和了各分類器的優(yōu)勢,得到了更好的共指消歧結(jié)果。
　　機(jī)器學(xué)習(xí)方法的優(yōu)點(diǎn)是不需要過多語言學(xué)知識,但是利用投票方式解決中文共指消歧的結(jié)果仍不夠理想。為了更好的解決該問題,論文認(rèn)為共指現(xiàn)象是由多個子問題組成,因此提出了基于決策模型的中文共指消歧方法。論文建立了共指消歧問題的分類體系,通過該分類體系將共指消歧問題拆分成若干子問題,如名詞性短語的共指,代詞共指問題等,對每一個子問題建立了詳細(xì)的判

5、定準(zhǔn)則。同時論文利用有效的人稱識別,性別和單復(fù)數(shù)判定等先驗(yàn)知識幫助建立子問題規(guī)則集。在CoNLL-2012國際公開評測數(shù)據(jù)集上決策模型得到的結(jié)果優(yōu)于利用機(jī)器學(xué)習(xí)方法得到的結(jié)果,并在該國際評測的中文共指消歧任務(wù)中取得國內(nèi)第一,國際第二的成績。決策模型解決共指消歧的優(yōu)勢是可以快速實(shí)現(xiàn)單個子問題的解決策略,從而更方便應(yīng)用到網(wǎng)絡(luò)信息處理過程中。
　　時間信息的共指判斷是共指消歧中特定的任務(wù)。實(shí)際上所有時間信息在時間軸上是唯一定位并可以相互

6、比較的,那么時間信息的共指消歧可以幫助確定文檔在時間維度上的相關(guān)性。該方法可以應(yīng)用到網(wǎng)絡(luò)文本信息的處理中,例如搜索引擎的返回結(jié)果排序主要是基于關(guān)鍵詞匹配的程度和網(wǎng)頁自身的重要度等,針對包含時間信息修飾的查詢,忽略了查詢的時間限定作用,因此可以對該類查詢與網(wǎng)頁內(nèi)容的時間信息進(jìn)行共指消歧,調(diào)整搜索結(jié)果的排序使其更合理。為此論文提出了基于時間信息共指消歧的搜索結(jié)果排序方法。首先完成了用戶查詢中的時間信息抽取和時間信息標(biāo)準(zhǔn)化。提取用戶查詢包含的

7、事件描述特征,并根據(jù)該特征完成網(wǎng)頁中事件的定位和時間信息的提取,通過網(wǎng)頁內(nèi)容和用戶查詢的時間信息共指對比,得到搜索結(jié)果的時間相關(guān)度排序。針對包含時間信息修飾的用戶查詢,在原有的搜索結(jié)果排序基礎(chǔ)上,給出了基于時間信息共指消歧的搜索結(jié)果排序,為用戶提供更好的信息服務(wù)。
　　論文將共指消歧解決方法應(yīng)用到網(wǎng)絡(luò)新聞的事件發(fā)現(xiàn)研究中,提出了基于共指消歧的多特征組合事件發(fā)現(xiàn)方法。論文利用文本聚類方法來實(shí)現(xiàn)網(wǎng)絡(luò)新聞事件發(fā)現(xiàn)。文本聚類多是利用詞頻作

8、為特征,忽略了新聞事件包含的時間信息和領(lǐng)域詞典分類信息等,并且表達(dá)習(xí)慣中的共指現(xiàn)象降低了某些詞的詞頻,從而降低了文檔間的相似度。論文將時間信息和詞典信息加入文本特征,并通過共指消歧得到文本中的共指描述集合,用集合中最完整的描述替代文本中的其他描述,以此來調(diào)整文本的詞頻特征。最后計算不同特征的相似度,加權(quán)得到文本之間的相似度,以此完成事件發(fā)現(xiàn)。論文提出的方法將共指消歧研究應(yīng)用到網(wǎng)絡(luò)文本信息處理中,并考慮了網(wǎng)頁新聞中包含的多種特征。針對金融