基于語義結(jié)構(gòu)和時序特征的話題檢測與跟蹤技術(shù)研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)在世界范圍內(nèi)的普及和發(fā)展，信息的傳播與交互方式突破了傳統(tǒng)時間與地域的限制。基于互聯(lián)網(wǎng)的這一優(yōu)勢，新聞媒體逐步將其作為新聞報道傳輸與發(fā)布的重要平臺。但是，網(wǎng)絡(luò)信息的海量化、無序性和持續(xù)拓展性制約了新聞話題的有效識別、采集和組織。如何智能化、精確化地自動挖掘新聞話題并追蹤其動態(tài)演變過程，逐漸成為網(wǎng)絡(luò)信息處理研究領(lǐng)域的重要課題。話題檢測與跟蹤(簡稱 TDT)即是針對這一課題提出的研究方向，它也為信息檢索、數(shù)據(jù)挖掘和自然語言處理等技

2、術(shù)提供了全新的多語言測試平臺。
　　本文首先針對TDT中的話題關(guān)聯(lián)檢測任務(wù)提出一種基于語義域語言模型的相關(guān)性判定方法。關(guān)聯(lián)檢測融會了篇章理解和語義分析等相關(guān)性判定的本原問題，對后續(xù)各項TDT任務(wù)的研究具有重要意義。語義域語言模型的核心思想是為報道建立凝聚于不同語義的結(jié)構(gòu)體，借以從語義層面判定報道的相關(guān)性。該研究驗證：基于語義對報道內(nèi)容進行劃分與組織有助于建立更為清晰易懂的話題模型。
　　其次，本文針對TDT中的新事件檢測任務(wù)

3、先后提出基于子話題分治匹配和基于時序話題模型的檢測方法。新事件檢測側(cè)重挖掘新聞話題的種子事件和構(gòu)建話題初始質(zhì)心，對識別話題的后續(xù)相關(guān)報道具有標桿式作用。因而，新事件檢測是后續(xù)話題跟蹤任務(wù)重要的輔助性研究?；谧釉掝}分治匹配的檢測方法繼承語義域切分的思想，將話題構(gòu)造為語義不同的多個子話題，并在話題與報道之間獨立地匹配子話題相關(guān)性，最終基于相關(guān)子話題的分布概率判定新話題首次報道。在此基礎(chǔ)上，時序話題模型將子話題的來源歸因于不同相關(guān)事件的出現(xiàn)

4、。為此，該模型將話題描述為對應(yīng)不同時間的事件集，并基于“同時同事”原則高效地匹配話題與報道的相關(guān)性。此外，時序話題模型嘗試基于時間表達式的分布屬性，挖掘話題的種子事件和新穎事件，并基于這些事件對話題演化趨勢的影響合理調(diào)整相關(guān)性匹配中的權(quán)重分配，借以提高新事件檢測的準確率。
　　再次，本文針對TDT中的自適應(yīng)話題跟蹤任務(wù)提出增量式的新穎性學(xué)習(xí)方法。話題跟蹤的主要任務(wù)是在時序新聞報道流中識別特定話題的后續(xù)相關(guān)報道。其難點在于如何根據(jù)系

5、統(tǒng)反饋自動地學(xué)習(xí)話題的演化趨勢和漂移觸發(fā)點，借以增強話題模型的跟蹤適應(yīng)性。增量式的新穎性學(xué)習(xí)方法繼承了新穎事件在描述話題演化趨勢中的重要作用，并在此基礎(chǔ)上融入突發(fā)式新穎事件的挖掘與應(yīng)用，從而進一步提高話題模型跟蹤話題漂移趨勢的能力。
　　最后，本文提出基于二元近似關(guān)系的信息過濾技術(shù)。信息過濾的根本任務(wù)是屏蔽動態(tài)信息流中的噪聲，借以更為精準地獲取相關(guān)信息。本課題將信息過濾融入TDT研究體系的原因在于，針對時序新聞報道流的檢測與跟蹤過

6、程普遍受制于噪聲的干擾。為此，本文嘗試借助概率模型的改進和數(shù)據(jù)分布特性的應(yīng)用提高噪聲過濾性能。其中，基于二元近似關(guān)系的過濾技術(shù)側(cè)重利用相關(guān)信息與噪聲異同的分布特點屏蔽概率模型中的噪聲特征。
　　總體而言，本文將TDT中的主要任務(wù)整合為相互銜接的研究架構(gòu)，逐步探索有效識別、挖掘和組織新聞信息的新方法。其中面向所有任務(wù)的研究在改進現(xiàn)有統(tǒng)計模型的基礎(chǔ)上，嘗試基于新聞信息的獨有特點設(shè)計技術(shù)路線，并取得了良好效果。盡管如此，本文的工作僅是針