基于統(tǒng)計滾雪球模型的知識挖掘理論與方法.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，互聯(lián)網(wǎng)已成為一個巨大的信息源，其中含有大量的關(guān)于現(xiàn)實世界命名實體的信息。這些命名實體包括機構(gòu)、地點和人物等，既涵蓋了名人也涉及日常生活中的普通人。命名實體搜索引擎從大量的網(wǎng)頁中挖掘出命名實體，并總結(jié)出與用戶查詢的命名實體相關(guān)的知識，直接返回給用戶。與普通搜索引擎返回的非結(jié)構(gòu)化網(wǎng)頁相比，這種搜索引擎更快捷、更直觀，已成為工業(yè)界和學(xué)術(shù)界關(guān)注的熱點之一。
　　 要構(gòu)建既快又準的命名實體搜索引擎，就必須對命名實

2、體知識進行深度挖掘。從網(wǎng)頁中自動識別命名實體、對命名實體進行摘要和為命名實體建立聯(lián)系并挖掘出其關(guān)系是實體知識挖掘的三個關(guān)鍵科學(xué)問題。本文圍繞構(gòu)建命名實體搜索中的這三個科學(xué)問題展開了深入的研究，提出了一個基于統(tǒng)計學(xué)習(xí)的自學(xué)習(xí)模型——統(tǒng)計滾雪球模型，彌補了現(xiàn)有自學(xué)習(xí)模型的不足。具體來說，本文的主要研究內(nèi)容和創(chuàng)新之處如下：
　　 1.分析互聯(lián)網(wǎng)搜索的需求，充分調(diào)研了互聯(lián)網(wǎng)知識挖掘的特點，重點討論了基于自然語言特征的有監(jiān)督學(xué)習(xí)模型和基于

3、模板的自學(xué)習(xí)模型的知識挖掘算法；分析了這兩類方法的基本思想，討論了每類模型代表性的工作，并發(fā)現(xiàn)了其中的不足之處。
　　 2.提出了一種基于自學(xué)習(xí)的關(guān)系抽取模型：統(tǒng)計滾雪球模型。該模型使用基于統(tǒng)計的模板評價函數(shù)替代傳統(tǒng)的基于手動構(gòu)造的模板評價函數(shù)，使之能采用更高效的模板特征；同時采用馬爾可夫邏輯網(wǎng)絡(luò)作為底層的統(tǒng)計模型，從而融入各級關(guān)系聯(lián)合抽取，充分地利用信息達到提高抽取性能的目的。
　　 在互聯(lián)網(wǎng)真實數(shù)據(jù)上的關(guān)系抽取實驗表

4、明，相對于傳統(tǒng)的自學(xué)習(xí)方法，統(tǒng)計滾雪球方法能在保持相同準確率的前提下，明顯提升抽取的召回率。
　　 3.提出了一種迭代式命名實體識別和關(guān)系抽取的聯(lián)合抽取模型。該模型擴展了實體識別的條件隨機場模型，將基于關(guān)系抽取的特征加入到實體識別的過程中，從而提高實體識別的性能；同時采用迭代挖掘的方法，在命名實體識別和關(guān)系抽取兩個任務(wù)之間建立聯(lián)系，使各自的結(jié)果能被另一個任務(wù)在決策時使用。在互聯(lián)網(wǎng)真實數(shù)據(jù)下的實驗表明，相對于傳統(tǒng)的順序式知識挖掘模

5、型，聯(lián)合挖掘模型對實體識別和關(guān)系抽取任務(wù)的性能都有較大提高。
　　 4.提出了一種基于統(tǒng)計滾雪球模型的命名實體摘要模型：摘要滾雪球。該模型充分利用互聯(lián)網(wǎng)數(shù)據(jù)中命名實體的事實與摘要之間的對偶性，同時完成命名實體的事實挖掘與摘要排序；同時采用自學(xué)習(xí)統(tǒng)計滾雪球框架，可以從少量種子出發(fā)，迭代式地同時增加命名實體事實與摘要。在互聯(lián)網(wǎng)真實數(shù)據(jù)上的實驗和用戶調(diào)研表明，該模型在事實挖掘與摘要排序問題上都取得了明顯改進，也證明了統(tǒng)計滾雪球模型具有