基于半監(jiān)督學(xué)習(xí)的多特征大規(guī)模實體分類.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展,當(dāng)今互聯(lián)網(wǎng)上的信息量已經(jīng)十分龐大。從這些數(shù)據(jù)中構(gòu)建機(jī)器可讀的知識庫,包括世界上所有的實體、及它們精確的語義信息和關(guān)系成為非常重要的問題。
　　類似維基百科的協(xié)同編輯知識庫的出現(xiàn),給許多嘗試?yán)斫庹Z義信息的算法帶來了機(jī)會。然而維基百科中所能利用的信息大都是非結(jié)構(gòu)化的,而且它們主要是由自然語言構(gòu)成,因此容易給那些算法帶來噪聲。如果能夠自動構(gòu)建出和維基百科一樣全面,同時更加精確的實體知識庫,那么將會進(jìn)一步提高現(xiàn)有算法的能

2、力,同時讓諸如語義搜索等以往不可能的應(yīng)用成為可能。另一方面,隨著語義網(wǎng)研究的不斷深入、實用化,越來越多的企業(yè)組織開始用語義技術(shù)管理企業(yè)的數(shù)據(jù)。在定義出所需本體之后,隨即需要考慮的問題就是如何將本體填充數(shù)據(jù)。通過利用企業(yè)原本的結(jié)構(gòu)化數(shù)據(jù)庫中的數(shù)據(jù),甚至利用鏈接開放數(shù)據(jù)中相關(guān)的信息,可以快速填充高質(zhì)量的實體數(shù)據(jù)進(jìn)入本體。
　　利用什么樣的方法獲得大規(guī)模實體分類知識庫,使人工標(biāo)注代價盡可能小的同時,保證實體分類信息的質(zhì)量便是本文重點研究

3、的目的。它有三方面的挑戰(zhàn):如何從多個數(shù)據(jù)源中收集實體分類所需要的多方面特征?如何根據(jù)本體半自動獲得實體分類所需要的訓(xùn)練數(shù)據(jù)?如何有效合理的評測大規(guī)模實體分類的結(jié)果?
　　本文中將介紹一個半自動實用實體分類框架試圖應(yīng)對這些挑戰(zhàn)。它包含一個預(yù)處理階段和后續(xù)三個階段。在預(yù)處理階段中進(jìn)行多數(shù)據(jù)源的實例匹配與特征整合;第一階段中半自動的發(fā)現(xiàn)種子實體;這些種子實體作為訓(xùn)練數(shù)據(jù),在第二階段的半監(jiān)督學(xué)習(xí)中得到擴(kuò)充;第三階段是有效的參數(shù)選擇與評估,

4、同時輸出實體分類。
　　實驗表明,在中文百科數(shù)據(jù)集中,有一定量重合的實體,合并之后的數(shù)據(jù)源有著比任何單一數(shù)據(jù)源多的實體數(shù)目。匹配的實體之間的特征互相補(bǔ)充,為實體分類帶來了全面而有效的多方面特征,顯著提高了分類器的質(zhì)量。本文提出的模板選擇與優(yōu)化的方法,可以實現(xiàn)半自動的種子發(fā)現(xiàn),該方法實現(xiàn)了極高的標(biāo)注效率,并達(dá)到或接近了單獨標(biāo)注實體的效果。在實驗中,本文提出的ExCore算法能自動生成足夠多的負(fù)例,且用在分類器訓(xùn)練上時也可以達(dá)到或接近