基于屬性模式的實體識別框架.pdf

1、隨著社會生活的發(fā)展,企業(yè)和政府等組織機構(gòu)的數(shù)據(jù)每天都在快速增長。同時數(shù)據(jù)中的問題也越來越多,極大地降低了數(shù)據(jù)的可用性。其中實體識別問題是一個很早就困擾著數(shù)據(jù)質(zhì)量管理研究者的問題,實體識別在數(shù)據(jù)去重和錯誤修改方面研究較多,在實體查詢和高質(zhì)量的數(shù)據(jù)分析中也是重要課題?，F(xiàn)行的實體識別技術(shù)主要有基于屬性的基本特征和基于屬性關(guān)系的方法。雖然度量屬性特征的基本相似度函數(shù)已經(jīng)比較完善,但屬性特征信息有限,很難提供更多的線索?；趯傩躁P(guān)系的發(fā)方法可以發(fā)

2、現(xiàn)屬性間的內(nèi)在聯(lián)系,彌補了基于屬性特征的方法的不足。為了表示屬性間的關(guān)系,產(chǎn)生了很多模型,各種模型含有很強的領(lǐng)域知識,很難利用到其他問題上。各類實體識別問題層出不窮,若每次出現(xiàn)問題都依靠專家進行分析,建立專門的模型進行解決,效率低下。通用的系統(tǒng)還是比較少的,現(xiàn)行的框架面臨的主要困難有:1)缺乏領(lǐng)域無關(guān)的相似度計算方法;2)相似度判斷閾值很難確定,且閾值附近錯誤率較高;3)不同屬性的相似度對判斷的權(quán)重很難確定。
　　針對以上通用系統(tǒng)

3、面臨的挑戰(zhàn),本文提出了一種基于屬性模式的實體識別框架。通過對屬性與實體的關(guān)系特點進行分析,把屬性分為了四類,按類型特點提出了通用的相似度度量方法。各屬性的相似度通過向量形式組織在一起,保持了屬性間的內(nèi)在聯(lián)系,避免了對屬性的相似度的權(quán)重進行分配。判斷器是相似空間的一個劃分,通過統(tǒng)計學習形成判斷所需的信息。提出了一種新的實體關(guān)系圖,在圖上進行實體劃分。劃分過程中對修改后的實體對相似度重新計算,可以發(fā)現(xiàn)更多的實體對。系統(tǒng)還增加了反饋的功能。最