實體識別關鍵技術的研究.pdf

1、實體識別在數(shù)據(jù)質量管理中起著重要地位。它是數(shù)據(jù)質量管理的重要研究方向。在一個或多個數(shù)據(jù)庫中，同一個現(xiàn)實世界實體可能具有多種描述方式。實體識別的目的是識別出數(shù)據(jù)集中描述同一真實世界實體的元組。實體識別的結果可以在數(shù)據(jù)質量管理的其他階段，例如數(shù)據(jù)清洗階段和數(shù)據(jù)質量評估階段，得到廣泛應用。同一實體具有不同描述的問題在各種應用領域的信息系統(tǒng)中普遍存在。由于實體識別在數(shù)據(jù)質量管理中具有重要意義，人們已經開始了實體識別的研究。盡管現(xiàn)有的方法能夠在很

2、多應用中有效的識別實體，但是還存在如下的不足：
　　1.當前的實體識別存在重名和異名的問題。重名是指描述現(xiàn)實世界不同實體的數(shù)據(jù)對象的名字相同，而異名是指描述現(xiàn)實世界中相同實體的數(shù)據(jù)對象的名字不同。目前實體識別的研究或是只解決了重名問題，即對名字相同的數(shù)據(jù)對象進行實體劃分或是只解決了異名問題，即識別出名字不同但描述相同實體的對象集合，而缺少對一般情況（即重名和異名同時存在的情況）的考慮。
　　2.傳統(tǒng)實體識別方法往往是基于元組

3、的相似性比較來獲得結果的。它們假設數(shù)據(jù)集滿足緊湊集性質，即指代同一實體的元組的相似度比指代不同實體的元組對的相似度更高。然而，在某些情況下，這樣的性質并不成立，則傳統(tǒng)的實體識別方法不能有效地識別實體。
　　3.當前實體識別方法中所采用的相似性度量并沒有考慮不同詞之間所具有的相關性以及某些描述實體重要特征的詞對識別實體的重要貢獻?；诋斍暗南嗨菩远攘糠椒?，往往不能得到有效的實體識別結果。
　　4.目前的數(shù)據(jù)質量評估只包括一致性

4、，時效性，完整性和精確性。然而通過實體識別的結果可以評估另一類數(shù)據(jù)質量問題，即指代同一真實世界中的實體的元組在各屬性上的值存在沖突的問題。我們將該問題稱為冗余數(shù)據(jù)上的實體描述沖突問題。當前尚無任何評估實體描述沖突的方法提出。
　　綜合上述分析，本文將以信息集成和互聯(lián)網搜索為背景，研究數(shù)據(jù)質量管理中實體識別的關鍵技術，以最大化實體識別結果精確度，最小化時間復雜性為目標，研究基于圖模型的實體識別框架、基于規(guī)則的實體識別算法、基于距離度

5、量的實體識別算法和基于實體識別結果對數(shù)據(jù)質量的評估。本文的主要研究成果如下：
　　(1)提出了實體識別問題中的異名和重名同時存在的現(xiàn)象，據(jù)我們所知，這是首次在實體識別問題中考慮這兩類問題同時出現(xiàn)的情況。本文提出了一種普遍適用的實體識別技術框架EIF，該框架通過將元組之間的相似性關系轉化為圖模型，從而利用圖聚類算法解決實體識別問題。基于所提出的EIF框架，本文設計了識別論文作者的算法。該算法有效地利用了作者名字和合作者信息來實現(xiàn)同時

6、具有異名問題和重名問題的論文集合上的作者識別。實驗結果表明基于EIF框架的作者識別算法的結果精確度優(yōu)于現(xiàn)有方法。
　　(2)針對某些難以用元組相似性比較來識別實體的情況，提出了利用實體描述信息所建立的規(guī)則來識別指代相同實體的元組的方法。設計了實體識別規(guī)則的語法和語義，定義并分析了實體識別規(guī)則系統(tǒng)的獨立性，一致性，完整性和有效性。提出了一種有效的規(guī)則發(fā)現(xiàn)算法和基于規(guī)則的實體識別算法，并對算法的正確性和復雜度進行了分析。最后提出了一個

7、規(guī)則更新策略。在真實數(shù)據(jù)上的實驗對所提出的算法的效率和有效性進行了驗證。
　　(3)以詞作為描述實體的特征，分別為元組對上的實體識別和元組集合上的實體識別提出了兩種基于詞特征的距離度量和距離度量的學習算法。在算法中，通過將訓練集中的元組或元組對轉換成以詞為特征的向量，利用學習算法計算出基于詞特征的距離度量。在真實數(shù)據(jù)上的擴展性實驗對我們所提出的度量學習算法的有效性進行了驗證。
　　(4)定義了實體描述沖突的數(shù)學模型。當實體識