基于迭代式SNM的實體解析方法及優(yōu)化策略的研究.pdf

1、實體解析（Entity Resolution，也稱為實體識別）是數(shù)據(jù)挖掘、信息融合等領域的難點問題，利用實體解析技術可以判斷一個或多個數(shù)據(jù)源中的不同記錄是否描述相同實體，對數(shù)據(jù)集成中產生的重復記錄進行檢測并整合，可有效地消除數(shù)據(jù)源內部以及數(shù)據(jù)源之間的數(shù)據(jù)不一致性。
　　然而，隨著互聯(lián)網的日益興起，網絡數(shù)據(jù)呈爆炸式增長，如何使實體解析技術有效地應用于更加雜亂無章的大規(guī)模數(shù)據(jù)環(huán)境中，是目前國內外數(shù)據(jù)挖掘、信息融合等領域研究學者的研究熱

2、點，其研究目標或者在于獲取較高的識別結果質量、或者在于獲取較高的實體解析效率。相應地，基于迭代的實體解析方法和基于SNM(Sorted NeighborhoodMethod，簡稱SNM即近鄰排序)的實體解析方法被分別提出:前者通過迭代式地進行實體匹配和整合來提高識別結果的質量，但該方法往往具有較高的時間復雜度;后者采用滑動窗口方法，每次只在窗口范圍內進行實體匹配，優(yōu)點是匹配效率較高，缺點是難以保證識別結果的質量。
　　針對上述問題

3、，本文提出了一種基于迭代式SNM的實體解析方法，該方法將基于迭代的實體解析方法和基于SNM的實體解析方法的優(yōu)點相結合，能夠在保證實體解析結果的質量的同時，有效地提高實體解析的效率。本文的主要工作及貢獻點如下：
　　(1)系統(tǒng)地介紹了實體解析問題的國內外研究現(xiàn)狀，簡要概括了代表性的相關工作，指出其優(yōu)缺點，并分析現(xiàn)存研究的不足之處。
　　(2)針對已有問題，提出了一種基于迭代式SNM的兩階段實體解析方法(IterativeSNM

4、-based Two-stage Entity Resolution Method，簡稱SIER)，該方法將實體解析過程分為兩個階段:第一階段基于SNM進行初始實體匹配，能夠快速地對實體進行劃分，得到初始匹配結果;第二階段通過對記錄進行迭代式比較和合并，對第一階段得到的初始匹配結果進行不斷地修正，以提高結果的召固率，同時由于每次迭代的比較范圍只在迭代窗口內進行，從而保證了實體解析的速率。
　　(3)進一步改進了SIER實體解析算法