基于鏈接路徑搜索的網(wǎng)頁命名實體提取研究.pdf

1、隨著計算機的快速普及和Internet技術(shù)的迅猛發(fā)展,網(wǎng)絡(luò)上的各種信息呈現(xiàn)指數(shù)級的增長,Web已經(jīng)成為一個巨大的信息資源庫,從海量數(shù)據(jù)中快速、高效地獲取用戶需要的信息成為了一種挑戰(zhàn)。信息抽取旨在從無結(jié)構(gòu)或半結(jié)構(gòu)的Web文本中識別出用戶感興趣的數(shù)據(jù),并將其轉(zhuǎn)化為結(jié)構(gòu)良好、語義清晰的格式,以方便快速、準確地獲取關(guān)鍵信息。命名實體提取作為信息抽取的子任務(wù)和關(guān)鍵技術(shù)之一,已引起了國內(nèi)外學者的廣泛關(guān)注。
　　針對傳統(tǒng)的命名實體提取方法需要對

2、訓練集進行一定規(guī)模的人工標注,且所處理的基本上是新聞文本,包含的命名實體類別較少,算法的復雜度較高這一問題,本文提出兩個新的網(wǎng)頁命名實體提取算法,探索最大程度地避免人工干預且高效、準確的命名實體提取方案,提高命名實體提取的自動化程度,增強可移植性。主要工作如下:
　　(1)通過分析實驗數(shù)據(jù)集中個人網(wǎng)頁的URL特征發(fā)現(xiàn),同類別個人網(wǎng)頁的URL會具有一些共同的基本特征,由此,本文將這些基本特征和每類網(wǎng)頁特有的特征結(jié)合,構(gòu)建出一個自動識

3、別個人網(wǎng)頁的分類器。
　　(2)提出一個針對人名的命名實體提取方法,該算法是基于鏈接路徑搜索的相關(guān)概念提出的,利用將錨文本和網(wǎng)頁標題結(jié)合的機制進行求解,不僅避免了僅考慮鄰近鏈接對網(wǎng)頁信息概括的不足,而且能夠高效、自動地提取人名命名實體,經(jīng)過在選取的25個網(wǎng)站的個人網(wǎng)頁上進行實驗,平均正確率達到了86.11％。
　　(3)Email命名實體提取算法采用“HttpClient”和“正則表達式”相結(jié)合的技術(shù)來實現(xiàn),通過對實驗結(jié)果統(tǒng)