相關(guān)實體抽取和主頁及支持文檔查找研究.pdf

1、隨著Internet的高速發(fā)展，Web已經(jīng)形成一個規(guī)模龐大種類繁多的信息資源庫。實體抽取是從Web海量數(shù)據(jù)中快速準確地提取有效信息，目前成為國內(nèi)外信息處理、問答系統(tǒng)和實體檢索研究的熱點和重點，同時也成為歷屆國際著名評測會議TREC主要研究目標之一。TREC Entity2011的相關(guān)實體查找(REF)子任務(wù)要解決的核心問題，即通過給出源實體及其主頁、目標實體類型以及源實體和目標實體間的自然語言關(guān)系描述，找出源實體的所有目標實體。本文建立

2、了一個包括文檔檢索、實體名抽取、實體名篩選、實體名排序以及實體主頁和支持文檔查找等多階段的相關(guān)實體查找系統(tǒng)模型框架，采用自然語言處理技術(shù)和命名實體識別方法，從海量文本數(shù)據(jù)中抽取相關(guān)實體及查找主頁和支持文檔來滿足輸入查詢，從而高效地完成TREC評測任務(wù)并取得國際排名第二的成績。
　　 本文主要包含了以下幾個研究方面:
　　 1.在實體抽取階段提出了一個計算實體名排序得分的算法。該方法綜合考慮了實體TF-IDF權(quán)重、網(wǎng)頁排序

3、、源實體和目標實體之間的置信度以及多關(guān)鍵字等因素，通過這些因素的線性加權(quán)組合成為計算實體名得分的標準公式，并將相關(guān)候選實體得分大小作為按序排列實體名的依據(jù)，TREC Entity2011相關(guān)實體查找任務(wù)測試結(jié)果表明，該方法具有良好的效果，在實驗結(jié)果中MAP指標達到了0.1266。
　　 2.在主頁查找階段提出了一種基于權(quán)威頁面和頁面特征的主頁識別算法。該方法通過在ClueWeb09 API和Google中輸入目標實體名檢索出前1