相關(guān)實(shí)體抽取和主頁及支持文檔查找研究.pdf

1、隨著Internet的高速發(fā)展，Web已經(jīng)形成一個(gè)規(guī)模龐大種類繁多的信息資源庫。實(shí)體抽取是從Web海量數(shù)據(jù)中快速準(zhǔn)確地提取有效信息，目前成為國內(nèi)外信息處理、問答系統(tǒng)和實(shí)體檢索研究的熱點(diǎn)和重點(diǎn)，同時(shí)也成為歷屆國際著名評(píng)測會(huì)議TREC主要研究目標(biāo)之一。TREC Entity2011的相關(guān)實(shí)體查找(REF)子任務(wù)要解決的核心問題，即通過給出源實(shí)體及其主頁、目標(biāo)實(shí)體類型以及源實(shí)體和目標(biāo)實(shí)體間的自然語言關(guān)系描述，找出源實(shí)體的所有目標(biāo)實(shí)體。本文建立

2、了一個(gè)包括文檔檢索、實(shí)體名抽取、實(shí)體名篩選、實(shí)體名排序以及實(shí)體主頁和支持文檔查找等多階段的相關(guān)實(shí)體查找系統(tǒng)模型框架，采用自然語言處理技術(shù)和命名實(shí)體識(shí)別方法，從海量文本數(shù)據(jù)中抽取相關(guān)實(shí)體及查找主頁和支持文檔來滿足輸入查詢，從而高效地完成TREC評(píng)測任務(wù)并取得國際排名第二的成績。
　　 本文主要包含了以下幾個(gè)研究方面:
　　 1.在實(shí)體抽取階段提出了一個(gè)計(jì)算實(shí)體名排序得分的算法。該方法綜合考慮了實(shí)體TF-IDF權(quán)重、網(wǎng)頁排序

3、、源實(shí)體和目標(biāo)實(shí)體之間的置信度以及多關(guān)鍵字等因素，通過這些因素的線性加權(quán)組合成為計(jì)算實(shí)體名得分的標(biāo)準(zhǔn)公式，并將相關(guān)候選實(shí)體得分大小作為按序排列實(shí)體名的依據(jù)，TREC Entity2011相關(guān)實(shí)體查找任務(wù)測試結(jié)果表明，該方法具有良好的效果，在實(shí)驗(yàn)結(jié)果中MAP指標(biāo)達(dá)到了0.1266。
　　 2.在主頁查找階段提出了一種基于權(quán)威頁面和頁面特征的主頁識(shí)別算法。該方法通過在ClueWeb09 API和Google中輸入目標(biāo)實(shí)體名檢索出前1