標(biāo)簽樹(shù)模板在網(wǎng)頁(yè)關(guān)鍵信息抽取及話(huà)題識(shí)別中的應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展,人們通過(guò)網(wǎng)頁(yè)分享與交流著大量的信息,如何快速全面準(zhǔn)確地獲取互聯(lián)網(wǎng)上的信息,成為人們迫切關(guān)心的問(wèn)題。網(wǎng)頁(yè)話(huà)題識(shí)別研究將為網(wǎng)頁(yè)搜索與檢索、經(jīng)濟(jì)決策、人類(lèi)社會(huì)學(xué)、網(wǎng)絡(luò)內(nèi)容安全等研究領(lǐng)域提供了有效的方法。本文探討了利用標(biāo)簽樹(shù)模型提取結(jié)構(gòu)化記錄的網(wǎng)頁(yè)信息提取技術(shù),結(jié)合網(wǎng)頁(yè)結(jié)構(gòu)特征,進(jìn)行網(wǎng)頁(yè)話(huà)題識(shí)別研究的方法體系。
　　 本文介紹了網(wǎng)頁(yè)文檔話(huà)題識(shí)別技術(shù)的發(fā)展歷史與相關(guān)技術(shù),這是一種基于網(wǎng)頁(yè)信息抽取、以數(shù)據(jù)挖掘?yàn)榛A(chǔ)的話(huà)

2、題識(shí)別方法。
　　 從半結(jié)構(gòu)化的網(wǎng)頁(yè)中提取信息是一項(xiàng)有趣而具有挑戰(zhàn)性的工作,也為互聯(lián)網(wǎng)搜索、信息檢索和網(wǎng)頁(yè)挖掘提供了基礎(chǔ)。許多網(wǎng)站具備后臺(tái)數(shù)據(jù)庫(kù),其網(wǎng)頁(yè)是通過(guò)動(dòng)態(tài)網(wǎng)頁(yè)生成技術(shù),在網(wǎng)頁(yè)HTML模板內(nèi)加入數(shù)據(jù)記錄而生成的。本文利用了標(biāo)簽樹(shù)結(jié)構(gòu),對(duì)網(wǎng)頁(yè)HTML進(jìn)行解析,并且通過(guò)樹(shù)的相似度計(jì)算,提取網(wǎng)頁(yè)中HTML的標(biāo)簽樹(shù)模板。進(jìn)而我們可以通過(guò)標(biāo)簽樹(shù)模板,提取HTML中的非模板內(nèi)容。最后分析HTML中非模板內(nèi)容的重復(fù)模式,并利用一些啟發(fā)式

3、規(guī)則,網(wǎng)頁(yè)文檔的記錄模式與記錄內(nèi)容將被提取出來(lái)。實(shí)驗(yàn)證明,這是一個(gè)有效的網(wǎng)頁(yè)信息提取的方法,特別是對(duì)于新聞網(wǎng)站與BBS網(wǎng)站的網(wǎng)頁(yè)。
　　 本文進(jìn)一步探討了如何利用網(wǎng)頁(yè)中提取的文本,結(jié)合網(wǎng)頁(yè)結(jié)構(gòu)特征,例如文本樣式、字體、位置和鏈接,改進(jìn)了以詞頻-逆文本頻率為權(quán)重計(jì)算方法的向量空間模型,采用層次聚類(lèi)方法,進(jìn)行網(wǎng)頁(yè)話(huà)題識(shí)別的方法.
　　 最后介紹了一個(gè)網(wǎng)頁(yè)文檔話(huà)題識(shí)別的原型系統(tǒng).系統(tǒng)主要由網(wǎng)頁(yè)信息收集模塊、文檔信息解析模塊、話(huà)