基于主題的互聯(lián)網(wǎng)信息抓取研究.pdf

1、互聯(lián)網(wǎng)信息抓取是利用計(jì)算機(jī)自動(dòng)從互聯(lián)網(wǎng)中獲取信息的方法，在搜索引擎，情報(bào)收集系統(tǒng)中得到廣泛應(yīng)用。傳統(tǒng)抓取技術(shù)主要研究對(duì)全網(wǎng)數(shù)據(jù)抓取策略的調(diào)優(yōu)，以保證信息的新鮮度。但是全網(wǎng)抓取會(huì)導(dǎo)致信息處理深度不夠，專業(yè)性不強(qiáng)，無法滿足企業(yè)的信息需求;而且大多數(shù)中小型企業(yè)并沒有足夠的計(jì)算資源支持全網(wǎng)信息抓取，所以基于主題的抓取系統(tǒng)應(yīng)運(yùn)而生。隨著聚焦爬蟲概念的提出，基于特定主題的抓取系統(tǒng)研究開始受到研究者的關(guān)注。如何使用最少的計(jì)算資源，抓取到盡可能多的主題

2、相關(guān)頁(yè)面是主題抓取系統(tǒng)面臨的主要挑戰(zhàn)。其中涉及到三個(gè)關(guān)鍵的問題:1）如何定義用戶主題;2）如何進(jìn)行網(wǎng)頁(yè)主題判斷;3）如何預(yù)測(cè)待抓取URL的主題相關(guān)性，并制定相應(yīng)的抓取策略。
　　本文深入研究了基于主題的互聯(lián)網(wǎng)信息抓取技術(shù)，分析了其中的關(guān)鍵問題，并提出了相應(yīng)的解決方案，主要貢獻(xiàn)如下:
　　1)針對(duì)主題抓取系統(tǒng)的三個(gè)特點(diǎn):主題需求的開放性，主題聚焦的層次性和主題信息的局部性，提出了基于主題知識(shí)庫(kù)的互聯(lián)網(wǎng)主題信息抓取框架。圍繞主題

3、知識(shí)庫(kù)，提供了綜合主題需求表達(dá)方式，知識(shí)學(xué)習(xí)流程和網(wǎng)頁(yè)主題判斷方法。通過主題富饒域挖掘模塊進(jìn)一步優(yōu)化抓取效率。
　　2)針對(duì)主題表達(dá)的開放性和動(dòng)態(tài)性問題，提出了基于穩(wěn)定詞集的主題需求封閉流程，并在此基礎(chǔ)上進(jìn)一步提出了基于迭代式擴(kuò)展-過濾框架的穩(wěn)定詞集構(gòu)造方法。通過頻繁項(xiàng)挖掘和LDA分析兩種方法對(duì)核心主題詞進(jìn)行擴(kuò)展，并使用知識(shí)庫(kù)對(duì)擴(kuò)展詞集進(jìn)行過濾。實(shí)驗(yàn)表明此方法獲得的穩(wěn)定詞集具有較強(qiáng)的主題代表性。
　　3)針對(duì)主題聚焦的層次性

4、問題，提出了基于本體的網(wǎng)頁(yè)主題判斷算法，并應(yīng)用于主題爬蟲。利用本體中的概念以及概念間的位置關(guān)系，對(duì)網(wǎng)頁(yè)信息進(jìn)行主題降維，并通過本體綜合加權(quán)提高主題判斷的準(zhǔn)確性，從而提高主題抓取的收獲率。通過實(shí)驗(yàn)與其他的降維方法進(jìn)行比較，證明了利用本體進(jìn)行主題降維的有效性。
　　4)針對(duì)互聯(lián)網(wǎng)信息的主題局部性特點(diǎn)，提出了基于主題富饒域的抓取策略。主題富饒域優(yōu)先(TRDF)算法根據(jù)主題濃度將主題域分為三個(gè)不同集合，針對(duì)不同集合采取差序化抓取策略。實(shí)驗(yàn)