面向論壇頁(yè)面的增量搜集技術(shù)研究.pdf

1、網(wǎng)絡(luò)論壇是用戶創(chuàng)建和討論話題的平臺(tái)，每天都有數(shù)以百萬(wàn)的用戶發(fā)表各種話題。論壇數(shù)據(jù)通常包含大量高價(jià)值的知識(shí)和信息，已經(jīng)成為重要的數(shù)據(jù)源。有些商業(yè)搜索引擎利用論壇數(shù)據(jù)來(lái)改善搜索結(jié)果的質(zhì)量，還有些研究試圖從論壇數(shù)據(jù)中挖掘有用的信息。無(wú)論何種web應(yīng)用，最基本的步驟是從各種論壇站點(diǎn)中抓取數(shù)據(jù)，建立本地網(wǎng)頁(yè)庫(kù)，并維持對(duì)本地網(wǎng)頁(yè)庫(kù)的增量搜集。
　　 增量搜集技術(shù)的核心理論依據(jù)是網(wǎng)頁(yè)的變化規(guī)律和以此為基礎(chǔ)的最優(yōu)化調(diào)度策略。論壇站點(diǎn)有一些不同于

2、通常站點(diǎn)的特征：結(jié)構(gòu)復(fù)雜且存在許多重復(fù)鏈接；較長(zhǎng)的帖子分布在多個(gè)頁(yè)面上，鏈接深度大；論壇的內(nèi)容變化更加頻繁而且內(nèi)容增量式更新。傳統(tǒng)增量搜集技術(shù)以單個(gè)頁(yè)面作為基本調(diào)度單位，研究的是單個(gè)頁(yè)面的變化規(guī)律，并不適于對(duì)論壇數(shù)據(jù)進(jìn)行增量搜集。
　　 本文主要研究論壇的增量搜集問(wèn)題，主要貢獻(xiàn)有以下幾點(diǎn)：
　　 1.在論壇中屬于同一主題的信息通常分布在多個(gè)頁(yè)面上，本文摒棄傳統(tǒng)增量搜集技術(shù)中以單個(gè)頁(yè)面為增量搜集的基本單位的做法，將屬于同一

3、信息的頁(yè)面集合作為增量搜集的基本單位。頁(yè)面集合主要有兩種類型：屬于同一版塊的頁(yè)面集合和屬于同一帖子的頁(yè)面集合。
　　 2.通過(guò)對(duì)論壇結(jié)構(gòu)的觀察和對(duì)版塊變化規(guī)律的統(tǒng)計(jì)分析，提出了基于版塊的論壇增量搜集策略。策略主要包含兩種算法：
　　 1).基于版塊的增量抓取算法：在大多數(shù)論壇中，版塊頁(yè)面即帖子列表頁(yè)中的帖子是按照最后回復(fù)時(shí)間進(jìn)行排序列表，即新發(fā)布的帖子或者有新回復(fù)的帖子會(huì)排列在帖子列表的前部。增量抓取算法利用MDR自動(dòng)抽

4、取算法，抽取列表頁(yè)中的帖子鏈接和最后回復(fù)時(shí)間，然后判斷是否為新發(fā)布帖子或者有新回復(fù)的帖子。
　　 2).基于版塊的增量調(diào)度算法：通過(guò)對(duì)版塊頁(yè)面集合變化規(guī)律的統(tǒng)計(jì)分析，發(fā)現(xiàn)不同的版塊內(nèi)容變化頻率相差很大，并且版塊的變化頻率與當(dāng)天的局部時(shí)間相關(guān)，具有局部時(shí)間規(guī)律。算法根據(jù)變化頻率為不同的版塊賦予不同的權(quán)重，然后根據(jù)權(quán)重分配版塊的抓取次數(shù)，同時(shí)根據(jù)版塊變化的局部時(shí)間規(guī)律，確定每次的抓取時(shí)間點(diǎn)。
　　 實(shí)驗(yàn)結(jié)果表明本策略的帶競(jìng)利