基于RSS的新聞采集系統(tǒng)的研究與應(yīng)用.pdf

1、基于RSS的新聞采集是信息采集領(lǐng)域內(nèi)一個新興而有實用價值的方向。RSS技術(shù)作為互聯(lián)網(wǎng)上的最新技術(shù)之一，已被廣泛接受和應(yīng)用，豐富的RSS站點資源正影響著互聯(lián)網(wǎng)內(nèi)容的瀏覽利用，它通過XML標準定義內(nèi)容的包裝和發(fā)布格式，使穩(wěn)定、高效、實時、安全、低成本的新聞發(fā)布、接收和使用成為可能。論文在對RSS技術(shù)進行了深入研究的基礎(chǔ)上，針對企業(yè)信息門戶中的新聞來源多樣化、新聞采集自動化、時效性強等需求，提出了基于RSS的新聞采集系統(tǒng)的設(shè)計思路，并介紹了系

2、統(tǒng)的功能實現(xiàn)。 根據(jù)在新聞采集領(lǐng)域的長期研究以及國內(nèi)外在新聞采集領(lǐng)域的發(fā)展，本文在綜述了基本情況后，分析了現(xiàn)有新聞采集系統(tǒng)的現(xiàn)狀和不足，提出了一個基于RSS的新聞采集結(jié)構(gòu)模型，這包括RSS Feed解析、Web頁面解析、鏈接的提取及處理、任務(wù)控制等一系列算法和步驟，分別給出了相關(guān)的處理算法和流程。針對研究過程中遇到的問題，提出了多個新的算法和規(guī)律： ①在分析了RSS和XML語法的基礎(chǔ)上，給出了對RSS Feed中新聞鏈接

3、、標題、摘要等信息的提取算法； ②對RSS Feed頁面中各種鏈接進行了分析，給出了鏈接處理方法和提取流程； ③對信息采集技術(shù)進行研究，設(shè)計了利用網(wǎng)頁特征值進行定位的新聞內(nèi)容提取策略； ④在對各大新聞網(wǎng)站進行了研究分析的基礎(chǔ)上，總結(jié)出了新聞內(nèi)容在頁面中的分布規(guī)律，確定了新聞網(wǎng)頁定位的特征參數(shù)； ⑤在新聞采集控制過程中，利用多線程技術(shù)，設(shè)計了并行采集策略。 試驗結(jié)果顯示，在采集系統(tǒng)中利用RSS技術(shù)，