基于網(wǎng)絡(luò)爬蟲的網(wǎng)站信息采集技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的迅速普及發(fā)展，它已經(jīng)逐漸融入人們?nèi)粘Ｉ畹姆椒矫婷?。其中Web是人們在互聯(lián)網(wǎng)上互相溝通、獲取外界信息的重要途徑。作為一個很有價值的信息來源，Web憑借其直觀便利的使用方式以及豐富的內(nèi)容表達能力，可以為用戶提供多種形式的信息，例如文本、音頻、視頻等。隨著時間的推移，互聯(lián)網(wǎng)的信息規(guī)模及其用戶群體規(guī)模也在快速增長。互聯(lián)網(wǎng)用戶的需求正在變得越發(fā)多樣化，如何為用戶快速地提供其所感興趣的信息是目前的一大難題。
　　如今自媒體已經(jīng)在

2、互聯(lián)上逐漸開始興起，并且其規(guī)模越來也龐大，其中不乏各行各業(yè)優(yōu)秀代表人物，因而開始受到越來越多的關(guān)注。因此本文提出運用一定的技術(shù)手段實現(xiàn)對百度百家這一自媒體平臺完成采集其站點內(nèi)的文章內(nèi)容。然后對所采集的文章內(nèi)容進行重新組織，以利于對這些內(nèi)容的二次利用。圍繞這一目標，本文提出了基于網(wǎng)絡(luò)爬蟲的網(wǎng)站信息采集技術(shù)的整合方案的設(shè)計與實現(xiàn)。
　　本文提出的基于網(wǎng)絡(luò)爬蟲的網(wǎng)站信息采集技術(shù)的整合方案包括信息采集、信息抽取、信息檢索這三部分。其中信息