基于Web信息提取的企業(yè)競(jìng)爭(zhēng)情報(bào)獲取研究.pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展和普及，網(wǎng)絡(luò)已成為人們生活中不可缺少的一部分。網(wǎng)絡(luò)中存在著各式各樣的信息，這些信息以網(wǎng)頁為載體，呈現(xiàn)在用戶面前。網(wǎng)頁中蘊(yùn)含的豐富信息為企業(yè)競(jìng)爭(zhēng)情報(bào)系統(tǒng)提供了新的情報(bào)信息來源。本論文的目的就是研究一種通用的企業(yè)競(jìng)爭(zhēng)情報(bào)獲取方式。在研究現(xiàn)有的Web信息提取技術(shù)的基礎(chǔ)上，本文提出了基于DOM樹和DBSCAN算法的Web信息提取算法，接著研究并構(gòu)建了基于Web信息提取的企業(yè)競(jìng)爭(zhēng)情報(bào)獲取模型。
　　首先，本論文全面系統(tǒng)的

2、闡述了Web信息提取和企業(yè)競(jìng)爭(zhēng)情報(bào)的研究現(xiàn)狀，介紹了企業(yè)競(jìng)爭(zhēng)情報(bào)系統(tǒng)和企業(yè)競(jìng)爭(zhēng)情報(bào)獲取的理論基礎(chǔ)，并依次介紹了本論文將使用的幾種網(wǎng)頁數(shù)據(jù)處理技術(shù)，包括網(wǎng)絡(luò)爬蟲技術(shù)、Jsoup網(wǎng)頁解析技術(shù)、DOM和DBSCAN算法。接下來詳細(xì)介紹了Web信息提取的基本概念、技術(shù)分類和評(píng)價(jià)標(biāo)準(zhǔn)。
　　其次，本論文針對(duì)互聯(lián)網(wǎng)中網(wǎng)頁結(jié)構(gòu)多樣、易變等因素，通過研究網(wǎng)頁結(jié)構(gòu)中存在的一般規(guī)律，并結(jié)合DOM樹和DBSCAN聚類算法提出了新的Web信息提取算法。并

3、詳細(xì)介紹了算法中的幾個(gè)環(huán)節(jié)，包括Web頁面預(yù)處理、構(gòu)建DOM樹及分段文本內(nèi)容獲取、基于 DBSCAN算法的網(wǎng)頁內(nèi)容提取。最后通過實(shí)驗(yàn)證明該算法能有效地獲取網(wǎng)頁中的正文文本信息，不依賴于網(wǎng)頁結(jié)構(gòu)，具有較強(qiáng)的通用性。
　　最后，針對(duì)某一行業(yè)內(nèi)的企業(yè)，基于網(wǎng)絡(luò)爬蟲技術(shù)、網(wǎng)頁解析技術(shù)和Web信息提取算法構(gòu)建企業(yè)競(jìng)爭(zhēng)情報(bào)獲取模型。該模型首先根據(jù)預(yù)留的網(wǎng)站網(wǎng)址，通過網(wǎng)絡(luò)爬蟲獲取該網(wǎng)址下的所有鏈接。然后通過網(wǎng)頁標(biāo)題來判斷網(wǎng)頁是否與行業(yè)領(lǐng)域相關(guān)，