基于Web的商品信息抽取與融合的研究與實(shí)現(xiàn).pdf

1、隨著Internet的快速發(fā)展,互聯(lián)網(wǎng)已經(jīng)發(fā)展成為一個(gè)巨大的分布式信息空間,為用戶提供了一個(gè)極具有價(jià)值的信息源。然而,在利用搜索引擎進(jìn)行Internet信息檢索時(shí),返回的搜索結(jié)果數(shù)目非常龐大,用戶常常還是難以快速、準(zhǔn)確地從紛繁復(fù)雜的海量信息中尋找到自己所需的且比較一致的信息。Web信息抽取和數(shù)據(jù)融合是解決該問(wèn)題的重要途徑之一。Web信息抽取是對(duì)各種不同的文本包含的信息進(jìn)行結(jié)構(gòu)化處理,以定位、識(shí)別并提取出需要的信息點(diǎn),表示成一種統(tǒng)一的、結(jié)

2、構(gòu)化的形式;數(shù)據(jù)融合主要對(duì)來(lái)自多個(gè)信息源的數(shù)據(jù)進(jìn)行自動(dòng)檢測(cè)、關(guān)聯(lián)及組合等的處理,擴(kuò)展了時(shí)間上和空間上的觀測(cè)范圍,增強(qiáng)了數(shù)據(jù)的可信任度。
　　本文對(duì)Web信息抽取和數(shù)據(jù)融合進(jìn)行了深入的研究和探討,提出了一種針對(duì)商品信息的抽取方法和相應(yīng)的數(shù)據(jù)融合方法。該方法結(jié)合了Web商品信息的特點(diǎn)使用了商品信息在線抽取和權(quán)重系數(shù)法數(shù)據(jù)融合。并引入HtmlParser(網(wǎng)頁(yè)解析器)和正則表達(dá)式等技術(shù)完成了相應(yīng)的實(shí)現(xiàn)。
　　其主要研究工作如下:1

3、)給出了一種網(wǎng)頁(yè)獲取方法。此方法在Java程序中集成Google Web API實(shí)現(xiàn)網(wǎng)頁(yè)的搜索和獲取,同時(shí)通過(guò)構(gòu)造正則表達(dá)式來(lái)實(shí)現(xiàn)在已獲取的網(wǎng)頁(yè)中匹配出更多相關(guān)的網(wǎng)頁(yè),這些網(wǎng)頁(yè)將被存儲(chǔ)到本地磁盤(pán)。2)了解商品參數(shù)以建立俱全的商品參數(shù)庫(kù),結(jié)合參數(shù)庫(kù)匹配正則表達(dá)式以HtmlParser對(duì)商品信息進(jìn)行快速準(zhǔn)確的抽取。其中針對(duì)商品頁(yè)面源代碼的特點(diǎn),只需依次解析頁(yè)面中的table塊和div塊,提高了解析和判別的速度。3)對(duì)抽取出的特定數(shù)據(jù)集進(jìn)行分