Web信息采集技術(shù)在紡織面料公共服務(wù)平臺(tái)中的應(yīng)用.pdf

1、隨著中國(guó)紡織品出口量的擴(kuò)大，中國(guó)已成為世界紡織面料的主要市場(chǎng)。利用互聯(lián)網(wǎng)獲取行業(yè)信息，使面料企業(yè)在信息資源的掌控中獲得主動(dòng)，對(duì)面料企業(yè)的發(fā)展越來越重要。中國(guó)面料企業(yè)中87.5％為中小企業(yè)，限于人員素質(zhì)與資金的限制，這些企業(yè)利用互聯(lián)網(wǎng)獲取的行業(yè)信息質(zhì)量不高。建設(shè)紡織面料公共服務(wù)平臺(tái)是解決上述問題的有效途徑。紡織面料公共服務(wù)平臺(tái)整合面料工業(yè)產(chǎn)業(yè)鏈上各類資源信息，瞄準(zhǔn)世界前沿技術(shù)，為面料企業(yè)特別是中小企業(yè)提供最新原料、生產(chǎn)加工、產(chǎn)品等信息。

2、 本論文提出了一套在互聯(lián)網(wǎng)中按照面料相關(guān)主題進(jìn)行自動(dòng)提取信息并分類的解決方案，并將該方案應(yīng)用在紡織面料公共服務(wù)平臺(tái)中。該方案的流程如下：先利用網(wǎng)絡(luò)爬蟲將網(wǎng)頁下載到本地服務(wù)器；再掃描Web網(wǎng)頁源代碼，分析Web網(wǎng)頁結(jié)構(gòu)特征，提取與面料主題相關(guān)的URL并抽取網(wǎng)頁中面料主題的事實(shí)信息，將新獲取URL及該事實(shí)信息保存在中間記錄存儲(chǔ)器中；最后從中間記錄存儲(chǔ)器提取出事實(shí)信息并按照預(yù)定義的分類進(jìn)行文本分類。 為了提高網(wǎng)絡(luò)爬蟲的效率，一方

3、面通過協(xié)調(diào)器對(duì)網(wǎng)絡(luò)爬蟲抓取的URL按照一定規(guī)則進(jìn)行調(diào)度，避免了由于網(wǎng)絡(luò)爬蟲的負(fù)載不平衡造成的資源分配不均；另一方面在掃描網(wǎng)頁源代碼獲取抓取的URL的同時(shí)，根據(jù)設(shè)計(jì)的主題鏈接過濾/鏈接預(yù)測(cè)模型，對(duì)超鏈接進(jìn)行剪切與分類，按照相關(guān)鏈接采集、不相關(guān)鏈接直接丟棄的原則進(jìn)行剪枝處理，減少網(wǎng)絡(luò)蜘蛛頁面采集的工作量。經(jīng)典的向量空間模型沒有考慮特征項(xiàng)在文本集合中位置分布的不同而引起的權(quán)值差異，系統(tǒng)針對(duì)這個(gè)問題采用了改進(jìn)了的特征項(xiàng)權(quán)值的計(jì)算公式，更好的體現(xiàn)

4、了網(wǎng)頁的結(jié)構(gòu)特征。基于文檔結(jié)構(gòu)的抽取規(guī)則建立結(jié)構(gòu)層次樹時(shí)算法比較復(fù)雜、基于特征模式匹配的抽取由于定位主要依靠匹配來實(shí)現(xiàn)，抽取過程易被具有類似結(jié)構(gòu)的其它數(shù)據(jù)所干擾。為了提高信息抽取的準(zhǔn)確度與可移植性，設(shè)計(jì)了基于文檔結(jié)構(gòu)的抽取規(guī)則與基于特征模式匹配的抽取規(guī)則相結(jié)合的抽取規(guī)則，取得了良好的效果。傳統(tǒng)的K最近鄰分類方法在訓(xùn)練集數(shù)據(jù)量很大情況下，全局的最優(yōu)搜索很難實(shí)現(xiàn)。為了加速K個(gè)最近鄰的搜索，采用了一種基于K最近鄰的快速文本分類方法，它能夠保證