面向智能服務(wù)的Web內(nèi)容計(jì)算研究與應(yīng)用.pdf

1、WEB是人們獲取信息與知識的重要途徑，它的海量性、多樣性、動態(tài)性和半結(jié)構(gòu)化等特性增加了其信息進(jìn)行自動處理的難度，也吸引了研究者的興趣。如何從大量的信息中發(fā)現(xiàn)用戶感興趣的信息是目前因特網(wǎng)信息搜索研究的課題：如何將WEB上豐富的信息轉(zhuǎn)化為有用的知識是WEB挖掘和WEB知識發(fā)現(xiàn)的任務(wù)：如何使用戶獲取個性化信息，從而使WEB提供更多的服務(wù)功能是WEB智能需要解決的問題。目前WEB信息數(shù)據(jù)大致可以分為三類：內(nèi)容數(shù)據(jù)(ContentData)、訪問

2、數(shù)據(jù)(UsageData)和結(jié)構(gòu)數(shù)據(jù)(StructureData)，因此也形成WEB研究的三個大的方向：WEB內(nèi)容挖掘、WEB訪問挖掘和WEB結(jié)構(gòu)挖掘。WEB的信息載體主要是WEB頁面，它的內(nèi)容包含顯示的數(shù)據(jù)、標(biāo)記和超鏈接?；赪EB內(nèi)容的計(jì)算就是以WEB頁面為對象，研究WEB的信息提取、WEB的信息檢索和WEB智能服務(wù)等涉及到的問題。本文在綜合了WEB內(nèi)容計(jì)算的研究基礎(chǔ)上，重點(diǎn)研究并取得如下創(chuàng)新性成果： (1)提出了一種增量式

3、挖掘方法iFP-Growth，使傳統(tǒng)的FP-Growth方法適應(yīng)于Web動態(tài)數(shù)據(jù)環(huán)境的關(guān)聯(lián)規(guī)則挖掘。 Web頁面數(shù)據(jù)的半結(jié)構(gòu)化、不規(guī)則性和動態(tài)更新等特征，使得基于Web內(nèi)容的數(shù)據(jù)挖掘研究具有一定的復(fù)雜性。本文總結(jié)了多種從Web頁面中提取半結(jié)構(gòu)化數(shù)據(jù)的理論與方法，針對Web內(nèi)容數(shù)據(jù)的特點(diǎn)，提出的增量式挖掘方法iFP-Growth，使傳統(tǒng)的FP-Growth方法適應(yīng)于動態(tài)數(shù)據(jù)環(huán)境的關(guān)聯(lián)規(guī)則挖掘。并以中國汽車市場網(wǎng)為例，挖掘消費(fèi)者對不

4、同類別、不同型號、不同價格轎車的購買偏好。 (2)提出一種基于句子相關(guān)度的文本自動分類模型TCSC) 針對中文WEB文檔集的分類和聚類等WEB信息檢索(IR)課題中需要進(jìn)行中文分詞和詞的多義性問題，利用語料庫，提出了一種基于句子的文本特征選擇，利用訓(xùn)練文本自動生成類別語料庫，根據(jù)句內(nèi)詞元的類別相關(guān)性和句子位置信息，給出了基于句子類別相關(guān)度矩陣的文本分類方法，從而在分類階段避免了分詞處理，同時該方法對于詞的多義性具有不敏感

5、性。 (3)給出了一種智能比較網(wǎng)站的結(jié)構(gòu)和構(gòu)建方法，并實(shí)現(xiàn)了一個農(nóng)產(chǎn)品價格比較站點(diǎn)，利用數(shù)據(jù)挖掘方法提供Web的智能服務(wù)。 本文分析了比較網(wǎng)站的結(jié)構(gòu)、原理和實(shí)現(xiàn)的方法，提出一種特征向量距離算法用于ROI的自動定位和分割，利用HTML結(jié)構(gòu)分析法建立HTML標(biāo)記樹實(shí)現(xiàn)Web信息的提取。并依托國內(nèi)幾個主要的農(nóng)產(chǎn)品網(wǎng)站提供的價格信息，設(shè)計(jì)了一個農(nóng)產(chǎn)品價格比較站點(diǎn)，實(shí)現(xiàn)了信息的自動獲取、整合，并在此基礎(chǔ)上利用數(shù)據(jù)挖掘的方法提供更智