Web資源質(zhì)量信息提取與管理技術(shù)的研究與實現(xiàn).pdf

1、隨著Web成為世界上最大、類型最齊全的海量信息庫，以企業(yè)運營分析決策為主的商務(wù)智能發(fā)展到了一個新的層次。Web作為商務(wù)智能系統(tǒng)至關(guān)重要的數(shù)據(jù)來源，但是Web數(shù)據(jù)在質(zhì)量上還存在著諸多問題，如何從互聯(lián)網(wǎng)中快速高效的獲得高質(zhì)量信息成為迫切需要解決的問題，Web資源質(zhì)量挖掘應(yīng)運而生。本選題針對Web資源質(zhì)量挖掘的數(shù)據(jù)源問題，解決對Web質(zhì)量評測數(shù)據(jù)的提取與集成，構(gòu)建Web資源質(zhì)量數(shù)據(jù)倉庫，對將來開展基于Web資源質(zhì)量數(shù)據(jù)Cube的OLAP分析和

2、Web資源質(zhì)量數(shù)據(jù)的離群點檢測等工作有著重要意義。
　　 本文首先通過對現(xiàn)有的Web數(shù)據(jù)提取技術(shù)的分析與研究，設(shè)計并實現(xiàn)一個基于HTML結(jié)構(gòu)的Web數(shù)據(jù)提取系統(tǒng)。整個系統(tǒng)由頁面預(yù)處理、網(wǎng)頁聚類、規(guī)則生成和數(shù)據(jù)提取四個模塊構(gòu)成：預(yù)處理模塊中采用HtmlCleaner工具對頁面進行清洗，將頁面文檔轉(zhuǎn)換為XML格式并解析為DOM樹；網(wǎng)頁聚類模塊中通過STM算法計算頁面相似度，然后根據(jù)標(biāo)簽樹的距離對Web頁面進行聚類；規(guī)則生成模塊采用X