面向互聯(lián)網(wǎng)的構件獲取技術研究.pdf

1、隨著互聯(lián)網(wǎng)應用的飛速發(fā)展，網(wǎng)絡成為資源共享的平臺，網(wǎng)頁成為信息展現(xiàn)的主要載體，如網(wǎng)絡上的構件資源—構件庫等。本文研究的目的就是從網(wǎng)絡上發(fā)現(xiàn)構件資源，下載并分析這些構件資源的載體—web頁面，然后從這些web頁面的內容中提取出構件信息并采用統(tǒng)一的描述形式存儲到本地。為此，本文首先對構件用BNF范式進行了描述，并基于此描述生成了構件存儲模型和構件描述基準文檔，為后續(xù)章節(jié)做準備，然后對網(wǎng)頁數(shù)據(jù)進行了如下處理過程：
　　 (1)采用貝葉

2、斯協(xié)調的TF-IDF算法從網(wǎng)頁內容文本、虛文本、標題文本和關鍵詞文本4個方面對網(wǎng)頁進行主題識別，選出與主題相關的網(wǎng)頁；
　　 (2)采用page rank和shark search相結合的綜合爬行策略對待爬行的URLs進行排序，從而從隊列中選擇優(yōu)先級高的URL優(yōu)先爬取，同時這種綜合策略也避免了爬行過程中出現(xiàn)主題偏移現(xiàn)象；
　　 (3)采用基于相關度和視覺特征的頁面分塊算法對經(jīng)過主題識別的網(wǎng)頁進行頁面結構分析，得到包含構件

3、信息的頁面塊；
　　 (4)從相鄰約束、特征約束、位置約束和相關度4個方面建立實體間關系矩陣，然后用改進的傳遞閉包法進行模糊聚類，得到較好的聚類效果，最后采用基于構件描述基準文檔的改進指派模型，實現(xiàn)了實體與構件存儲模型屬性項的匹配，最后生成XML文檔用來存儲抽取的構件信息。
　　 通過上述的4項關鍵技術，本文實現(xiàn)了從互聯(lián)網(wǎng)上獲取構件的探索，論文的總結與展望部分提出了對本文研究工作進一步改進的若干構想，這也是今后需要繼續(xù)研