Web信息挖掘服務(wù)平臺及數(shù)據(jù)備份技術(shù)研究.pdf

1、隨著Internet的快速發(fā)展,互聯(lián)網(wǎng)上的信息越來越豐富,面對爆炸性增長的信息,我們需要采取新的技術(shù)手段來管理和挖掘互聯(lián)網(wǎng)信息。一個好的系統(tǒng)平臺是提供優(yōu)良的信息挖掘服務(wù)的基礎(chǔ),為此我們的研究集中在以下幾個方面:
　　(1)Web信息挖掘服務(wù)平臺的架構(gòu)設(shè)計;
　　(2)信息挖掘服務(wù)的功能點設(shè)計;
　　(3)平臺關(guān)鍵數(shù)據(jù)的容災(zāi)功能。
　　基于上述3點,本文所做的工作描述如下:
　　(1)提出了應(yīng)用于Web信息挖

2、掘服務(wù)平臺的架構(gòu)設(shè)計。本文基于J2EE輕量級框架設(shè)計的思想,使用軟件工程中的MVC分層模型,對系統(tǒng)的各個模塊進行劃分,實現(xiàn)了以Solr為基礎(chǔ)的高效Web信息挖掘系統(tǒng)。該系統(tǒng)為信息挖掘服務(wù)提供了一個良好的運行環(huán)境,在服務(wù)穩(wěn)定性、響應(yīng)速度和吞吐率方面都能很好地滿足實際應(yīng)用需求。同時,在二次開發(fā)中系統(tǒng)具有很高的可擴展性。
　　(2)針對Web信息挖掘的實際需要,研究了基于元信息判別的網(wǎng)頁自動分類方法,該算法充分利用網(wǎng)頁的元信息,結(jié)合傳統(tǒng)

3、的分類算法,快速準(zhǔn)確的對網(wǎng)頁進行分類;提出了一種基于元信息加權(quán)的相似度計算方法,實現(xiàn)精確的相關(guān)網(wǎng)頁推薦服務(wù);采用基于相關(guān)詞典的查詢擴展技術(shù),達到向用戶進行信息推送的效果。有關(guān)實驗表明,本文提出的方法在實現(xiàn)Web信息挖掘服務(wù)方面均達到了實際可用的效果。
　　(3)研究典型的數(shù)據(jù)備份及恢復(fù)技術(shù),針對實際需求,為了保證整個系統(tǒng)數(shù)據(jù)的完整性和可用性,本文使用了冗余備份技術(shù)來實現(xiàn)數(shù)據(jù)容災(zāi),其中,采用基于增量異步復(fù)制技術(shù)實現(xiàn)全文索引庫備份;采