公開信息搜集方法研究與實現(xiàn).pdf

1、因特網(wǎng)是一個基于TCP/IP協(xié)議連接各國、各機構(gòu)成千上萬計算機網(wǎng)絡(luò)的通信網(wǎng)，集各種信息資源于一體，海量的信息源令傳統(tǒng)載體望塵莫及。由于政府、機構(gòu)、企業(yè)和個人都可以在網(wǎng)上發(fā)布信息，因此它成為無所不有的龐雜信息源。目前，在因特網(wǎng)上僅數(shù)據(jù)庫就有上百萬種，其他信息更是難以計數(shù)，這些資源在數(shù)量和增長速度上是其他任何環(huán)境下的信息資源所無法比擬的。隨著計算機技術(shù)的發(fā)展和因特網(wǎng)的普及，Web數(shù)據(jù)變得越來越重要。在公開信息搜集領(lǐng)域，因特網(wǎng)正成為一個新的公

2、開信息搜集對象，但由于因特網(wǎng)數(shù)據(jù)及應(yīng)用的特殊性，使得傳統(tǒng)的公開信息搜集方法不能直接應(yīng)用于這個新對象，而以數(shù)據(jù)挖掘為基礎(chǔ)發(fā)展起來的Web挖掘是解決此矛盾的一種新方法，將其引入到公開信息的搜集中正是本文研究的目的和意義所在。
　　論文分析和總結(jié)了因特網(wǎng)信息的特點及當(dāng)前常用的公開信息搜集方法，在此基礎(chǔ)上，通過對Web內(nèi)容挖掘、使用挖掘、結(jié)構(gòu)挖掘方法及其在公開信息搜集中的應(yīng)用研究，充分證明了Web挖掘方法可以有效地提高公開信息搜集的質(zhì)量和

3、效率。首先，在Web內(nèi)容挖掘中，針對Web文本的特征，對其挖掘流程進行了詳細(xì)的闡述，研究了文本挖掘過程中的特征提取算法，重點分析了傳統(tǒng)TFIDF算法，指出了傳統(tǒng)TFIDF算法沒有考慮詞條在文本內(nèi)分布情況的不足，并在此基礎(chǔ)上提出了加權(quán)TFIDF改進算法，通過實驗驗證了改進后的算法可以有效地提高文本的查準(zhǔn)率和查全率；在Web使用挖掘中，論文研究了Web使用挖掘的預(yù)處理過程，以實驗驗證了其有效性，并在經(jīng)過預(yù)處理的日志數(shù)據(jù)之上通過實驗使用類Ap