WEB個性化信息采集與管理關(guān)鍵技術(shù)研究.pdf

1、根據(jù)國家信息產(chǎn)業(yè)部對振興軟件業(yè)和推動社會服務(wù)信息化的具體要求，以及政府、企事業(yè)單位對WEB個性化信息采集與管理的需求，Web信息服務(wù)行業(yè)已成為目前最熱門的行業(yè)之一。然而面對目前通用搜索引擎的諸多缺陷，使得人們不再滿足于充當關(guān)鍵詞的提供者，因此用戶如何參與到WEB個性化信息采集與管理，并提供智能化、個性化、語義化的信息服務(wù)已成為人們的迫切需求?；谌藗兊钠惹行枨?，本文針對WEB個性化信息采集與管理的相關(guān)技術(shù)進行研究，主要研究工作包括以下幾

2、個方面：
　　（1）分析信息源結(jié)構(gòu)，提出一種基于網(wǎng)絡(luò)爬蟲、元搜索引擎、深網(wǎng)搜索三種搜索策略的WEB信息采集方法；然后分析網(wǎng)頁結(jié)構(gòu)，根據(jù)個性化定制內(nèi)容，提出一種基于雙重凈化的網(wǎng)頁主題內(nèi)容提取方法，從而達到WEB信息個性化采集的目的。
　　（2）分析網(wǎng)頁的HTML結(jié)構(gòu)特點，提出一種根據(jù)用戶偏好進行網(wǎng)頁去重和凈化算法。通過抽取網(wǎng)頁要素中用戶偏好的短語來抽取網(wǎng)頁的內(nèi)容，根據(jù)學(xué)習(xí)的網(wǎng)頁內(nèi)容設(shè)置興趣庫，利用經(jīng)典邏輯推理推測出它們的相似度

3、來判斷網(wǎng)頁的重復(fù)度。實驗結(jié)果表明，該方法能夠完成針對中文內(nèi)容網(wǎng)頁的去重，并得到相對較高的查全率和查準率。
　　（3）針對企事業(yè)單位關(guān)注的網(wǎng)絡(luò)評論，提出一種基于語言學(xué)結(jié)構(gòu)的情感傾向識別模型，即：固定情感詞元模型。該方法利用基于固定情感詞元的三種特定搭配模式來構(gòu)造識別算法，通過基于增量的tf-idf 模型的相關(guān)用戶反饋不斷更新特征詞元集合，通過與傳統(tǒng)的情感識別方法相比較，可以得到較為明顯地提高情感分類的效率和準確率。
　?。?）

4、分析用戶的搜索行為，提出一種用戶搜索行為預(yù)測模型：ARIMA-SVM模型。該方法首先將一段時間內(nèi)特定用戶使用搜索的行為記錄視為有序的隨機序列，通過特征選擇和文檔表示的方法抽取搜索行為特征并進行標記，然后利用ARIMA時序分析方法來近似描述這一期的搜索行為記錄，從而預(yù)測下一期的用戶搜索行為，最后采用基于RBF核的SVM分類器去除噪聲提高預(yù)測精確度。實驗測試表明，新方法能夠糾正預(yù)測用戶行為的方向，與ARIMA模型相比，具有更好的預(yù)測性能。<