WEB個性化信息采集與管理關鍵技術研究.pdf

1、根據國家信息產業(yè)部對振興軟件業(yè)和推動社會服務信息化的具體要求，以及政府、企事業(yè)單位對WEB個性化信息采集與管理的需求，Web信息服務行業(yè)已成為目前最熱門的行業(yè)之一。然而面對目前通用搜索引擎的諸多缺陷，使得人們不再滿足于充當關鍵詞的提供者，因此用戶如何參與到WEB個性化信息采集與管理，并提供智能化、個性化、語義化的信息服務已成為人們的迫切需求?；谌藗兊钠惹行枨?，本文針對WEB個性化信息采集與管理的相關技術進行研究，主要研究工作包括以下幾

2、個方面：
　?。?）分析信息源結構，提出一種基于網絡爬蟲、元搜索引擎、深網搜索三種搜索策略的WEB信息采集方法；然后分析網頁結構，根據個性化定制內容，提出一種基于雙重凈化的網頁主題內容提取方法，從而達到WEB信息個性化采集的目的。
　?。?）分析網頁的HTML結構特點，提出一種根據用戶偏好進行網頁去重和凈化算法。通過抽取網頁要素中用戶偏好的短語來抽取網頁的內容，根據學習的網頁內容設置興趣庫，利用經典邏輯推理推測出它們的相似度

3、來判斷網頁的重復度。實驗結果表明，該方法能夠完成針對中文內容網頁的去重，并得到相對較高的查全率和查準率。
　?。?）針對企事業(yè)單位關注的網絡評論，提出一種基于語言學結構的情感傾向識別模型，即：固定情感詞元模型。該方法利用基于固定情感詞元的三種特定搭配模式來構造識別算法，通過基于增量的tf-idf 模型的相關用戶反饋不斷更新特征詞元集合，通過與傳統(tǒng)的情感識別方法相比較，可以得到較為明顯地提高情感分類的效率和準確率。
　?。?）

4、分析用戶的搜索行為，提出一種用戶搜索行為預測模型：ARIMA-SVM模型。該方法首先將一段時間內特定用戶使用搜索的行為記錄視為有序的隨機序列，通過特征選擇和文檔表示的方法抽取搜索行為特征并進行標記，然后利用ARIMA時序分析方法來近似描述這一期的搜索行為記錄，從而預測下一期的用戶搜索行為，最后采用基于RBF核的SVM分類器去除噪聲提高預測精確度。實驗測試表明，新方法能夠糾正預測用戶行為的方向，與ARIMA模型相比，具有更好的預測性能。<