WEB個(gè)性化信息采集與管理關(guān)鍵技術(shù)研究.pdf

1、根據(jù)國家信息產(chǎn)業(yè)部對振興軟件業(yè)和推動(dòng)社會服務(wù)信息化的具體要求，以及政府、企事業(yè)單位對WEB個(gè)性化信息采集與管理的需求，Web信息服務(wù)行業(yè)已成為目前最熱門的行業(yè)之一。然而面對目前通用搜索引擎的諸多缺陷，使得人們不再滿足于充當(dāng)關(guān)鍵詞的提供者，因此用戶如何參與到WEB個(gè)性化信息采集與管理，并提供智能化、個(gè)性化、語義化的信息服務(wù)已成為人們的迫切需求?；谌藗兊钠惹行枨?，本文針對WEB個(gè)性化信息采集與管理的相關(guān)技術(shù)進(jìn)行研究，主要研究工作包括以下幾

2、個(gè)方面：
　?。?）分析信息源結(jié)構(gòu)，提出一種基于網(wǎng)絡(luò)爬蟲、元搜索引擎、深網(wǎng)搜索三種搜索策略的WEB信息采集方法；然后分析網(wǎng)頁結(jié)構(gòu)，根據(jù)個(gè)性化定制內(nèi)容，提出一種基于雙重凈化的網(wǎng)頁主題內(nèi)容提取方法，從而達(dá)到WEB信息個(gè)性化采集的目的。
　?。?）分析網(wǎng)頁的HTML結(jié)構(gòu)特點(diǎn)，提出一種根據(jù)用戶偏好進(jìn)行網(wǎng)頁去重和凈化算法。通過抽取網(wǎng)頁要素中用戶偏好的短語來抽取網(wǎng)頁的內(nèi)容，根據(jù)學(xué)習(xí)的網(wǎng)頁內(nèi)容設(shè)置興趣庫，利用經(jīng)典邏輯推理推測出它們的相似度

3、來判斷網(wǎng)頁的重復(fù)度。實(shí)驗(yàn)結(jié)果表明，該方法能夠完成針對中文內(nèi)容網(wǎng)頁的去重，并得到相對較高的查全率和查準(zhǔn)率。
　?。?）針對企事業(yè)單位關(guān)注的網(wǎng)絡(luò)評論，提出一種基于語言學(xué)結(jié)構(gòu)的情感傾向識別模型，即：固定情感詞元模型。該方法利用基于固定情感詞元的三種特定搭配模式來構(gòu)造識別算法，通過基于增量的tf-idf 模型的相關(guān)用戶反饋不斷更新特征詞元集合，通過與傳統(tǒng)的情感識別方法相比較，可以得到較為明顯地提高情感分類的效率和準(zhǔn)確率。
　?。?）

4、分析用戶的搜索行為，提出一種用戶搜索行為預(yù)測模型：ARIMA-SVM模型。該方法首先將一段時(shí)間內(nèi)特定用戶使用搜索的行為記錄視為有序的隨機(jī)序列，通過特征選擇和文檔表示的方法抽取搜索行為特征并進(jìn)行標(biāo)記，然后利用ARIMA時(shí)序分析方法來近似描述這一期的搜索行為記錄，從而預(yù)測下一期的用戶搜索行為，最后采用基于RBF核的SVM分類器去除噪聲提高預(yù)測精確度。實(shí)驗(yàn)測試表明，新方法能夠糾正預(yù)測用戶行為的方向，與ARIMA模型相比，具有更好的預(yù)測性能。<