在線文檔推薦算法的研究與改進.pdf

1、隨著我國網(wǎng)民規(guī)模接近7億，互網(wǎng)聯(lián)頁面數(shù)突破2000億，信息爆炸般增長，從中獲取有效信息也變得愈加困難。因此也有了許多個性化解決方案來對互聯(lián)網(wǎng)信息進行篩選提供給人們符合所需的信息。搜索引擎和推薦系統(tǒng)便是兩種獲取信息的有效手段，前者是用戶主動查詢搜索所需內(nèi)容，但常受限于查詢格式或者內(nèi)容完整性，并不容易找到所需內(nèi)容，尤其是難以查詢視頻音頻等，且智能程度較低。而另一種方式，推薦系統(tǒng)便可以發(fā)揮優(yōu)勢，通過分析海量數(shù)據(jù)信息，分析歷史行為信息和用戶之間

2、的關系等，對用戶進行推薦，免去用戶搜索的麻煩。
　　數(shù)據(jù)是推薦系統(tǒng)的基礎。從數(shù)據(jù)中進行分析才能得到有價值的信息，尋找到其中隱藏的關系。但數(shù)據(jù)需要保證質(zhì)量，由此引出數(shù)據(jù)的清洗環(huán)節(jié)。數(shù)據(jù)清洗指將原有數(shù)據(jù)如日志文件等按規(guī)則進行預處理，使數(shù)據(jù)達到完整性一致性準確性等要求。數(shù)據(jù)清洗保障了推薦算法的準確性。
　　推薦算法是推薦系統(tǒng)的核心。傳統(tǒng)推薦算法在推薦系統(tǒng)中依舊發(fā)揮著砥柱的作用，但是對于特定數(shù)據(jù)特定系統(tǒng)，其效果并不總是理想。針對特定

3、數(shù)據(jù)進行分析，在原算法基礎上進行創(chuàng)新，通過實驗數(shù)據(jù)分析，優(yōu)化改進，往往能獲得更好的效果。
　　綜上所述，本文針對華為在線文檔推薦系統(tǒng)的工作主要如下：
　　1.首先采集數(shù)據(jù)，并對數(shù)據(jù)進行分析。然后制定數(shù)據(jù)清洗規(guī)則，按照清洗流程兌出去進行了預處理。每天新數(shù)據(jù)到來時定時啟動清洗程序，實現(xiàn)清洗自動化。
　　2.分析已有的推薦算法并做出改進。本文采用了協(xié)同過濾算法并在此基礎上改進算法，針對實驗結果進行分析，用轉(zhuǎn)移概率矩陣對原相似

4、度矩陣進行替代，并分析歷史瀏覽信息中的文檔類別間的跳轉(zhuǎn)關系，在推薦過程中根據(jù)文檔類別間跳轉(zhuǎn)比例產(chǎn)生推薦列表。最后結合熱點推薦，彌補冷啟動的缺點。改進后的算法的各項評價指標提升明顯。
　　3.將數(shù)據(jù)處理和推薦系統(tǒng)進行整合，實現(xiàn)華為在線文檔推薦系統(tǒng)，并以網(wǎng)站形式進行展示。網(wǎng)站采用 Struts2+Mysql+redis形式，框架為 Struts2，其優(yōu)點為層次清晰，維護效率高。數(shù)據(jù)庫采用了關系型數(shù)據(jù)庫Mysql和內(nèi)存數(shù)據(jù)庫redis，