基于大數(shù)據(jù)的勘探生產(chǎn)門(mén)戶(hù)信息推薦系統(tǒng)研究.pdf

1、隨著中國(guó)石油勘探生產(chǎn)門(mén)戶(hù)網(wǎng)站信息發(fā)布量的快速增長(zhǎng)，利用傳統(tǒng)的信息搜索技術(shù)，將會(huì)出現(xiàn)搜索結(jié)果信息量超載的問(wèn)題，用戶(hù)很難從中快速找到有價(jià)值的信息，研究基于大數(shù)據(jù)的信息推薦系統(tǒng)可以很好地解決這個(gè)問(wèn)題。
　　本論文根據(jù)勘探生產(chǎn)門(mén)戶(hù)信息的特點(diǎn)，提出了一種基于大數(shù)據(jù)分析技術(shù)的門(mén)戶(hù)信息推薦算法。該算法首先通過(guò)對(duì)門(mén)戶(hù)信息的網(wǎng)絡(luò)爬蟲(chóng)分析和分詞處理，利用 TF-IDF模型計(jì)算得到門(mén)戶(hù)網(wǎng)站每個(gè)頁(yè)面的特征詞，并對(duì)特征詞進(jìn)行聚類(lèi)分析篩選出聚類(lèi)標(biāo)簽詞；第二步

2、將用戶(hù)的瀏覽行為日志經(jīng)過(guò)三次MapReduce作業(yè)分析得出用戶(hù)特征詞；第三步將用戶(hù)特征詞與門(mén)戶(hù)網(wǎng)頁(yè)標(biāo)簽詞進(jìn)行匹配處理得到相應(yīng)的推薦結(jié)果。與此同時(shí)，推薦引擎利用基于項(xiàng)目的協(xié)同過(guò)濾推薦算法產(chǎn)生另外一組推薦結(jié)果；最后將兩組推薦結(jié)果列表排序過(guò)濾并按一定的比例混合輸出作為最終的推薦結(jié)果。
　　本論文研究的推薦系統(tǒng)使用 Hadoop等相關(guān)技術(shù)實(shí)現(xiàn)了門(mén)戶(hù)網(wǎng)站中大數(shù)據(jù)的存儲(chǔ)與處理，利用Mahout推薦引擎實(shí)現(xiàn)門(mén)戶(hù)信息的推薦，在.NET平臺(tái)上用C＃