基于Spark的高考推薦系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、為了解決用戶無法獲取有價(jià)值信息和信息無法被需要的用戶所利用的困境，人們提出推薦系統(tǒng)的概念。隨著大數(shù)據(jù)時(shí)代的到來，推薦系統(tǒng)也開始面臨難以處理海量數(shù)據(jù)的困境，為了走出困境，與大數(shù)據(jù)處理技術(shù)相結(jié)合是必然的趨勢(shì)。Spark作為大數(shù)據(jù)處理技術(shù)中的佼佼者，提出了 RDD的數(shù)據(jù)模型與基于內(nèi)存的計(jì)算模式，現(xiàn)已被廣泛應(yīng)用于電子商務(wù)、視頻、社交等領(lǐng)域。但在教育領(lǐng)域內(nèi)，無論是推薦系統(tǒng)還是大數(shù)據(jù)處理技術(shù)，都涉及較少。高考作為教育領(lǐng)域中的大事件，其志愿填報(bào)更是考

2、生關(guān)注的焦點(diǎn)。歷年的考生志愿錄取信息作為考生志愿填報(bào)的重要參考數(shù)據(jù)，因其數(shù)據(jù)龐大且復(fù)雜的特點(diǎn)造成其利用率極低。
　　本文將推薦系統(tǒng)與大數(shù)據(jù)處理框架Spark相結(jié)合，應(yīng)用于推薦系統(tǒng)與Spark較少涉及的教育領(lǐng)域，幫助考生解決高考志愿填報(bào)環(huán)節(jié)的志愿選擇問題。本文完成的工作有以下幾點(diǎn)：
　　（1）利用 HTML+CSS級(jí)聯(lián)樣式表+JSP的前端開發(fā)技術(shù)，設(shè)計(jì)開發(fā)了高考志愿推薦的Web前端界面。其中包括用戶注冊(cè)界面、用戶登錄界面、志愿

3、推薦結(jié)果展示界面以及相關(guān)高考信息(政策、新聞、高校信息與專業(yè)信息)的瀏覽界面。在保證本系統(tǒng)實(shí)用性和易用性的同時(shí)為用戶提供良好的交互體驗(yàn)。
　　（2）以Web前端作為用戶日志的生產(chǎn)方，設(shè)計(jì)性能良好的日志收集模塊。首先，采用Flume日志收集工具收集日志信息；其次，通過Sink組件將收集到的信息傳送給Kafka消息中間件，利用其功能對(duì)日志信息進(jìn)行統(tǒng)一下發(fā)；最后，使用Spark Streaming流式處理框架對(duì)Kafka中收集到的日志信

4、息進(jìn)行清理與提取，并將其存儲(chǔ)于HDFS文件系統(tǒng)中。
　?。?）設(shè)計(jì)高考志愿場(chǎng)景下的志愿推薦引擎。首先，通過閱讀大量高考志愿填報(bào)文獻(xiàn)，選取合適的用戶屬性，計(jì)算相似性，建立相似矩陣，尋找相似用戶；其次，分析幾種最常見的推薦算法，結(jié)合高考志愿填報(bào)的真實(shí)場(chǎng)景選擇基于用戶的協(xié)同過濾算法作為本系統(tǒng)的推薦算法；最后通過Spark計(jì)算框架的并行化計(jì)算方式生成最終的推薦列表。
　?。?）搭建Spark分布式集群開發(fā)環(huán)境，實(shí)現(xiàn)系統(tǒng)整體的開發(fā)和相