基于大數(shù)據(jù)中查詢?nèi)罩镜挠脩粜袨榉治鱿到y(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的普及和發(fā)展，人們之間通過網(wǎng)絡(luò)來進行信息交流逐漸頻繁，然而，如何進行有效的信息檢索隨之成為網(wǎng)民面臨的難題之一。搜索引擎通過將雜亂無序的信息組織起來，建立有序的索引文檔，為人們進行有效的信息檢索提供了極大的方便。
　　用戶與搜索引擎交互的過程中會產(chǎn)生了大量的查詢?nèi)罩?。這些用戶查詢?nèi)罩局邪S多和用戶相關(guān)的信息，可以直接捕捉到用戶的顯性需求并發(fā)掘其隱性需求，因此對用戶日志的研究越來越引起人們的關(guān)注。用戶查詢?nèi)罩臼艿礁鞔蠡ヂ?lián)

2、網(wǎng)公司尤其是搜索類的互聯(lián)網(wǎng)公司的重視，它們都期望通過精準(zhǔn)及時的日志分析和挖掘來發(fā)現(xiàn)用戶的行為特征，以此提高用戶使用的滿意度，進而提升企業(yè)的市場競爭力。另一方面，隨著日志數(shù)量指數(shù)式的增長，如何有效快速地處理大量的日志成為一個挑戰(zhàn)，這對于傳統(tǒng)的數(shù)據(jù)庫的存儲模式和服務(wù)器的計算性能都是考驗，而Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架。利用分布式技術(shù)存儲并計算海量日志，使得對查詢?nèi)罩镜难芯孔兊酶臃奖恪?br>　　基于以上現(xiàn)狀并閱

3、讀大量參考文獻后，本文通過對搜索引擎日志產(chǎn)生的過程進行詳細分析，以Hadoop為平臺，運用HDFS分布式文件系統(tǒng)存儲海量日志并采用MapReduce計算模式，設(shè)計了一個基于海量查詢?nèi)罩镜挠脩粜袨榉治銎脚_，主要包括四個模塊，即日志采集模塊、日志存儲模塊、日志分析模塊和數(shù)據(jù)可視化模塊。其中，日志分析模塊為整個系統(tǒng)的重點，主要從關(guān)鍵字排名、URL排名、主機排名、用戶搜索統(tǒng)計、時間段統(tǒng)計、日搜索統(tǒng)計六個維度對搜索日志進行了分析，并以Web文本挖