零售業(yè)大數據下載與分析系統(tǒng)的設計與實現.pdf

1、隨著信息安全與信息技術的發(fā)展，信息和數據資源在當前經濟領域中發(fā)揮著舉足輕重的作用，能否可以及時的獲取它們已經成為企業(yè)在商業(yè)活動里是否成功的關鍵。大數據作為一種剛剛興起的新的領域，越來越受到各大企業(yè)的重視。企業(yè)的業(yè)務數據、銷售數據的大量產生，如何才能正確快速的分析這些大數據，而且從中提煉出有價值的信息，從而減少運營成本，把握市場趨勢。大數據對這些的準確把握以及及時性就有十分重要的作用。
　　本論文主要完成了面向零售行業(yè)，基于爬蟲技術

2、的大數據下載和基于OLAP（On-line Analytic Processing，聯機分析處理）數據庫的數據分析計算的設計與實現方法。爬蟲技術是針對數據下載部分的一個下載技術，利用爬蟲我們可以完整快速的將數據下載完成并且導入到OLAP數據庫中，在OLAP數據庫即多維數據庫中執(zhí)行多維查詢語句，從而產生客戶所需求的結果數據集。然后將這些數據集寫入到Excel格式的文件中并對文件的格式和內容進行處理，最終形成客戶所想看到的報表。本系統(tǒng)主要應

3、用了Java與SQL Server2008Analysis Service技術，建成一個傳統(tǒng)的多層系統(tǒng)模式，該模式同樣包括三層內容:業(yè)務邏輯層、表示層和數據訪問層，形成了一個用戶能夠在WEB頁面上隨意選擇想生成的數據報表，想看到的數據類型，然后通過電子郵件或者在線查看的方式瀏覽報表，還可以自定義報表內容，使報表更擁有智能化與個性化。
　　該大數據下載與分析計算系統(tǒng)主要實現了兩大部分功能，下載大數據和從多維數據庫中查詢和生成報表文件

4、的功能，除了這兩大功能外，還實現了一個通過前臺頁面來對數據庫進行增刪改查的功能，此前臺頁面的設計是為了更好的控制后臺邏輯的運行，前臺頁面包括數據下載類型的配置頁面，下載周期的配置頁面以及用戶權限管理頁面。此前臺頁面運用了傳統(tǒng)的JSP技術進行設計的。
　　最后，本文完成了本系統(tǒng)的測試，特別是在功能測試方面采用了黑盒測試的模式，通過模擬各種異常情況，模擬異常數據的導入，來查看系統(tǒng)能否正常運行，檢查系統(tǒng)存在的問題并改正，確保系統(tǒng)能夠實現