基于Storm的訂單大數(shù)據(jù)實時監(jiān)控系統(tǒng).pdf

1、大數(shù)據(jù)時代，實時有效地收集海量訂單數(shù)據(jù)，幫助企業(yè)智慧地從數(shù)據(jù)中獲取目標信息，能夠更加有效的、有條理的制定相關(guān)業(yè)務(wù)的發(fā)展和改進方向，企業(yè)可以通過對海量數(shù)據(jù)進行二次開發(fā)利用，進一步地總結(jié)和處理數(shù)據(jù)，最終制定出更加符合用戶需求、更加適用于市場的設(shè)計方案。Storm作為一套高效的、安全的、實時的大數(shù)據(jù)處理引擎被本系統(tǒng)使用，NoSQL數(shù)據(jù)庫Elasticsearch和MongoDB則能滿足對海量數(shù)據(jù)的高效存儲與查詢。本論文將基于Storm、Kaf

2、ka、NoSQL數(shù)據(jù)庫Elasticsearch和MongoDB設(shè)計和實現(xiàn)訂單大數(shù)據(jù)的實時監(jiān)控系統(tǒng)。
　　系統(tǒng)將主要的數(shù)據(jù)保存在Elasticsearch中，將一些配置參數(shù)和時間戳數(shù)據(jù)保存在MongoDB中；文件系統(tǒng)使用HDFS；采用Scala語言來編寫代碼；使用分布式消息隊列Kafka來連接Storm中不同功能的拓撲，提高了系統(tǒng)的可靠性。在數(shù)據(jù)處理過程中，執(zhí)行的操作名稱、時間節(jié)點和部分中間結(jié)果會被記錄到系統(tǒng)日志中，以便解決系統(tǒng)錯

3、誤和提升系統(tǒng)性能，平臺處理后的重要結(jié)果，可以通過Web頁面以多種圖和表的形式向用戶展示，該展示網(wǎng)站具備搜索引擎，能夠通過關(guān)鍵字和特定規(guī)則的語句搜索目標數(shù)據(jù)，還支持點擊圖標和標簽進行快捷查找。
　　整套系統(tǒng)部署在分布式集群中，具有高實時性、高效率、高容錯性、可擴展等特點，結(jié)果數(shù)據(jù)展示網(wǎng)站功能強大，界面清晰簡潔，用戶體驗很好，平臺可以實時地監(jiān)控海量數(shù)據(jù)信息的變化，從結(jié)構(gòu)混合、復(fù)雜的、規(guī)模龐大的數(shù)據(jù)中，通過智能化的方法，挖掘出有價值的信