船舶監(jiān)控系統(tǒng)中海量數(shù)據(jù)處理技術(shù)研究.pdf

1、目前，船舶監(jiān)控系統(tǒng)正在向自動化、智能化、數(shù)字化方向發(fā)展，因此造成監(jiān)測數(shù)據(jù)量的大量增加，導(dǎo)致系統(tǒng)處理數(shù)據(jù)能力下降，系統(tǒng)響應(yīng)性能急劇降低。而在船舶監(jiān)控系統(tǒng)中，如何從海量的監(jiān)測數(shù)據(jù)中方便、快捷地查詢與獲取用戶所需的監(jiān)測信息是用戶極為關(guān)注的問題之一。Hadoop平臺是目前應(yīng)用廣泛、操作簡單的開源免費云計算開發(fā)平臺，可利用集群的方式提高大規(guī)模數(shù)據(jù)的處理能力。為此，本文將Hadoop平臺引入船舶監(jiān)控系統(tǒng)實現(xiàn)中，重點對基于Hadoop平臺的海量數(shù)據(jù)處

2、理技術(shù)進(jìn)行研究，論文的主要研究內(nèi)容如下：
　?。?）給出了基于Hadoop平臺的船舶監(jiān)控系統(tǒng)框架，該框架主要由系統(tǒng)應(yīng)用層、中間件層和數(shù)據(jù)存儲層組成，其中中間件層是系統(tǒng)的核心層。
　?。?）提出了一種基于Hadoop平臺的分布式查詢算法。借鑒分布式查詢技術(shù)相關(guān)概念與結(jié)構(gòu)，在TPUT查詢算法的基礎(chǔ)上，加入直方圖動態(tài)劃分思想，提出了一種效率更高的ITPUT查詢算法，并將其應(yīng)用到Hadoop平臺上。
　?。?）設(shè)計了一種基于H

3、adoop平臺的作業(yè)調(diào)度算法。針對Hadoop平臺上原有作業(yè)調(diào)度算法的不足，設(shè)計了一種新的作業(yè)調(diào)度算法，該算法從快慢節(jié)點的判定、優(yōu)先級的判定和負(fù)載均衡動態(tài)調(diào)整三方面建立模型。另外與MapReduce計算模型有機(jī)結(jié)合，能夠較好的解決海量數(shù)據(jù)處理中的數(shù)據(jù)本地性問題，降低系統(tǒng)消耗。
　?。?）完成了基于Hadoop平臺的船舶監(jiān)控系統(tǒng)的設(shè)計及主要功能開發(fā)。重點描述了基于Hadoop平臺的ITPUT分布式查詢算法和Three-Queue調(diào)度