D-Ocean集群與計算資源管理的研究與實現(xiàn).pdf

1、如何有效利用互聯(lián)網(wǎng)海量非結(jié)構(gòu)化數(shù)據(jù)并挖掘出其中蘊藏的巨大價值成為當(dāng)前大數(shù)據(jù)時代的研究熱點。隨著分布式計算和處理技術(shù)的發(fā)展，分布式的架構(gòu)體系已成為非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)的主流。資源管理是分布式體系中的一個重要方向，高效的資源管理可以滿足分布式系統(tǒng)對于資源的動態(tài)需求，最大幅度地提升系統(tǒng)的服務(wù)能力和處理性能。
　　 針對非結(jié)構(gòu)化數(shù)據(jù)系統(tǒng)資源管理中的關(guān)鍵技術(shù)問題，本文主要貢獻如下:
　　 分析了當(dāng)前一些成熟的分布式系統(tǒng)和計算架構(gòu)中

2、的資源管理方案，然后以提升資源利用率為目標，設(shè)計實現(xiàn)了非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)D-Ocean的集群管理與監(jiān)控平臺，通過邏輯角色的劃分對系統(tǒng)集群資源進行細粒度管理，提升系統(tǒng)的對外服務(wù)能力，滿足系統(tǒng)的配置靈活性和高可擴展性。此外，還通過管理與監(jiān)控工具實現(xiàn)了對集群中節(jié)點和任務(wù)運行狀態(tài)的實時監(jiān)控。
　　 為D-Ocean系統(tǒng)的核心計算平臺設(shè)計實現(xiàn)了一個高效且通用的資源管理架構(gòu)，通過對節(jié)點和任務(wù)定義等資源進行建模實現(xiàn)了分布式計算與處理中計算資