基于數據訪問依賴的分布式機器學習編程模型的優(yōu)化.pdf

1、隨著大數據時代的到來，探索數據蘊藏的價值越來越重要。將傳統機器學習方法分布化，以適應越來越龐大的數據規(guī)模成為研究熱點?，F有基于參數服務器架構的分布式機器學習框架得到普遍認同。然而此框架僅提供抽象層次較低的底層數據訪問接口，導致其在應用時存在數據訪問行為和上層應用之間的耦合性高的問題，使得編程人員不易進行進一步的系統底層優(yōu)化工作。研究基于數據訪問依賴的分布式機器學習編程模型，提供方便部署高并發(fā)機器學習應用的編程框架具有重要的理論研究意義和

2、實際應用價值。
　　提出了一種基于數據訪問依賴的新型分布式機器學習編程模型。該編程模型將參數服務器的底層數據訪問接口進行封裝，并將數據訪問行為和上層應用進行解耦。首先，將應用邏輯分成不同的階段，并用有向無環(huán)圖來描述它們之間的依賴關系；其次將階段的核心操作設計成針對一塊連續(xù)區(qū)域的鍵值對進行重復性的操作并且定義相關的模型參數的更新機制；接著對于每個階段所需的模型參數，提供一種描述數據依賴的方法。通過將有向無環(huán)圖中的無依賴關系的階段并行

3、執(zhí)行，以及將某個階段內的鍵值區(qū)間自動化地分塊和并行執(zhí)行，提高了系統的并發(fā)度。同時通過系統的任務調度策略和參數一致性模型來影響數據傳輸的行為，進而減少猝發(fā)式網絡傳輸造成網絡資源帶寬競爭現象的發(fā)生。這種解耦后的編程模型，既方便了編程，又為進一步地進行底層系統的優(yōu)化提供了可能。
　　在該分布式系統上部署了基于主題模型的文本聚類分析程序。測試結果表明，系統具有單個物理節(jié)點內的多線程可擴展性以及分布式情形下的可擴展性，系統并發(fā)度高。同時任務