面向大數(shù)據(jù)分析的存儲(chǔ)優(yōu)化算法分析.pdf

1、隨著科技的進(jìn)步以及網(wǎng)絡(luò)的普及,人們的日常工作、生活會(huì)產(chǎn)生海量的數(shù)據(jù)信息。如何高效的挖掘這些海量數(shù)據(jù)信息的隱藏信息，是企業(yè)、政府機(jī)構(gòu)未來(lái)發(fā)展的關(guān)鍵，這就需要大數(shù)據(jù)分析技術(shù)。大數(shù)據(jù)分析的前提是如何高效的存儲(chǔ)和查詢這些數(shù)據(jù)信息。在分布式存儲(chǔ)系統(tǒng)中，為了提高大數(shù)據(jù)分析效率，必須提高存儲(chǔ)系統(tǒng)的訪問(wèn)效率。
　　本文的應(yīng)用場(chǎng)景是基于在數(shù)據(jù)類型確定，數(shù)據(jù)文件的內(nèi)容特點(diǎn)明確，數(shù)據(jù)文件內(nèi)容大小不確定，但是大部分文件較小且用戶對(duì)于數(shù)據(jù)訪問(wèn)的需求特別高。

2、本文針對(duì)這一應(yīng)用場(chǎng)景，提出了結(jié)合工程實(shí)踐的解決方案。
　　本文針對(duì)結(jié)構(gòu)化的大數(shù)據(jù)模型，提出了1種類文件系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)進(jìn)行數(shù)據(jù)存儲(chǔ)，通過(guò)建立數(shù)據(jù)存儲(chǔ)單元、數(shù)據(jù)文件、數(shù)據(jù)頁(yè)、數(shù)據(jù)行、數(shù)據(jù)字段等多級(jí)存儲(chǔ)結(jié)構(gòu)，實(shí)現(xiàn)數(shù)據(jù)的層次存儲(chǔ)，同時(shí)該存儲(chǔ)結(jié)構(gòu)通過(guò)建立多級(jí)索引文件來(lái)提高查詢效率。該模型支持行存儲(chǔ)與列存儲(chǔ)模式和數(shù)據(jù)壓縮。用戶可以自主選擇壓縮模式。針對(duì)該模型，本文給出了對(duì)應(yīng)的存儲(chǔ)算法。在此基礎(chǔ)上，為了精確管理存儲(chǔ)過(guò)程中的內(nèi)存開(kāi)銷，本文引入了固