基于網(wǎng)絡(luò)的大流量數(shù)據(jù)存儲(chǔ)與管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著Internet的飛速發(fā)展，信息價(jià)值不斷攀升，人們對(duì)大流量數(shù)據(jù)的存儲(chǔ)與管理也提出了更高的要求。這種需求帶來(lái)的一個(gè)突出問(wèn)題就是：如何在對(duì)大流量數(shù)據(jù)進(jìn)行接收、處理的同時(shí)，提供有效的存儲(chǔ)和管理手段，包括相應(yīng)的硬件設(shè)備和軟件系統(tǒng)，完成對(duì)大流量數(shù)據(jù)的存儲(chǔ)和管理。SQL、ORACLE、SYBASE等數(shù)據(jù)庫(kù)作為成熟的商用軟件，在解決商務(wù)、事務(wù)等業(yè)務(wù)類(lèi)型的問(wèn)題時(shí)已經(jīng)取得了很大的成功，但面對(duì)網(wǎng)絡(luò)中大流量、高速數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)檢索等問(wèn)題各家數(shù)據(jù)庫(kù)研究人員

2、都在盡力提高系統(tǒng)管理性能。
　　隨著存儲(chǔ)技術(shù)的迅速發(fā)展，存儲(chǔ)硬件的成本不斷下降，但存儲(chǔ)的管理成本卻不斷上升。因此，一個(gè)好的存儲(chǔ)管理解決方案對(duì)降低存儲(chǔ)網(wǎng)絡(luò)的總擁有成本具有重要意義。因此在數(shù)據(jù)存儲(chǔ)方面，存儲(chǔ)管理軟件地位不斷上升，存儲(chǔ)產(chǎn)品的很多功能正在用軟件系統(tǒng)的實(shí)現(xiàn)代替硬件，因此，如何用更好的技術(shù)實(shí)現(xiàn)更高效的存儲(chǔ)管理是擺在我們面前的一個(gè)問(wèn)題。因?yàn)榈侥壳盀橹?，還沒(méi)有海量數(shù)據(jù)文件系統(tǒng)的商用標(biāo)準(zhǔn)，擺在人們面前的問(wèn)題是使用怎樣的設(shè)計(jì)方法對(duì)大流

3、量數(shù)據(jù)進(jìn)行存儲(chǔ)與管理，以滿足用戶對(duì)數(shù)據(jù)檢索的性能要求。
　　本文以windows2000作為操作系統(tǒng)平臺(tái)，采用多節(jié)點(diǎn)機(jī)的分布式存儲(chǔ)方式，通過(guò)研究數(shù)據(jù)庫(kù)的文件結(jié)構(gòu)、數(shù)據(jù)的組織方式和數(shù)據(jù)的存取機(jī)制，提高單節(jié)點(diǎn)服務(wù)器的數(shù)據(jù)存儲(chǔ)、管理、檢索算法等途徑，開(kāi)發(fā)一個(gè)基于網(wǎng)絡(luò)的大流量數(shù)據(jù)存儲(chǔ)與管理系統(tǒng)。系統(tǒng)采用XML的數(shù)據(jù)格式，基于SOCKET多連接通信的入庫(kù)技術(shù)，在對(duì)Internet數(shù)據(jù)進(jìn)行接收、篩選、處理的同時(shí)，實(shí)現(xiàn)對(duì)Internet上的電子