數(shù)據(jù)清洗及XML技術(shù)在數(shù)字報(bào)刊中的研究與應(yīng)用.pdf

1、隨著信息化技術(shù)的飛速發(fā)展，各企業(yè)和單位都積累了大量的半結(jié)構(gòu)化數(shù)據(jù)。數(shù)字報(bào)刊的電子數(shù)據(jù)即是其中一種。長(zhǎng)期以來(lái)，各報(bào)社和雜志社都積累了海量的數(shù)據(jù)信息，包括排版文件、文本文件、圖片文件和各種Web文件等。這些數(shù)據(jù)一般都是對(duì)社會(huì)事實(shí)的客觀寫照和有價(jià)值的評(píng)論，具有很高的歷史價(jià)值。如何以恰當(dāng)?shù)姆绞矫枋鰯?shù)字報(bào)刊數(shù)據(jù)，并在此基礎(chǔ)上對(duì)其進(jìn)行有效的存儲(chǔ)也成為一個(gè)需要解決的問(wèn)題。 XML作為數(shù)據(jù)表示和交換的新標(biāo)準(zhǔn)，具有統(tǒng)一的非結(jié)構(gòu)化信息描述機(jī)制。X

2、ML的結(jié)構(gòu)性和可擴(kuò)展性可以方便的描述各種新聞信息和雜志包含的文字內(nèi)容，描述它們的結(jié)構(gòu)信息。所以，XML成為描述和承載數(shù)字報(bào)刊信息內(nèi)容的最佳載體。而在將數(shù)字報(bào)刊數(shù)據(jù)轉(zhuǎn)換為XML格式數(shù)據(jù)時(shí)，由于各種原因，可能會(huì)造成生成的數(shù)量龐大的XML文件的內(nèi)容存在著大量的臟數(shù)據(jù)和不完備的數(shù)據(jù)。這些臟數(shù)據(jù)的存在勢(shì)必會(huì)嚴(yán)重破壞數(shù)字報(bào)刊信息的準(zhǔn)確性、完備性和客觀性。所以如何對(duì)這些XML數(shù)據(jù)進(jìn)行有效的數(shù)據(jù)清洗操作，提高其數(shù)據(jù)質(zhì)量也成為一個(gè)重要問(wèn)題。 根據(jù)

3、數(shù)字報(bào)刊的結(jié)構(gòu)特征，針對(duì)相關(guān)的問(wèn)題，本文主要做了下面幾點(diǎn)工作： （1）研究了數(shù)字報(bào)刊數(shù)據(jù)的各種可行的存儲(chǔ)技術(shù)，包括文件系統(tǒng)存儲(chǔ)方式、關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)方式、原生XML數(shù)據(jù)庫(kù)存儲(chǔ)方式；并且針對(duì)數(shù)字報(bào)刊的特點(diǎn)，探討設(shè)計(jì)了一種數(shù)字報(bào)刊數(shù)據(jù)的存儲(chǔ)模型及其索引結(jié)構(gòu)的建立等； （2）基于XML相關(guān)技術(shù)，設(shè)計(jì)了數(shù)字報(bào)刊層次化的XML文檔結(jié)構(gòu)，并設(shè)計(jì)了其內(nèi)存模型結(jié)構(gòu)。層次化結(jié)構(gòu)的設(shè)計(jì)將有助于數(shù)字報(bào)刊數(shù)據(jù)的存儲(chǔ)和數(shù)據(jù)清洗操作的實(shí)施；討論了數(shù)字報(bào)刊