基于Hadoop的非結(jié)構(gòu)化數(shù)據(jù)管理在離散制造業(yè)中的研究與實現(xiàn).pdf

1、近年來離散制造企業(yè)高度重視信息化的建設(shè)，經(jīng)過幾年的發(fā)展，已初具成效。在幾年的業(yè)務(wù)發(fā)展中，企業(yè)內(nèi)產(chǎn)生了大量的信息化數(shù)據(jù)，包括辦公文檔、業(yè)務(wù)訂單、數(shù)據(jù)報表、圖片、音頻、視頻等信息。企業(yè)通常采用的提取有效信息存儲到數(shù)據(jù)庫，將原文件保存到磁盤的方式，一定程度解決了企業(yè)數(shù)據(jù)管理的問題。但是隨著數(shù)據(jù)量的急劇增長，對這些非結(jié)構(gòu)化數(shù)據(jù)合理有效的管理與利用成了企業(yè)面臨的一個新的大問題，也是增強(qiáng)企業(yè)國際競爭力的一個關(guān)鍵。
　　本文以某離散制造企業(yè)內(nèi)非

2、結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)為背景，結(jié)合當(dāng)前流行的hadoop分布式框架，設(shè)計實現(xiàn)了基于hadoop的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)。在研究此離散制造業(yè)非結(jié)構(gòu)化數(shù)據(jù)的過程中發(fā)現(xiàn)企業(yè)內(nèi)文件大小較小，以及hadoop在存儲小文件需要相關(guān)人員定期手工進(jìn)行小文件合并難的問題，通過分布式數(shù)據(jù)庫hbase中計數(shù)器的合理利用，在企業(yè)進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)存儲時提出了一種基于hbase的小文件自動歸檔合并策略；其次，為了克服以往將原文檔直接保存到磁盤無法進(jìn)行按內(nèi)容查找的問題，本

3、文利用lucene全文檢索引擎技術(shù)工具包，設(shè)計了一種在hadoop環(huán)境下基于lucene的全文內(nèi)容檢索策略；最后，將此非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)應(yīng)用到某離散制造業(yè)現(xiàn)有的管理系統(tǒng)中，解決企業(yè)在原有系統(tǒng)中大量附件上傳帶來的文件存儲安全與文件備份、查找等問題。
　　在本文設(shè)計實現(xiàn)的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)中，通過對某離散制造企業(yè)多年辦公文檔的存儲管理，可以看到此系統(tǒng)一方面通過小文件自動歸檔合并，解決了hadoop進(jìn)行小文件存儲影響系統(tǒng)性能的問題；