基于Hadoop平臺(tái)的實(shí)體識(shí)別系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、近些年隨著科技的發(fā)展，人們從生產(chǎn)、生活中積累并抽象產(chǎn)生出更多的數(shù)據(jù)，使得傳統(tǒng)的信息系統(tǒng)不再適合處理、計(jì)算現(xiàn)有的數(shù)據(jù)，并且通過研究表明計(jì)算機(jī)的物理性能已經(jīng)基本達(dá)到極限，摩爾定律正在漸漸失效。針對(duì)這類問題，研究人員提出了各種各樣的解決方法。例如將現(xiàn)有的計(jì)算機(jī)擴(kuò)展為一機(jī)多核等，通過改造cpu來達(dá)到提高計(jì)算機(jī)性能的目的，并且在實(shí)際應(yīng)用取得成功，但是僅僅這些還滿足不了對(duì)海量數(shù)據(jù)的計(jì)算。2007年，Google首先提出了商業(yè)云計(jì)算概念，進(jìn)一步帶動(dòng)計(jì)

2、算機(jī)領(lǐng)域?qū)υ朴?jì)算的研究。現(xiàn)有的云計(jì)算系統(tǒng)主要是通過將一組廉價(jià)的計(jì)算機(jī)組織起來，相互連接協(xié)同操作，其所能達(dá)到的性能堪比價(jià)格昂貴的超級(jí)服務(wù)器。
　　 本文以云計(jì)算中的實(shí)體識(shí)別技術(shù)為背景，在Hadoop平臺(tái)中設(shè)計(jì)并實(shí)現(xiàn)了在大數(shù)據(jù)集上使用條件函數(shù)依賴約束進(jìn)行數(shù)據(jù)過濾的實(shí)體識(shí)別系統(tǒng)。
　　 本文主要研究?jī)?nèi)容及貢獻(xiàn)如下：
　　 (1)首先研究了云計(jì)算的發(fā)展，并針對(duì)云計(jì)算環(huán)境中對(duì)數(shù)據(jù)質(zhì)量研究工作較少的現(xiàn)狀提出了在云計(jì)算環(huán)境中基

3、于過濾條件函數(shù)依賴約束的實(shí)體識(shí)別問題。
　　 (2)針對(duì)基于MapReduce框架的Hadoop平臺(tái)，以及其分布式文件存儲(chǔ)系統(tǒng)進(jìn)行了分析。通過研究在Hadoop平臺(tái)下執(zhí)行計(jì)算任務(wù)的工作流程以及數(shù)據(jù)中條件函數(shù)依賴約束的特點(diǎn)，利用共享輸入數(shù)據(jù)和共享Map中間結(jié)果兩種方法，提出了解決在Hadoop平臺(tái)下基于條件函數(shù)依賴的實(shí)體識(shí)別任務(wù)的優(yōu)化合并。通過使用任務(wù)合并技術(shù)可以高效的對(duì)在大數(shù)據(jù)集上的條件函數(shù)依賴約束進(jìn)行檢查，而且可以優(yōu)化合并輸入