大規(guī)模非結(jié)構(gòu)數(shù)據(jù)索引和可視化的研究.pdf

1、特征降維是文本分類過程中的重要一環(huán)。針對傳統(tǒng)文本分類中的特征降維方法無法快速處理大數(shù)據(jù)的情況,本文提出了卡方統(tǒng)計(chi-square statistics,CHI),信息增益(information gain,IG)和互信息(mutual information,MI)等特征降維算法的MapReduce并行化模型,并且在Apache Hadoop平臺下進行了實驗。
　　隨著科技進步,包括網(wǎng)絡(luò)圖片和視頻監(jiān)控在內(nèi)的圖像數(shù)據(jù)出現(xiàn)了迅速

2、的增長。如何有效管理圖像數(shù)據(jù)成為一個挑戰(zhàn)。圖像聚類是圖像數(shù)據(jù)管理的重要一環(huán)。本文實現(xiàn)了Hadoop平臺下尺度不變特征轉(zhuǎn)換算法(Scale Invariant Feature Transform，SIFT)和K-means聚類的MapReduce并行化,并且取得了不錯的效果。
　　隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展,人們所接觸的信息已不再局限于傳統(tǒng)的結(jié)構(gòu)數(shù)據(jù)。而傳統(tǒng)的文本檢索或者圖像檢索等技術(shù)只能專門處理某一種類型的非結(jié)構(gòu)數(shù)據(jù)。如何采用統(tǒng)一的

3、方法表示和訪問非結(jié)構(gòu)數(shù)據(jù)已經(jīng)成為一個研究熱點。本文在R樹索引的基礎(chǔ)上實現(xiàn)了不同類型非結(jié)構(gòu)數(shù)據(jù)的混合索引,并且取得了不錯的效果。
　　隨著信息技術(shù)的迅速發(fā)展,我們每天所能夠接觸到的信息呈現(xiàn)了爆炸式增長的態(tài)勢。信息的過載使得人們希望通過各種有效的方式從海量的數(shù)據(jù)中找到自己感興趣的內(nèi)容。信息檢索可以在一定程度上解決上述問題。但是信息檢索本身不能直觀的把用戶感興趣的內(nèi)容所隱藏的規(guī)律展示出來。所以,如何根據(jù)每個用戶的特點幫助用戶從海量數(shù)據(jù)中