高階純相關算法并行化研究與實現(xiàn).pdf

1、隨著云時代的來臨,傳統(tǒng)信息檢索領域的詞匯關系挖掘理論與方法已無法符合大數(shù)據(jù)處理各個方面的要求。近年來雖然很多方法及技術被提出來并用于提取文本中的有意義的詞匯關系,但是這些方法和技術在高效地提取高階詞匯關系方面仍然存在巨大的挑戰(zhàn),在數(shù)量迅速壯大的文檔數(shù)據(jù)集情景下提取高階詞匯關系尤其明顯。我們的目標是從大數(shù)據(jù)集中挖掘高階的純的詞匯關系,本文所指的純的詞匯組合是不可分的語義實體,即高階的相關性不能被約減成任何低價的相關性的組合。同時,為解決信

2、息爆炸引起的海量數(shù)據(jù)計算量“海量”問題,我們提出利用Google及阿帕奇軟件基金組織提出采用GFS及HDFS分布式存儲系統(tǒng)解決海量數(shù)據(jù)存儲相關任務;MapReduce分布式計算邏輯模型解決海量數(shù)據(jù)計算任務以及BigTable及HBase解決海量數(shù)據(jù)實時查詢及更新等任務。由于Hadoop分布式處理的軟件架構的可靠性較高,擴展性優(yōu)良,效率高,容錯誤性強及開源免費,使其可以高效地應用于高階純相關詞匯關系挖掘任務。
　　本文依托分布式環(huán)境

3、下提出基于信息幾何的高階純相關詞匯關系的分布式挖掘算法,分別是高階Pairwise純相關(PPD)詞匯關系分布式挖掘算法與高階Theta純相關(TPD)詞匯關系挖掘算法,在此統(tǒng)稱分布式挖掘(DPDM)算法。DPDM算法依托Hadoop分布式處理的軟件架構,根據(jù)MapReduce分布式邏輯計算模型能夠充分利用分布式網(wǎng)絡中的各個節(jié)點的資源高效進行數(shù)據(jù)量大或者計算密度高的大任務的優(yōu)點,利用MapReduce分布式邏輯計算模型結合信息幾何理論將

4、海量候選詞匯關系均勻分配到各個任務節(jié)點進行對數(shù)似然比檢驗,并在MapReduce分布式邏輯計算模型中融入多線程編程以高效利用同一個節(jié)點上多核計算資源。為使各個任務節(jié)點在執(zhí)行DPDM算法過程中能夠在分布式環(huán)境下隨機訪問任意詞匯的統(tǒng)計信息,本文集成HBase分布式數(shù)據(jù)庫存儲詞匯的統(tǒng)計信息。而且,本文基于分布式環(huán)境構建了一套完整的DPDM框架,包括內(nèi)容抽取,停用詞過濾,詞干還原,索引構建,模式抽取等功能,并基于DPDM框架實現(xiàn)了大數(shù)據(jù)集中抽取

5、高階純相關詞匯關系的自動化。
　　通過實驗證明,本文提出的分布式高階純相關詞匯關系挖掘算法能夠極大地加快在大數(shù)據(jù)集上詞匯關系的挖掘速率。另外將提取的高階純相關應用在傳統(tǒng)信息檢索任務,如文本分類等實驗中,效果也得到了驗證。但是分布式高階Pairwise純相關詞匯關系挖掘算法與分布式高階Theta純相關詞匯關系挖掘算法過程中數(shù)據(jù)結構與算法仍存在不足,需要進一步完善。此外,如何將高階純相關詞匯關系高效應用于傳統(tǒng)的基于文本的信息檢索任務,