數(shù)據(jù)分類系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、互聯(lián)網(wǎng)最近幾年的爆發(fā)式發(fā)展，給很多公司和企業(yè)帶來了新的機(jī)遇與挑戰(zhàn)，用戶越來越多，內(nèi)容越來越豐富，每天都會產(chǎn)生大量的數(shù)據(jù)，如何對日益暴增的數(shù)據(jù)進(jìn)行高效的分類，將是很多公司必將面臨的議題。從這一點出發(fā)，利用日益完善的機(jī)器學(xué)習(xí)技術(shù)幫助處理大數(shù)據(jù)的分類，并且利用分布式處理的低成本優(yōu)勢，將大量減少以往投入的資源和人力，有效的解決大數(shù)據(jù)的處理效率和投入。
　　系統(tǒng)為使用分布式架構(gòu)系統(tǒng)，選擇了Apache公司的Zookeeper分布式管理框架和

2、Ubuntu系統(tǒng)以及在線機(jī)器學(xué)習(xí)框架Jubatus搭建，通過對系統(tǒng)的需求分析，繪制了系統(tǒng)的架構(gòu)圖和各個模塊的功能圖、用例圖和部分活動圖，制圖都是嚴(yán)格遵循UML標(biāo)準(zhǔn)。然后對數(shù)據(jù)預(yù)處理模塊，數(shù)據(jù)分析分配模塊，數(shù)據(jù)轉(zhuǎn)換模塊，數(shù)據(jù)處理模塊，數(shù)據(jù)整合模塊等五個主要模塊進(jìn)行詳細(xì)的需求分析和設(shè)計，包括數(shù)據(jù)的處理方法設(shè)計和數(shù)據(jù)處理的算法選擇等重要功能。并通過對數(shù)據(jù)類型和結(jié)構(gòu)特點選擇最優(yōu)化的適配算法來處理數(shù)據(jù)，以及最終數(shù)據(jù)結(jié)果整合結(jié)果選取的取舍的標(biāo)準(zhǔn)和對

3、應(yīng)方法。在數(shù)據(jù)的精度上面利用分布式中處理模塊的相對對立特性來提高最終分類的精度。
　　基于機(jī)器學(xué)習(xí)與分布式處理系統(tǒng)技術(shù)，利用概率分析技術(shù)和反復(fù)多次處理統(tǒng)計整合結(jié)果數(shù)據(jù)，在分類算法的選擇上通過對待分類數(shù)據(jù)進(jìn)行分別多次不同條件控制進(jìn)行測試，獲取需要的最優(yōu)條件信息，從而減少了數(shù)據(jù)內(nèi)對分類有較大影響的噪音因素問題并且根據(jù)結(jié)果確定關(guān)鍵屬性數(shù)目問題。在并行多次分類結(jié)束后對數(shù)據(jù)結(jié)果進(jìn)行統(tǒng)計，利用概率分布情況來判定最后的最終結(jié)果，在理論上為分類結(jié)