非均勻分布數(shù)據(jù)的拉伸與膨脹方法研究.pdf

1、海量數(shù)據(jù)處理技術(shù)的發(fā)展，使數(shù)據(jù)挖掘算法所要訓(xùn)練的數(shù)據(jù)量級(jí)呈幾何式增長(zhǎng)，為了降低計(jì)算難度，較多的數(shù)據(jù)挖掘算法在求解最優(yōu)化問(wèn)題時(shí)采用迭代式的方法。數(shù)據(jù)的樣本輸入以及迭代的搜索步長(zhǎng)的合理與否將嚴(yán)重影響迭代求解的效率和精度。不合理的樣本輸入及搜索步長(zhǎng)一方面容易使迭代收斂至局部最優(yōu)解，另一方面則減緩了收斂的速度，降低了挖掘結(jié)果的可靠性。
　　在實(shí)際計(jì)算中，難以找到較為科學(xué)的搜索步長(zhǎng)。采用數(shù)據(jù)標(biāo)準(zhǔn)化方法或一些度量學(xué)習(xí)方法獲取數(shù)據(jù)的合理樣本輸入

2、，是提高迭代求解效率和精度的有效手段。然而，在處理非均勻分布數(shù)據(jù)時(shí)，數(shù)據(jù)標(biāo)準(zhǔn)化方法與度量學(xué)習(xí)方法都不能有效地降低數(shù)據(jù)的集中程度。在數(shù)據(jù)的集中區(qū)域，數(shù)據(jù)點(diǎn)的間距較小，迭代的方式難以準(zhǔn)確的區(qū)分?jǐn)?shù)據(jù)，同時(shí)分類(lèi)面的細(xì)小誤差就能帶來(lái)大量的錯(cuò)誤識(shí)別?；诖?，本文結(jié)合了一些傳統(tǒng)的數(shù)據(jù)標(biāo)準(zhǔn)化方法和度量學(xué)習(xí)方法，對(duì)擴(kuò)大非均勻分布數(shù)據(jù)密集區(qū)域數(shù)據(jù)點(diǎn)間距的方法進(jìn)行了研究。
　　相關(guān)研究圍繞對(duì)非均勻分布數(shù)據(jù)進(jìn)行拉伸與膨脹，擴(kuò)大數(shù)據(jù)分布集中區(qū)域數(shù)據(jù)點(diǎn)間距，

3、提高集中區(qū)域“分辨率”這一思路展開(kāi)。主要工作包括:(1)提出一種非均勻分布數(shù)據(jù)的非線性拉伸方法，方法以一維統(tǒng)計(jì)的方式估計(jì)數(shù)據(jù)分布集中程度，根據(jù)估計(jì)擬合得到拉伸分布集中區(qū)域數(shù)據(jù)點(diǎn)間距的非線性數(shù)據(jù)標(biāo)準(zhǔn)化函數(shù)。(2)提出一種基于Kmeans的數(shù)據(jù)膨脹方法，利用Kmeans找出歐氏空間中數(shù)據(jù)聚集的區(qū)域，通過(guò)數(shù)據(jù)點(diǎn)到各聚集區(qū)域距離方差最小化的方式推動(dòng)數(shù)據(jù)點(diǎn)向著空間中數(shù)據(jù)分布稀疏的區(qū)域挪動(dòng)，擴(kuò)大聚集區(qū)域的數(shù)據(jù)點(diǎn)間距。
　　為了驗(yàn)證方法的效果，