非均勻分布數(shù)據(jù)的拉伸與膨脹方法研究.pdf

1、海量數(shù)據(jù)處理技術(shù)的發(fā)展，使數(shù)據(jù)挖掘算法所要訓(xùn)練的數(shù)據(jù)量級呈幾何式增長，為了降低計算難度，較多的數(shù)據(jù)挖掘算法在求解最優(yōu)化問題時采用迭代式的方法。數(shù)據(jù)的樣本輸入以及迭代的搜索步長的合理與否將嚴(yán)重影響迭代求解的效率和精度。不合理的樣本輸入及搜索步長一方面容易使迭代收斂至局部最優(yōu)解，另一方面則減緩了收斂的速度，降低了挖掘結(jié)果的可靠性。
　　在實際計算中，難以找到較為科學(xué)的搜索步長。采用數(shù)據(jù)標(biāo)準(zhǔn)化方法或一些度量學(xué)習(xí)方法獲取數(shù)據(jù)的合理樣本輸入

2、，是提高迭代求解效率和精度的有效手段。然而，在處理非均勻分布數(shù)據(jù)時，數(shù)據(jù)標(biāo)準(zhǔn)化方法與度量學(xué)習(xí)方法都不能有效地降低數(shù)據(jù)的集中程度。在數(shù)據(jù)的集中區(qū)域，數(shù)據(jù)點的間距較小，迭代的方式難以準(zhǔn)確的區(qū)分?jǐn)?shù)據(jù)，同時分類面的細(xì)小誤差就能帶來大量的錯誤識別。基于此，本文結(jié)合了一些傳統(tǒng)的數(shù)據(jù)標(biāo)準(zhǔn)化方法和度量學(xué)習(xí)方法，對擴大非均勻分布數(shù)據(jù)密集區(qū)域數(shù)據(jù)點間距的方法進行了研究。
　　相關(guān)研究圍繞對非均勻分布數(shù)據(jù)進行拉伸與膨脹，擴大數(shù)據(jù)分布集中區(qū)域數(shù)據(jù)點間距，

3、提高集中區(qū)域“分辨率”這一思路展開。主要工作包括:(1)提出一種非均勻分布數(shù)據(jù)的非線性拉伸方法，方法以一維統(tǒng)計的方式估計數(shù)據(jù)分布集中程度，根據(jù)估計擬合得到拉伸分布集中區(qū)域數(shù)據(jù)點間距的非線性數(shù)據(jù)標(biāo)準(zhǔn)化函數(shù)。(2)提出一種基于Kmeans的數(shù)據(jù)膨脹方法，利用Kmeans找出歐氏空間中數(shù)據(jù)聚集的區(qū)域，通過數(shù)據(jù)點到各聚集區(qū)域距離方差最小化的方式推動數(shù)據(jù)點向著空間中數(shù)據(jù)分布稀疏的區(qū)域挪動，擴大聚集區(qū)域的數(shù)據(jù)點間距。
　　為了驗證方法的效果，