基于特征分析和數(shù)據(jù)降維的復(fù)雜數(shù)據(jù)預(yù)測與分類方法研究.pdf

1、數(shù)據(jù)預(yù)測與分類是數(shù)據(jù)挖掘領(lǐng)域非常重要的研究課題，長期以來受到了廣泛的關(guān)注。數(shù)據(jù)預(yù)測與分類理論是管理科學(xué)、經(jīng)濟、數(shù)學(xué)、計算機等不同學(xué)科相互交叉融合的結(jié)晶，并已經(jīng)被廣泛應(yīng)用于能源價格市場分析、金融市場價格預(yù)測和風(fēng)險控制、生物信息識別、商務(wù)智能客戶行為分析等眾多領(lǐng)域。近年來，隨著信息技術(shù)、互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，云計算、大數(shù)據(jù)分析的逐步成熟，復(fù)雜數(shù)據(jù)預(yù)測與分類研究充滿了機遇與挑戰(zhàn)，一方面，隨著上述新興技術(shù)、產(chǎn)業(yè)的發(fā)展與推廣，大量實時在線數(shù)據(jù)的快

2、速收集得以實現(xiàn)，以數(shù)據(jù)預(yù)測與分類為代表的數(shù)據(jù)挖掘技術(shù)將在更多的領(lǐng)域中發(fā)揮更大的作用。另一方面，從數(shù)據(jù)維度、數(shù)據(jù)類型以及數(shù)據(jù)體量等不同層面來看，數(shù)據(jù)對象正變的越來越多樣化、復(fù)雜化，這極大的增加了精準化和精細化挖掘的難度，同時也從知識獲取的準確性、合理性、可靠性以及實用性等多個方面對數(shù)據(jù)預(yù)測與分類研究提出了更高要求。
　　本文在對國內(nèi)外數(shù)據(jù)預(yù)測與分類有關(guān)基礎(chǔ)理論、實現(xiàn)方法和建模策略進行梳理和總結(jié)的基礎(chǔ)上，重點從數(shù)據(jù)的維度復(fù)雜性、頻域特

3、征復(fù)雜性、多源信息識別與匹配三個方面出發(fā)，緊密圍繞數(shù)據(jù)預(yù)測與分類的關(guān)鍵問題，以電力系統(tǒng)負荷數(shù)據(jù)、電力市場價格數(shù)據(jù)為主要研究對象和案例，對復(fù)雜數(shù)據(jù)預(yù)測與分類問題展開研究。本文的主要研究內(nèi)容及創(chuàng)新點總結(jié)如下:
　　(1)提出了一種基于相似性測度的半?yún)?shù)回歸概率密度預(yù)測框架，系統(tǒng)性分析了傳統(tǒng)數(shù)據(jù)預(yù)測方法的適用范圍及存在的問題。在此基礎(chǔ)上，針對研究對象的多源相關(guān)性特征，構(gòu)建了基于非參數(shù)修勻的半?yún)?shù)回歸模型，同時結(jié)合Bootstrap概率區(qū)

4、間估計進行分析。其次，針對所選擇的多影響因素指標與研究對象之間作用機制難以確定的問題，結(jié)合相似性測度、因子分析以及因果關(guān)系檢驗等方法，給出了一種規(guī)范化的指標變量提取與識別策略。通過實驗驗證所提出預(yù)測框架的有效性，進而為深入研究不同指標變量與對象數(shù)據(jù)之間的復(fù)雜建模機制提供了借鑒。
　　(2)提出了一種基于數(shù)據(jù)降維的分段可加半?yún)?shù)回歸概率密度預(yù)測框架，針對數(shù)據(jù)的周期性、多維多粒度波動特性，受到可加建模思想的啟發(fā)，提出了基于分段可加的半

5、參數(shù)回歸模型，并結(jié)合Bootstrap概率區(qū)間估計進行分析。為保證樣本外預(yù)測的可行性和合理性，基于Bootstrap重采樣技術(shù)對氣象數(shù)據(jù)的未來趨勢進行了有效模擬。該數(shù)據(jù)預(yù)測框架引入了可加建模思想對數(shù)據(jù)作降維度處理，并結(jié)合指標變量篩選與匹配方法從而完成概率分布建模，給出了一種可行的大跨度外延預(yù)測方法，同時提高了數(shù)據(jù)預(yù)測在電力需求分析中的實用性和魯棒性。
　　(3)提出了一種基于特征提取的半?yún)?shù)回歸概率密度預(yù)測框架，針對數(shù)據(jù)的周期性、

6、多頻域特征混疊特性，基于EEMD頻域分解方法對原始序列進行多尺度分析，結(jié)合頻域特征選擇與識別方法確定原始序列的特征信號和隨機信號，并對不同頻域信號進行重構(gòu)。結(jié)合正交最小二乘估計、Bootstrap概率區(qū)間估計，構(gòu)建了非參數(shù)修勻策略的半?yún)?shù)回歸模型?；谒岢龅哪Ｐ蛯Σ煌卣鞒煞趾挖厔莩煞址謩e建模并集成預(yù)測。該數(shù)據(jù)預(yù)測框架引入了頻域分析方法對數(shù)據(jù)作降維度處理，通過合理的篩選特征信號和趨勢信號并進行概率分布建模，為有效分析具有復(fù)雜趨勢融合特

7、征的非平穩(wěn)時間序列數(shù)據(jù)提供了一種新思路。
　　(4)提出了一種基于特征選擇和支持向量機的高維數(shù)據(jù)分類框架，針對連續(xù)型數(shù)值預(yù)測方法用于非平穩(wěn)、極端波動趨勢分析時容易失效的問題，基于數(shù)據(jù)分類的思想將傳統(tǒng)的數(shù)據(jù)類別看作是描述對象數(shù)據(jù)變化的“概率空間”，并增加對象數(shù)據(jù)的所屬類別及類別范圍從而將區(qū)間預(yù)測轉(zhuǎn)化為模式分類問題。通過融合Filter和Wrapper兩種不同特征選擇思路對SVM進行改進，給出了基于多分類的SVM-RFE-MRMR分類