基于特征分析和數(shù)據(jù)降維的復(fù)雜數(shù)據(jù)預(yù)測(cè)與分類方法研究.pdf

1、數(shù)據(jù)預(yù)測(cè)與分類是數(shù)據(jù)挖掘領(lǐng)域非常重要的研究課題，長(zhǎng)期以來(lái)受到了廣泛的關(guān)注。數(shù)據(jù)預(yù)測(cè)與分類理論是管理科學(xué)、經(jīng)濟(jì)、數(shù)學(xué)、計(jì)算機(jī)等不同學(xué)科相互交叉融合的結(jié)晶，并已經(jīng)被廣泛應(yīng)用于能源價(jià)格市場(chǎng)分析、金融市場(chǎng)價(jià)格預(yù)測(cè)和風(fēng)險(xiǎn)控制、生物信息識(shí)別、商務(wù)智能客戶行為分析等眾多領(lǐng)域。近年來(lái)，隨著信息技術(shù)、互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，云計(jì)算、大數(shù)據(jù)分析的逐步成熟，復(fù)雜數(shù)據(jù)預(yù)測(cè)與分類研究充滿了機(jī)遇與挑戰(zhàn)，一方面，隨著上述新興技術(shù)、產(chǎn)業(yè)的發(fā)展與推廣，大量實(shí)時(shí)在線數(shù)據(jù)的快

2、速收集得以實(shí)現(xiàn)，以數(shù)據(jù)預(yù)測(cè)與分類為代表的數(shù)據(jù)挖掘技術(shù)將在更多的領(lǐng)域中發(fā)揮更大的作用。另一方面，從數(shù)據(jù)維度、數(shù)據(jù)類型以及數(shù)據(jù)體量等不同層面來(lái)看，數(shù)據(jù)對(duì)象正變的越來(lái)越多樣化、復(fù)雜化，這極大的增加了精準(zhǔn)化和精細(xì)化挖掘的難度，同時(shí)也從知識(shí)獲取的準(zhǔn)確性、合理性、可靠性以及實(shí)用性等多個(gè)方面對(duì)數(shù)據(jù)預(yù)測(cè)與分類研究提出了更高要求。
　　本文在對(duì)國(guó)內(nèi)外數(shù)據(jù)預(yù)測(cè)與分類有關(guān)基礎(chǔ)理論、實(shí)現(xiàn)方法和建模策略進(jìn)行梳理和總結(jié)的基礎(chǔ)上，重點(diǎn)從數(shù)據(jù)的維度復(fù)雜性、頻域特

3、征復(fù)雜性、多源信息識(shí)別與匹配三個(gè)方面出發(fā)，緊密圍繞數(shù)據(jù)預(yù)測(cè)與分類的關(guān)鍵問(wèn)題，以電力系統(tǒng)負(fù)荷數(shù)據(jù)、電力市場(chǎng)價(jià)格數(shù)據(jù)為主要研究對(duì)象和案例，對(duì)復(fù)雜數(shù)據(jù)預(yù)測(cè)與分類問(wèn)題展開(kāi)研究。本文的主要研究?jī)?nèi)容及創(chuàng)新點(diǎn)總結(jié)如下:
　　(1)提出了一種基于相似性測(cè)度的半?yún)?shù)回歸概率密度預(yù)測(cè)框架，系統(tǒng)性分析了傳統(tǒng)數(shù)據(jù)預(yù)測(cè)方法的適用范圍及存在的問(wèn)題。在此基礎(chǔ)上，針對(duì)研究對(duì)象的多源相關(guān)性特征，構(gòu)建了基于非參數(shù)修勻的半?yún)?shù)回歸模型，同時(shí)結(jié)合Bootstrap概率區(qū)

4、間估計(jì)進(jìn)行分析。其次，針對(duì)所選擇的多影響因素指標(biāo)與研究對(duì)象之間作用機(jī)制難以確定的問(wèn)題，結(jié)合相似性測(cè)度、因子分析以及因果關(guān)系檢驗(yàn)等方法，給出了一種規(guī)范化的指標(biāo)變量提取與識(shí)別策略。通過(guò)實(shí)驗(yàn)驗(yàn)證所提出預(yù)測(cè)框架的有效性，進(jìn)而為深入研究不同指標(biāo)變量與對(duì)象數(shù)據(jù)之間的復(fù)雜建模機(jī)制提供了借鑒。
　　(2)提出了一種基于數(shù)據(jù)降維的分段可加半?yún)?shù)回歸概率密度預(yù)測(cè)框架，針對(duì)數(shù)據(jù)的周期性、多維多粒度波動(dòng)特性，受到可加建模思想的啟發(fā)，提出了基于分段可加的半

5、參數(shù)回歸模型，并結(jié)合Bootstrap概率區(qū)間估計(jì)進(jìn)行分析。為保證樣本外預(yù)測(cè)的可行性和合理性，基于Bootstrap重采樣技術(shù)對(duì)氣象數(shù)據(jù)的未來(lái)趨勢(shì)進(jìn)行了有效模擬。該數(shù)據(jù)預(yù)測(cè)框架引入了可加建模思想對(duì)數(shù)據(jù)作降維度處理，并結(jié)合指標(biāo)變量篩選與匹配方法從而完成概率分布建模，給出了一種可行的大跨度外延預(yù)測(cè)方法，同時(shí)提高了數(shù)據(jù)預(yù)測(cè)在電力需求分析中的實(shí)用性和魯棒性。
　　(3)提出了一種基于特征提取的半?yún)?shù)回歸概率密度預(yù)測(cè)框架，針對(duì)數(shù)據(jù)的周期性、

6、多頻域特征混疊特性，基于EEMD頻域分解方法對(duì)原始序列進(jìn)行多尺度分析，結(jié)合頻域特征選擇與識(shí)別方法確定原始序列的特征信號(hào)和隨機(jī)信號(hào)，并對(duì)不同頻域信號(hào)進(jìn)行重構(gòu)。結(jié)合正交最小二乘估計(jì)、Bootstrap概率區(qū)間估計(jì)，構(gòu)建了非參數(shù)修勻策略的半?yún)?shù)回歸模型?；谒岢龅哪Ｐ蛯?duì)不同特征成分和趨勢(shì)成分分別建模并集成預(yù)測(cè)。該數(shù)據(jù)預(yù)測(cè)框架引入了頻域分析方法對(duì)數(shù)據(jù)作降維度處理，通過(guò)合理的篩選特征信號(hào)和趨勢(shì)信號(hào)并進(jìn)行概率分布建模，為有效分析具有復(fù)雜趨勢(shì)融合特

7、征的非平穩(wěn)時(shí)間序列數(shù)據(jù)提供了一種新思路。
　　(4)提出了一種基于特征選擇和支持向量機(jī)的高維數(shù)據(jù)分類框架，針對(duì)連續(xù)型數(shù)值預(yù)測(cè)方法用于非平穩(wěn)、極端波動(dòng)趨勢(shì)分析時(shí)容易失效的問(wèn)題，基于數(shù)據(jù)分類的思想將傳統(tǒng)的數(shù)據(jù)類別看作是描述對(duì)象數(shù)據(jù)變化的“概率空間”，并增加對(duì)象數(shù)據(jù)的所屬類別及類別范圍從而將區(qū)間預(yù)測(cè)轉(zhuǎn)化為模式分類問(wèn)題。通過(guò)融合Filter和Wrapper兩種不同特征選擇思路對(duì)SVM進(jìn)行改進(jìn)，給出了基于多分類的SVM-RFE-MRMR分類