基于正交最小二乘的邏輯積網(wǎng)絡(luò)非線性回歸模型研究.pdf

1、近幾十年來(lái)，機(jī)器學(xué)習(xí)快速發(fā)展，它已被廣泛應(yīng)用在許多領(lǐng)域，如數(shù)據(jù)挖掘、人工智能和醫(yī)療保健等。作為機(jī)器學(xué)習(xí)中最重要的學(xué)科之一，回歸問(wèn)題的研究已受到科學(xué)界和工業(yè)界的高度關(guān)注。
　　非線性回歸不像線性回歸那么簡(jiǎn)單、易于處理，它代表了一項(xiàng)非常具有挑戰(zhàn)性的研究課題，因?yàn)樗枰谝蜃兞颗c多個(gè)特征屬性之間構(gòu)建復(fù)雜的非線性變化關(guān)系。非線性回歸問(wèn)題現(xiàn)被視為機(jī)器學(xué)習(xí)領(lǐng)域最重要的研究課題之一，其中模型的性能改進(jìn)是一個(gè)重要的研究點(diǎn)。在已有的文獻(xiàn)中，主要是通

2、過(guò)對(duì)模型結(jié)構(gòu)、參數(shù)估計(jì)方法、及參數(shù)預(yù)處理方法的選擇這幾個(gè)方面來(lái)實(shí)現(xiàn)模型的性能最優(yōu)。
　　邏輯積網(wǎng)絡(luò)(Logistic Product Basis Network，LPBN)是最近提出的一個(gè)優(yōu)秀的非線性回歸工具，它比標(biāo)準(zhǔn)的單隱層邏輯感知器具有更深層的網(wǎng)絡(luò)結(jié)構(gòu)。單層邏輯感知器是邏輯函數(shù)的線性組合，用梯度下降法進(jìn)行優(yōu)化，而梯度下降(GradientDescent，GD)類(lèi)型的算法在用標(biāo)準(zhǔn)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練時(shí)計(jì)算量大、收斂速度慢。

3、由于邏輯積網(wǎng)絡(luò)模型的參數(shù)比單層感知器多很多，這使得對(duì)訓(xùn)練邏輯積網(wǎng)絡(luò)而言，情況會(huì)變得更加糟糕。
　　本論文對(duì)非線性模型的構(gòu)建問(wèn)題進(jìn)行了研究，主要包括兩個(gè)方面:模型結(jié)構(gòu)和參數(shù)估計(jì)方法。并在正交最小二乘法(Orthogonal Least Square，OLS)上對(duì)傳統(tǒng)的邏輯積網(wǎng)絡(luò)做了改進(jìn)。OLS被用來(lái)把LPBN模型分解為多個(gè)子模型，并利用貪心算法逐項(xiàng)優(yōu)化模型，因此在每次的迭代中，只需要優(yōu)化一個(gè)參數(shù)很少的模型。重復(fù)加權(quán)推進(jìn)搜索(Repe

4、ated Weighted Boosting Search，RWBS)算法被用于調(diào)整每一個(gè)子模型的參數(shù)，它簡(jiǎn)單有效、易于編程和算法調(diào)整，而且它還是一個(gè)全局搜索算法。
　　實(shí)驗(yàn)所用數(shù)據(jù)來(lái)自于人工模擬和從UCI機(jī)器學(xué)習(xí)數(shù)據(jù)庫(kù)中下載的真實(shí)數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明，與支持向量回歸機(jī)(Support Vector Regression，SVR)、相關(guān)向量機(jī)(Relevance Vector Machine，RVM)、標(biāo)準(zhǔn)的LPBN相比較，本文的