判別最小平方有序回歸研究及應(yīng)用.pdf

1、有序回歸是模式識別中特殊的有監(jiān)督學(xué)習(xí)，其問題來自于有序離散標(biāo)號結(jié)構(gòu)廣泛存在于現(xiàn)實生活之中。而傳統(tǒng)的有監(jiān)督學(xué)習(xí)因未利用有序信息，難以保證期望的性能。有序回歸旨在利用類間自然有序標(biāo)號劃分模式，不僅期望能獲得較高的分類精度，同時期望預(yù)測標(biāo)號盡可能接近真實標(biāo)號。近年來，有序回歸引起眾多研究者的極大興趣和廣泛關(guān)注，涌現(xiàn)出眾多經(jīng)典方法，并可大致分為三類。但據(jù)我們所知，最小平方回歸(LSR)尚未被改造并用于有序回歸場景。LSR作為一種典型回歸學(xué)習(xí)，因

2、其有堅實的理論支撐而在模式識別領(lǐng)域具有廣泛應(yīng)用。其通過優(yōu)化訓(xùn)練樣本與標(biāo)號間的映射關(guān)系，從而最小化誤差平方和。但其未被有序改造的可能是因為有序信息難以在LSR中被直接利用。
　　本文首先嘗試標(biāo)號的累積編碼以實現(xiàn)有序信息嵌入，發(fā)展出最小平方有序回歸(LSOR)算法。但注意到LOSR僅體現(xiàn)了有序性，而未體現(xiàn)出離散性，進而通過聯(lián)合利用累積標(biāo)號及間隔擴大技術(shù)，最終提出了一個新的判別最小平方有序回歸(DLSOR)。DLSOR在對回歸函數(shù)無需施

3、加約束的前提下，僅通過改造標(biāo)號即實現(xiàn)了有序信息的嵌入和類間間隔的擴大，從而確保 DLSOR在與LSR具有相當(dāng)模型復(fù)雜度的同時，既保證了較高的分類精度，又獲得了較低的平均絕對誤差。在眾多數(shù)據(jù)集中的實驗驗證了該方法的優(yōu)越性。
　　進一步考慮到現(xiàn)實中常遇到樣本數(shù)量有限的場景，致使所學(xué)算法的泛化性受到制約。由此通過借鑒邊際特征擾動(MCF)思想，對有限訓(xùn)練樣本的輸入數(shù)據(jù)和類標(biāo)號分別進行隨機和確定的擾動，并結(jié)合 LSOR框架，發(fā)展出了雙重特