溫故知新系列（一）：傳統(tǒng)回歸模型比較之ols、ridge、enet、lasso、scad、mcp、分位數(shù)回歸

1、HTTP:RESEARCH..CN請參閱最后一頁的重要聲明證券證券研究報告研究報告金融工程專題金融工程專題溫故知新系列溫故知新系列（一）：傳統(tǒng)回歸模型比較傳統(tǒng)回歸模型比較之OLSOLS、RIDGERIDGE、ENEET、LASSOLASSO、SCADCAD、MCPCP、分位數(shù)回歸、分位數(shù)回歸人工智能算法存在的問題與傳統(tǒng)統(tǒng)計方法的理論優(yōu)勢人工智能算法存在的問題與傳統(tǒng)統(tǒng)計方法的理論優(yōu)勢AlphaGoZero的成功，讓“人工智能”的概念深入人

2、心。復雜度較高的數(shù)據(jù)挖掘算法有效的前提是問題一定有確定解（即使模型范式非常復雜），同時要求數(shù)據(jù)的“質(zhì)”和“量”達到一定要求。在量化投資應用中，數(shù)據(jù)質(zhì)量一般（共線性、滯后性、信噪比低等）、數(shù)據(jù)量不夠大（宏觀經(jīng)濟數(shù)據(jù)等）的時候，強行套用黑箱模型，不僅模型的解釋性差、參數(shù)敏感，而且非常容易出現(xiàn)過擬合。針對基本面的數(shù)據(jù)，具有強有力理論支撐的傳統(tǒng)統(tǒng)計方法依然表現(xiàn)出了較好的性能?；谝陨?，我們推出溫故知新系列專題，重新梳理部分傳統(tǒng)統(tǒng)計方法的理論基礎

3、和適用范圍“偏差“偏差—方差”方差”模型模型分解分解OLSOLS回歸回歸方法方法估計估計的誤差來源誤差來源線性回歸因自變量共線性、實際分布厚尾、存在離群點等問題，OLS回歸預測總誤差較大。本文基于針對預測總誤差的“偏差—方差”分解，分析了估計誤差來源。介紹了彈性網(wǎng)族回歸（Lasso、E、Ridge）、非凸懲罰函數(shù)回歸(SCAD、MCP)、分位數(shù)回歸的差異與效果，通過控制模型方差和偏差，最終降低模型預測總誤差，相對于OLS回歸，顯著提升變

4、量選擇能力和預測的穩(wěn)健性。LassoLasso目標函數(shù)為凸易計算，壓縮無關(guān)變量系數(shù)為目標函數(shù)為凸易計算，壓縮無關(guān)變量系數(shù)為0，魯棒性佳，魯棒性佳Ridge回歸唯一有顯示解，計算簡單；E、Lasso、SCAD、MCP回歸均能將較小系數(shù)壓縮至0，且選擇性壓縮共線性變量中的一個。Lasso、SCAD、MCP回歸方法的變量選擇最有效，樣本外的預測效果最佳。Lasso目標函數(shù)為凸易計算，壓縮無關(guān)變量系數(shù)為0，魯棒性佳，尤其實用。SCAD滿足漸近無

5、偏性，但計算復雜。本文針對樣本數(shù)量為100和1000的數(shù)據(jù)進行了數(shù)值模型，比較了不同方法的變量選擇能力、擬合效果和估計誤差。分位數(shù)回歸忽略分位數(shù)回歸忽略殘差假設，多條回歸曲線提供更多信息殘差假設，多條回歸曲線提供更多信息分位數(shù)回歸不考慮同方差、正態(tài)的假設，具備異常點耐抗性，捕捉分布尾部特征等特點，比OLS回歸更穩(wěn)??；不僅僅分析被解釋變量的條件期望，亦可分析被解釋變量的中位數(shù)、分位數(shù)情況。應用實例：應用實例：PPIPPI和海外利率是近期國

6、內(nèi)長債利率上行直接影響因素和海外利率是近期國內(nèi)長債利率上行直接影響因素不同時期長債利率的直接影響因子不同。20082012年國內(nèi)核心影響變量是經(jīng)濟，2013年的錢荒直接基本面因素影響較小，2014年之后利率更多受到海外利率的影響。本文以Lasso回歸為例，我們滾動計算了經(jīng)濟、通脹及國外利率和十年期國債收益率月度環(huán)差48個月數(shù)據(jù)對國內(nèi)長債利率的影響。金融金融工程工程研究研究丁魯明丁魯明dingluming@.cn02168821623執(zhí)業(yè)

7、證書編號：S1440515020001發(fā)布日期：2018年1月12日相關(guān)研究報告相關(guān)研究報告[table_rept]CHINASECURITIESRESEARCH2HTTP:RESEARCH..CN金融金融工程工程研究研究金融工程專題報告請參閱最后一頁的重要聲明圖表目錄圖表目錄圖1：線性回歸改進邏輯......................................................................

8、.........................................................3圖2：模型建立、擬合、預測過程...............................................................................................................5圖3：模型復雜度與“偏差—方差”關(guān)系.................

9、.......................................................................................6圖4：E、Ridge、Lasso回歸的限制域...................................................................................................9圖5：E、Ridge

10、、Lasso回歸的懲罰力度比較.......................................................................................9圖6：SCAD、MPC、Lasso回歸的懲罰力度比較....................................................................................10圖7：多種

11、回歸方法的懲罰函數(shù)曲線..........................................................................................................11圖8：分位數(shù)回歸的檢驗函數(shù)........................................................................................

12、.............................12圖9：Lasso、E、Ridge回歸路徑比較.................................................................................................14圖10：Lasso、SCAD、MCP回歸路徑比較............................................

13、..................................................14圖11：核心驅(qū)動因子與十年期國債收益率變化的spearman相關(guān)系數(shù)...................................................18圖12：核心驅(qū)動因子與十年期國債收益率變化的lasso回歸系數(shù)和線性回歸結(jié)果的比較..................19表1：模型預測總誤差分解成分比較....

14、.......................................................................................................5表2：Lasso、E、Ridge回歸方法比較..............................................................................................

15、.....8表3：回歸方法的評價指標.........................................................................................................................15表4：不同回歸方法500次試驗模擬結(jié)果(λ=1.00)....................................................