基于加權(quán)殘差和矩陣分解的快速低秩矩陣補(bǔ)全方法.pdf

1、低秩矩陣補(bǔ)全是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重要問題，目的是利用矩陣中的一部分觀測(cè)元素恢復(fù)大量的缺失信息。當(dāng)前的低秩矩陣補(bǔ)全方法主要分為兩類:第一類方法是基于核范數(shù)或加權(quán)核范數(shù)最小化的矩陣補(bǔ)全方法，比如截?cái)嗪朔稊?shù)正則化方法(TNNR)以及迭代重加權(quán)核范數(shù)最小化方法(IRNN);第二類方法是基于矩陣分解的快速低秩矩陣補(bǔ)全方法，比如低秩矩陣擬合方法(LMaFit)、基于矩陣三分解的矩陣補(bǔ)全方法(FTF)以及基于矩陣雙分解的矩陣補(bǔ)全方法(MBF)。這些低

2、秩矩陣補(bǔ)全方法在收斂速度和收斂精度這兩方面很難同時(shí)具有較好的性能。本文主要針對(duì)這一問題，在保證收斂精度的前提下，提出四種快速的矩陣補(bǔ)全方法:
　　(1)為了降低截?cái)嗪朔稊?shù)正則化方法(TNNR)的迭代次數(shù)，提出了一種基于加權(quán)殘差和截?cái)嗪朔稊?shù)正則化方法的矩陣補(bǔ)全方法(TNNR-WRE)以及該方法的擴(kuò)展方法(ETNNR-WRE)。通過為殘差矩陣的每一行分配不同的權(quán)值，TNNR-WRE方法能夠優(yōu)先恢復(fù)矩陣中缺失元素較少的行。實(shí)驗(yàn)結(jié)果表明，

3、TNNR-WRE方法比TNNR方法具有更少的迭代次數(shù);ETNNR-WRE不僅具有較快的收斂速度，而且具有很好的收斂精度以及參數(shù)魯棒性。
　　(2)研究了QR分解和SVD分解的內(nèi)在聯(lián)系并提出了一種利用QR分解迭代求解矩陣奇異值以及奇異向量的方法CSVD-QR。該方法可以有選擇的計(jì)算矩陣的前幾個(gè)較大的奇異值。然后，提出了兩種不依賴于SVD分解的快速矩陣補(bǔ)全方法:一種方法是基于QR分解和L2,1范數(shù)(矩陣所有行的F范數(shù)之和)最小化的矩陣

4、補(bǔ)全方法(LNM-QR);另一種方法是基于QR分解和迭代重加權(quán)L2,1范數(shù)最小化的矩陣補(bǔ)全方法(IRLNM-QR)。這兩種方法都使用CSVD-QR一次迭代所得的結(jié)果來(lái)恢復(fù)缺失信息。與傳統(tǒng)方法相比，LNM-QR與IRLNM-QR具有更快的收斂速度。此外，理論分析以及相關(guān)實(shí)驗(yàn)結(jié)果均表明，IRLNM-QR方法中的迭代重加權(quán)L2,1范數(shù)最終收斂到IRNN方法中的迭代重加權(quán)核范數(shù)。因此，IRLNM-QR與IRNN具有相同的收斂精度。
　　(

5、3)在矩陣雙分解的框架下，提出了一種基于迭代重加權(quán)L2,1范數(shù)最小化的矩陣補(bǔ)全方法(MBF-IRLN)。該方法首先利用QR分解提取矩陣的列正交基;然后通過求解一個(gè)迭代重加權(quán)L2,1范數(shù)最小化問題以恢復(fù)矩陣中缺失的信息。與IRLNM-QR方法不同的是，MBF-IRLN方法在每一次迭代中的計(jì)算量要小很多。因此，MBF-IRLN方法具有更快的收斂速度。此外，理論分析表明MBF-IRLN方法的收斂精度與IRNN方法也基本相當(dāng)。
　　(4)