線性約束矩陣最小二乘問(wèn)題：理論與算法.pdf

1、近年來(lái)，隨著社會(huì)的發(fā)展和科學(xué)的進(jìn)步，并受其他學(xué)科與工程技術(shù)領(lǐng)域應(yīng)用中產(chǎn)生的迫切需求所驅(qū)動(dòng)，帶各種約束的線性方程及其對(duì)應(yīng)的最小二乘問(wèn)題越來(lái)越引起人們的關(guān)注．如在眾多領(lǐng)域中擁有廣泛應(yīng)用的Sylvester方程，Lyapunov方程和帶各種約束的″逆特征值問(wèn)題″及其最小二乘問(wèn)題等． 理論上，利用Kronecker積，可以等價(jià)地將矩陣形式的約束最小二乘問(wèn)題寫成向量形式，因此，通解能夠用高維空間的向量表示．由于約束方程可以視為對(duì)應(yīng)的最小二

2、乘問(wèn)題殘量為零時(shí)的特殊情形，所以這種表示也同樣適合約束方程．但是，這種從矩陣到向量的等價(jià)變換方式引起系數(shù)陣的不必要增大，將直接導(dǎo)致計(jì)算量和存儲(chǔ)量的成倍增加；同時(shí)，系數(shù)矩陣的一些特殊結(jié)構(gòu)在解的表示中可能會(huì)丟失．為了克服在結(jié)構(gòu)分析和通解表示中引入Kronecker積產(chǎn)生的各種困難，許多研究者更為感興趣地是從矩陣層面上尋求無(wú)約束或者線性約束最小二乘問(wèn)題的通解表示．常用的方法是借助于一些矩陣分解，如廣義奇異值分解(GSVD)，典型相關(guān)分解(CC

3、D)，和商奇異值分解(QSVD)等．一般而言，矩陣方程可以通過(guò)特殊分解簡(jiǎn)化為″對(duì)角″形式，由此產(chǎn)生的新系統(tǒng)是容易求解的：我們只需將新變量陣合理的進(jìn)行分塊即可，其中的子塊一部分可以直接求解，另一部分則通過(guò)求解一個(gè)小規(guī)模的線性系統(tǒng)實(shí)現(xiàn)．此外，有些研究者也通過(guò)迭代數(shù)值求解一些特殊的約束最小二乘問(wèn)題． 一般地，矩陣分解是對(duì)特殊問(wèn)題采取的特定解法，需要很強(qiáng)的技巧性；并且它也依賴于方程本身和約束條件．因此，很難將一個(gè)特定的分解直接應(yīng)用于一系

4、列相關(guān)的卻又不同的問(wèn)題，可″移植″生較差．此外，這些方法通常是不″魯棒″的，微小的改變約束條件可能會(huì)引起求解的巨大變化．一個(gè)自然的問(wèn)題是：對(duì)于一般的線性約束最小二乘問(wèn)題，是否在通解和迭代上存在著統(tǒng)一的求解模式．在本文中，作者試圖在理論和算法上給出框架式的研究方法，通過(guò)對(duì)老問(wèn)題從新的切入點(diǎn)和視角入手進(jìn)行研究．相信文中提出的方法對(duì)約束最小二乘問(wèn)題的求解能夠提供啟發(fā)和幫助． 本文的主要貢獻(xiàn)如下： 1．利用約束空間的基矩陣(約束

5、矩陣)，我們用一個(gè)低維的列向量空間(坐標(biāo)空間)刻劃該線性約束空間，并且給出一般矩陣到這個(gè)約束空間上正交投影的矩陣表示． 2．揭示了強(qiáng)約束最小二乘問(wèn)題和弱約束最小二乘問(wèn)題解空間之間的內(nèi)在聯(lián)系．強(qiáng)約束解集是否包含于弱約束解集，取決于方程的右端矩陣T．對(duì)于一般情形，證明了：存在一個(gè)T的等價(jià)映射φ(T)，使得關(guān)于右端為φ(T)的強(qiáng)約束最小二乘問(wèn)題與原強(qiáng)約束問(wèn)題同解．更為重要的是：以φ(T)為右端的弱約束問(wèn)題的解集中，包含了原強(qiáng)約束問(wèn)題的

6、所有解．因此，對(duì)給定的右端φ(T)，如果相應(yīng)的弱約束問(wèn)題的通解已知或者容易得到，那么，原強(qiáng)約束問(wèn)題也就容易求解．我們用定理3.5揭露上述潛在的性質(zhì)，同時(shí)，該定理也表明：強(qiáng)約束解集實(shí)際上就是強(qiáng)約束空間與以φ(T)為右端的弱約束解集的交集．因此，等價(jià)映射的獲得就成為了求解約束最小二乘問(wèn)題的關(guān)鍵．T的等價(jià)映射φ(T)是不唯一的，它可以取成是在強(qiáng)約束變換值域(約束問(wèn)題本身的線性變換關(guān)于強(qiáng)約束空間的值域)上的正交投影．在文中，我們提出了刻劃等價(jià)映

7、射的幾個(gè)定理，并且給出了等價(jià)映射可驗(yàn)證的一些構(gòu)造途徑．然后，將這些理論應(yīng)用于一些特殊的約束最小二乘問(wèn)題，得到了通解的簡(jiǎn)單表示形式．從弱約束解集中尋找強(qiáng)約束通解為一般的帶約束最小二乘問(wèn)題提供了一種統(tǒng)一的求解模式，特別適合逐步施加更多約束條件的矩陣最小二乘問(wèn)題的求解． 3．對(duì)于特殊約束的兩類特定方程，通過(guò)約束條件中矩陣的特征值分解，實(shí)現(xiàn)約束方程的無(wú)約束化；同時(shí)將原約束方程等價(jià)于一個(gè)通解已知的無(wú)約束方程；然后重構(gòu)出原約束方程的解．在通

8、解的表示中不涉及具體的特征值分解． 4．提出了求解線性約束最小二乘問(wèn)題的幾種矩陣形式Krylov子空間方法．本質(zhì)上，這些算法是向量形式的CGLS，GMRES和LSQR對(duì)應(yīng)的矩陣迭代，但不僅僅是它們簡(jiǎn)單的重寫．理論上，借助于基矩陣和Kronecker積，我們得到約束最小二乘問(wèn)題的無(wú)約束向量形式，并對(duì)其應(yīng)用向量形式的Krylov子空間方法，由此可以推導(dǎo)出矩陣形式的Krylov方法．但是在具體的矩陣迭代中，我們要求是不涉及Kronec