第1章矩陣與線性方程組

1、<p>　　第1 章矩陣與線性方程組</p><p>　　矩陣是描述和求解線性方程組最基本和最有用的工具。本章涉及向量和矩陣的基本</p><p>　　概念，歸納了向量和矩陣的基本運(yùn)算。</p><p>　　1.1 主要理論與方法</p><p>　　1.1.1 矩陣的基本運(yùn)算</p><p><b&g

2、t;　　一、矩陣與向量</b></p><p>　　a11x1 + a12x2 + ¢ ¢ ¢ + a1nxn = b1</p><p>　　a21x1 + a22x2 + ¢ ¢ ¢ + a2nxn = b2</p><p><b>　　...</b></p>

3、<p>　　am1x1 + am2x2 + ¢ ¢ ¢ + amnxn = bm</p><p><b>　　9></b></p><p><b>　　>>>=>>>>;</b></p><p><b>　　(1.1)&l

4、t;/b></p><p>　　它使用m個(gè)方程描述n個(gè)未知量之間的線性關(guān)系。這一線性方程組很容易用矩陣||向量</p><p><b>　　形式簡(jiǎn)記為</b></p><p>　　Ax = b (1.2)</p><p><b>　　式中</b></p><p><

5、;b>　　A =26664</b></p><p>　　a11 a12 ¢ ¢ ¢ a1n</p><p>　　a21 a22 ¢ ¢ ¢ a2n</p><p><b>　　...</b></p><p><b>　　...<

6、/b></p><p><b>　　...</b></p><p>　　am1 am2 ¢ ¢ ¢ amn</p><p><b>　　37775</b></p><p><b>　　(1.3)</b></p><p>

7、;　　稱為m £ n矩陣，是一個(gè)按照長(zhǎng)方陣列排列的復(fù)數(shù)或?qū)崝?shù)集合；而</p><p><b>　　x =26664</b></p><p><b>　　x1</b></p><p><b>　　x2</b></p><p><b>　　...</b&g

8、t;</p><p><b>　　xn</b></p><p><b>　　37775</b></p><p>　　; b =26664</p><p><b>　　b1</b></p><p><b>　　b2</b></p

9、><p><b>　　...</b></p><p><b>　　bm</b></p><p><b>　　37775</b></p><p><b>　　(1.4)</b></p><p>　　分別為n £ 1向量和m

10、63; 1向量，是按照列方式排列的復(fù)數(shù)或?qū)崝?shù)集合，統(tǒng)稱列向量。類似</p><p>　　地，按照行方式排列的復(fù)數(shù)或?qū)崝?shù)集合稱為行向量，例如</p><p>　　a = [a1; a2; ¢ ¢ ¢ ; an] (1.5)</p><p><b>　　是1 £ n向量。</b></p><

11、;p><b>　　二、矩陣的基本運(yùn)算</b></p><p>　　1. 共軛轉(zhuǎn)置：若A = [aij ]是一個(gè)m£ n矩陣，則A的轉(zhuǎn)置記作AT，是一個(gè)n £m矩陣，</p><p>　　定義為[AT]ij = aji；矩陣A的復(fù)數(shù)共軛A¤ 定義為[A¤]ij = a¤ji；復(fù)共軛轉(zhuǎn)置記作AH，定義</p&g

12、t;<p><b>　　為</b></p><p><b>　　AH =26664</b></p><p>　　a¤11 a¤21 ¢ ¢ ¢ a¤m1</p><p>　　a¤12 a¤22 ¢ ¢ 

13、2; a¤m2</p><p><b>　　...</b></p><p><b>　　...</b></p><p><b>　　...</b></p><p>　　a¤1n a¤2n ¢ ¢ ¢ a¤mn

14、</p><p><b>　　37775</b></p><p><b>　　(1.6)</b></p><p>　　共軛轉(zhuǎn)置又叫Hermitian伴隨、Hermitian轉(zhuǎn)置或Hermitian共軛。滿足AH = A的正方復(fù)矩</p><p>　　陣稱為Hermitian矩陣或共軛對(duì)稱矩陣。<

15、;/p><p>　　2. 矩陣求和：兩個(gè)m£n矩陣A = [aij ]和B = [bij ]之和記作A+B，定義為[A+B]ij =</p><p>　　aij + bij。</p><p>　　3. 標(biāo)量與矩陣相乘：令A(yù) = [aij ]是一個(gè)m £ n矩陣，且®是一個(gè)標(biāo)量。乘積®A是一</p><p>

16、　　個(gè)m £ n矩陣，定義為[®A]ij = ®aij。</p><p>　　4. 矩陣與向量相乘：m £ n矩陣A = [aij ]與r £ 1向量x = [x1; x2; ¢ ¢ ¢ ; xr]T的乘積Ax</p><p>　　只有當(dāng)n = r時(shí)才存在，它是一個(gè)m £ 1向量，定義為</p&

17、gt;<p><b>　　[Ax]i =</b></p><p><b>　　n Xj=1</b></p><p>　　aijxj ; i = 1; 2; ¢ ¢ ¢ ;m</p><p>　　5. 矩陣與矩陣相乘：m £ n矩陣A = [aij ]與r £

18、s矩陣B = [bij ]的乘積AB只有當(dāng)n =</p><p>　　r時(shí)才存在，它是一個(gè)m £ s矩陣，定義為</p><p><b>　　[AB]ij =</b></p><p><b>　　n Xk=1</b></p><p>　　aikbkj ; i = 1; 2; ¢

19、¢ ¢ ;m; j = 1; 2; ¢ ¢ ¢ ; s</p><p>　　根據(jù)定義，容易驗(yàn)證矩陣的加法服從下面的運(yùn)算規(guī)則。</p><p>　　² 加法交換律(commutative law of addition)：A + B = B + A</p><p>　　² 加法結(jié)合律(associa

20、tive law of addition)：(A + B) + C = A + (B + C)</p><p>　　定理1.1 矩陣的乘積服從下面的運(yùn)算法則。</p><p>　　(1) 乘法結(jié)合律(associative law of multiplication): 若A 2 Cm£n;B 2 Cn£p;C 2</p><p>　　Cp

21、63;q，則A(BC) = (AB)C。</p><p>　　(2) 乘法左分配律(left distributive law of multiplication)：若A和B是兩個(gè)m£n 矩陣，</p><p>　　且C是一個(gè)n £ p矩陣，則(A + B)C = AC + BC。</p><p>　　(3) 乘法右分配律(right distr

22、ibutive law of multiplication)：若A是一個(gè)m£n 矩陣，并</p><p>　　且B和C是兩個(gè)n £ p矩陣，則A(B + C) = AB + AC。</p><p>　　(4) 若®是一個(gè)標(biāo)量，并且A和B是兩個(gè)m £ n矩陣，則®(A + B) = ®A + ®B。</p>

23、<p>　　6. 逆矩陣：令A(yù)是一個(gè)n£n矩陣，若可以找到一個(gè)n£n矩陣A¡1滿足AA¡1 = A¡1A =</p><p>　　I，稱矩陣A可逆，并稱A¡1是矩陣A的逆矩陣。</p><p>　　下面是共軛、轉(zhuǎn)置、共軛轉(zhuǎn)置和逆矩陣的性質(zhì)。</p><p>　　(1) 矩陣的共軛、轉(zhuǎn)置和共軛轉(zhuǎn)置滿

24、足分配律：</p><p>　　(A + B)¤ = A¤ + B¤</p><p>　　(A + B)T = AT + BT</p><p>　　(A + B)H = AH + BH</p><p>　　(2) 矩陣乘積的轉(zhuǎn)置、共軛轉(zhuǎn)置和逆矩陣滿足關(guān)系式</p><p>　　(AB)T

25、= BTAT</p><p>　　(AB)H = BHAH</p><p>　　(AB)¡1 = B¡1A¡1 (A;B 為可逆的正方矩陣)</p><p>　　(3) 共軛、轉(zhuǎn)置和共軛轉(zhuǎn)置等符號(hào)均可與求逆符號(hào)交換，即有</p><p>　　(A¤)¡1 = (A¡1)¤;

26、 (AT)¡1 = (A¡1)T; (AH)¡1 = (A¡1)H</p><p>　　因此，常常分別采用緊湊的數(shù)學(xué)符號(hào)A¡¤;A¡T和A¡H。</p><p>　　(4) 對(duì)于任意矩陣A，矩陣B = AHA都是Hermitian 矩陣。若A可逆，則對(duì)于Hermitian矩</p><p&g

27、t;　　陣B = AHA，有A¡HBA¡1 = A¡HAHAA¡1 = I。</p><p>　　7. 冪等矩陣：矩陣An£n稱為冪等矩陣(idempotent matrix)，若A2 = AA = A。</p><p>　　8. 對(duì)合矩陣：矩陣An£n稱為對(duì)合矩陣(involutory matrix)，若A2 = AA = I。

28、</p><p>　　三、向量的線性無(wú)關(guān)性與非奇異矩陣</p><p>　　1. 向量組線性相關(guān)/無(wú)關(guān)：一組m維向量fu1;u2; ¢ ¢ ¢ ;ung稱為線性無(wú)關(guān)，若方程</p><p>　　c1u1 + c2u2 + ¢ ¢ ¢ + cnun = 0</p><p>　　只有零解

29、c1 = c2 = ¢ ¢ ¢ = cn = 0。若能夠找到一組不全部為零的系數(shù)c1; c2; ¢ ¢ ¢ ; cn使得上</p><p>　　述方程成立，則稱m維向量組fu1;u2; ¢ ¢ ¢ ;ung線性相關(guān)。</p><p>　　2. 奇異/非奇異矩陣：一個(gè)n £ n矩陣A是非奇異的

30、，當(dāng)且僅當(dāng)矩陣方程Ax = 0只有</p><p>　　零解x = 0。若A不是非奇異的，則稱A 奇異。</p><p>　　四、初等行變換與階梯型矩陣</p><p>　　1. 矩陣的初等行變換：令矩陣A 2 Cm£n的m個(gè)行向量分別為r1; r2; ¢ ¢ ¢ ; rm。下列運(yùn)</p><p>　　

31、算稱為矩陣A的初等行運(yùn)算(elementary row operation)或初等行變換：</p><p>　　(1) 互換矩陣的任意兩行，如rp $ rq，稱為Ⅰ型初等行變換。</p><p>　　(2) 一行元素同乘一個(gè)非零常數(shù)®，如®rp ! rp，稱為Ⅱ型初等行變換。</p><p>　　(3) 將第p行元素同乘一個(gè)非零常數(shù)¯后

32、，加給第q行，即¯rp + rq ! rq，稱為Ⅲ型初</p><p><b>　　等行變換。</b></p><p>　　2. 階梯型矩陣：一個(gè)m £ n矩陣稱為階梯型(echelon form)矩陣，若</p><p>　　(1) 全部由零組成的所有行都位于矩陣的底部。</p><p>　　(2)

33、 每一個(gè)非零行的首項(xiàng)元素總是出現(xiàn)在上一個(gè)非零行的首項(xiàng)元素的右邊。</p><p>　　(3) 首項(xiàng)元素下面的同列元素全部為零。</p><p>　　1.1.2 向量空間、內(nèi)積空間與線性映射</p><p><b>　　一、向量空間</b></p><p>　　以向量為元素的集合V 稱為向量空間，若加法運(yùn)算定義為兩個(gè)向量之

34、間的加法，乘法</p><p>　　運(yùn)算定義為向量與標(biāo)量域S中的標(biāo)量之間的乘法，并且對(duì)于向量集合V 中的向量x; y;w和</p><p>　　標(biāo)量域S中的標(biāo)量a1; a2，以下兩個(gè)閉合性和關(guān)于加法及乘法的八個(gè)公理(axiom) [也稱公</p><p>　　設(shè)(postulate)或定律(law)]滿足：</p><p>　　閉合性(clo

35、sure properties)</p><p>　　(c1) 若x 2 V 和y 2 V ，則x + y 2 V ，即V 在加法下是閉合的，簡(jiǎn)稱加法的閉合</p><p>　　性(closure for addition)；</p><p>　　(c2) 若a1是一個(gè)標(biāo)量，y 2 V ，則a1y 2 V ，即V 在標(biāo)量乘法下是閉合的，簡(jiǎn)稱標(biāo)量乘</p>

36、<p>　　法的閉合性(closure for scalar multiplication)。</p><p><b>　　加法的公理</b></p><p>　　(a1) x + y = y + x; 8 x; y 2 V ，稱為加法的交換律(commutative law for addition)；</p><p>　　(a

37、2) x+(y +w) = (x+y)+w; 8 x; y;w 2 V ，稱為加法的結(jié)合律(associative law for</p><p>　　addition)；</p><p>　　(a3) 在V 中存在一個(gè)零向量0，使得對(duì)于任意向量y 2 V ，恒有y +0 = y (零向量的存</p><p><b>　　在性)；</b><

38、;/p><p>　　(a4) 給定一個(gè)向量y 2 V ，存在另一個(gè)向量¡y 2 V 使得y + (¡y) = (¡y) + y = 0 (負(fù)</p><p><b>　　向量的存在性)。</b></p><p><b>　　標(biāo)量乘法的公理</b></p><p>　　(s1

39、) a(by) = (ab)y對(duì)所有向量y和所有標(biāo)量a; b 成立，稱為標(biāo)量乘法的結(jié)合律(associative</p><p>　　law for scalar multiplication)；</p><p>　　(s2) a(x + y) = ax + ay對(duì)所有向量x; y 2 V 和標(biāo)量a 成立，稱為標(biāo)量乘法的分配</p><p>　　律(distribu

40、tive law for scalar multiplication)；</p><p>　　(s3) (a + b)y = ay + by對(duì)所有向量y和所有標(biāo)量a; b成立(標(biāo)量乘法的分配律)；</p><p>　　(s4) 1y = y 對(duì)所有y 2 V 成立，稱為標(biāo)量乘法的單位律(unity law for scalar multipli-</p><p>&

41、lt;b>　　cation)。</b></p><p><b>　　二、實(shí)內(nèi)積空間</b></p><p>　　實(shí)內(nèi)積空間(real inner product space)是滿足下列條件的實(shí)向量空間E：對(duì)E中每一對(duì)</p><p>　　向量x; y，存在向量x和y的內(nèi)積hx; yi 服從以下公理：</p>&l

42、t;p>　　(1) hx; xi > 0; 8 x 6= 0，稱為內(nèi)積的嚴(yán)格正性(strict positivity)或稱內(nèi)積是正定</p><p>　　的(positive de¯nite)，并且hx; xi = 0 , x = 0；</p><p>　　(2) hx; yi = hy; xi，稱為內(nèi)積的對(duì)稱性(symmetry)；</p><p

43、>　　(3) hx; y + zi = hx; yi + hx; zi; 8 x; y; z；</p><p>　　(4) h®x; yi = ®hx; yi對(duì)所有實(shí)向量x; y及所有實(shí)標(biāo)量®成立。</p><p><b>　　三、復(fù)內(nèi)積空間</b></p><p>　　復(fù)內(nèi)積空間(complex inner

44、 product space)是滿足下列條件的復(fù)向量空間C：對(duì)C中每</p><p>　　一對(duì)向量x; y，存在復(fù)向量x和y之間的內(nèi)積hx; yi 服從以下公理：</p><p>　　(1) x 6= 0 ) hx; xi > 0，稱為內(nèi)積的嚴(yán)格正性或稱內(nèi)積是正定的；</p><p>　　(2) hx; yi¤ = hy; xi，稱為內(nèi)積的共軛對(duì)稱性

45、(conjugate symmetry)或Hermitian性；</p><p>　　(3) hx; y + zi = hx; yi + hx; zi，對(duì)所有向量x; y; z成立；</p><p>　　(4) hcx; yi = c¤hx; yi對(duì)所有復(fù)向量x; y 及所有復(fù)標(biāo)量c成立。</p><p><b>　　四、線性映射</b&g

46、t;</p><p>　　令V 和W分別是Rm和Rn 的子空間，并且T : V 7! W是一映射。稱T為線性映射或線</p><p>　　性變換，若對(duì)于v 2 V; w 2 W和所有標(biāo)量c，映射T滿足線性關(guān)系式</p><p>　　T(v + w) = T(v) + T(w) (1.7)</p><p><b>　　和</b&

47、gt;</p><p>　　T(cv) = cT (v) (1.8)</p><p>　　1.1.3 隨機(jī)向量</p><p>　　一、隨機(jī)向量的統(tǒng)計(jì)描述</p><p>　　1. 均值向量：考查m£1隨機(jī)向量x(») = [x1(»); x2(»); ¢ ¢ ¢ ; xm

48、(»)]T。令隨機(jī)變量xi(»)的</p><p>　　均值Efxi(»)g = ¹i，則隨機(jī)向量的數(shù)學(xué)期望稱為均值向量，記作¹x，定義為</p><p>　　¹x = Efx(»)g =26664</p><p>　　Efx1(»)g Efx2(»)g ...</p&g

49、t;<p><b>　　Efxm(»)g</b></p><p><b>　　37775</b></p><p><b>　　=26664</b></p><p><b>　　¹1</b></p><p><b>

50、;　　¹2</b></p><p><b>　　...</b></p><p><b>　　¹m</b></p><p><b>　　37775</b></p><p><b>　　(1.9)</b></p>

51、<p>　　式(1.9)表明，均值向量的元素是隨機(jī)向量各個(gè)元素的均值。</p><p>　　2. 自相關(guān)矩陣：隨機(jī)向量的自相關(guān)矩陣定義為</p><p><b>　　Rx</b></p><p>　　def = Efx(»)xH(»)g =26664</p><p>　　r11 r12 &#

52、162; ¢ ¢ r1m</p><p>　　r21 r22 ¢ ¢ ¢ r2m</p><p><b>　　...</b></p><p><b>　　...</b></p><p><b>　　...</b></p&g

53、t;<p>　　rm1 rm2 ¢ ¢ ¢ rmm</p><p><b>　　37775</b></p><p><b>　　(1.10)</b></p><p>　　式中，rii; i = 1; 2; ¢ ¢ ¢ ;m表示隨機(jī)變量xi(»

54、;)的自相關(guān)函數(shù)，定義為</p><p><b>　　rii</b></p><p>　　def = Efjxi(»)j2g; i = 1; 2; ¢ ¢ ¢ ;m (1.11)</p><p>　　而rij表示隨機(jī)變量xi(»)和xj(»)之間的互相關(guān)函數(shù)，定義為</p>

55、<p><b>　　rij</b></p><p>　　def = Efxi(»)x¤j (»)g; i; j = 1; 2; ¢ ¢ ¢ ; m; i 6= j (1.12)</p><p>　　顯然，自相關(guān)矩陣是共軛對(duì)稱的，即為Hermitian矩陣。</p><p>

56、;　　3. 自協(xié)方差矩陣：隨機(jī)向量x(»)的自協(xié)方差矩陣定義為</p><p><b>　　Cx</b></p><p>　　def = Ef[x(») ¡ ¹x][x(») ¡ ¹x]Hg =26664</p><p>　　c11 c12 ¢ ¢

57、62; c1m</p><p>　　c21 c22 ¢ ¢ ¢ c2m</p><p><b>　　...</b></p><p><b>　　...</b></p><p><b>　　...</b></p><p>　　

58、cm1 cm2 ¢ ¢ ¢ cmm</p><p><b>　　37775</b></p><p><b>　　(1.13)</b></p><p>　　式中，主對(duì)角線的元素</p><p><b>　　cii</b></p><

59、;p>　　def = Efjxi(») ¡ ¹ij2g; i = 1; 2; ¢ ¢ ¢ ;m (1.14)</p><p>　　表示隨機(jī)變量xi(»)的方差¾2</p><p>　　i ，即cii = ¾2</p><p>　　i ，而非主對(duì)角線元素</p>

60、<p><b>　　cij</b></p><p>　　def = Ef[xi(») ¡ ¹i][xj(») ¡ ¹j ]¤g = Efxi(»)x¤j (»)g ¡ ¹i¹¤j = c¤j i (1.15)</p>

61、<p>　　表示隨機(jī)變量xi(»)和xj(»)之間的協(xié)方差。自協(xié)方差矩陣也是Hermitian矩陣。</p><p>　　隨機(jī)向量間的互相關(guān)矩陣與互協(xié)方差矩陣很容易由自相關(guān)矩陣與自協(xié)方差矩陣推廣</p><p><b>　　得到。</b></p><p>　　4. 統(tǒng)計(jì)不相關(guān)：兩個(gè)隨機(jī)向量x(»)與y(

62、»)統(tǒng)計(jì)不相關(guān)，若它們的互協(xié)方差矩陣等于零</p><p>　　矩陣，即Cxy = O。</p><p>　　5. 正交：兩個(gè)隨機(jī)向量x(»)和y(»)稱為正交，若它們的互相關(guān)矩陣為零矩陣，即</p><p>　　Rxy = Efx(»)yH(»)g = O (1.16)</p><p>&l

63、t;b>　　二、正態(tài)隨機(jī)向量</b></p><p>　　若隨機(jī)向量x(») = [x1(»); x2(»); ¢ ¢ ¢ ; xm(»)]T的各分量為聯(lián)合正態(tài)分布的隨機(jī)變量，</p><p>　　則稱x(»)為正態(tài)隨機(jī)向量。</p><p>　　1.1.4 內(nèi)積與范數(shù)

64、</p><p>　　一、向量的內(nèi)積與范數(shù)</p><p>　　1. 常數(shù)向量的內(nèi)積與范數(shù)</p><p>　　(1) 內(nèi)積：兩個(gè)m £ 1維常數(shù)向量x = [x1; x2; ¢ ¢ ¢ ; xm]T 和y = [y1; y2; ¢ ¢ ¢ ; ym]T的內(nèi)</p><p>

65、;　　積(或叫點(diǎn)積)定義為</p><p>　　hx; yi = xHy =</p><p><b>　　m Xi=1</b></p><p>　　x¤i yi (1.17)</p><p><b>　　(2) 范數(shù)：</b></p><p><b>　　

66、(a) l1范數(shù)</b></p><p><b>　　kxk1</b></p><p><b>　　def =</b></p><p><b>　　m Xi=1</b></p><p>　　jxij = jx1j + jx2j + ¢ ¢

67、62; + jxmj (1.18)</p><p>　　上述范數(shù)有時(shí)也叫和范數(shù)或1范數(shù)。</p><p><b>　　(b) l2范數(shù)</b></p><p>　　kxk2 = (jx1j2 + jx2j2 + ¢ ¢ ¢ + jxmj2)1=2 (1.19)</p><p>　　這一范數(shù)常

68、稱Euclidean范數(shù)，有時(shí)也稱Frobenius范數(shù)。</p><p><b>　　(c) l1</b></p><p><b>　　范數(shù)</b></p><p>　　kxk1 = max(jx1j; jx2j; ¢ ¢ ¢ ; jxmj) (1.20)</p><p&

69、gt;　　也稱無(wú)窮范數(shù)或極大范數(shù)。</p><p><b>　　(d) lp范數(shù)</b></p><p>　　kxkp = Ã m Xi=1</p><p><b>　　jxijp!1=p</b></p><p>　　; p > 1 (1.21)</p><p&g

70、t;　　lp范數(shù)也叫HÄolder范數(shù)[20]。</p><p>　　2. 隨機(jī)向量的內(nèi)積與范數(shù)</p><p>　　(1) 內(nèi)積：若x(»)和y(») 分別是樣本變量»的隨機(jī)向量，則它們的內(nèi)積定義為</p><p>　　hx(»); y(»)i def = EfxH(»)y(»)g (

71、1.22)</p><p>　　其中，樣本變量»可以是時(shí)間t、圓頻率f、角頻率!和空間變量s等。</p><p>　　(2) 范數(shù)：隨機(jī)向量x(»)的范數(shù)定義為</p><p>　　kx(»)k2 def = EfxH(»)x(»)g (1.23)</p><p><b>　　二、矩

72、陣的范數(shù)</b></p><p>　　1. Frobenius范數(shù)</p><p><b>　　kAkF</b></p><p><b>　　def =0@</b></p><p><b>　　m Xi=1</b></p><p><b

73、>　　n Xj=1</b></p><p><b>　　jaij j21A</b></p><p><b>　　1=2</b></p><p><b>　　(1.24)</b></p><p>　　這一定義可以視為向量的Euclidean范數(shù)對(duì)按照矩陣各行排列

74、\長(zhǎng)向量"</p><p>　　x = [a11; ¢ ¢ ¢ ; a1n; a21; ¢ ¢ ¢ ; a2n; ¢ ¢ ¢ ; am1; ¢ ¢ ¢ ; amn]T</p><p>　　的推廣。矩陣的Frobenius范數(shù)也被稱為Euclidean范數(shù)、Sch

75、ur范數(shù)、Hilbert-Schmidt范數(shù)</p><p><b>　　或者l2范數(shù)。</b></p><p><b>　　2. lp范數(shù)</b></p><p><b>　　kAkp</b></p><p><b>　　def = max</b><

76、;/p><p><b>　　x6=0</b></p><p><b>　　kAxkp</b></p><p><b>　　kxkp</b></p><p><b>　　(1.25)</b></p><p>　　式中，kxkp是向量x的l

77、p范數(shù)，由式(1.21)定義。lp范數(shù)也稱為Minkowski p 范數(shù)，或者簡(jiǎn)</p><p><b>　　稱p范數(shù)。</b></p><p>　　3. 行和范數(shù)(row-sum norm)</p><p>　　kAkrow = max</p><p><b>　　16i6m8<:</b>&

78、lt;/p><p><b>　　n Xj=1</b></p><p><b>　　jaij j9=;</b></p><p><b>　　(1.26)</b></p><p>　　4. 列和范數(shù)(column-sum norm)</p><p>　　kAkc

79、ol = max</p><p>　　16j6n( m Xi=1</p><p>　　jaij j) (1.27)</p><p>　　5. 譜范數(shù)(spectrum norm)</p><p>　　kAkspec = ¾max = p¸max (1.28)</p><p>　　1.1.5 基與Gr

80、am-Schmidt正交化</p><p><b>　　一、向量子空間的基</b></p><p>　　生成子空間W的線性無(wú)關(guān)的向量fu1;u2; ¢ ¢ ¢ ;udg稱為子空間W的基向量(basis vec-</p><p>　　tors) 或簡(jiǎn)稱為基。生成子空間W的基向量的個(gè)數(shù)稱為子空間W 的維數(shù)，即有<

81、/p><p>　　d = dim(Spanfu1;u2; ¢ ¢ ¢ ;udg) (1.29)</p><p>　　二、Gram-Schmidt正交化</p><p>　　令fx1; x2; ¢ ¢ ¢ ; xng 是p維向量子空間W的任意一組基(即線性無(wú)關(guān)的向量)。于是，子</p><p&

82、gt;　　空間W的標(biāo)準(zhǔn)正交基fu1;u2; ¢ ¢ ¢ ;ung可以通過Gram-Schmidt正交化構(gòu)造如下：</p><p>　　p1 = x1; u1 = p1</p><p><b>　　kp1k</b></p><p><b>　　= x1</b></p><p&

83、gt;<b>　　kx1k</b></p><p><b>　　pk = xk ¡</b></p><p><b>　　k¡1 Xi=1</b></p><p><b>　　(uH</b></p><p>　　i xk)ui; uk =

84、 pk</p><p><b>　　kpkk</b></p><p><b>　　(1.30)</b></p><p>　　式中，2 6 k 6 n。</p><p>　　1.1.6 矩陣的標(biāo)量函數(shù)</p><p><b>　　一、矩陣的二次型</b>&

85、lt;/p><p>　　任意一個(gè)正方矩陣A的二次型xHAx是一實(shí)標(biāo)量。以實(shí)矩陣為例，考查二次型</p><p>　　xTAx = [x1; x2; x3]24</p><p><b>　　1 4 2</b></p><p><b>　　¡1 7 5</b></p><p&g

86、t;<b>　　¡1 6 335</b></p><p><b>　　24</b></p><p><b>　　x1</b></p><p><b>　　x2</b></p><p><b>　　x3</b></p&g

87、t;<p><b>　　35</b></p><p><b>　　= x2</b></p><p>　　1 ¡ x2x1 ¡ x3x1 + 4x1x2 + 7x2</p><p>　　2 + 6x3x2 + 2x1x3 + 5x2x3 + 3x2</p><p>&

88、lt;b>　　3</b></p><p><b>　　= x2</b></p><p><b>　　1 + 7x2</b></p><p><b>　　2 + 3x2</b></p><p>　　3 + 3x1x2 + x1x3 + 11x2x3</p&

89、gt;<p>　　這是變?cè)獂的二次型函數(shù)，故稱xTAx為矩陣A的二次型。</p><p>　　一個(gè)復(fù)共軛對(duì)稱矩陣A稱為</p><p>　　正定矩陣，若二次型xHAx > 0; 8 x 6= 0；</p><p>　　半正定矩陣，若二次型xHAx > 0; 8 x 6= 0 (也稱非負(fù)定的)；</p><p>　　負(fù)

90、定矩陣，若二次型xHAx < 0; 8 x 6= 0；</p><p>　　半負(fù)定矩陣，若二次型xHAx 6 0; 8 x 6= 0 (也稱非正定的)；</p><p>　　不定矩陣，若二次型xHAx既可能取正值，也可能取負(fù)值。</p><p><b>　　二、矩陣的跡</b></p><p>　　1. 定義：n

91、£ n矩陣A的對(duì)角元素之和稱為A的跡(trace)，記作tr(A)，即</p><p>　　tr(A) = a11 + a22 + ¢ ¢ ¢ + ann =</p><p><b>　　n Xi=1</b></p><p>　　aii (1.31)</p><p><b&g

92、t;　　2. 性質(zhì)：</b></p><p>　　(1) 關(guān)于跡的等式[27]</p><p>　　(a) 若A和B 均為n £ n矩陣，則tr(A § B) = tr(A) § tr(B)。</p><p>　　(b) 若c是一個(gè)復(fù)或者實(shí)的常數(shù)，則tr(cA) = c tr(A)。</p><p>

93、　　(c) 若A和B 均為n£n矩陣，并且c1和c2為常數(shù)，則tr(c1A§c2B) = c1tr(A)§c2tr(B)。</p><p>　　(d) 矩陣A的轉(zhuǎn)置、復(fù)數(shù)共軛和復(fù)共軛轉(zhuǎn)置的跡分別為</p><p>　　tr(AT) = tr(A)</p><p>　　tr(A¤) = [tr(A)]¤</p&g

94、t;<p>　　tr(AH) = [tr(A)]¤</p><p>　　(e) 跡是相似不變量：若A為m £ n 矩陣，且B為n £ m矩陣，則</p><p>　　tr(AB) = tr(BA)</p><p>　　(f) 若矩陣A和B均為m £ m矩陣，并且B非奇異，則</p><p>

95、;　　tr(BAB¡1) = tr(B¡1AB) = tr(A)</p><p>　　(g) 若A是一個(gè)m £ n矩陣，則tr(AHA) = 0 , A = Om£n (零矩陣)。</p><p>　　(h) xHAx = tr(AxxH)和yHx = tr(xyH)。</p><p>　　(i) 分塊矩陣的跡滿足</p

96、><p><b>　　tr ·A B</b></p><p>　　C D¸= tr(A) + tr(D)</p><p>　　式中，A 2 Cm£m;B 2 Cm£n;C 2 Cn£m;D 2 Cn£n。</p><p>　　(j) 矩陣AHA 和AAH的跡相等，且

97、有</p><p>　　tr(AHA) = tr(AAH) =</p><p><b>　　n Xi=1</b></p><p><b>　　n Xj=1</b></p><p>　　jaij j2 (1.32)</p><p>　　(k) 跡等于特征值之和，即</p&

98、gt;<p>　　tr(A) = ¸1 + ¸2 + ¢ ¢ ¢ + ¸n (1.33)</p><p>　　(l) 對(duì)于任何正整數(shù)k，有</p><p><b>　　tr(Ak) =</b></p><p><b>　　n Xi=1</b><

99、/p><p><b>　　¸k</b></p><p><b>　　i (1.34)</b></p><p>　　式右的和稱為A的諸特征值的k次矩。</p><p>　　(2) 關(guān)于跡的不等式[27]</p><p>　　(a) 對(duì)一個(gè)復(fù)矩陣A 2 Cm£n，

100、有tr(AHA) = tr(AAH) > 0。</p><p>　　(b) 若A;B均為m £ n矩陣，則</p><p>　　tr[(ATB)2] 6 tr(ATA)tr(BTB) (Cauchy-Schwartz不等式)</p><p>　　tr[(ATB)2] 6 tr(ATABTB)</p><p>　　tr[(ATB

101、)2] 6 tr(AATBBT)</p><p>　　(c) Schur不等式：tr(A2) 6 tr(ATA)。</p><p>　　(d) tr[(A + B)(A + B)T] 6 2[tr(AAT) + tr(BBT)]。</p><p>　　(e) 若A和B為m £ m對(duì)稱矩陣，則tr(AB) 6 1</p><p>　　

102、2 tr(A2 + B2)。</p><p><b>　　三、行列式</b></p><p>　　1. 定義：一個(gè)n £ n正方矩陣A的行列式記作det(A)或jAj</p><p>　　det(A) = jAj =¯¯¯¯¯¯¯¯¯</p

103、><p>　　a11 a12 ¢ ¢ ¢ a1n</p><p>　　a21 a22 ¢ ¢ ¢ a2n</p><p><b>　　...</b></p><p><b>　　...</b></p><p><b

104、>　　... a</b></p><p><b>　　n</b></p><p><b>　　1</b></p><p><b>　　a</b></p><p><b>　　n</b></p><p><b&

105、gt;　　2</b></p><p><b>　　¢</b></p><p><b>　　¢</b></p><p><b>　　¢</b></p><p><b>　　a</b></p><p

106、><b>　　n</b></p><p><b>　　n</b></p><p><b>　　¯¯¯¯¯¯¯¯¯</b></p><p><b>　　(1.35)</b></p&

107、gt;<p>　　若A = fag 2 C1£1，則它的行列式由det(A) = a給出。</p><p><b>　　2. 性質(zhì)：</b></p><p>　　(1) 關(guān)于行列式的等式關(guān)系[27]</p><p>　　(a) 如果矩陣的兩行(或列)互換位置，則行列式數(shù)值保持不變，但符號(hào)改變。</p>&l

108、t;p>　　(b) 若矩陣的某行(或列)是其他行(或列)的線性組合，則det(A) = 0。特別地，若某</p><p>　　行(或列)與另一行(或列) 成正比或相等，或者某行(或列)的元素均等于零，則det(A) = 0。</p><p>　　(c) 任何一個(gè)正方矩陣A和它的轉(zhuǎn)置矩陣AT具有相同的行列式，即</p><p>　　det(A) = det(AT