奇异值与行列式的关系
设
A
A
A是
n
×
n
n\times n
n×n正方矩阵。由于酉矩阵的行列式之绝对值等于1,所以有
∣
d
e
t
(
A
)
∣
=
∣
d
e
t
Σ
∣
=
σ
1
σ
2
…
σ
n
|det(A)|=|det\Sigma|=\sigma_1 \sigma_2…\sigma_n
∣det(A)∣=∣detΣ∣=σ1σ2…σn
若所有
σ
i
\sigma_i
σi都不等于零,则
∣
d
e
t
(
A
)
∣
≠
0
|det(A)|≠0
∣det(A)∣=0这表明
A
A
A是非奇异的。如果至少有一个
σ
i
(
i
>
r
)
\sigma_i(i>r)
σi(i>r)等于零,便有
d
e
t
(
A
)
=
0
det(A)=0
det(A)=0,即
A
A
A是奇异的。这就是之所以把全部
σ
i
\sigma_i
σi值统称为奇异值的原因。
对于一个
n
×
n
n\times n
n×n矩阵
A
A
A,下列不等式成立:
{
n
σ
1
≥
∣
∣
A
∣
∣
F
≥
σ
1
σ
1
n
≥
σ
1
n
−
1
σ
n
≥
∣
d
e
t
(
A
)
∣
≥
σ
n
n
∣
∣
A
∣
∣
F
≥
σ
1
>
∣
d
e
t
(
A
)
∣
1
/
n
∣
d
e
t
(
A
)
∣
1
/
n
≥
σ
n
≥
∣
d
e
t
(
A
)
∣
/
∣
∣
A
∣
∣
F
n
−
1
∣
∣
A
∣
∣
F
n
/
d
e
t
(
A
)
∣
≥
σ
1
/
σ
n
≥
m
a
x
{
1
,
1
n
∣
∣
A
∣
∣
F
/
∣
d
e
t
(
A
)
∣
1
/
n
}
\begin{cases} n\sigma_1 ≥ ||A||_F ≥ \sigma_1\\ \sigma_1^n≥\sigma_1^{n-1}\sigma_n≥|det(A)| ≥\sigma_n^n\\ ||A||_F ≥\sigma_1>|det(A)|^{1/n}\\ |det(A)|^{1/n}≥\sigma_n≥|det(A)|/||A||_F^{n-1}\\ ||A||_F^n/det(A)| ≥\sigma_1/\sigma_n ≥ max \{1,\frac{1}{n}||A||_F/|det(A)|^{1/n}\} \end{cases}
⎩
⎨
⎧nσ1≥∣∣A∣∣F≥σ1σ1n≥σ1n−1σn≥∣det(A)∣≥σnn∣∣A∣∣F≥σ1>∣det(A)∣1/n∣det(A)∣1/n≥σn≥∣det(A)∣/∣∣A∣∣Fn−1∣∣A∣∣Fn/det(A)∣≥σ1/σn≥max{1,n1∣∣A∣∣F/∣det(A)∣1/n}
这些不等式虽然是粗略的评价,但有时是有用的。
奇异值与条件数的关系
对于一个
m
×
n
m\times n
m×n矩阵
A
A
A,其条件数也可以利用奇异值定义为
c
o
n
d
(
A
)
=
σ
1
/
σ
p
,
p
=
m
i
n
{
m
,
n
}
cond(A)=\sigma_1/\sigma_p,p=min\{m,n\}
cond(A)=σ1/σp,p=min{m,n}
由上式可以看出,条件数是一个大于或等于1的正数,因为
σ
1
≥
σ
p
\sigma_1≥\sigma_p
σ1≥σp 。显然,由于至少有一个奇异值
σ
p
=
0
\sigma_p=0
σp=0,故奇异矩阵的条作数为无穷大,而条件数虽然不是无穷大,但却很大时,就称
A
A
A是接近奇异的。这意味着,当条件数很大时,
A
A
A的行向量或列向量的线性相关性很强。另知,正交或西矩阵
V
V
V的条件数等于1。
从这个意义上讲,正交或酉矩阵是“理想条件”的。
考虑超定方程
A
x
=
b
Ax=b
Ax=b。此时,由于
A
H
A
A^HA
AHA的奇异值分解为
A
H
A
=
V
Σ
2
V
H
A^HA = V\Sigma^2V^H
AHA=VΣ2VH
即矩阵
A
H
A
A^HA
AHA的最大和最小奇异值分别是矩阵
A
A
A的最大和最小奇异值的平方,故
c
o
n
d
(
A
H
A
)
=
σ
1
2
σ
n
2
=
[
c
o
n
d
(
A
)
]
2
cond(A^HA) =\frac{\sigma_1^2}{\sigma_n^2}=[cond(A)]^2
cond(AHA)=σn2σ12=[cond(A)]2
换言之,矩阵
A
H
A
A^HA
AHA的条件数是矩阵
A
A
A的条件数的平方倍。
奇异值与特征值的关系
设 n × n n\times n n×n正方对称矩阵 A A A的特征值为 λ 1 , λ 2 , … , λ n ( ∣ λ 1 ∣ ≥ ∣ λ 2 ∣ ≥ … ≥ λ n ) \lambda_1,\lambda_2,…,\lambda_n(|\lambda_1|≥|\lambda_2|≥…≥\lambda_n) λ1,λ2,…,λn(∣λ1∣≥∣λ2∣≥…≥λn),奇异值为 σ 1 , σ 2 , … , σ n ( σ 1 ≥ σ 2 ≥ … ≥ σ n ≥ 0 ) \sigma_1,\sigma_2,…,\sigma_n(\sigma_1≥\sigma_2≥…≥\sigma_n≥0) σ1,σ2,…,σn(σ1≥σ2≥…≥σn≥0),则 σ 1 ≥ ∣ λ i ∣ ≥ σ n ( i = 1 , 2 , … , n ) , c o n d ( A ) ≥ ∣ λ 1 ∣ / ∣ λ n ∣ \sigma_1≥|\lambda_i|≥\sigma_n(i=1,2,…,n),cond(A)≥|\lambda_1|/|\lambda_n| σ1≥∣λi∣≥σn(i=1,2,…,n),cond(A)≥∣λ1∣/∣λn∣。
奇异值的性质汇总
1.奇异值服从的等式关系
(1)
A
m
×
n
A_{m\times n}
Am×n和其复共轭转置矩阵
A
H
A^H
AH具有相同的奇异值。
(2)矩阵
A
m
×
n
A_{m\times n}
Am×n的非零奇异值是
A
A
H
AA^H
AAH或者
A
H
A
A^HA
AHA的非零特征值的正平方根。
(3)
σ
>
0
\sigma>0
σ>0是矩阵
A
m
×
n
A_{m\times n}
Am×n的单奇异值,当且仅当
σ
2
\sigma_2
σ2是
A
A
H
AA^H
AAH或
A
H
A
A^HA
AHA的单特征值。
(4)若
p
=
m
i
n
{
m
,
n
}
p=min\{m,n\}
p=min{m,n},且
σ
1
,
σ
2
,
…
,
σ
p
\sigma_1,\sigma_2,…,\sigma_p
σ1,σ2,…,σp是矩阵
A
m
×
n
A_{m\times n}
Am×n的奇异值,则
t
r
(
A
H
A
)
=
∑
i
=
1
p
σ
i
2
tr(A^HA)=\sum_{i=1}^p\sigma_i^2
tr(AHA)=i=1∑pσi2
(5)矩阵行列式的绝对值等于矩阵奇异值之乘积,即
∣
d
e
t
(
A
)
∣
=
σ
1
,
σ
2
,
…
,
σ
n
|det(A)|=\sigma_1,\sigma_2,…,\sigma_n
∣det(A)∣=σ1,σ2,…,σn
(6)矩阵
A
A
A的谱范数等于
A
A
A的最大奇异值,即
∣
∣
A
∣
∣
s
p
e
c
=
σ
m
a
x
||A||_{spec}=\sigma_{max}
∣∣A∣∣spec=σmax
(7)若
m
≥
n
m≥n
m≥n,则对于矩阵
A
m
×
n
A_{m\times n}
Am×n,有
σ
m
i
n
(
A
)
=
m
i
n
{
(
x
H
A
H
A
x
x
H
x
)
1
/
2
:
x
≠
0
}
\sigma_{min}(A)= min\{(\frac{x^HA^HAx}{x^Hx})^{1/2} : x \ne 0\}
σmin(A)=min{(xHxxHAHAx)1/2:x=0}
=
m
i
n
{
(
x
H
A
H
A
x
)
1
/
2
:
x
H
x
=
1
,
x
∈
C
n
}
=min\{(x^HA^HAx)^{1/2}:x^Hx=1,x\in C^n\}
=min{(xHAHAx)1/2:xHx=1,x∈Cn}
(8)若
m
≥
n
m≥n
m≥n,则对于矩阵
A
m
×
n
A_{m\times n}
Am×n,有
σ
m
a
x
(
A
)
=
m
a
x
{
(
x
H
A
H
A
x
x
H
x
)
1
/
2
:
x
≠
0
}
\sigma_{max}(A)= max\{(\frac{x^HA^HAx}{x^Hx})^{1/2} : x \ne 0\}
σmax(A)=max{(xHxxHAHAx)1/2:x=0}
=
m
a
x
{
(
x
H
A
H
A
x
)
1
/
2
:
x
H
x
=
1
,
x
∈
C
n
}
=max\{(x^HA^HAx)^{1/2}:x^Hx=1,x\in C^n\}
=max{(xHAHAx)1/2:xHx=1,x∈Cn}
(9)若
m
×
m
m\times m
m×m矩阵
A
A
A非奇异,则
1
σ
m
i
n
(
A
)
=
m
a
x
{
(
x
H
(
A
−
1
)
H
A
−
1
x
x
H
x
)
1
/
2
:
x
≠
0
,
x
∈
C
n
}
\frac{1}{\sigma_{min}(A)}=max\{(\frac{x^H(A^{-1})^HA^{-1}x}{x^Hx})^{1/2} : x \ne 0\ ,x\in C^n\}
σmin(A)1=max{(xHxxH(A−1)HA−1x)1/2:x=0 ,x∈Cn}
(10)若
A
=
U
[
Σ
1
O
O
O
]
V
H
A=U\begin{bmatrix}\Sigma_1&O\\O&O\end{bmatrix}V^H
A=U[Σ1OOO]VH是
m
×
n
m\times n
m×n矩阵
A
A
A的奇异值分解,则
A
A
A的Moore-Penrose
逆矩阵
A
+
=
V
[
Σ
1
−
1
O
O
O
]
U
H
A^+=V \begin{bmatrix} \Sigma_1^{-1}&O\\ O&O \end{bmatrix}U^H
A+=V[Σ1−1OOO]UH
(11)若
σ
1
,
σ
2
,
…
,
σ
p
\sigma_1,\sigma_2,…,\sigma_p
σ1,σ2,…,σp是
m
×
n
m\times n
m×n矩阵
A
A
A的非零奇异值(其中,
p
=
m
i
n
{
m
,
n
}
p=min\{m,n\}
p=min{m,n}),则矩阵
[
O
A
A
H
O
]
\begin{bmatrix}O&A\\A^H&O\end{bmatrix}
[OAHAO]具有
2
p
2p
2p个非零奇异值
σ
1
,
…
,
σ
p
,
−
σ
1
,
.
.
.
,
−
σ
p
\sigma_1,…,\sigma_p,-\sigma_1,...,-\sigma_p
σ1,…,σp,−σ1,...,−σp和
∣
m
−
n
∣
|m-n|
∣m−n∣个零奇异值。
2.奇异值服从的不等式关系
(1)若
A
A
A和
B
B
B是
m
×
n
m\times n
m×n矩阵,则对于
1
≤
i
,
j
≤
p
,
i
+
j
≤
p
+
1
(
p
=
m
i
n
{
m
,
n
}
)
1≤i,j≤p,i+j≤p+1(p=min\{m,n\})
1≤i,j≤p,i+j≤p+1(p=min{m,n}),有
σ
i
+
j
−
1
(
A
+
B
)
≤
σ
i
(
A
)
+
σ
j
(
B
)
\sigma_{i+j-1}(A+B)≤\sigma_i(A)+\sigma_j(B)
σi+j−1(A+B)≤σi(A)+σj(B)
特别地,当
j
=
1
j=1
j=1时,
σ
i
(
A
+
B
)
≤
σ
i
(
A
)
+
σ
1
(
B
)
,
i
=
1
,
2
,
…
,
p
\sigma_i(A+B)≤\sigma_i(A)+\sigma_1(B),i=1,2,…,p
σi(A+B)≤σi(A)+σ1(B),i=1,2,…,p成立。
(2)对矩阵
A
m
×
n
,
B
m
×
n
A_{m\times n},B_{m\times }n
Am×n,Bm×n,有
σ
m
a
x
(
A
+
B
)
≤
σ
m
a
x
(
A
)
+
σ
m
a
x
(
B
)
\sigma_{max}(A+B)≤\sigma_{max}(A)+\sigma_{max}(B)
σmax(A+B)≤σmax(A)+σmax(B)
(3)若
A
A
A和
B
B
B是
m
×
n
m\times n
m×n矩阵,则
∑
j
=
1
p
[
σ
j
(
A
+
B
)
−
σ
j
(
A
)
]
2
≤
∣
∣
B
∣
∣
F
2
,
p
=
m
i
n
{
m
,
n
}
\sum_{j=1}^p[\sigma_j(A+B)-\sigma_j(A)]^2 ≤ ||B||_F^2,p=min\{m,n\}
j=1∑p[σj(A+B)−σj(A)]2≤∣∣B∣∣F2,p=min{m,n}
(4)若
A
m
×
m
=
[
a
1
,
a
2
,
…
,
a
m
]
A_{m\times m}=[a_1,a_2,…,a_m]
Am×m=[a1,a2,…,am]的奇异值
σ
1
(
A
)
≥
σ
2
(
A
)
≥
…
≥
σ
m
(
A
)
\sigma_1(A)≥\sigma_2(A)≥…≥\sigma_m(A)
σ1(A)≥σ2(A)≥…≥σm(A),则
∑
j
=
1
k
[
σ
m
−
k
+
j
(
A
)
2
≤
∑
j
=
1
k
a
j
H
a
j
≤
∑
j
=
1
k
[
σ
j
(
A
)
]
2
,
k
=
1
,
2
,
.
.
.
,
m
\sum_{j=1}^k[\sigma_{m-k+j}(A)^2 ≤ \sum_{j=1}^ka_j^Ha_j≤\sum_{j=1}^k[\sigma_j(A)]^2,k=1,2,...,m
j=1∑k[σm−k+j(A)2≤j=1∑kajHaj≤j=1∑k[σj(A)]2,k=1,2,...,m
(5)设
m
×
(
n
−
1
)
m\times (n-1)
m×(n−1)矩阵
B
B
B是删去
m
×
n
m\times n
m×n矩阵
A
A
A任意一列得到的矩阵,并且它们的奇异值都按照非降顺序排列,则
σ
1
(
A
)
≥
σ
1
(
B
)
≥
σ
2
(
A
)
≥
σ
2
(
B
)
≥
…
≥
σ
h
(
A
)
≥
σ
h
(
B
)
≥
0
\sigma_1(A)≥\sigma_1(B)≥\sigma_2(A)≥\sigma_2(B)≥…≥\sigma_h(A)≥\sigma_h(B)≥0
σ1(A)≥σ1(B)≥σ2(A)≥σ2(B)≥…≥σh(A)≥σh(B)≥0
式中,
h
=
m
i
n
{
m
,
n
−
1
}
h=min\{m,n-1\}
h=min{m,n−1}。
(6)设
(
m
−
1
)
×
n
(m-1)\times n
(m−1)×n矩阵
B
B
B是删去
m
×
n
m\times n
m×n矩阵
A
A
A任意一行得到的矩阵,并且它们的奇异值都按照非降顺序排列,则
σ
1
(
A
)
≥
σ
1
(
B
)
≥
σ
2
(
A
)
≥
σ
2
(
B
)
≥
…
≥
σ
h
(
A
)
≥
σ
h
(
B
)
≥
0
\sigma_1(A)≥\sigma_1(B)≥\sigma_2(A)≥\sigma_2(B)≥…≥\sigma_h(A)≥\sigma_h(B)≥0
σ1(A)≥σ1(B)≥σ2(A)≥σ2(B)≥…≥σh(A)≥σh(B)≥0
式中,
h
=
m
i
n
{
m
,
n
−
1
}
h=min\{m,n-1\}
h=min{m,n−1}。
(7)矩阵
A
m
×
n
A_{m\times n}
Am×n的最大奇异值满足不等式
σ
m
a
x
(
A
)
≥
[
1
n
t
r
(
A
H
A
)
]
1
/
2
\sigma_{max}(A)≥ [\frac{1}{n}tr(A^HA)]^{1/2}
σmax(A)≥[n1tr(AHA)]1/2
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。