内积空间，赋范空间和Hilbert空间

傷城~ 2021-12-01 14:12 655阅读 0赞

引言：

*  我们通常说某某某，不加定义的说一些事情是因为我们之间约定俗成了一些背景、一些底色。比方说：“人总有一死，或重于泰山，或轻于鸿毛”，这句话之所以成立，是因为在现阶段，我们基于对过去历史的总结和对于世间万物的观察所得出的结论，这其实就是我们说那句话的背景或者是底色。  
    但是游戏中的人就不是人吗，他能被虚拟世界创造出来，他能在虚拟世界中生长，他可以说话，他可以战斗，他可以喜怒哀乐，他也可能由于种种原因而死去，从而我们可以认为他就是虚拟世界中的人。  
    以上我们不难发现，肉体人和虚拟人同样是人，只是这两类人在不同的环境或背景设置中，理解这一点很重要，因为我们讨论问题时，总是要明白话题的背景或边界在哪，不明白这个底色就去讨论，意义不大，因为某件事成立总是有范围的，脱离范围去应用很可能会失败。

### Cauchy序列（Cauchy sequence） ###

以下描述来自[链接：wangxiaojun911][wangxiaojun911]的描述，该博主描述的很好，咱就借用下，部分地方略有改动，请博主谅解。

--------------------

一组**数列**由无穷多个元素组成，每个元素都有一个唯一的序号。柯西序列是这样一组数列，它的元素随着序号增加而接近，即最终**收敛**。

给定一个数列，如何判断它是否是柯西序列？方法是先去掉前 N N N个元素（ N N N是有限的数），再看剩下的元素有没有这样一种规律：任何两个元素之差不大于任意指定的正数。

这种序列有无穷多个元素，我们可以举一个具体的例子。比如一个序列： \{ X 1 , X 2 , X 3 , ⋯ &ThinSpace; \} \\left\\\{X\_1,X\_2,X\_3,\\cdots\\right\\\} \{ X1,X2,X3,⋯\}其中 X 1 = 1 , X n + 1 = X n 2 + 1 X n X\_1=1,X\_\{n+1\}=\\frac\{X\_n\}\{2\}+\\frac\{1\}\{X\_n\} X1=1,Xn\+1=2Xn\+Xn1这个序列其实是： \{ 1 , 3 2 , 17 12 , ⋯ &ThinSpace; \} \\left\\\{1,\\frac\{3\}\{2\},\\frac\{17\}\{12\},\\cdots\\right\\\} \{ 1,23,1217,⋯\}。可以证明这个数列最后收敛到一个无理数： 2 \\sqrt 2 2。既然它收敛于某个具体的数（ 2 \\sqrt 2 2），那么当我们去掉有限个数之后，剩下的数都无穷接近于 2 \\sqrt 2 2，当然任何两个元素之差不大于任意正数，于是能确定这是柯西序列。

我们可知，柯西序列的定义有赖于如何定义距离。在上述例子里，我们把两个数之差定义为它们的距离，当然距离还有其他的定义方法。只有定义了距离，柯西序列才有意义。换句话说，只有在度量空间中柯西序列才有意义。

柯西序列的重要作用是定义“完备空间”。完备空间是指一种度量空间，它的所有柯西序列（如果有的话），都收敛在这个空间自己里面。有一种直观的形容方法就是完备空间“没有孔”（内部不缺点），“不缺皮”（边界不缺点），从这一点上讲，一个空间完备同一个集合的闭包是类似的。这一类似还体现在以下定理中：完备空间的闭子集是完备的。完备空间在数学分析里面有重大作用。

--------------------

作者：wangxiaojun911  
来源：CSDN  
原文：[https://blog.csdn.net/wangxiaojun911/article/details/6205569][wangxiaojun911]

### 内积空间 ###

简言之，内积空间就是给定一种符合内积定义的三条公理的映射函数来定义此空间的内积规则的向量空间。  
再简言之，就是对于某向量空间定义了某种称之为**起内积作用的映射函数**的向量空间。

**定义**：若对所有 x , y , z ∈ V \\bm x,\\bm y,\\bm z\\in V x,y,z∈V和 α , β ∈ K \\alpha,\\beta\\in \\mathbb K α,β∈K，映射函数 ⟨ ⋅ , ⋅ ⟩ : V × V ↦ K \\langle·,·\\rangle:V\\times V\\mapsto\\mathbb K ⟨⋅,⋅⟩:V×V↦K满足以下三条公理：

*  共轭对称性： ⟨ x , y ⟩ = ⟨ y , x ⟩ ∗ \\langle\\bm x,\\bm y\\rangle=\\langle\\bm y,\\bm x\\rangle^\* ⟨x,y⟩=⟨y,x⟩∗；
 *  第一变元的线性性： ⟨ α x + β y , z ⟩ = α ⟨ x , z ⟩ + β ⟨ y , z ⟩ \\langle\\alpha\\bm x+\\beta\\bm y,\\bm z\\rangle=\\alpha\\langle\\bm x,\\bm z\\rangle+\\beta\\langle\\bm y,\\bm z\\rangle ⟨αx\+βy,z⟩=α⟨x,z⟩\+β⟨y,z⟩；
 *  非负性： ⟨ x , x ⟩ ≥ 0 \\langle\\bm x,\\bm x\\rangle\\geq0 ⟨x,x⟩≥0，并且 ⟨ x , x ⟩ = 0 ⇔ x = 0 \\langle\\bm x,\\bm x\\rangle=0\\Leftrightarrow\\bm x=\\bm 0 ⟨x,x⟩=0⇔x=0

则称 ⟨ x , y ⟩ \\langle\\bm x,\\bm y\\rangle ⟨x,y⟩为向量 x \\bm x x与 y \\bm y y的内积， V V V为内积向量空间。  
两个向量之间的内积可以度量他们之间的夹角： cos ⁡ θ = ⟨ x , y ⟩ ⟨ x , x ⟩ ⟨ y , y ⟩ \\cos \\theta=\\frac\{\\langle\\bm x,\\bm y\\rangle\}\{\\sqrt\{\\langle\\bm x,\\bm x\\rangle\}\\sqrt\{\\langle\\bm y,\\bm y\\rangle\}\} cosθ=⟨x,x⟩⟨y,y⟩⟨x,y⟩  
所以一定要明白，满足**定义**里面规则的映射函数都可以称之为内积。

### 赋范向量空间 ###

通俗的理解，就是指定一种**范数类型**给该向量空间。  
满足下面三条公理的 p ( x ) p(\\bm x) p(x)映射函数都可以称为向量空间 V V V的范数：

*  非负性： p ( x ) ≥ 0 , 并 且 p ( x ) = 0 ⇔ x = 0 p(\\bm x)\\geq0,并且p(\\bm x)=0\\Leftrightarrow \\bm x=\\bm 0 p(x)≥0,并且p(x)=0⇔x=0；
 *  齐次性： p ( c x ) = ∣ c ∣ p ( x ) p(c\\bm x)=|c|p(\\bm x) p(cx)=∣c∣p(x)对所有的复数 c c c成立；
 *  三角不等式： p ( x + y ) ≤ p ( x ) + p ( y ) p(\\bm x+\\bm y)\\leq p(\\bm x)+p(\\bm y) p(x\+y)≤p(x)\+p(y)。

并称 V V V为赋范向量空间（normed vector space）。

#### Euclidean范数 ####

*  最常用的的向量范数为Euclidean范数或者 L 2 L\_2 L2范数，计作 ∣ ∣ ⋅ ∣ ∣ 2 ||·||\_2 ∣∣⋅∣∣2，定义为 ∣ ∣ x ∣ ∣ E = ∣ ∣ x ∣ ∣ 2 = x 1 2 + ⋯ + x m 2 ||\\bm x||\_E=||\\bm x||\_2=\\sqrt\{x\_1^2+\\cdots+x\_m^2\} ∣∣x∣∣E=∣∣x∣∣2=x12\+⋯\+xm2  L 2 L\_2 L2范数可以直接度量一个向量 x \\bm x x的长度 s i z e ( x ) = ∣ ∣ x ∣ ∣ 2 size(\\bm x)=||\\bm x||\_2 size(x)=∣∣x∣∣2，两个向量之间的距离 d ( x , y ) = ∣ ∣ x − y ∣ ∣ 2 d(\\bm x,\\bm y)=||\\bm x-\\bm y||\_2 d(x,y)=∣∣x−y∣∣2以及一个向量的 ϵ \\epsilon ϵ邻域(其中 ϵ > 0 \\epsilon>0 ϵ>0)  N ϵ ( x ) = \{ y ∣   ∣ ∣ y − x ∣ ∣ 2 ≤ ϵ \} N\_\\epsilon(\\bm x)=\\\{\\bm y|\\ ||\\bm y-\\bm x||\_2\\leq\\epsilon\\\} Nϵ(x)=\{ y∣ ∣∣y−x∣∣2≤ϵ\}
    
     *   n n n阶复向量 x = \[ x 1 , ⋯ &ThinSpace; , x n \] T , y = \[ y 1 , ⋯ &ThinSpace; , y n \] T \\bm x=\[x\_1,\\cdots,x\_n\]^T,\\bm y=\[y\_1,\\cdots,y\_n\]^T x=\[x1,⋯,xn\]T,y=\[y1,⋯,yn\]T之间的内积  ⟨ x , y ⟩ = x H y = ∑ i = 1 n x i ∗ y i \\langle\\bm x,\\bm y\\rangle=\\bm x^H\\bm y=\\sum^n\_\{i=1\}x\_i^\*y\_i ⟨x,y⟩=xHy=i=1∑nxi∗yi称为典范内积。采用**典范内积**的有限维向量空间 R n \\mathbb R^n Rn或者 C n \\mathbb C^n Cn习惯上称为 n n n阶Euclidean空间或者Euclidean  n n n空间。（请注意：是采用典范内积的向量空间才称为Euclidean空间）

#### 酋不变性 ####

*  若 ∣ ∣ U x ∣ ∣ = ∣ ∣ x ∣ ∣ ||\\bm U\\bm x||=||\\bm x|| ∣∣Ux∣∣=∣∣x∣∣对所有向量 x ∈ C m \\bm x\\in\\mathbb C^\{m\} x∈Cm和所有的酋矩阵 U ∈ C m × m \\bm U\\in\\mathbb C^\{m\\times m\} U∈Cm×m恒成立，则称范数 ∣ ∣ x ∣ ∣ ||\\bm x|| ∣∣x∣∣是酋不变的。其中，酋矩阵 U H = U − 1 \\bm U^H=\\bm U^\{-1\} UH=U−1
 *  Euclidean范数是酋不变的。  
    证明：显然， U x \\bm U\\bm x Ux是一个向量，则 U x \\bm U\\bm x Ux向量的典范内积为 ∣ ∣ U x ∣ ∣ 2 2 = ( U x ) H U x = x H U H U x ||\\bm U\\bm x||\_2^2=(\\bm U\\bm x)^H\\bm U\\bm x=\\bm x^H\\bm U^H\\bm U\\bm x ∣∣Ux∣∣22=(Ux)HUx=xHUHUx，因为 U \\bm U U是单位标准正交向量，即 U H U = I \\bm U^H\\bm U=\\bm I UHU=I，故 x H U H U x = x H x = ∣ ∣ x ∣ ∣ 2 2 \\bm x^H\\bm U^H\\bm U\\bm x=\\bm x^H\\bm x=||\\bm x||^2\_2 xHUHUx=xHx=∣∣x∣∣22，故Euclidean范数是酋不变范数。

### 完备性和Hilbert空间 ###

#### 完备性 ####

若对于向量空间 V V V中的**每一个**Cauchy序列 \{ v n \} n = 1 ∞ ⊂ V \\\{\\bm v\_n\\\}^\\infty\_\{n=1\}\\subset V \{ vn\}n=1∞⊂V，在向量空间 V V V内存在一个元素 v \\bm v v，使得 l i m n → ∞ v n → n \\underset\{n\\to\\infty\}\{\\rm lim\}\\bm v\_n\\to\\bm n n→∞limvn→n，即 V V V内的每一个Cauchy序列都收敛（convergence）在向量空间 V V V内，则称向量空间 V V V为完备向量空间。  
特别地，多对于**每一个**Cauchy序列 \{ v n \} n = 1 ∞ ⊂ V \\\{\\bm v\_n\\\}^\\infty\_\{n=1\}\\subset V \{ vn\}n=1∞⊂V，在 V V V内存在一个元素 v \\bm v v，使得依范数收敛 l i m n → ∞ ∣ ∣ v n ∣ ∣ → ∣ ∣ n ∣ ∣ \\underset\{n\\to\\infty\}\{\\rm lim\}||\\bm v\_n||\\to||\\bm n|| n→∞lim∣∣vn∣∣→∣∣n∣∣满足，则称向量空间 V V V为相对于范数完备的向量空间。

注意，以上定义中，向量空间 V V V首先是赋范向量空间。

#### Banach空间 ####

若对于赋范向量空间 V V V中的**每一个**Cauchy序列 \{ v n \} n = 1 ∞ ⊂ V \\\{\\bm v\_n\\\}^\\infty\_\{n=1\}\\subset V \{ vn\}n=1∞⊂V，在向量空间 V V V内存在一个元素 v \\bm v v，使得 l i m n → ∞ v n → n \\underset\{n\\to\\infty\}\{\\rm lim\}\\bm v\_n\\to\\bm n n→∞limvn→n，则称赋范向量空间 V V V为Banach空间。

一个**有限维**的赋范线性向量空间一定是Banach空间，因为他会自动满足Cauchy序列的收敛条件。

#### Hilbert空间 ####

一个相对于范数完备即满足范数收敛 l i m n → ∞ ∣ ∣ v n ∣ ∣ → ∣ ∣ n ∣ ∣ \\underset\{n\\to\\infty\}\{\\rm lim\}||\\bm v\_n||\\to||\\bm n|| n→∞lim∣∣vn∣∣→∣∣n∣∣的赋范向量空间 V V V称为Hilbert空间。  
**以下存疑：**  
显然，一个Hilbert空间一定是Banach空间，但是一个Banach空间不一定是Hilbert空间。这是因为，范数收敛一定满足极限收敛，但是极限收敛不一定范数收敛，因为范数的定义方式很多。

[wangxiaojun911]: https://blog.csdn.net/wangxiaojun911/article/details/6205569