矩阵分解与应用(张贤达)day4

1、内积与范数

        在讨论内积空间时，对向量的内积与范数作了比较简单的介绍。本节将对向量的内积与范数展开比较全面与深入的讨论，然后推广到矩阵的内积与范数。

1.1、向量的内积与范数

        根据元素取值方式的不同，向量分为常数向量、函数向量和随机向量。常数向量是元素为常数的向量；函数向量是元素取某个变量的函数值的向量；而随机向量则是元素为随机变量的向量。虽然常数向量、函数向量和随机向量的内积定义公式有所不同，但是无论向量取何种形式，向量的内积和范数都必须服从一定的公理。

        定义：令  是复向量空间。函数  称为向量  和  的内积，若对所有 ，以下内积公理满足：

        (1)                                                                    (非负性)

        (1a) ，当且仅当                                     (正性）

        (2)                                  （可加性）

        (3) ，对所有复常数  成立                (齐次性)

        (4)                                                           (Hermitian 性)

式中， 表示复数共轭。

        定义：令  是复向量空间。函数  称为向量  的范数，若对所有 ，下面的范数公理成立：

        (1)                                                                         (非负性)

        (1a) ，当且仅当                                            (正性)

        (2) ，对所有复常数  成立                        (齐次性)

        (3)                                                  (三角不等式)

         上述公理是平面上的 Euclidean 长度的熟知性质。满足公理(1), (2), (3)但不一定满足公理(1a)的函数称为向量的半范数。

        1、常数向量的内积与范数

        两个  维常数向量 和  的内积(或叫点积)定义为

        定义：两个向量之间的夹角定义为

        显然，若 = 0，则 。此时，称常数向量  和  正交。因此，两个常数向量正交的数学定义如下。

        定义：两个常数向量称为正交，若它们的内积等于零，即，并记作 。

        由定义知，零向量与同一空间的任何向量都正交。