QianQing's Blog

范数知识的补充

满足以下条件的函数称为范数

1. 是非负的：
2. 是正定的：仅对，成立
3. 是齐次的：对所有的和有
4. 满足三角不等式：对所有的有

用符号，意味着范数是上的绝对值的推广。范数是对向量长度的一种度量，可以用两向量的差异的长度度量它们之间的距离，即。

范数小于或等于1的所有向量的集合称为范数的单位球，单位球具有如下的性质

1. 关于原点对称，即当且仅当时
2. 是凸集
3. 是有界闭集，内部非空

最常见的范数是上的Euclid范数/范数：

范数：

Chebyshev范数/范数：

对于，定义范数：

范数球和范数锥

由上述的范数的一般性质可以知道，以为半径，为球心的范数球是凸的。

范数锥是指集合，是一个凸锥

例如二阶锥是由Euclid范数定义的范数锥，

Euclid球(Euclidean balls)

中的Euclid球（简称为球）具有下面的形式：

其中，表示Euclid范数，即. 向量是球心，标量为半径。是距离球心不超过的所有点组成。Euclid球的另一个常见的表达式为.

Euclid球是凸集，即若，，对于

椭球(Ellipsoids)

另一类相关的凸集为椭球，其具有如下的形式

.

其中，即是对称正定矩阵。向量是椭球的中心。矩阵决定了椭球从向各个方向拓展的幅度。椭球的半轴长度由给出，这里为的特征值。球可以堪称是一个。

椭球的另一个表示形式为,

其中是非奇异的方阵。我们可以不失一般性地假设对称正定，取。这个式子就类似于第一种表示形式。当为对称半正定矩阵但是奇异时，这个式子表示一个退化地椭球。其仿射维数等于的秩，退化的椭球也是凸的。

椭球公式的推导

只考虑正椭球（椭球的轴为坐标轴，中心在原点），其他形式可以通过线性变换来实现。

椭球的方程：

取，则每个轴的长度就为

超平面(Hyperplanes)

超平面是具有如下形式的集合：. 其中。

解析上讲，超平面是关于的非平凡线性方程的解空间，由之前的讨论，可以知道超平面是一个仿射集合。

几何上讲，超平面可以解释为与给定向量的内积为常数的点的集合，或者法线方向为的超平面，而常数决定那个了这个平面从原点开始的偏移量。更直观地我们可以将超平面表现为以下形式. 其中为超平面上任意一点（满足）。进一步地，可以表示为，其中的正交补.

从上面的这个表示可以看出，超平面有偏移加上正交于向量的向量构成。

半空间(Halfspaces)

一个超平面将划分为了两个半空间，半空间是具有以下形式的集合. 也即一个线性不等式的解空间。

半空间是凸的，但不是仿射的。

半空间也可以表示为. 其中是相应超平面的任意一点。这个表达形式有个简单的几何解释：半空间由加上任意与向量呈钝角、直角的向量组成。

半空间的边界就是相应的超平面。

集合是半空间的内部，称为半开空间。

凸集

如果集合中任意两点间的线段仍然在中，即对于任意和满足的都有，那么集合被称为是凸集。容易知道，仿射集合是凸集。

称点为点的一个凸组合，其中并且。与仿射集合类似，一个集合是凸集等价于集合包含其中所有点的凸组合。点的凸组合可以看成是它们的加权平均。

称集合中所有点的凸组合的集合为其凸包，记为：

凸包总是凸的，其是包含的最小的凸集。

这里“最小的凸集”和上一节“最小的仿射集合”可以类比离散数学中的关系闭包。

在上面的概念中，凸组合的定义可以从可数的组合拓展到无穷级数、积分等，假设有，并且，其中为凸集。如果接下来的级数收敛，那么我们就有

更加一般地说，假设函数，对所有有且，其中为凸集。如果接下来地积分存在，那么有

最一般地情况下，是凸集，是随机变量，且，那么.

这一形式包含了前述地情况。如果随机变量是两点分布，情况就退化到了两个点地简单凸组合

锥

如果对于和有，我们称集合是锥(cone)或非负齐次。如果集合是锥并且是凸集，则称为凸锥(convex cone)，即对于任意和，都有.

如图，几何上来看，组成了一个二维的扇形，扇形的顶点代表

具有形式的点称为的锥组合(conic combination)或非负线性组合。如果属于凸锥，那么的每一个锥组合也在中。换句话说，集合是凸锥包含其元素的所有锥组合。

与凸组合、仿射组合类似，锥组合的概念可以拓展到无穷级数和积分之中。

集合的锥包是中元素的所有锥组合的集合，即

其是包含集合的最小的凸锥。

简单的例子

下面不加证明的给出一些例子，方便理解。

1. 空集、任一个单点集、全空间都是的仿射子集（也是凸的）
2. 任意直线都是仿射的。特别地，如果直线通过零点，那么就是子空间，也是凸集
3. 一条线段是凸的，但不是仿射的（除非退化为一个点）
4. 一条射线，即是凸的。但不是仿射的。如果，那么这个集合是凸锥
5. 任意子空间都是仿射的，并且是凸锥

仿射集合

如果通过集合中的任意两个不同点的直线仍在集合中，那么称集合是仿射的。也即，及，有

都是集合中的点，都为正数，且，则称具有的点称为的仿射组合。可以归纳得到，一个仿射集合包含其中任意多点的仿射组合。

由于，很容易知道，对于集合对于加法和数乘是封闭的。我们称这样的集合为仿射集合的子空间。因此，仿射集合可以表示为。即子空间加上一个偏置。

定义仿射集合的维数为子空间的维数，其中是中的任意元素。

以上的概念与线性方程组的解的结构很相似，由以上的概念很容易推出，任意仿射集合可以表示为一个线性方程组的解集。

由上面的类比，仿射集合的维数也可以类比为线性方程组中未知数的数量。

我们称集合中的点的所有仿射组合组成的集合为的仿射包，记为

仿射包是包含的最小的仿射集合。

仿射维数与相对内部

定义集合的仿射维数为其仿射包的维数。

通俗解释就是说，仿射组合得到的空间是几维，仿射包就是几维。

若集合的仿射维数小于，那么这个集合在仿射集合中。定义集合上的相对内部为的内部，记为。

其中，即半径为，中心为并由范数定义的球。此处的范数可以是任意范数。

例如中的一个正方形，定义

其仿射包为的平面，的内部为空，但其相对内部

可以定义相对边界，此处表示的闭包。

在上面正方形的那个例子中，正方形（在中）的边界是其自身，而相对边界是其边框