convex set

引言

记录对最优化中凸集定义的一些思考。

凸集

定义

对于一个集合$C$，对于任意$x_1, x_2 \in C$，如果满足$\theta x_1 + (1 - \theta x_2) \in C$，其中$0 \leq \theta \leq 1$。则$C$是凸集（convex set）。

几何意义

$\theta x_1 + (1 - \theta x_2)$的几何意义是：以$x_1, x_2$为端点的线段（或着说线段上的所有点）。

在二维空间中，凸集的几何意义可以阐述为：集合中，两点连线所包围成的面积最大的图形。（表述有问题，后续完善，添加手绘过程）

数学证明

$\theta x_1 + (1 - \theta x_2)$几何意义的数学证明为：

$$
\begin{aligned}
\sum_{i=1}^n \theta_i x_i &\leq \sum_{i=1}^n\theta_i \cdot x_{max} \\
\sum_{i=1}^n \theta_i x_i &\geq \sum_{i=1}^n\theta_i \cdot x_{min}
\end{aligned}
$$

其中，$\theta_i \geq 0, \sum_{i=1}^n \theta_i =1$。

扩展情况1

$\sum_{i=1}^n \theta_i = K $，其中$\theta_i \geq 0, K \geq 0$

几何意义

$\theta x_1 + (1 - \theta x_2)$表示的是：以$x_1, x_2$伸缩$K$倍后为端点的线段（上的所有点）。

数学证明

与$\sum_{i=1}^n \theta_i =1$情况的证明一致

扩展情况2

$\sum_{i=1}^n \theta_i = K $，其中$\theta_i \in R, K \geq 0$

几何意义

$\theta x_1 + (1 - \theta x_2)$的几何意义是：$x_1, x_2$所在直线。

数学证明

分类讨论：

• $0 \leq \theta \leq K$
• $\theta > K$
• $\theta < 0$

第一种情况

略

第二种情况

Let $\theta = K + n, n > 0$, then
$$ \theta x_1 + (1 - \theta x_2) = K x_1 + n (x_1 - x_2)$$
线段的左半部分

第三种情况

Let $\theta = K - n, n > 0$, then
$$ \theta x_1 + (1 - \theta x_2) = K x_2 + n (x_2 - x_1)$$
线段的右半部分

结论

不要轻易放过自己