手推支持向量机05-约束优化问题-弱对偶性证明

Dear 丶 2023-03-02 07:44 32阅读 0赞

**目录**

1.写在前面

2.约束优化问题

3.对偶问题

--------------------

# 1.写在前面 #

我们之前都是把模型转化为了一个优化问题，**一个凸优化问题**，在硬间隔SVM中，我们最终模型为：![\\left\\\{\\begin\{matrix\} \\underset\{w,b\}\{min\}\\frac\{1\}\{2\}w^\{T\}w\\\\ s.t. y\_\{i\}\\left ( w^\{T\}w+b \\right )\\geqslant 1 , for $$\{\\forall\}$$ i=1,...,N \\end\{matrix\}\\right.][left_begin_matrix_ _underset_w_b_min_frac_1_2_w_T_w_ s.t. y_i_left _ w_T_w_b _right _geqslant 1 _ for _forall_ i_1_..._N _end_matrix_right.]，我们在求解过程当中，用到了**KTT条件、对偶性**的一些结论。但是我们并没有从理论上去证明这个数学模型，这一小节我们尝试从理论上去证明一下。

# 2.约束优化问题 #

我们首先将问题构造拉格朗日函数，然后将原问题转化为无约束形式（对x没有了约束），这两个函数是等价的。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

我们怎么看待上图中**原问题函数和无约束形式下函数是等价**的呢？下面的函数首先对λ、![\\eta][eta]求最大值，再对x求min最小值，这一点是和上面函数对x求min是一致的。我们只需要检查其条件是不是一致的，

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1][]

# 3.对偶问题 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 3][]

**弱对偶性数学证明：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 4][]

[left_begin_matrix_ _underset_w_b_min_frac_1_2_w_T_w_ s.t. y_i_left _ w_T_w_b _right _geqslant 1 _ for _forall_ i_1_..._N _end_matrix_right.]: https://private.codecogs.com/gif.latex?%5Cleft%5C%7B%5Cbegin%7Bmatrix%7D%20%5Cunderset%7Bw%2Cb%7D%7Bmin%7D%5Cfrac%7B1%7D%7B2%7Dw%5E%7BT%7Dw%5C%5C%20s.t.%20y_%7Bi%7D%5Cleft%20%28%20w%5E%7BT%7Dw&plus;b%20%5Cright%20%29%5Cgeqslant%201%20%2C%20for%20%24%24%7B%5Cforall%7D%24%24%20i%3D1%2C...%2CN%20%5Cend%7Bmatrix%7D%5Cright.
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20230208/df201267f5804c0fba26123985a2ec84.png
[eta]: https://private.codecogs.com/gif.latex?%5Ceta
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1]: /images/20230208/b4f9f95fc2524d13b09d3f040925ebc6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2]: /images/20230208/273fad05246742b28adbb374f9f418fe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 3]: /images/20230208/648d607359fb4d12b78dc61086422f60.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 4]: /images/20230208/d8516b9aa1e945b8b31730ae6706fdf7.png