1 / 79

非线性规划理论与算法

非线性规划理论与算法. 非线性规划及其最优性条件 对偶理论 外点罚函数法 内点罚函数法. 非线性规划及其最优性条件. 非线性规划. p=q=0 即无约束规划. 约束集或可行域 :. x * 是整体 ( 全局 ) 极小点. x * 是严格整体 ( 全局 ) 极小点. x * 是局部极小点. x * 是严格局部极小点. 非线性规划向量化表示. 非线性规划的几个概念. 线性化可行方向 :. 可行方向锥. 定义 3: 积极约束 :. 或 起作用约束 （ 紧约束 积极约束 有效约束 ）。. 定理 1 :. 证明 :. 定义 4: 可行下降方向.

lida
Download Presentation

非线性规划理论与算法

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 非线性规划理论与算法 • 非线性规划及其最优性条件 • 对偶理论 • 外点罚函数法 • 内点罚函数法

  2. 非线性规划及其最优性条件

  3. 非线性规划 p=q=0即无约束规划 约束集或可行域: x*是整体(全局)极小点 x*是严格整体(全局)极小点 x*是局部极小点 x*是严格局部极小点 非线性规划向量化表示

  4. 非线性规划的几个概念 线性化可行方向: 可行方向锥

  5. 定义3: 积极约束: 或起作用约束（紧约束\积极约束\有效约束）。

  6. 定理1: 证明: 定义4: 可行下降方向

  7. 定理2: 证略 ③极值点的必要条件: 定理3:

  8. 严格凸组合 严格凸 线性组合 若f(x)是凸函数，S是凸集， 为凸规划。 凸规划的局部解是整体解！ 一般要求 当i=1,2,…,p时为凸函数，当i=p+1,…,p+q时为线性函数。

  9. 最优性条件 无约束规划 定理：可微函数解的必要条件：x*是局部解,则： x*是驻点(稳定点) 可微凸函数解的充要条件：x*是整体极小解当且仅当

  10. 约束规划最优性条件的几何表述 梯度共线

  11. 约束规划最优性条件的几何表述 共面梯度被线性标示

  12. 约束规划最优性条件的几何表述 结论：在解处仅等式(紧)约束有效！

  13. 梯度的负线性表示! 定义7. 有效约束(紧约束、积极约束)——active constraint 在x*处有 则称在x*处ci(x)是紧约束。 对约束 x*处有效约束指标集

  14. 互补松弛条件 约束规划最优性必要条件 Karush-Kuhn-Tucker 条件——KKT条件 向量化表示

  15. Lagrange函数 Lagrange乘子： 互补松弛条件： Karush-Kuhn-Tucker条件——KKT条件 约束规格——约束限制(规范)条件

  16. 由 的任意性知: 约束规划最优性充分条件 鞍点条件 证明： 且 进一步由不等式的后两部分知: 同时 的最优解！

  17. 凸规划最优性充要条件 Karush-Kuhn-Tucker条件——KKT条件

  18. 其他最优性条件 定理 (Fritz John条件):

  19. Fritz John 条件与KKT条件的区别: Fritz John 条件可能出现w0=0的情形。这时Fritz John 条件中实际上不包含目标函数的任何数据，只是把起作用约束的梯度组合成零向量。这样的条件，对于问题的解的描述，没有多大价值。我们感兴趣的是w0≠0的情形，所以为了保证 w0≠0 ，还需要对约束施加某种限制。这种限制条件通常称为约束规格。在上一个定理中，如果增加紧约束的梯度线性无关的约束规格，则给出问题的KKT条件。

  20. 最优性条件总结 1) 所有规划解的最优性必要条件=KKT条件+约束规格 2) 凸规划解的最优性充分条件=KKT条件 最优性必要条件证明：需要用到凸集分离定理、择一性定理(Farkas引理 凸规划最优性充分条件证明较简单，但对非凸规划结果没有实际指导意义，蕴含着对偶原理——Langrange对偶

  21. 例:求约束极值问题

  22. 最优性条件举例 线性规划 最优性条件 是充分的？是必要的？ 标准形式： 练习：推广形式的最优性条件

  23. 最优性条件举例 二次规划 最优性条件 什么条件下是充分的？ 什么条件下是必要的？ 推广二： 推广一： 简化：

  24. 对偶理论

  25. 最大最小对偶 目标函数: x方的目标是无论y怎样，都应使F越小越好； y方的目标是无论x怎样，都应使F越大越好； 立于不败之地的决策方法 ——一对对偶问题 ——保守主义决策 相关结论： ——弱对偶定理 ——对偶间隙

  26. 最大最小对偶举例——博弈

  27. 最大最小对偶 若有点 鞍点条件: 对 则称(x*,y*)满足鞍点条件。 相关结论： ——弱对偶定理 ——对偶间隙 满足鞍点条件。 ——强对偶定理

  28. Lagrange对偶 原规划: Lagrange函数 凹函数 Lagrange对偶 弱对偶性: ——弱对偶定理 原规划 ——对偶间隙

  29. Lagrange对偶举例

  30. 像集

  31. Lagrange对偶的强对偶定理 连续可微凸规划: f、g可微凸，h线性 强对偶定理：连续可微凸规划，满足一约束规格，则 1)：若原问题有解，则对偶问题也有解； 2)：若原问题与对偶问题分别有可行解，则他们是最优解的充分必要条件是他们对应相同的目标值(对偶间隙为0). 3)：对偶问题无上界，则原问题不可行；原问题无下界，则对偶问题不可行。 证1)：即证可微凸规划的最优解 与其KKT条件的乘子 满足鞍点条件！ 证2)：利用鞍点条件可得。

  32. Wolfe对偶 连续可微凸规划: f、g可微凸，h线性 Lagrange函数 Wolfe对偶： Wolfe对偶定理：连续可微凸规划，满足一约束规格，则 1)：若原问题有解，则对偶问题也有解； 2)：若原问题与对偶问题分别有可行解，则他们是最优解得充分必要条件是他们对应相同的目标值(对偶间隙为0).

  33. 凸规划对偶举例(Q正定) 二次规划(Q正定) 推广二： 推广一： Lagrange对偶 共轭对偶、广义Lagrange对偶 ——参阅《非线性规划及其理论》 (应玖茜、魏权龄)第6章

  34. 罚函数法

  35. 惩罚函数法 1、算法思想： 将有约束优化问题转化为一系列无约束优化问题进行求解。（Sequential Unconstrained Minimization Technique - SUMT） 2、算法类型： • 外点法（外惩法） • 内点法（内惩法） 3、问题：

  36. 4、外点法（外部惩罚函数法）

  37. （1）几何解释

  38. （2）算法步骤（外点法）：

  39. （3）外点法框图 yes No

  40. （4）应注意的问题

  41. 例:

  42. 参阅P207——例2关于2个约束的例子!

More Related