第四讲 无约束 ( 多维 ) 最优化

1. 硕博共选数学基础课系列 第四讲无约束(多维)最优化 • 梯度法（最速下降法） • 牛顿法与拟牛顿法 • 变尺度法(DFP法) • 共轭梯度法

2. 序 无约束最优化问题 无约束最优化问题 其中f (x)有一阶连续偏导数。 解析方法：利用函数的解析性质——驻点，得到最优解。 数值方法：利用函数的解析性质构造迭代公式使之收敛到最优解。 2

3. 无约束问题的最优性条件 定理1 设f (x): Rn→R在点x Rn处可微，若存在p Rn ，使 则向量p是f (x)在点x处的下降方向 定理2 设f (x): Rn→R在点x* Rn处可微，若x*是minf (x)的 局部最优解 则 g*(x) = f (x*) = 0 注：  梯度为0的点称为函数的驻点。 • 驻点可能是极小点，也可能是极大点，也可能即不是极大 也不是极小，这时称为函数的鞍点。  定理2说明：UMP问题的局部最优解必是目标函数的驻点。 3

4. 定理3 设f (x): Rn→R在点x* Rn处的Hesse矩阵2f (x*) 存在，若f (x*) =0，且2f (x*) 正定，则 x*是minf (x)的严格局部最优解 定理4 设f (x): Rn→R，x* Rn，f (x)是Rn上的可微凸函 数，若f (x*) =0，则 x*是minf (x)的全局最优解 4

5. 4.1 梯度法（最速下降法） 5

6. 4.1 梯度法（最速下降法） 迭代公式： 如何选择下降最快的方向？ 函数值增加最快的方向 xk 函数值下降的方向 函数值下降最快的方向 6

7. 一、梯度法（最速下降法）： • 搜索方向：d k = - f (xk)，也称为最速下降方向 • 搜索步长：k取最优步长，即满足 • f (xk+k d k) = min f (xk+d k)  二、梯度法算法步骤： 1) 给定初始点x0 Rn，计算误差 > 0，令k : = 0 2) 计算搜索方向d k = - f (xk) 3) 若||d k||  ，则停止计算，x k为所求极值点，否则，求最 优步长k，使得f (xk+k d k) = min f (xk+d k)  4) 令 ，令k: = k+1，转2) 7

8. 例１ 用最速下降法求解 minf (x) = x12+3x22，设初始点x0 = (2, 1)T 求迭代一次后的迭代点x1 解： 令 求解 令 8

9. 三、最速下降法的特点 1. 性质 设f (x)具有一阶连续偏导数，若步长k满足 则有 证明：令 有 注：因为梯度搜索法的方向 ，所以 9

10. 2. 最速下降法的锯齿现象 在极小点附近，目标函数可以用二次函数近似，其等值面近似为椭球面。 10

11. 特点：线性收敛，易产生扭摆现象而造成早停。特点：线性收敛，易产生扭摆现象而造成早停。 （当x(k)距最优点较远时，速度快，而接近最优点时，速度下降） 原因： 当x(k)接近极小点时，f (x(k)) → 0，于是高阶项0||(x-x(k))||的影响可能超过f (x(k))T(x-x(k)) 11

12. L04.作业 L04-1 对于任意二阶可微函数f(x)，求其近似的最优步长 <注：对一般形式的f(x)，要精确求其最优步长很困难>。 L04-2 在梯度算法中，当每次迭代后函数f(x)的减小值与原来点的比值是一个固定值时 <隐含假设，这个固定比例能达到>，求该情况下的步长。 12

13. 二阶收敛的最小化算法 13

14. 4.2 Newton 法 1. 问题 f(x)是Rn上二次连续可微函数 即f (x)C 2(Rn) 用 f (x)的Taylor展开近似计算 14

15. 2. 算法思想 为了由xk产生xk+1，用二次函数Q(x)近似 f (x) 其中，gk = f (xk)T，Hk = 2f (xk) 两边对x求导，则 15

16. 若Hesse阵Hk正定，即Hk > 0， 则Hk-1 > 0，此时有 这就是Newton迭代公式。 比较迭代式 ，有 16

17. 3. 算法步骤 1) 给定初始点x0，精度> 0，k: = 0 2) 计算gk = f (xk)和 Hk = 2f (xk) 当Hk可逆时， 3) 由方程组Q(x) = gk+Hk(x-xk) = 0 解出xk+1 4) 若||f (xk+1)|| < ，停止， x*= xk+1 否则，令k: = k+1，转2) 17

18. 给定初始点x0和精度 是 否 否 是 • 算法框图 停止，输出x1 否 是 停止，输出x0 停止，解题失败 18

19. 0 1 0.7854 0.5000 1 -0.5708 -0.5178 1.3258 2 0.1169 0.1163 1.137 3 -0.001061 例1：求解 解：取x0 = 1，计算 迭代过程如下表：计算 19

20. 例2：用Newton法求解，min f (x) = x14+25x24+x12x22，选取 x0 = (2, 2)T，= 10-6 编写M文件nwfun2.m： clc x=[2;2]; [f0,g1,g2]=nwfun(x) while norm(g1)>0.00001 i=1:3 p=-inv(g2)*g1',p=p/norm(p) t=1.0,f=detaf(x+t*p) while f>f0 t=t/2,f=detaf(x+t*p), %步长减半 end x=x+t*p [f0,g1,g2]=nwfun(x) end （ii）编写M文件nwfun.m如下： function [f,df,d2f]=nwfun(x); f=x(1)^4+25*x(2)^4+x(1)^2*x(2)^2; df(1)=4*x(1)^3+2*x(1)*x(2)^2; df(2)=100*x(2)^3+2*x(1)^2*x(2); d2f(1,1)=12*x(1)^2+2*x(2)^2; d2f(1,2)=4*x(1)*x(2); d2f(2,1)=d2f(1,2); d2f(2,2)=300*x(2)^2+4*x(1)*x(2); 20

21. 4. 算法特点 • 收敛速度快，为二阶收敛。 • 初始点要选在最优点附近。 • 存在缺点及修正 1) f (xk+1) < f (xk) ? 2) 初始点的选取困难，甚至无法实施。 3)Hk-1的存在性和计算量问题 21

22. 问题1：如何使得f (xk+1) < f (xk) ? 在Newton法中，有xk+1 = xk -Hk-1 gk = xk +dk 当Hk > 0时，有 因此，当Hk > 0时，dk是下降方向。 如果对Newton法稍作修正： 则有f (xk+1) < f (xk) 22

23. 问题2：如何克服缺点(2)、(3) 拟牛顿法(变尺度法) 23

24. 4.3 拟牛顿法(变尺度法) 一、拟牛顿法的思想 1. 先考虑Newton迭代公式：xk+1 = xk -Hk-1f (xk) 在Newton迭代公式中，如果我们用正定矩阵Pk代替Hk-1， 则有 2. 考虑更一般的形式：xk+1 = xk -kPkf (xk) 24

25. Pk ≡ I 时， 梯度法， 最速下降方向dk = -f (xk)，度量为||x|| = sqrt(xTI x) Pk ≡ Hk-1时， Newton法， 最速下降方向dk = - Hk-1f (xk)，度量为||x|| = sqrt(xTHk-1 x) 也称拟Newton法为变尺度算法 25

26. 3. 如何对Pk附加某些条件使得： 1) 迭代公式具有下降性质  Pk> 0 2) Pk的计算量要小  Pk+1 =Pk+Pk (Pk = Pk+1 – Pk) 3) 收敛速度要快  Pk  Hk-1 如何保证Pk > 0和Pk  Hk-1 如何确定Pk ？ 26

27. 拟Newton条件 Pk  Hk-1 分析：Hk-1需满足的条件，并利用此条件确定Pk 记 因为 从而，我们想到 27

28. 记 ，则有 拟Newton条件或拟Newton方程： 二、拟Newton算法(变尺度法)的一般步骤 1) 给定初始点x0，正定矩阵P0，精度> 0，k: = 0 2) 计算搜索方向d k = - Pkf (xk) 3) 令xk+1 = xk +kd k，其中tk满足 28

29. 4) 判断xk+1是否满足终止准则： Yes：停止计算，且x* = xk+1；No：转5) 5) 令 按照校正公式Pk+1 =Pk+Pk，计算Pk+1使得Pk+1满足拟 Newton条件或拟Newton方程：Pk+1gk =xk 令k: = k+1，转2) 问题：如何确定一个合适的Pk？ 29

30. 4.4 DFP算法 一、DFP法的提出 • 1959年Davidon首次提出 • 1963年Fletcher和Powell做了改进 • 多变量无约束优化问题的一项重要工作 二、如何确定Pk？— 秩2校正法 待定： 30

31. 根据拟Newton条件： Pk+1gk =xk ，我们有 即 满足上述方程的解很多，例如可以取如下一组解： 从而，我们可以取： 31

32. 即： 根据上述推导，我们能够得到Pk的DFP校正公式： — DFP校正公式 性质： 32

33. 三、DFP算法的步骤 将拟牛顿法的第5)步： 按照校正公式Pk+1 = Pk+Pk 计算Pk+1，使得Pk+1满足拟牛顿条件 或拟牛顿方程：Pk+1 gk = xk 令k: = k+1，转2) 改为: 整个算法为 5) 按照DFP的校正公式： 计算Pk+1，k: = k+1，转2) 33

34. x(0)和P(0)(P(0)一般为正定阵)  > 0，k: = 0 四、变尺度法算法框图： d(k) =-P(k)f(x(k)) 一维搜索得k x(k+1) = x(k) + kd(k) Stop x(k+1)—解 N 修正P(k) 产生P(k+1) y 34

35. 例：用DFP算法求解min f (x) = x12 + 4x22，初始点x0 = (1, 1)T 解: 取P 0 = I， f(x) = (2x1, 8x2)T 第一步DFP算法与梯度法相同： 因为x0 - f(x0) = (1-2t, 1-8t)T 解得0= 0.13，所以x1 = (0.73846, -0.04616)T 35

36. 按照DFP校正公式 因而，搜索方向 由于f(x2) =0，所以x2是极小点。 36

37. 五、变尺度法算法的校正公式 一般的变尺度法算法主要是Huang族公式 Pk+1 = Pk+xkkT +PkgkvkT 其中 k = akxk + bkPkTgk vk = ckxk + dkPkTgk 且满足 kTgk =  vkTgk = -1 这个公式包含5个参数 (ak, bk, ck, dk, ) 37

38. 但由于有2个关系式，故有3个独立参数 • 而较重要的三种公式为 • 令= 1， bk = ck = 0，即DFP公式 • 令= 1， bk = ck，即Broyden族公式 • 令= 1， bk = ck，dk = 0，即为最重要的BFSG公式 BFSG是当前变尺度方法中数值稳定性最好的方法。 38

39. 六、变尺度法的主要特点 　⑴ 只需用到函数的一阶梯度；（Newton法用到二阶Hesse阵） 　⑵ 下降算法，故全局收敛； ⑶ 不需求矩阵逆；（计算量小） ⑷ 一般可达到超线性收敛；（速度快） ⑸ 有二次终结性。 39

40. 4.5 共轭梯度法 40

41. 4.5 共轭梯度法 一、共轭方向和共轭方向法 1．定义 设矩阵A为n n的对称正定矩阵，对于Rn中的两个非零向量d 1和d 2，若有(d1)TAd 2 = 0，则称d 1和d 2关于A共轭。 设d 1，d 2，…，d k是Rn中一组非零向量，如果它们两两关于A共轭，即(d i) TAd j = 0，i≠ j，i, j = 1, 2, …, k，则称这组方向是关于A共轭的，也称他们是一组A共轭方向。 注：如果A是单位阵，则 共轭是正交的推广。 41

42. 2．共轭方向 设直线 AB和CD过椭圆中心，且CD平行于椭圆在点 A，B的切线，则称AB与CD为共轭直径， 与 的方向为共轭方向，或 A, B的切线方向与 的方向称为共轭方向，见下图。 B’ B C A’ D A 42

43. 设A是n阶对称正定矩阵， d 1，d 2，…，d k是k个A共轭非零向量，则这个向量组线性无关。 定理1 证明： 设存在实数α1, α2,…, αk，使得 上式两端同时左乘(dj)TA，则有 因为d 1，d 2，…，d k是k个A共轭的向量，所以上式简化为 因为d j≠ 0，而A是正定阵，所以(d j) TAd j > 0， d 1，d 2，…，d k 线性无关。 43

44. 3. 几何意义 设有二次函数 其中A是n n对称正定阵，x 是一个定点，则称函数f (x)的等值面 是以x 为中心的椭球面。 由于 而 由于A正定，所以 因而 x 是f (x)的极小点。 44

45. 设 x(0)是某个等值面上的一点，d (1)是Rn中的一个方向，x(0)沿d (1)以最优步长搜索到点x(1)，则d(1)是点x(1)所在等值面的切向量。 该等值面在点x(1)处的法向量为 f (x(1)) 则d (1)与f (x(1))正交， 即 令 这样 即等值面上某点的切向量与由这点指向极小点的向量关于A共轭。 45

46. 设有函数f (x) = ½xTAx + bTx + c，其中A是n阶正定阵，d (1)，d (2)，…，d (k)是一组关于A的共轭向量。 定理2 以任意的x(1)  Rn为初始点，依次沿d (1)，d (2)，…，d (k)进行搜索，得到点x(2), x(3), … , x(k+1)，则x(k+1)是函数f (x)在x(1) + Bk上的极小点，其中 是由d (1)，d (2)，…，d (k)生成的子空间。特别地，当k = n时， x(k+1)是函数f (x)在Rn上的唯一极小点。 推论 在上述定理条件下，必有 46

47. 共轭方向作下降方向的最小化算法 4.共轭方向法 47

48. 4.共轭方向法 对于极小化问题 其中A是正定阵，称下述算法为共轭方向法： • 取定一组与矩阵A共轭的方向d (1)，d (2)，…，d (n)； • 任取初始点x(1) ，依次按照下式由x(k)确定点x(k+1) ， 直到某个x(k)满足f (x(k)) = 0. 注 由定理2可知，利用共轭方向法求解上述极小化问题，至多经 过n次迭代必可得到最优解。 48

49. 如何选取一组共轭方向？ 5. 共轭梯度法——Fletcher-Reeves共轭梯度法 对于 其中，x Rn ，A是正定阵，b Rn ，c是常数。 基本思想将共轭性和最速下降方向相结合，利用已知迭代点处的梯度方向构造一组共轭方向，并沿此方向进行搜索，求出函数的极小点。 49

50. 该算法的步骤： • 任取初始点x(1) ，第一个搜索方向取为d (1)= -f (x(1)) ； • 设已求得点x(k+1) ，若f (x(k+1)) ≠ 0，令gk+1 = f (x(k+1)) ， • 则下一个搜索方向d (k+1)按如下方式确定： 令 (1) 如何确定βk？ 要求d (k+1)和d (k)关于矩阵A共轭。 在(1)的基础上，等式两端同时左乘(d(k))TA，得 从而 (2) 50