自动微分方法与最优化

自动微分方法是计算函数导数的有效工具。传统观念认为，计算”元函数的一个偏导数所需要的计算量与计算该函数的一个函数值的计算量大致相当。因此，计算，z元函数的梯度（n个偏导数），所需计算量相当于函数值计算量的n倍。通常的方法，如数值微分（差商近似）和符号微分，都是如此。然而自动微分颠覆了这一传统观念。它计算函数梯度的计算量只相当于计算函数本身的数倍，而与自变量个数n无关。这一令人吃惊的结果，激发了人们对自动微分的强烈兴趣。近二十年来，自动微分已成为国际上人们关注的热点，但在国内的研究依然不足。据作者所知，本书是国内对自动微分方法及其在优化中的应用进行介绍和论述的书籍。本书由浅入深，系统地介绍自动微分的基本理论、算法设计和实现的软件工具，包括低阶和高阶微分方法。作为应用范例，本书还给出了基于自动微分的优化方法和特征值的数值计算。阅读本书除相关应用（第4、5章）外，只需具备高等数学和线性代数的基础知识。本书可作为数值计算相关专业的高年级本科生、研究生的教学用书，也可作为科研及工程技术人员的参考书。