首页 >> 学术资讯 >>前沿文章 >>力学 >> 新进展!山东大学李晓丽教授团队最新JCP!
详细内容

新进展!山东大学李晓丽教授团队最新JCP!


前言

最近,[J. Comput. Phys. 505 (2024): 112911] 提出了一种新颖的基于标量辅助变量(SAV)的优化方法。其主要思想是将损失函数的优化过程视为梯度流模型的能量下降过程。通过利用能够保证线性和修正能量单调下降的SAV方法,可以构建一个高效的优化求解器。与基于梯度的优化算法,如梯度下降(GD)、自适应矩估计(Adam)和有限记忆拟牛顿(L-BFGS)方法相比,基于SAV的优化方法允许使用大步长,这可以加速优化过程。然而,用于梯度流的SAV类格式只降低修正能量,而非原始能量。同时,尽管目前许多机器学习方法在求解偏微分方程方面表现良好,但它们中的大多数对超参数(如初始学习率)高度敏感。为了解决上述局限性,山东大学李晓丽教授团队联合首都师范大学赵进研究员通过引入新的基于拉格朗日乘子的子空间方法,开发了两种有效且稳定的求解偏微分方程的方法。这提供了一个通用框架,既可以构建耗散修正能量的线性格式,也可以构建通过非线性代数方程耗散原始能量的格式。所构造的方案首先利用拉格朗日乘子法进行初步优化,以识别能有效捕捉解结构的子空间。随后,在这些子空间内使用最小二乘法获得近似解。数值实验表明,我们的方法不仅实现了高预测精度,而且对初始学习率表现出鲁棒性。

6caaec60676f66f33ebe6ee673b89616.png

研究成果以“ A machine learning method for solving PDEs with a robust initial learning rate based on Lagrange multiplier optimization”为题发表于期刊Journal of Computational Physics。第一作者为:山东大学Jianghua Liu。

内容速览

一、研究背景
近年来,基于神经网络的偏微分方程求解方法(如PINN、DGM、DRM、WAN等)发展迅速,通过构造损失函数并优化,能够获得PDE的近似解。
然而,这些方法的性能高度依赖优化器的选择和超参数的调节,尤其是初始学习率的选择对训练稳定性与收敛速度影响显著。
传统优化算法(如GD、Adam、L-BFGS)虽然广泛应用,但对初始学习率敏感:过大会导致训练发散,过小则收敛缓慢,计算成本高。
最近提出的基于标量辅助变量(SAV)的优化方法允许使用较大的步长,但仅保证修正能量的下降,而非原始能量,且与特定空间离散方法结合时收敛变慢、精度下降。
二、解决的问题
如何构造对初始学习率鲁棒的优化算法,使得即使使用较大的学习率也能稳定收敛并保持高精度。
如何在优化过程中同时保证原始能量或修正能量的耗散,避免传统SAV方法只能保证修正能量的局限。
如何将新优化方法与神经网络子空间方法结合,提升PDE求解的精度和效率。
如何在随机梯度下降(SGD)框架下仍保持能量稳定性和鲁棒性。
三、提出的方法
基于梯度流模型,将无约束最小化问题视为寻找梯度流的稳态解,引入拉格朗日乘子方法,构造两类能量稳定格式:
线性拉格朗日乘子(LLM)方法:引入全局拉格朗日乘子ξ(t)和稳定因子S,构造线性格式,保证修正能量单调下降,ξ(t)通过二次方程求解。
非线性拉格朗日乘子(NLM)方法:引入拉格朗日乘子q(t),通过求解非线性方程(采用割线法)保证原始能量单调下降。
在LLM基础上引入松弛策略(RLLM),避免ξ(t)趋近零影响精度。
结合Adam方法的自适应思想,构造自适应版本:自适应线性拉格朗日乘子(ALLM)和自适应非线性拉格朗日乘子(ANLM),动态调整步长。
将上述优化方法与子空间神经网络(SNN)方法结合:先用ALLM或ANLM优化网络参数θ,获得子空间基函数φ,再用最小二乘法求解系数ω,得到PDE的近似解。
四、实现的效果
在泊松方程、双曲方程、抛物方程和非菲克流动四个数值算例中验证方法性能:
鲁棒性:ALLM和ANLM方法在初始学习率从0.001到2的范围内均能稳定收敛并保持高精度,而传统SNN(Adam/L-BFGS)和PINN在较大学习率下发散或精度大幅下降。
精度:ALLM和ANLM方法在多数算例中达到10⁻⁸~10⁻¹¹量级的相对L²误差,显著优于PINN(10⁻²~10⁻¹量级),与SNN在最优学习率下相当或更优。
效率:在相同精度要求下,ALLM和ANLM方法的迭代次数少于SNN(Adam/L-BFGS),收敛更快。
SGD框架适用性:在mini-batch训练下,ALLM和ANLM方法仍保持良好性能,验证了理论分析的期望能量稳定性。
拉格朗日乘子行为:小步长下乘子收敛于1,大步长下偏离1但不为零,保证算法有效性。
五、创新点
首次将拉格朗日乘子方法引入神经网络优化,构造了两类无条件能量稳定的优化格式(LLM和NLM),分别保证修正能量和原始能量耗散。
提出的ALLM和ANLM方法对初始学习率高度鲁棒,即使使用大学习率也能稳定收敛,克服了传统优化器(Adam、L-BFGS)的敏感性缺陷。
将新优化器与SNN方法结合,形成完整的PDE求解框架,兼顾高精度和高效率。
理论上证明了LLM和NLM格式的无条件能量稳定性,并在SGD框架下证明了期望意义下的能量耗散。
在多个经典PDE及积分微分方程上验证了方法的优越性,展示了其在复杂问题中的潜力。

图文速览

图1:拉格朗日乘子法的神经网络架构。
eefee3a84f1e368eacfdc3a9987bb290.png
图2:ALLM、ANLM 和 SNN 方法在 Δt = 0.01 时对于泊松方程的误差。
d39e4e0ef21a6a12e47258e520efab76.png
图3:ALLM 和 ANLM 方法在 Δt = 0.1 时对于泊松方程的误差。

4153caaf119e8c9bdd4010fc73005f3b.png

文章小结

在本文中,我们基于新的拉格朗日乘子法提出了两种稳定且高效的优化算法,并将其应用于基于神经网络的子空间方法中,以高精度求解偏微分方程。我们方法的核心思想是将无约束最小化问题视为对梯度流稳态解的搜索。通过利用损失函数的固有性质,我们构造了两种无条件能量稳定的拉格朗日乘子格式,并通过融入受Adam方法启发的策略,开发了它们的自适应变体。数值实验表明,ALLM和ANLM算法对初始学习率的选择都具有鲁棒性,显著提高了训练过程的效率、鲁棒性和精度。此外,即使采用较大的初始学习率,我们的方法也能持续保持高精度,优于现有方法,如通常依赖Adam或L-BFGS等优化器的SNN和PINN方法。在本研究中,我们主要关注三个代表性的偏微分方程以及积分微分方程。然而,对于更复杂的偏微分方程,如纳维-斯托克斯方程,我们的方法尚未得到应用。这代表了一个有前景的未来研究方向。


暂无评论


seo seo