详情

导语

舍弃复杂物理系统的演化是科学和工程限制的一项病笃任务。经典舍弃技能存在适用性有限的问题，而近期基于深度学习和强化学习的方法在系统能源学敛迹下，往往难以优化恒久舍弃序列。西湖大学助理讲明吴泰霖课题组近期针对复杂物理系统建议了一种新的生成式舍弃方法。该方法引入了物理系统的扩散舍弃（Diffusion Physical Systems Control，简称DiffPhyCon），通过在总计气象轨迹和舍弃序列上同期最小化舍弃计算和学习到的生成能量模子，不错在物理系统能源学敛迹下，对舍弃计算进行全局优化。此外，该方法还引入了先验重加权技能，用于发现与历练散布权贵偏离的更优舍弃序列。多个舍弃任务上的遵循考证了该方法优于经典舍弃方法以及现存的深度学习和强化学习方法。真谛真谛的是，DiffPhyCon 揭示了 “快闭慢开” 是一种高效的水母拍动花样，这与流体能源学限制的已有发现一致。该责任发表于行将在加拿大温哥华召开的东说念主工智能限制外洋顶级会议NeurIPS 2024上。

重要词：复杂物理系统舍弃，东说念主工智能，能量模子，扩散模子，先验重加权

魏龙| 作家

论文题目：DiffPhyCon: A Generative Approach to Control Complex Physical Systems 论文地址：https://arxiv.org/abs/2407.06494 GitHub：https://github.com/AI4Science-WestlakeU/diffphycon 论文作家：魏龙*，胡佩炎*，冯睿琪*，冯浩东，杜奕轩，张涛，王锐，汪跃，马志明，吴泰霖†

1. 配景先容

复杂物理系统的能源学建模是科学和工程限制中的一类病笃问题。往往，咱们不仅暖热物理系统的演化行为，还但愿注入时变信号来指点其演化，况兼优化特定的计算，这即是复杂物理系统舍弃问题。这个问题在科学和工程限制经常存在，举例，可控核聚变舍弃、流体舍弃、水下招引和航天舍弃等 （如图1所示） ，具有病笃的科学价值和经常的应用远景。

图1. 复杂物理系统舍弃的典型应用场景。

该问题具体描写为：对于给定的舍弃计算，系统的能源学敛迹 和系统脱手气象u0，求解最优的舍弃序列w*，使得由w*产生的系统气象轨迹u(w*)和w*共同最优化舍弃计算，即

这里u和w的长度T是通落伍候打破化后得到的系统轨迹或舍弃序列的长度， 透露系统能源学敛迹。这篇论文推敲更为一般的数据驱动场景，即 的具体抒发姿首不错是已知的，也不错是未知的。在第一种情况下， 往往由一组偏微分方程 （Partial differential equation, PDE） 透露，通过数值仿真来生成历练数据；在第二种情况下，只可通过离线网罗的不雅测数据行为历练集。第二种情况在本色舍弃问题中更为常见，在舍弃遵循方面也更有挑战性，因为弗成在线历练舍弃模子。每条历练轨迹包含如下四元组：脱手气象u0、舍弃序列w=[w1,…,wT]、气象轨迹u=[u1,…,uT]、舍弃计算值(u,w)。问题的竖立具体见图2。

图2. 复杂物理系统舍弃的问题暗示图。

求解该问题面对多重挑战。率先，物理系统往往是高度非线性的，况兼经落伍空打破化后，网罗到的气象轨迹数据往往是高维的。此外，与机器东说念主舍弃限制不同，物理系统舍弃限制的众人轨迹难以得到，历练皆集的舍弃序列往往远非最优。因此，求解该问题的重要在于如安在历练散布除外找到接近最优的解，同期确保舍弃序列和生成的气象轨迹相宜物理系统的能源学。

尽管已有多种舍弃技能试图处分物理系统舍弃问题，但都未能齐全应酬上述挑战。传统PID舍弃天然高效，但适用范围有限，尤其不适用于多输入多输出系统。模子预测舍弃 （MPC） 天然更通用，但诡计资本高且需要显式的系统能源学模子，这在咱们的假定下难以获取。比年来，基于监督学习和强化学习的方法取得权贵进展，但这些方法要么存在短视颓势，即永劫候范围内舍弃遵循欠安；要么产生不相宜物理系统能源学的不对理轨迹。

2. 方法先容

这篇论文建议一种全新的生成式舍弃方法 DiffPhyCon 用于求解问题（1）。它借助能量模子 （Energy-based model） 对物理系统敛迹建模，全局求开脱手序列与系统气象。接着用扩散模子学习该能量模子，并以舍弃计算为生成条目或指点技巧采样舍弃序列，终末将舍弃序列输入到求解器或者实在环境中测试。此外，还建议先验重加权技能，以此生成比历练集更优的舍弃序列。DiffPhyCon 的转换之处在于：行使扩散模子善于学习高维数据散布的上风，处分系统能源学的高维非线性挑战；并通过先验重加权技能，处分历练皆集舍弃序列远隔最优解的挑战。该方法暗示图见图 3。

图3. 论文建议的 DiffPhyCon 方法暗示图。该方法通过学习去噪模子，八成从噪声脱手，在舍弃计算的指点下和先验重加权技能的补助下，同期采样到舍弃序列和气象轨迹，取得权贵优于历练集的舍弃遵循。

2.1 能量模子

DiffPhyCon 从能量模子优化的角度来处分问题（1）。它将物理敛迹 建模为一个参数化的能量模子 E θ (u,w,c) ，这里c透露舍弃条目，即脱手气象u0、畛域条目等。能量模子和数据的不雅测概率之间存在如下的对应计划：p(u,w|c)∝exp{(-Eθ(u,w,c))}，即Eθ(u,w,c)越低，或者等价地，p(u,w|c) 越高，意味着w和u更好地得志物理敛迹。通过引入能量模子，问题（1）不错搬动为：

其 中λ是一 个超参数。也即是说，咱们但愿求解出来的舍弃序列过火产生的气象轨迹既具有尽可能低的能量，又能最小化舍弃计算。

历练：

然则径直优化能量模子是艰辛的，咱们转而行使扩散模子来猜想Eθ的梯度 ∇ z Eθ[1]，这里z=[u,w]来透露u和w拼接起来的变量。然后，用参数 为θ的 去噪会聚 ϵ θ来近似∇zEθ，学习每个去噪门径中应该去除的噪声。ϵθ收受和扩散模子DDPM[2]中相似的逝世函数历练。

舍弃优化：

在去噪会聚ϵθ历练完成后，问题（2）不错通过Langevin采样经过进行优化。咱们从一个脱手样本脱手，在舍弃计算的的指点下，从k=K到k=1迭代运行以下采样经过，就得到优化问题（2）的最终解：

其中zk=[uk,wk]。这里是从zk猜想出的无噪声样本，况兼这里收受历练完成的去噪会聚ϵθ替换了∇zEθ。

2.2 先验重加权

动机：

如上所述，在物理系统舍弃中，一个重要挑战在于得到远优于历练数据皆集的舍弃序列。尽管公式(3)的采样经过包含了舍弃计算的指点，但生成的舍弃序列仍然受限于历练数据皆集舍弃序列的先验散布 p(w|c) 的影响，这促使咱们探索放松这种先验影响的计谋。

从概率解析p(u, w|c)=p(w|c)p(u|w,c)登程, 咱们引入一个可改革的超参数γ >0行为指数来调治 p(w|c) 的影响，从而得到 p(u, w|c) 的一个先验重加权版块的概率散布：

其中Z是一个归一化常数，这里“重加权”的含义即是先验散布p(w|c) 八成阐扬的影响取决于超参数γ 。通过将原始的能量模子Eθ(u,w,c) 替换为与pγ(u, w|c) 对应的先验重加权的能量模子E(γ)(u, w, c)，问题（2）不错搬动为：

这么一来，问题（2）相当于问题（5）在γ=1时的退化版块。咱们假定问题（2）的全局最优解位于说合散布p(u, w|c)的低概率区域 （这个假定与前文中历练集内部舍弃序列多半远非最优的竖立一致，因此是合理的） 。当取0 <γ<1时，对问题(5)进行优化，会增多从p(u, w|c)的低概率区域采样的可能性，即增多了在全局最优解处采样的概率，同期最小化舍弃计算，这么生成的舍弃序列将优于退化版块问题（2）的优化终结。先验重加权的直不雅阐明如图 4所示。< pan>

图4. DiffPhyCon方法中的先验重加权技能的暗示图。通过将重加权的超参数γ竖立为小于1，八成使得先验重加权的概率散布pγ(u, w)愈加平坦，从而增多优化经过中在全局最优解（下图中红色点）处采样的概率。

历练：

为了学习E(γ)(u, w, c)，咱们平等式（4）的双方先取对数，再对于(u, w)取梯度，就不错将其梯度参数化为两部分之和：

其中是-∇log p(w|c)的参数化模子。注意这里∇log Z散失了，因为Z是一个常数。由于∇ Eθ(u, w, c)依然通过上文中学习到的去噪会聚ϵθ近似，因此只需要引入一个新的去噪会聚ϵΦ 来近似。 ϵ Φ 的历练逝世函数和ϵθ雷同。

舍弃优化：

在ϵθ和ϵΦ都历练完成之后，通过迭代以下采样经过优化问题（5）：

其中zk=[uk,wk]。这个迭代有计算与公式（3）的辩别在于它使用了一个荒谬的采样门径，即在每一个迭代步，左证ϵΦ预测的噪声来二次更新wk。

3. 实验终结

论文在三个具有挑战性的任务上评估了 DiffPhyCon 方法的遵循：

（1）一维 Burgers 方程舍弃：通过舍弃外力项，使系统的最终气象与计算气象一致。

（2）二维水母领路舍弃：通过舍弃水母的展开角度，最大化水母平均领路速率并最小化能量花费，同期得志周期性条目。

（3）二维烟雾盘曲舍弃：通过盘曲舍弃外部力场，最小化从非计算出口逸出的浑浊物比例。

实验竖立详见论文。对比喻法包括经典舍弃方法 （PID、MPC） 、最新的监督学习方法 （SL） 、常用的效法学习方法 （BC） 和强化学习方法 （SAC、BPPO） 。为了增多挑战性，实验不仅包括成例的全区域可不雅测 （FO） 和全区域可舍弃 （FC） ，还竖立了部分区域可不雅测 （PO） 和部分区域可舍弃 （PC） 的场景。此外，实验评估了带有先验重加权的圆善版 DiffPhyCon 和不带此技能的退化版 DiffPhyCon-lite，即 γ= 1的遵循。

终结表露，DiffPhyCon 方法在这三个任务中均阐扬出色，比较基准方法，上风显明，尤其在部分不雅测和部分 / 盘曲舍弃场景中，阐扬出更强的泛化性。这些终结证据了生成式舍弃是完毕物理系统舍弃的灵验旅途。举例在水母领路舍弃中，考证了“快闭慢开”是一种高效的舍弃方法，这和流膂力学的已有商量论断一致 [3]。通过进一步使用先验重加权技能，DiffPhyCon八成在测试集上得到与历练皆集权贵不同的舍弃序列花样。举例在水母领路舍弃中，取得最佳舍弃遵循的舍弃序列在历练皆集莫得出现过，阐扬出更为激进的快速闭合花样。

图5. 一维 Burgers 方程舍弃的可视化对比终结。比较对比喻法，DiffPhyCon八成在最终时刻(t=10)取得和计算气象（玄色虚线）之间更小的过失。

表1. 二维水母领路舍弃任务的实验对比终结。在全区域可不雅测和部分区域可不雅测两种竖立下，DiffPhyCon都能得到权贵优于对比喻法的平均领路速率和舍弃计算。非凡地，先验重加权技能的擢升遵循权贵。

图6. 二维水母领路舍弃任务的可视化对比终结。上图展示了3个测试样例，横轴透露一个领路周期，纵轴透露水母展开的角度，DiffPhyCon取得了相宜预期的“快闭慢开”领路花样。下图展示了上图位于中间的水母的领路经过和将舍弃序列输入到求解器中产生的流场可视化。

图7. 二维烟雾盘曲舍弃的实验竖立（左上图）、对比终结（右上表）和咱们方法的舍弃可视化终结（下图）。

4. 量度

复杂物理系统舍弃有着非凡精深的应用远景。火箭的得胜舍弃，将加快贸易航天的门径；可控核聚变若能被灵验舍弃，更有望为东说念主类提供取之不尽用之无间的能源。关联词，本色应用场景中存在诸多挑战：若何确保舍弃遵循得志及时要求？如安在每一步引入系统反馈，完毕闭环舍弃？若何进行在线历练或模拟在线环境历练，以增强模子的探索才调？这些问题亟待处分。

本文展示了生成式舍弃技能在复杂物理系统中的庞大后劲。尽管基于扩散模子的效法学习在机器东说念主舍弃限制已取得权贵进展，但在复杂物理系统舍弃这个具有自己私有挑战性的限制，生成式舍弃的商量才刚刚起步。翌日需要更深切的商量来挖掘自后劲和上风，以应酬上述实践挑战。

参考文件：

[1] Yang Song et al. \"How to Train Your Energy-Based Models.\" arXiv preprint arXiv:2101.03288.

[2] Jonatha Ho et al. \"Denoising diffusion probabilistic models.\" NeurIPS 2020.

[3] Linlin Kang et al. \"Propulsive performance and vortex dynamics of jellyfish-like propulsion with burst-and-coast strategy\". Physics of Fluids, 35(9), 2023.

AI+Science 念书会

AI+Science 是比年兴起的将东说念主工智能和科学相勾通的一种趋势。 一方面是 AI for Science，机器学习和其他 AI 技能不错用来处分科学商量中的问题，从预测天气和卵白质结构，到模拟星系碰撞、遐想优化核聚变反映堆，以致像科学家相似进行科学发现，被称为科学发现的“第五范式”。 另一方面是 Science for AI，科学尤其是物理学中的法律解释和念念想启发机器学习表面，为东说念主工智能的发展提供全新的视角和方法。

集智俱乐部说合斯坦福大学诡计机科学系博士后商量员吴泰霖（Jure Leskovec 讲明率领）、哈佛量子盘算商量员扈鸿业、麻省理工学院物理系博士生刘子鸣（Max Tegmark 讲明率领），共同发起以”为主题的念书会，探讨该限制的病笃问题，共学共研有关文件。 念书会已完结，当今报名可加入社群并解锁回放视频权限。

确信请见：

舍弃科学前沿表面与方法系列课程

对复杂动态系统的定量意志与科学调控，系统学与舍弃论是重要基础。舍弃表面是一门高度详尽、充满活力的交叉学科，处于数学、诡计机科学和工程技能科学相互作用的前沿，是信息科学与系统科学的病笃构成部分，同期与天然科学和不停科学的各门分支也有密切的计划。在工程、国防军事、社会、经济、生物、环境等限制复杂系统中的调控问题，阐扬着病笃作用。《舍弃科学前沿表面与方法》系列课程，为面向舍弃专科限制学生以及跨限制的学习者作念深度科普，匡助学习舍弃论的中枢念念想、框架与方法。参看：

1.

2.

3.

4.

5.

6.