(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211334615.9 (22)申请日 2022.10.28 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 彭剑坤　陈伟琪　周嘉璇　何洪文　 范毅　魏中宝　马春野　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 朱小兵 (51)Int.Cl. G06F 30/27(2020.01) B60W 50/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06F 119/08(2020.01) G06F 119/14(2020.01) (54)发明名称 一种基于异构多智能体深度强化学习的新 能源汽车生态驾驶方法 (57)摘要 本发明公开了一种基于异构多智能体深度 强化学习的新能源汽车生态驾驶方法， 针对串 联 式新能源汽 车， 基于多智能体深度确定性策略梯 度算法， 融合自适应巡航控制 （ACC） 和能量管理 策略 （EMS） ， 开发了一种集成式的生态驾驶框架 。 主要步骤包括构建仿真环境， 加载训练数据； 构 建两个智能体ACC和EMS， 并搭建A ctor、 Critic网 络及目标网络； 训练生态驾驶策略， 获得可继承 的网络参数； 加载网络参数至整车控制器， 实现 在线应用。 本方法利用两个异构智能体解耦并优 化不同领域的目标， 避免权重不协调的负面影 响； 采用改进的优先经验回放技术， 提高了算法 的性能； 对多种交通工况具有良好的适应性； 在 实现最佳跟驰性能的前提下 降低了综合行驶成 本。 权利要求书6页 说明书15页 附图4页 CN 115495997 A 2022.12.20 CN 115495997 A 1.一种基于异构多智能体深度强化学习的新能源汽车生态驾驶方法， 其特征在于， 包 括以下步骤： S1、 构建仿真环境和跟驰模型， 预加载动力电池特性曲线和最佳燃油经济曲线作为先 验知识以搭建新能源汽车模型； 输入混合工况下 的车辆行驶数据； 用作跟驰模型中领航车 的行驶数据； S2、 基于MADDPG算法创建自适应巡航控制智能体和能量管理智能体， 并分别为每个智 能体创建Actor网络、 Critic网络以及Actor 网络和Critic网络的各自对应的目标网络， 设 定状态空间、 动作空间和奖励函数； S3、 智能体与环境交互， 基于步骤S2中构建的智能体网络和奖励函数， 通过改进的 MADDPG算法对神经网络进 行离线训练： 每个智能体根据当前环 境状态同时选择并同步执行 控制动作， 环境进入新的状态， 并反馈奖励给各智能体， 最 终获得可继承的参数化生态驾驶 策略； S4、 将步骤S3中得到的参数化神经网络策略加载到新能源汽车的整车控制器中， 目标 域新能源汽车执行训练完成的生态驾驶策略， 即在跟驰场景下的自适应巡航控制策略和能 量管理策略。 2.根据权利要求1所述一种基于异构多智能体深度强化学习的新 能源汽车生态驾驶方 法， 其特征在于， 步骤S1具体包括以下步骤： S11、 用PYTHON语言搭建跟驰模型和能量管理策略仿真环境， 通过交互接口获取并控制 仿真场景中车辆的速度和加速度， 并通过由二阶RC电模型、 双态热模型和能量吞吐老化组 成的电‑热‑老化模型来模拟车载锂离子电池组， 求解任意时刻锂离子电池组的电池健康度 SoH值； 二阶RC电和双态热模型被耦合以预测LIB的电热动力学， 其中电模型的电压源描述了 取决于荷电状态SoC的开路电压， 而Rs是总等效欧姆电阻； LIB在工作时内部存在一些极化效应， 如电荷转移、 扩散现象和电极上的钝化层效应； 两个RC支路用于模拟上述情况， 电模型的控制方程由给 出: Vt(t)＝Voc(SoC)+Vp1(t)+Vp2(t)+Rs(t)I(t)        (4) 其中， I(t)和Vt(t)是时间步t时的负载电流和端电压， Vp1和VpC分别是RC支路两端的极 化电压； S12、 对能量管理策略仿真环境输入先验知识包括电池特性曲线和最佳燃油经济曲线， 通过对电池特性曲线和最佳燃油经济曲线插值拟合的方法获得显式函数关系， 包括 发动机 转速、 扭矩与效率的函数关系和开路电压与SoC值的函数关系， 利用上述函数关系求解任意 时刻和状态下的电池开路电压值和发动机效率；权　利　要　求　书 1/6 页 2 CN 115495997 A 2S13、 输入混合工况数据作为跟驰模型中领航车的行驶信息， 并创建一种融合中国轻型 汽车试验循环 ‑乘用车和公路燃油经济性试验循环的混合循环以测试步骤S 3中获得的经过 训练获得参数化 生态驾驶策略的鲁棒 性。 3.根据权利要求2所述一种基于异构多智能体深度强化学习的新 能源汽车生态驾驶方 法， 其特征在于， 所述混合工况包括低到中速和高速条件的混合循环、 由城郊循环工况、 美 国西弗吉尼亚大学制定的郊区和洲际循环工况， 平均速度为33km/h， 最大速度为98km/h， 持 续时长为 4619s。 4.根据权利要求1所述一种基于异构多智能体深度强化学习的新 能源汽车生态驾驶方 法， 其特征在于， 步骤S2中自适应巡航控制智能体公式表达如下： 式中， vh(t)为跟驰模型中的主车速度， vl(t)为跟驰模型中的领航车速度， al(t)为跟驰 模型中的领航车加速度， Ll(t)为领航车的行驶里程， Lh(t)为主车的行驶里程， Dh， l(t)为领 航车和主车之间的距离； Dmax为领航车和主车的最大距离， Dsafe为领航车和主车的安全距 离； Dh， l(t)≥Dsafe， td是驻车制动延 迟和反应时间之和， 取值为1.5s， d0是主车停止后与前车 的安全距离， 取值 为3m， amax是紧急情况 下的最大加速度， 取值 为6.68m/s2。 5.根据权利要求1所述一种基于异构多智能体深度强化学习的新 能源汽车生态驾驶方 法， 其特征在于， 步骤S2中能量管理智能体包括发动机发电机组子模型和车载锂离子电池 组子模型， 设置电机驱动力在两个车轴之间均匀分配， 根据车辆的加速度和速度计算需求 的总功率Preq， 公式表达如下： 式中， v为车辆的速度， Freq为车辆所需的总牵引力， Fa为惯性力， Fr为滚动阻力， Fi为道 路坡度阻力， Fw为空气阻力， m为车辆的质量， a为车辆的加速度， μ为滚动阻力系数， μ取值为 0.01， Cd为空气阻力系数， 取值 为0.65， θ 为道路坡度， 设置为0； 发动机发电机组子模型在接收到控制信号后根据效率图建立准静态燃油和功率消耗 模型， 发动机和发电机之间的转换公式表达如下： Teng＝Tgen， Weng＝Wgen                (8)权　利　要　求　书 2/6 页 3 CN 115495997 A 3