(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211475230.4 (22)申请日 2022.11.23 (71)申请人 南京邮电大 学 地址 210046 江苏省南京市栖霞区文苑路9 号 (72)发明人 余亮　檀洋阳　李澳　王冬生　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 母秋松 (51)Int.Cl. G06F 30/27(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 7/00(2006.01) (54)发明名称 基于多智能体深度强化学习的水厂取水泵 站节能调度方法 (57)摘要 本发明公开了一种基于多智能体深度强化 学习的水厂取水泵站节能调度方法， 包括以下步 骤： （1） 在维持蓄水池液位、 总管压强差、 水泵切 换次数在安全 范围的前提下， 将水厂取水泵站总 能耗最小化问题建模为马尔可夫博弈， 并设计相 应的环境状态、 行为、 以及奖励函数； （2） 利用历 史运行数据和长短期记忆网络构建取水泵站调 度环境模型； （3） 基于调度环境模型和多智能体 行动者‑注意力‑评论家强化学习算法对深度强 化学习智能体进行训练； （4） 将训练得到的智能 体策略部署到实际系统中。 与现有方法相比， 本 发明提出的方法具有更强的系统安全维护能力、 节能潜力 （高达12.8%） 以及通用性。 权利要求书4页 说明书10页 附图4页 CN 115544899 A 2022.12.30 CN 115544899 A 1.一种基于多智能体深度强化学习的水厂取水泵站节能调度方法， 其特征在于， 包括 如下步骤： 步骤1： 在维持蓄水池液位、 总管压强差、 水泵切换次数在安全范围的前提下， 将取水泵 站总能耗最小化问题建模为马尔可夫博弈， 并设计马尔可夫博弈相应的环境状态、 行为、 以 及奖励函数， 构建 关于取水泵站系统的多智能体； 步骤2： 利用历史运行 数据和长短期记 忆网络构建取 水泵站调度环境模型； 步骤3： 基于取水泵站调度环境模型和多智能体行动者 ‑注意力‑评论家强化学习算法 对多智能体进行深度强化学习训练； 步骤4： 将训练得到的多智能体策略部署到实际取 水泵站系统中。 2.根据权利要求1所述的一种基于多智能体深度强化学习的水厂取水泵站节能调度方 法， 其特征在于， 所述取 水泵站总能耗 最小化问题的表达式如下： 式中， 为 时隙取水泵站的总能源消耗， ， 表示优化时隙总数； 为期望 算子； 为 时隙取水泵站的变频泵工作频率或定频泵状态； 为 时隙蓄水池液面高度， 和 为蓄水池安全范围的最低和最高液位； 为 时隙取水泵站总管压强， 为 时隙取水泵站总管压强， 为安全范围内的最高总管压强差， 为表示截止到 时 隙取水泵站在一天内的切换次数， 为取水泵站在一天内安全范围内的最高切换次数。 3.根据权利要求2所述的一种基于多智能体深度强化学习的水厂取水泵站节能调度方 法， 其特征在于， 所述马尔可 夫博弈中环境状态 的表达式如下： 式中， ， 取1， 2，…， ， 表示需要控制的水泵数目， 同时也为马尔可夫博弈中智能体的总个数， 每个智能体负 责控制1个取水泵； 其中： 为多 智能体在 时隙的环境状态， 表示第 个定频泵智能体或变频泵智能体的本地观测 状 态， 为 时隙的当前绝对时间在一天内的相对时间序号， 为 时隙蓄水池液面高度， 为 时隙取水泵站总管压强， 为 时隙蓄水池借水量， 为 时隙蓄水池供水量， 为截止到 时隙取水泵站在一天内的切换次数， 为智能体 所控制的水泵在 时隙开权　利　要　求　书 1/4 页 2 CN 115544899 A 2关状态。 4.根据权利要求3所述的一种基于多智能体深度强化学习的水厂取水泵站节能调度方 法， 其特征在于， 所述马尔可 夫博弈中行为 的表达式如下： 式中， 表示需要控制的水泵数目， 为整数， 取1， 2，…， ； 其中， 当 时， 为小于 的整数， 智能体 为定频泵， 为定频泵在 时隙的开关状态， 当 时， 定频泵智能体 关闭， 定频泵智能体开启； 当 时， 智能体 为变频泵， ， 为变频泵在 时隙的频率的增减 情况， 表示频率泵关闭， 和 分别表示变 频泵频率减少 和增大 ， ， 表示变频泵频率 不变。 5.根据权利要求4所述的一种基于多智能体深度强化学习的水厂取水泵站节能调度方 法， 其特征在于， 所述马尔可 夫博弈中奖励函数表达式如下： 式中， 为 时隙末用于控制每个取水泵的智能体所接收到的奖励， 其中： 为 时隙与取水泵站能耗相关的惩罚成本， 为 时隙与蓄水池 液位违背 安全范围相关的惩罚成本， 为 时隙与违背取水泵站总管压强差安全范围 相关的惩罚成本， 为 时隙与取水泵站组合切换代价相关的惩罚成本， 为 时隙与取水泵站组合切换次数违背安全范围导致的惩罚； 为蓄水池液位违 背安全范围导致的惩罚相对于能耗相关的惩罚成本的重要性系数， 为总管压强差违背 安 全范围导致的惩罚相对于能耗相关的惩罚成本的重要性系数， 为切换取水泵站导致的惩 罚相对于能耗相关的惩罚成本的重要性系数， 为取水泵站切换次数违背安全范围导致的 惩罚相对于能耗相关的惩罚成本的重要性系数。 6.根据权利要求5所述的一种基于多智能体深度强化学习的水厂取水泵站节能调度方 法， 其特征在于， 所述取 水泵站调度环境模型构建如下： 权　利　要　求　书 2/4 页 3 CN 115544899 A 3