基于深度强化学习的无人充电场站资源配置方法及系统与流程

本发明涉及电动汽车智能充电场站，更具体地，涉及一种基于深度强化学习的无人充电场站资源配置方法及系统。

背景技术：

1、随着电动汽车的广泛应用，无人充电场站作为电动汽车充电的重要场所，其资源配置的合理性、高效性对提高充电服务质量和满足充电需求具有重要意义。

2、然而，现有的无人充电场站资源配置方法往往基于简单的规则或启发式算法，难以应对复杂的充电需求和环境变化，导致资源配置效率低下，无法满足不同地区用户充电的不同需求。

3、现有技术文件1(cnll2874369b)提出了一种充电管理系统的充电与供能优化方法及装置，包括：获取充电站电能供能变配电信息、充电设施能力信息、充电终端输出信息以及电动汽车充电需求信息，并确定充电站充电设施系统的充电能力、供电能力与实际充电容量，根据预先训练的深度学习时间序列预测算法模型获得模型输出结果，结合充电站充电设施系统的实际充电容量以及待充电电动汽车的充电需求量，生成充电功率分配指令，对各充电设施进行电能分配。本发明提供的充电管理系统的充电与供能优化方法及装置，利用深度学习建立持续优化的管理控制模型，优化充电设施的供能与充电能力资源，提高利用效率。

4、现有技术文件1还存在以下技术问题：所提供的充电与供能优化方法仅针对常规充电信息进行充电功率的分配研究，导致得到的优化结果在实时性和准确性方面存在不足，无法应对复杂的环境变化。

技术实现思路

1、为解决现有技术中存在的不足，本发明提供一种基于深度强化学习的无人充电场站资源配置方法，解决现有无人充电场站资源配置方法通常基于简单的规则或启发式算法，难以应对复杂的充电需求和环境变化，导致资源配置效率低下，无法满足不同地区用户充电的不同需求技术的问题。

2、本发明采用如下的技术方案。

3、一种基于深度强化学习的无人充电场站资源配置方法，包括如下步骤：

4、s1：获取额定时间段内当前路口的道路信息和电动车数量，并计算当前道路的充电需求饱和含有量；

5、s2：设置时间间隔，根据时间间隔获取额定时间段内的充电需求饱和含有量，以时间顺序实时计算出一组充电需求饱和含有量；

6、s3：基于深度神经网络和强化学习算法构建充电策略模型，通过仿真环境里的随机时间段对充电策略模型进行训练，得到训练后的充电策略模型；

7、s4，将充电需求饱和含有量作为训练后充电策略模型的输入，模型输出最优值，基于模型输出的最优值进行充电场站资源的分配。

8、优选地，所述s1中，在预设的充电场地处设置监控传感器，获取额定时间段内当前路口的道路信息，通过车辆的电动绿牌识别电动车，由内嵌的mcu处理器筛选出电动车数量，并根据获取的信息计算当前道路的充电需求饱和含有量。

9、优选地，所述道路信息具体包括额定时间段内通过的车辆数量、额定时间段内道路的最大车流密度、额定时间段内道路的最小车流密度、额定时间段内通过道路的最大车辆速度及额定时间段内通过道路的最小车辆速度。

10、优选地，所述充电需求饱和含有量的计算式如下：

11、

12、其中，δ为充电需求饱和含有量，α电电为额定时间段内通过的电动车辆数量，α总为额定时间段内通过的总的车辆数量，t为额定时间段，β大为额定时间段内道路电动车辆的最大车流密度，β小为额定时间段内道路电动车辆的最小车流密度，γ大为额定时间段内电动车辆通过道路的最大车辆速度，γ小为额定时间段内电动车辆通过道路的最小车辆速度，dx为积分运算。

13、优选地，所述额定时间段设定为1h，时间间隔设置为10min。

14、优选地，所述基于深度神经网络和强化学习算法构建充电策略模型具体包括：

15、构建无人充电场站资源配置的深度强化学习模型，该模型包括一个深度神经网络，用于模拟充电场站资源配置，以及一个强化学习算法，用于学习最优的资源配置策略。

16、优选地，所构建的充电策略模型具体包括：

17、状态空间s＝{(s1，s2，...，sn)}，其中si表示充电场站的一个特定状态，n表示特定状态总个数，特定状态包括各充电桩的充电功率、充电效率、充电状态，以及充电桩的总数；

18、动作空间a＝{a1，a2，...，am}，其中aj表示对充电桩进行资源分配的动作，m表示动作总个数，对充电桩进行资源分配的动作至少包括分配功率、充电桩的配置数量；

19、奖励函数r(s，a)＝r1(s，a)+r2(s，a)，其中，r1(s，a)表示在执行动作a后满足充电需求的电动汽车数量或充电功率的奖励，r2(s，a)表示在执行动作a后充电场站资源配置效果的奖励；

20、q值函数q(s，a)＝f(w*h(s)+b*h(a))，其中w和b是神经网络的权重和偏置，h是神经网络层，f是激活函数(如sigmoid或relu)，s和a是状态和动作；

21、损失函数：用q值的平方差作为损失函数，用于优化q网络的预测精度。损失函数l＝∑[(y-q(s，a；θ))2]，其中y是真实奖励，θ是神经网络的参数。

22、优选地，将充电需求饱和含有量作为充电策略模型的输入量，将充电场地内每个充电场站充电桩的所需配置数量及各充电桩的所需配置功率作为充电策略模型的输出量进行模型训练，训练过程中，通过不断更新模型参数，使模型根据充电需求和场站资源情况，自主学习并优化资源配置策略，得到训练后的充电策略模型。

23、优选地，所述s4中，模型输出的最优值包括充电场地内每个充电场站充电桩的最佳配置数量及各充电桩的最佳配置功率。

24、本发明还提出了一种基于深度强化学习的无人充电场站资源配置系统，利用所述基于深度强化学习的无人充电场站资源配置方法，包括：信息获取模块、分析计算模块、模型构建及训练模块、资源配置模块；

25、信息获取模块用于获取额定时间段内当前路口的道路信息和电动车数量；

26、分析计算模块根据获取的信息计算额定时间段内的充电需求饱和含有量；

27、模型构建及训练模块用于构建饱和含有量模型，通过仿真环境里的随机时间段对策略网络进行训练，得到训练后的饱和含有量模型；

28、资源配置模块将充电需求饱和含有量作为训练后饱和含有量模型的输入，通过模型输出最优值，基于最优值的比例关系及充电资源的存量进行不同场站资源的分配。

29、本发明还提出了一种终端，包括处理器及存储介质；

30、所述存储介质用于存储指令；

31、所述处理器用于根据所述指令进行操作以执行所述基于深度强化学习的无人充电场站资源配置方法的步骤。

32、本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述基于深度强化学习的无人充电场站资源配置方法的步骤。

33、本发明的有益效果在于，与现有技术相比，本发明提供的基于深度强化学习的无人充电场站资源配置方法，通过不同路况的检测信息，结合优化的具体模型，对当前路口的充电需求饱和含有量进行定量化输出，得到的优化结果准确性更高，且更符合当前的实际环境，包括通过对应监控传感器的设置获取当前路口的道路信息，同步完成电动路牌信息的筛选，实现了信息的实时采集，提高了本发明方法的适用性；依据获取的实时信息，定量获取充电需求饱和含有量，通过定量化的分析及饱和含有量模型的优化配置提高了资源配置的准确性；

34、通过深度强化学习算法实现对无人充电场站资源配置的智能化学习和优化，采用深度强化学习算法，具备较强的学习能力和适应性，能够根据充电需求和场站资源情况自主学习并优化资源配置策略；

35、本发明无需依赖复杂的数学模型和繁琐的参数设置，能够有效提高无人充电场站资源配置的效率和准确性；通过实时收集和分析充电数据，能够更好地了解充电需求和场站运行状况，为资源配置提供更为准确和全面的依据，可适用于不同规模和类型的无人充电场站。

技术特征：

1.一种基于深度强化学习的无人充电场站资源配置方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于深度强化学习的无人充电场站资源配置方法，其特征在于，

3.根据权利要求2所述的基于深度强化学习的无人充电场站资源配置方法，其特征在于，

4.根据权利要求3所述的基于深度强化学习的无人充电场站资源配置方法，其特征在于，

5.根据权利要求3所述的基于深度强化学习的无人充电场站资源配置方法，其特征在于，

6.根据权利要求1所述的基于深度强化学习的无人充电场站资源配置方法，其特征在于，

7.根据权利要求1所述的基于深度强化学习的无人充电场站资源配置方法，其特征在于，

8.根据权利要求7所述的基于深度强化学习的无人充电场站资源配置方法，其特征在于，

9.根据权利要求1所述的基于深度强化学习的无人充电场站资源配置方法，其特征在于，

10.一种基于深度强化学习的无人充电场站资源配置系统，利用权利要求1-9任一项权利要求所述基于深度强化学习的无人充电场站资源配置方法，其特征在于，包括：信息获取模块、分析计算模块、模型构建及训练模块、资源配置模块；

11.一种终端，包括处理器及存储介质；其特征在于：

12.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-9任一项所述基于深度强化学习的无人充电场站资源配置方法的步骤。

技术总结
一种基于深度强化学习的无人充电场站资源配置方法及系统，包括：获取额定时间段内当前路口的道路信息和电动车数量，并计算当前道路的充电需求饱和含有量；设置时间间隔，根据时间间隔获取额定时间段内的充电需求饱和含有量，以时间顺序获取一组充电需求饱和含有量；基于深度神经网络和强化学习算法构建充电策略模型，通过仿真环境里的随机时间段对充电策略模型进行训练，得到训练后的充电策略模型；将充电需求饱和含有量作为训练后充电策略模型的输入，模型输出最优值，基于模型输出的最优值进行充电场站资源的分配。本发明通过实时收集和分析充电数据，为资源配置提供更为准确和全面的依据，有效提高无人充电场站资源配置的效率和准确性。

技术研发人员：王舒凡,杨栋,乔梦竹,孔伟,赵磊
受保护的技术使用者：南京苏逸实业有限公司
技术研发日：
技术公布日：2024/9/23