一种微电网频率和电压的控制方法及终端与流程

1.本发明涉及电网控制技术领域，尤其涉及一种微电网频率和电压的控制方法及终端。


背景技术：

2.现有的对于微电网的控制方法中，通常只能对微电网中的频率进行控制，无法在保证频率质量的前提下对电压水平进行协调控制；同时，现有的微电网控制方法的应用场景不包含用户侧储能，对于用户行为随机性的适应力较弱；进而，所控制算法均为离散算法，其智能体输出动作为离散动作，在面对到用户侧储能与分布式电源等强随机性因素时，可能会出现动作量过大而失去控制能力。


技术实现要素：

3.本发明所要解决的技术问题是：提供一种微电网频率和电压的控制方法及终端，能够有效地实现频率和电压的协调控制。
4.为了解决上述技术问题，本发明采用的一种技术方案为：
5.一种微电网频率和电压的控制方法，包括步骤：
6.获取微电网以及用户侧储能的运行信息；
7.根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，所述微电网频率与电压控制模型使用多智能体深度确定性策略梯度算法；
8.使用所述训练后的微电网频率与电压控制模型对所述微电网的频率和电压进行控制。
9.为了解决上述技术问题，本发明采用的另一种技术方案为：
10.一种微电网频率和电压的控制终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
11.获取微电网以及用户侧储能的运行信息；
12.根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，所述微电网频率与电压控制模型使用多智能体深度确定性策略梯度算法；
13.使用所述训练后的微电网频率与电压控制模型对所述微电网的频率和电压进行控制。
14.本发明的有益效果在于：根据运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，该微电网频率与电压控制模型使用多智能体深度确定性策略梯度算法，多智能体深度确定性策略梯度算法混合了深度学习与强化学习，具备在线学习与经验回放能力，能够基于数据进行预测，随着有效数据的积累，其预测能力可以持续地进化，能够适用于含用户侧储能的微电网频率和电压控制场景，可适应用户侧
储能的用户行为随机性，在频率质量的前提下对电压水平进行协调控制，从而有效地实现频率和电压的协调控制。
附图说明
15.图1为本发明实施例的一种微电网频率和电压的控制方法的步骤流程图；
16.图2为本发明实施例的一种微电网频率和电压的控制终端的结构示意图；
17.图3为本发明实施例的微电网频率和电压的控制方法中的系统架构图；
18.图4为本发明实施例的微电网频率和电压的控制方法中的网络结构图；
19.图5为本发明实施例的微电网频率和电压的控制方法中的用户侧储能功率输出调控示意图；
20.图6为本发明实施例的微电网频率和电压的控制方法中的用户侧储能参与微电网的负荷分配优化调度的一种过程示意图；
21.图7为本发明实施例的微电网频率和电压的控制方法中的用户侧储能参与微电网的负荷分配优化调度的另一种过程示意图；
22.图8为本发明实施例的微电网频率和电压的控制方法中的四象限双向充放电示意曲线；
23.图9为本发明实施例的微电网频率和电压的控制方法中的神经网络结构图；
24.图10为本发明实施例的微电网频率和电压的控制方法中的多智能体ddpg算法结构示意图；
25.图11为本发明实施例的微电网频率和电压的控制方法中的平均奖励值和实时奖励值的示意图；
26.图12为本发明实施例的微电网频率和电压的控制方法中的频率和电压控制示意图。
具体实施方式
27.为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
28.请参照图1，本发明实施例提供了一种微电网频率和电压的控制方法，包括步骤：
29.获取微电网以及用户侧储能的运行信息；
30.根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，所述微电网频率与电压控制模型使用多智能体深度确定性策略梯度算法；
31.使用所述训练后的微电网频率与电压控制模型对所述微电网的频率和电压进行控制。
32.从上述描述可知，本发明的有益效果在于：根据运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，该微电网频率与电压控制模型使用多智能体深度确定性策略梯度算法，多智能体深度确定性策略梯度算法混合了深度学习与强化学习，具备在线学习与经验回放能力，能够基于数据进行预测，随着有效数据的积累，其预测能力可以持续地进化，能够适用于含用户侧储能的微电网频率和电压控制场
景，可适应用户侧储能的用户行为随机性，在频率质量的前提下对电压水平进行协调控制，从而有效地实现频率和电压的协调控制。
33.进一步地，所述获取微电网以及用户侧储能的运行信息包括：
34.获取微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束；
35.所述根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型包括：
36.构建全局奖励函数、频率奖励函数以及电压奖励函数；
37.将所述全局奖励函数最高、频率奖励函数达到第一预设值以及电压奖励函数达到第二预设值作为训练目标；
38.根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间；
39.根据所述训练目标将所述状态空间输入至所述微电网频率与电压控制模型中进行训练，输出动作空间；
40.获取当前训练次数，并判断所述当前训练次数是否达到预设次数，若是，则将符合所述训练目标的微电网频率与电压控制模型确定为训练后的微电网频率与电压控制模型。
41.由上述描述可知，多智能体ddpg(深度确定性策略梯度算法)结合了深度神经网络和强化学习，因此具有有效处理大规模数据的能力，可以通过大量数据完成agent(智能体)训练，从而根据输入的数据输出实时决策状态变量，得到最优的控制方案，且ddpg算法是actor-critic(演员评论家)框架与dqn算法(基于深度学习的q-learning算法)的融合，其继承了dqn算法中的独立目标网络，具有经验回放能力，能够打破数据之间的关联性，降低模型的训练难度。
42.进一步地，所述全局奖励函数r为：
43.r＝rf+ru；
[0044][0045][0046]
式中，rf表示所述频率奖励函数，rn表示所述电压奖励函数，δf表示频率偏差，μ1表示第一权值，μ2表示第二权值，μ3表示第三权值，μ4表示第四权值，δu表示电压偏差，δ1表示第五权值，δ2表示第六权值，δ3表示第七权值，δ4表示第八权值；
[0047]
所述状态空间为：
[0048][0049]
式中，δf(t)表示所述频率偏差，δu(t)表示所述电压偏差，表示所述有功功率上限约束，表示所述有功功率下限约束，表示所述无功功率上限约束，表示所述无功功率下限约束；
[0050]
所述动作空间为：
[0051]
a＝[δa
mt，p
(t)，δa
es，p
(t)，δa
mt，q
(t)，δa
es，q
(t)]；
[0052]
式中，δa
mt，p
(t)表示t时刻对微型燃气轮机组发出的有功调节信号，δa
es，p
(t)表示t时刻对用户侧储能机组发出的有功调节信号，δa
mt，q
(t)表示t时刻对微型燃气轮机组发出的无功调节信号，δa
es，q
(t)表示t时刻对用户侧储能机组发出的无功调节信号。
[0053]
由上述描述可知，全局奖励函数包含2个本地奖励函数(即频率奖励函数和电压奖励函数)，且2个奖励函数之间相互影响，智能体以全局奖励最高为最优目标，并且保证频率奖励与电压奖励不低于基本阈值，以此在调节调控机组的有功出力完成频率控制的过程中，保证无功出力的稳定，使得电压波动在控制范围内，同样地，在调节调控机组的无功出力完成电压控制的过程中，保证有功出力的稳定，使得频率偏差在合理范围内，而在对两者进行同时控制时，多智能体之间也能协调配合，在频率与电压同时满足控制要求的情况下，保证微电网的系统整体稳定。
[0054]
进一步地，所述根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间之前包括：
[0055]
将所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束分别进行离散值划分，得到离散化后的微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束；
[0056]
所述根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间包括：
[0057]
根据所述离散化后的微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间。
[0058]
由上述描述可知，对数据集进行离散值划分会影响智能体的收敛，以此来提高模型收敛速度。
[0059]
进一步地，所述获取微电网以及用户侧储能的运行信息之前包括：
[0060]
构建用户侧储能的充放电模型；
[0061]
根据所述用户侧储能的充放电模型构建微电网频率与电压控制模型。
[0062]
由上述描述可知，构建用户侧储能的充放电模型，根据用户侧储能的充放电模型构建微电网频率与电压控制模型，以实现将用户侧储能应用到微电网频率与电压的调控中，便于后续模型输出的控制方案能够适应用户侧储能的用户行为随机性。
[0063]
请参照图2，一种微电网频率和电压的控制终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0064]
获取微电网以及用户侧储能的运行信息；
[0065]
根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，所述微电网频率与电压控制模型使用多智能体深度确定性策略梯度算法；
[0066]
使用所述训练后的微电网频率与电压控制模型对所述微电网的频率和电压进行控制。
[0067]
从上述描述可知，本发明的有益效果在于：根据运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，该微电网频率与电压控制模型使用多智能体深度确定性策略梯度算法，多智能体深度确定性策略梯度算法混合了深度学习与强化学习，具备在线学习与经验回放能力，能够基于数据进行预测，随着有效数据的积累，其预测能力可以持续地进化，能够适用于含用户侧储能的微电网频率和电压控制场景，可适应用户侧储能的用户行为随机性，在频率质量的前提下对电压水平进行协调控制，从而有效地实现频率和电压的协调控制。
[0068]
进一步地，所述获取微电网以及用户侧储能的运行信息包括：
[0069]
获取微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束；
[0070]
所述根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型包括：
[0071]
构建全局奖励函数、频率奖励函数以及电压奖励函数；
[0072]
将所述全局奖励函数最高、频率奖励函数达到第一预设值以及电压奖励函数达到第二预设值作为训练目标；
[0073]
根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间；
[0074]
根据所述训练目标将所述状态空间输入至所述微电网频率与电压控制模型中进行训练，输出动作空间；
[0075]
获取当前训练次数，并判断所述当前训练次数是否达到预设次数，若是，则将符合所述训练目标的微电网频率与电压控制模型确定为训练后的微电网频率与电压控制模型。
[0076]
由上述描述可知，多智能体ddpg(深度确定性策略梯度算法)结合了深度神经网络和强化学习，因此具有有效处理大规模数据的能力，可以通过大量数据完成agent(智能体)训练，从而根据输入的数据输出实时决策状态变量，得到最优的控制方案，且ddpg算法是actor-critic(演员评论家)框架与dqn算法(基于深度学习的q-learning算法)的融合，其继承了dqn算法中的独立目标网络，具有经验回放能力，能够打破数据之间的关联性，降低模型的训练难度。
[0077]
进一步地，所述全局奖励函数r为：
[0078]
r＝rf+ru；
[0079][0080][0081]
式中，rf表示所述频率奖励函数，ru表示所述电压奖励函数，δf表示频率偏差，μ1表示第一权值，μ2表示第二权值，μ3表示第三权值，μ4表示第四权值，δu表示电压偏差，δ1表示第五权值，δ2表示第六权值，δ3表示第七权值，δ4表示第八权值；
[0082]
所述状态空间为：
[0083][0084]
式中，δf(t)表示所述频率偏差，δu(t)表示所述电压偏差，表示所述有功功率上限约束，表示所述有功功率下限约束，表示所述无功功率上限约束，表示所述无功功率下限约束；
[0085]
所述动作空间为：
[0086]
a＝[δa
mt，p
(t)，δa
es，p
(t)，δa
mt，q
(t)，δa
es，q
(t)]；
[0087]
式中，δa
mt，p
(t)表示t时刻对微型燃气轮机组发出的有功调节信号，δa
es，p
(t)表示t时刻对用户侧储能机组发出的有功调节信号，δa
mt，q
(t)表示t时刻对微型燃气轮机组发出的无功调节信号，δa
es，q
(t)表示t时刻对用户侧储能机组发出的无功调节信号。
[0088]
由上述描述可知，全局奖励函数包含2个本地奖励函数(即频率奖励函数和电压奖励函数)，且2个奖励函数之间相互影响，智能体以全局奖励最高为最优目标，并且保证频率奖励与电压奖励不低于基本阈值，以此在调节调控机组的有功出力完成频率控制的过程中，保证无功出力的稳定，使得电压波动在控制范围内，同样地，在调节调控机组的无功出力完成电压控制的过程中，保证有功出力的稳定，使得频率偏差在合理范围内，而在对两者进行同时控制时，多智能体之间也能协调配合，在频率与电压同时满足控制要求的情况下，保证微电网的系统整体稳定。
[0089]
进一步地，所述根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间之前包括：
[0090]
将所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束分别进行离散值划分，得到离散化后的微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束；
[0091]
所述根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间包括：
[0092]
根据所述离散化后的微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间。
[0093]
由上述描述可知，对数据集进行离散值划分会影响智能体的收敛，以此来提高模型收敛速度。
[0094]
进一步地，所述获取微电网以及用户侧储能的运行信息之前包括：
[0095]
构建用户侧储能的充放电模型；
[0096]
根据所述用户侧储能的充放电模型构建微电网频率与电压控制模型。
[0097]
由上述描述可知，构建用户侧储能的充放电模型，根据用户侧储能的充放电模型构建微电网频率与电压控制模型，以实现将用户侧储能应用到微电网频率与电压的调控中，便于后续模型输出的控制方案能够适应用户侧储能的用户行为随机性。
[0098]
本发明上述的一种微电网频率和电压的控制方法及终端能够适用于含用户侧储能的微电网中，以下通过具体实施方式进行说明：
[0099]
实施例一
[0100]
请参照图1和图3～图11，图3展示了本发明微电网频率和电压的控制方法的系统架构图，各微电网(微网)所处的城市控制中心能够和系统完成连接，系统的基础采集模块可集群分布于各微电网侧，而城市控制中心工作人员能够登录控制主站完成各类功能需求的设置，从而实现控制的安全可靠性；图4展示了该系统架构图的网络结构，包括微网层、数据层和决策层，各层之间包括功率传输、状态信息与动作指令，由此确定出系统数据和模型的存储方法，确定各微网的统一训练标准，实现对于用户侧储能参与微电网调控的支撑，并通过数字化平台实现在线管控；
[0101]
本实施例的一种微电网频率和电压的控制方法，包括步骤：
[0102]
s1、构建用户侧储能的充放电模型；
[0103]
如图5所示，以实现将用户侧储能应用到微电网频率与电压的调控中，图中，δu
es
表示控制终端对用户侧储能发出的控制信号，t
es
表示可控负荷的时间常数，从而构成传递函数δp
es
表示用户侧储能集群的输出功率，与分别表示用户侧储能集群的输出功率δp
es
的实时上、下限约束，用户侧储能群由不同个体用户储能单位组成，用户侧计算中心将会根据收到的控制指令，依据当前时刻各用户行为心理统计结果，计算需要且能够使用的储能单元数量，进而得到最终输出的功率增量。如图6和图7所示，图6和图7展示了用户侧储能参与微电网的负荷分配优化调度的过程，当充电状态达到socm，或充电状态大于socm时，用户侧储能将能够参与微电网的负荷分配优化调度过程，即微电网遇到用电高峰时可以放电，这个放电过程不会使用户侧储能功率低于socm；当用户侧储能的充电状态达到soc
max
时，将不再为用户侧储能充电，以确保电池寿命，此时，用户侧储能会自动停止充电(即保持soc
max
)或放电。进而，在得到用户侧储能有功放电功率p
es
的边界后，通过用户侧储能电站的功率因数角可以得到无功功率边界，四象限双向充放电示意曲线如图8所示，图8中，表示视在额定功率为δs时的功率因数角，表示最小功率因数角度，表示最大功率因数角度，p轴和q轴的正轴表示从电网传输到用户侧储能电站的能量，
当有功功率为oa时，无功功率的可调范围为cc
′
，ob的长度为视在额定功率δs
es
。
[0104]
有功功率δp
es
和无功功率δq
es
的关系为：功率因数角满足储能电站的运行特性为：当δp
es
》0时，电网向用户侧储能提供有功功率，当δq
es
》0时，电网向用户侧储能提供无功功率。
[0105]
s2、根据所述用户侧储能的充放电模型构建微电网频率与电压控制模型；
[0106]
具体的，根据所述用户侧储能的充放电模型和系统架构构建微电网频率与电压控制模型；
[0107]
s3、获取微电网以及用户侧储能的运行信息；
[0108]
具体的，获取微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束；
[0109]
s4、根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，所述微电网频率与电压控制模型使用多智能体深度确定性策略梯度(ddpg)算法，使用多智能体ddpg算法以适应用户侧储能的随机约束和新能源输出的强非线性数据，以达成微电网频率与电压的协同控制，且多智能体ddpg结合了深度神经网络和强化学习，因此具有有效处理大规模数据的能力，可以通过大量数据完成agent训练，从而输出实时决策状态变量，得到最优控制方案，本发明通过神经网络将状态向量s作为输入序列，最终在输出层得到近似的q值，对应的网络结构如图9所示，有h层隐藏层，每个隐藏层由u个神经元组成，(h，u)参数的具体取值受实际算例的影响，本实施例中，h＝5，u＝50，同时完成ddpg算法的设计，ddpg算法是actor-critic框架与dqn算法的融合，其继承了dqn算法中的独立目标网络，具有经验回放能力，能够打破数据之间的关联性，降低模型的训练难度，而多智能体ddpg算法具备“集中训练、分散执行”的协调配合模式，如图10所示，能够很好地适应多目标控制问题，具体包括：
[0110]
s41、构建全局奖励函数、频率奖励函数以及电压奖励函数；
[0111]
其中，所述全局奖励函数r为：
[0112]
r＝rf+ru；
[0113][0114]
[0115]
式中，rf表示所述频率奖励函数，ru表示所述电压奖励函数，
△
f表示频率偏差，μ1表示第一权值，μ2表示第二权值，μ3表示第三权值，μ4表示第四权值，
△
u表示电压偏差，δ1表示第五权值，δ2表示第六权值，δ3表示第七权值，δ4表示第八权值；
[0116]
以此在调节调控机组的有功出力完成频率控制的过程中，保证无功出力的稳定，使得电压波动在控制范围内；同样地，在调节调控机组的无功出力完成电压控制的过程中，保证有功出力的稳定，使得频率偏差在合理范围内，而在对两者进行同时控制时，多智能体之间也能协调配合，在频率与电压同时满足控制要求的情况下，保证微电网的系统整体稳定；
[0117]
在一种可选的实施方式中，还包括设置超参数，所述超参数包括折扣因子、学习率，所述折扣因子γ＝0.9，所述学习率α＝0.001，h＝5，u＝50，通过设置超参数可进一步提高收敛速度与收敛效果；
[0118]
s42、将所述全局奖励函数最高、频率奖励函数达到第一预设值以及电压奖励函数达到第二预设值作为训练目标；
[0119]
s43、将所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束分别进行离散值划分，得到离散化后的微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束；
[0120]
由于数据集的离散值的划分会影响智能体的收敛，在一种可选的实施方式中，设置所述频率偏差的离散集为(-∞,-0.2)，[-0.2,-0.15)，[-0.15,-0.10)，[-0.10,-0.03)，[-0.03,0.03]，(0.03,0.10]，(0.10,0.15]，(0.15,0.2]，(0.2,+∞)，单位hz；
[0121]
根据我国电力安全工作规程：电力系统正常运行的频率应当在50
±
0.2hz的范围之内，电压偏差应当在5％的范围之内，设置所述电压偏差的离散集为(-1,-0.05)，[-0.05,-0.03)，[-0.03,-0.02)，[-0.02,-0.01)，[-0.01,0.01]，(0.01,0.02]，(0.02,0.03]，(0.03,0.05]，(0.05,1)，单位p.u(标幺值)；
[0122]
根据系统参数设置所述无功功率上限约束和无功功率下限约束的离散集分别为：[0,0.02)，[0.02,0.04)，[0.04,0.06)，[0.06,0.08]，以及[-0.08,-0.06]，(-0.06,-0.04]，(-0.04,-0.02]，(-0.02,0]，单位p.u；设置所述有功功率上限约束和有功功率下限约束的离散集分别为：[0,0.04)，[0.04,0.08)，[0.08,0.12)，[0.12,0.16]，以及[-0.16,-0.12]，(-0.12,-0.08]，(-0.08,-0.04]，(-0.04,0]；
[0123]
在另一种可选的实施方式中，设置微电网的主调控机组燃气轮机与用户侧储能的无功指令的离散值为：a
mt
＝a
es
＝(-0.005，-0.004，-0.003，-0.002，-0.001，0，0.001，0.002，0.003，0.004，0.005)，单位p.u；
[0124]
s44、根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间；
[0125]
具体的，根据所述离散化后的微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间；
[0126]
其中，所述状态空间为：
[0127]
[0128]
式中，δf(t)表示所述频率偏差，δu(t)表示所述电压偏差，表示所述有功功率上限约束，表示所述有功功率下限约束，表示所述无功功率上限约束，表示所述无功功率下限约束；
[0129]
s45、根据所述训练目标将所述状态空间输入至所述微电网频率与电压控制模型中进行训练，输出动作空间；
[0130]
其中，所述动作空间为：
[0131]
a＝[δa
mt，p
(t)，δa
es，p
(t)，δa
mt，q
(t)，δa
es，q
(t)]；
[0132]
式中，δa
mt，p
(t)表示t时刻对微型燃气轮机组发出的有功调节信号，δa
es，p
(t)表示t时刻对用户侧储能机组发出的有功调节信号，δa
mt，p
(t)表示t时刻对微型燃气轮机组发出的无功调节信号，δa
es，q
(t)表示t时刻对用户侧储能机组发出的无功调节信号；
[0133]
s46、获取当前训练次数，并判断所述当前训练次数是否达到预设次数，若是，则将符合所述训练目标的微电网频率与电压控制模型确定为训练后的微电网频率与电压控制模型；
[0134]
在一种可选的实施方式中，所述预设训练次数为500次，每次训练为100步，步长为0.1秒，即一次训练是10s，10s内控制过程的累加视为一次训练；
[0135]
训练后的微电网频率与电压控制模型即可获得最优值函数q网络并投入使用，在预学习的初期阶段，模型尚未积累任何经验，不具备智能控制能力，只有在接受各种状态动作后，才能得到最优值函数q网络因此，在训练时，需要设置由不同幅值、不同类型函数叠加而成的负荷扰动来对控制器进行训练；同时，根据用户侧储能的输出容量变化数据设置一组随时间发生概率随机变化的输出功率增量约束函数，并将上述随机函数作为训练数据集输入到智能体中，在经过大量试错训练后，智能控制器达到收敛，即可投入使用，相比于传统控制手段，使用随机生成的数据集进行训练，降低了获取数据训练集的难度，而本发明微电网频率与电压控制模型在完成372回合次训练时结束了训练，平均奖励值为-9.98831，实时奖励值为-0.64348，能应对电网负荷功率的随机扰动，如图11所示；
[0136]
s5、使用所述训练后的微电网频率与电压控制模型对所述微电网的频率和电压进行控制；
[0137]
具体的，从微电网中获取实时的频率偏差、电压偏差与用户侧储能电站的实时有功功率上、下限约束和无功功率上、下限约束作为状态信息，并基于所述状态信息输入所述训练后的微电网频率与电压控制模型，输出最佳的动作集，即控制动作指令，根据所述控制动作指令对微型燃气轮机和用户侧储能电站(即调频机组)的输出功率进行控制，以保持微电网频率与电压稳定，如图12所示。
[0138]
实施例二
[0139]
请参照图2，本实施例的一种微电网频率和电压的控制终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例一中的微电网频率和电压的控制方法中的各个步骤。
[0140]
综上所述，本发明提供的一种微电网频率和电压的控制方法及终端，获取微电网以及用户侧储能的运行信息；根据所述运行信息对微电网频率与电压控制模型进行训练，
得到训练后的微电网频率与电压控制模型，所述微电网频率与电压控制模型使用多智能体深度确定性策略梯度算法；使用所述训练后的微电网频率与电压控制模型对所述微电网的频率和电压进行控制；具体的，构建全局奖励函数、频率奖励函数以及电压奖励函数；将所述全局奖励函数最高、频率奖励函数达到第一预设值以及电压奖励函数达到第二预设值作为训练目标；根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间；根据所述训练目标将所述状态空间输入至所述微电网频率与电压控制模型中进行训练，输出动作空间；获取当前训练次数，并判断所述当前训练次数是否达到预设次数，若是，则将符合所述训练目标的微电网频率与电压控制模型确定为训练后的微电网频率与电压控制模型，多智能体ddpg能够打破数据之间的关联性，降低模型的训练难度，混合了深度学习与强化学习，具备在线学习与经验回放能力，能够基于数据进行预测，随着有效数据的积累，其预测能力可以持续地进化，能够适用于含用户侧储能的微电网频率和电压控制场景，可适应用户侧储能的用户行为随机性，在频率质量的前提下对电压水平进行协调控制，从而有效地实现频率和电压的协调控制。
[0141]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种微电网频率和电压的控制方法，其特征在于，包括步骤：获取微电网以及用户侧储能的运行信息；根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，所述微电网频率与电压控制模型使用多智能体深度确定性策略梯度算法；使用所述训练后的微电网频率与电压控制模型对所述微电网的频率和电压进行控制。2.根据权利要求1所述的一种微电网频率和电压的控制方法，其特征在于，所述获取微电网以及用户侧储能的运行信息包括：获取微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束；所述根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型包括：构建全局奖励函数、频率奖励函数以及电压奖励函数；将所述全局奖励函数最高、频率奖励函数达到第一预设值以及电压奖励函数达到第二预设值作为训练目标；根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间；根据所述训练目标将所述状态空间输入至所述微电网频率与电压控制模型中进行训练，输出动作空间；获取当前训练次数，并判断所述当前训练次数是否达到预设次数，若是，则将符合所述训练目标的微电网频率与电压控制模型确定为训练后的微电网频率与电压控制模型。3.根据权利要求2所述的一种微电网频率和电压的控制方法，其特征在于，所述全局奖励函数r为：r＝r
f
+r
u
；；式中，r
f
表示所述频率奖励函数，r
u
表示所述电压奖励函数，δf表示频率偏差，μ1表示第一权值，μ2表示第二权值，μ3表示第三权值，μ4表示第四权值，δu表示电压偏差，δ1表示第五权值，δ2表示第六权值，δ3表示第七权值，δ4表示第八权值；
所述状态空间为：式中，δf(t)表示所述频率偏差，δu(t)表示所述电压偏差，表示所述有功功率上限约束，表示所述有功功率下限约束，表示所述无功功率上限约束，表示所述无功功率下限约束；所述动作空间为：a＝[δa
mt，p
(t)，δa
es，p
(t)，δa
mt，q
(t)，δa
es，q
(t)]；式中，δa
mt，p
(t)表示t时刻对微型燃气轮机组发出的有功调节信号，δa
es，p
(t)表示t时刻对用户侧储能机组发出的有功调节信号，δa
mt，q
(t)表示t时刻对微型燃气轮机组发出的无功调节信号，δa
es，q
(t)表示t时刻对用户侧储能机组发出的无功调节信号。4.根据权利要求2所述的一种微电网频率和电压的控制方法，其特征在于，所述根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间之前包括：将所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束分别进行离散值划分，得到离散化后的微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束；所述根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间包括：根据所述离散化后的微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间。5.根据权利要求1所述的一种微电网频率和电压的控制方法，其特征在于，所述获取微电网以及用户侧储能的运行信息之前包括：构建用户侧储能的充放电模型；根据所述用户侧储能的充放电模型构建微电网频率与电压控制模型。6.一种微电网频率和电压的控制终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：获取微电网以及用户侧储能的运行信息；根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，所述微电网频率与电压控制模型使用多智能体深度确定性策略梯度算法；使用所述训练后的微电网频率与电压控制模型对所述微电网的频率和电压进行控制。7.根据权利要求6所述的一种微电网频率和电压的控制终端，其特征在于，所述获取微电网以及用户侧储能的运行信息包括：获取微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束；
所述根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型包括：构建全局奖励函数、频率奖励函数以及电压奖励函数；将所述全局奖励函数最高、频率奖励函数达到第一预设值以及电压奖励函数达到第二预设值作为训练目标；根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间；根据所述训练目标将所述状态空间输入至所述微电网频率与电压控制模型中进行训练，输出动作空间；获取当前训练次数，并判断所述当前训练次数是否达到预设次数，若是，则将符合所述训练目标的微电网频率与电压控制模型确定为训练后的微电网频率与电压控制模型。8.根据权利要求7所述的一种微电网频率和电压的控制终端，其特征在于，所述全局奖励函数r为：r＝r
f
+r
u
；；式中，r
f
表示所述频率奖励函数，r
u
表示所述电压奖励函数，δf表示频率偏差，μ1表示第一权值，μ2表示第二权值，μ3表示第三权值，μ4表示第四权值，δu表示电压偏差，δ1表示第五权值，δ2表示第六权值，δ3表示第七权值，δ4表示第八权值；所述状态空间为：式中，δf(t)表示所述频率偏差，δu(t)表示所述电压偏差，表示所述有功功率上限约束，表示所述有功功率下限约束，表示所述无功功率上限约束，表示所述无功功率下限约束；所述动作空间为：a＝[δa
mt，p
(t)，δa
es，p
(t)，δa
mt，q
(t)，δa
es，q
(t)]；式中，δa
mt，p
(t)表示t时刻对微型燃气轮机组发出的有功调节信号，δa
es，p
(t)表示t时刻对用户侧储能机组发出的有功调节信号，δa
mt，q
(t)表示t时刻对微型燃气轮机组发出的
无功调节信号，δa
es，q
(t)表示t时刻对用户侧储能机组发出的无功调节信号。9.根据权利要求7所述的一种微电网频率和电压的控制终端，其特征在于，所述根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间之前包括：将所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束分别进行离散值划分，得到离散化后的微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束；所述根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间包括：根据所述离散化后的微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间。10.根据权利要求6所述的一种微电网频率和电压的控制终端，其特征在于，所述获取微电网以及用户侧储能的运行信息之前包括：构建用户侧储能的充放电模型；根据所述用户侧储能的充放电模型构建微电网频率与电压控制模型。

技术总结
本发明公开一种微电网频率和电压的控制方法及终端，根据获取的微电网以及用户侧储能的运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，所述微电网频率与电压控制模型使用多智能体深度确定性策略梯度算法；使用所述训练后的微电网频率与电压控制模型对所述微电网的频率和电压进行控制，多智能体深度确定性策略梯度算法混合了深度学习与强化学习，具备在线学习与经验回放能力，能够基于数据进行预测，其预测能力可以持续地进化，能够适用于含用户侧储能的微电网频率和电压控制场景，可适应用户侧储能的用户行为随机性，在频率质量的前提下对电压水平进行协调控制，从而有效地实现频率和电压的协调控制。和电压的协调控制。和电压的协调控制。


技术研发人员：林日晖 臧志斌 赵光 唐锦强
受保护的技术使用者：厦门亿力吉奥信息科技有限公司 国网信息通信产业集团有限公司
技术研发日：2022.09.28
技术公布日：2023/1/6