基于Q学习罚函数法的主动悬架终端滑模控制方法

本发明涉及主动悬架系统控制领域，主要涉及一种基于q学习罚函数法的主动悬架终端滑模控制方法。

背景技术：

1、车辆行驶产生的俯仰和侧倾运动会使驾乘人员随之摇晃，这严重影响车辆的乘坐舒适性，因此对车辆俯仰与侧倾运动抑制的研究具有很强的实际意义。而在电动汽车的诸多系统中，车辆行驶的舒缓稳定性和可靠性一定程度上由汽车的悬架决定。与被动、半主动悬架相比较，主动悬架以主动的方式降低由路面激励引起簧载质量振动，因此减振效果更加明显；主动悬架在其控制器的控制下，能更好的隔绝路面振动，增强路面的抓地力，不仅能提高车辆乘坐的舒适性，而且可以保证车辆行驶的安全性。另外，主动悬架可以实现多目标控制，从而更好的平衡电动汽车的乘坐舒适性和驾驶安全性之间的冲突。

2、目前，国内外专家针对主动悬架提出的控制方法主要有自适应控制、模糊和神经网络控制、模型预测控制mpc、最优控制、h∞控制、pid控制和滑模控制等。

3、文献1【w.sun,h.pan and h.gao.filter-basedadaptive vibration controlfor active vehicle suspensions with electro-hydraulic actuators.ieeetransactions on vehicular technology.2016,65(6):4619-4626.】针对非线性不确定悬架系统提出了一种自适应振动控制策略，以稳定汽车的垂直运动和俯仰运动，从而提高乘坐舒适性。文献2【adaptive neural network control for active suspension systemwith actuator saturation】采用自适应径向基函数神经网络逼近动态系统中的不确定非线性函数，提出参数不确定性、道路干扰和执行器饱和工况下的主动悬架系统自适应神经网络状态反馈控制。文献3【li,l.,lu,y.,wang,r.,et al.:a 3-dimentional dynamicscontrol framework of vehicle lateral stability and rollover prevention viaactive braking with mpc.ieee trans.ind.electron.99:1–12(2016)】为了减轻时滞对车辆稳定性控制的不利影响，设计了一种新型的三维动态稳定控制器(3ddsc)，用于横摆、俯仰和侧倾控制。文献4【guo li-xin,zhang li-ping,constrained active suspensioncontrol with parameter uncertainty for non-stationary running based onlmioptimization,journal of vibration engineering&technologies,vol6(6):441-451,2018】建立了具有参数不确定性的非平稳运行半车控制微分方程模型，在车辆非平稳运行和实际系统参数(包括非簧载质量、悬架刚度和轮胎刚度)不确定的情况下，提出了非平稳车辆运行条件下基于线性矩阵不等式(lmi)优化的半车主动悬架约束鲁棒h∞控制方法。文献5【dong,xubin；zhao,dingxuan；yang,bin，chenghao han，fractional-ordercontrol ofactive suspension actuatorbased onparallel adaptive clonalselection algorithm，journal ofmechanical science and technology，2016,30(6):2769-2781】提出一种分数阶比例-积分-微分(fopid)的作动器位移控制方法。

4、滑模控制的主要思想是设计一种动态的、连续的或离散的控制策略，使得系统的状态能够在预设的滑模面上滑动，达到期望的性能。文献6【rath,j.j.,defoort,m.,karimi,h.r.,et al.:output feedback active suspension control with higherorder terminal sliding mode.industrial electronics ieee trans n.64(2),1392–1403(2017).】针对非线性四分之一汽车模型的悬架控制问题，提出了一种基于高阶终端滑模的输出反馈主动控制方法，在保持路面抓地力的同时增强了乘坐舒适性，从而提高了悬架系统的性能。文献7【li,h.,yu,j.,hilton,c.,liu,h.:fuzzy control for uncertainvehicle active suspension systems via dynamic sliding-mode approach.ieeetrans.syst.man cyber.syst.47(1),24–32(2017)】将滑模函数与状态、输入线性组合，提出了一种模糊动态滑模方法实现不确定主动悬架系统的控制。文献8【adaptive slidingfaulttolerant control fornonlinearuncertain active suspension systems】基于微分方程和线性矩阵h∞方法设计滑模面参数，提出非线性不确定主动悬架系统的自适应滑模容错控制，提高了执行器故障和参数不确定性工况下的整车性能。但上述方法较少涉及系统解耦。由于汽车的四个车轮同时受到路面的激励，对于主动悬架控制系统，其簧上质量的垂向、俯仰和侧倾运动是四个车轮振动的综合结果，没有解耦的悬架减振控制较难获得精准的控制量，减振控制效果还有待于提高。

5、基于输入输出线性化的非线性控制算法，通过适当的非线性坐标变换与状态反馈，将原非线性控制系统转换至新坐标空间中的线性系统进行控制器设计，没有丢失原非线性系统的任何信息，已成为各国学者研究的焦点。因此，本发明重新定义系统输出，通过输入输出线性化，将主动悬架控制系统分解为输入输出子系统和零动态子系统，针对输入输出子系统提出基于多智能体的终端滑模控制方法，以满足零动态子系统快速收敛为目标，提出基于q学习罚函数法的控制器参数设计方法，以有效权衡算力需求、乘坐舒适性以及行驶的安全性。

技术实现思路

1、为了改善车辆的行驶性能，提高车辆行驶的平顺性，操纵稳定性以及乘坐舒适性，针对主动悬架控制系统七自由度四输入的欠驱动控制问题，本发明提出一种基于q学习罚函数法的主动悬架终端滑模控制方法，以有效抑制由不平路面引起的车身俯仰与侧倾运动。

2、本发明解决技术问题所采取的技术方案如下：

3、基于q学习罚函数法的主动悬架终端滑模控制方法，其包括如下步骤：

4、步骤一、根据车辆的动力学机理，建立主动悬架控制系统模型；

5、步骤二、根据步骤一获得的主动悬架控制系统模型，采用重新定义系统输出的方法，将主动悬架控制系统模型分解为输入输出子系统和零动态子系统；

6、步骤三、将输入输出子系统中的4自由度方程看作4个智能体，根据4个智能体的内部工作通讯，确定输入输出子系统4个智能体通信拓扑，基于图论方法获得4个智能体之间用于信息交换的邻接矩阵、关联矩阵、入度矩阵和拉普拉斯矩阵；

7、步骤四、通过carsim汽车模型，获得汽车的实际运动状态信息，包括汽车簧下质量垂向振动位移zu1、zu2、zu3、zu4，簧下质量垂向振动速度簧下质量垂向振动加速度汽车车身垂向位移zs，车身垂向速度车身垂向加速度车身侧倾角车身侧倾角速度车身侧倾角加速度车身俯仰角θ，车身俯仰角速度俯仰角加速度等；

8、步骤五、根据步骤四获得的汽车簧下质量垂向振动位移zu1、zu2、zu3、zu4，簧下质量垂向振动速度簧下质量垂向振动加速度汽车车身垂向位移zs，车身垂向速度车身垂向加速度车身侧倾角车身侧倾角速度车身侧倾角加速度车身俯仰角θ，车身俯仰角速度俯仰角加速度等，以零动态子系统状态快速收敛为目标，通过基于q学习罚函数法的控制器参数设计模块获得控制器设计参数；

9、步骤六、根据步骤二获得的输入输出子系统，步骤三获得的输入输出子系统4个智能体之间用于信息交换的邻接矩阵、关联矩阵、入度矩阵和拉普拉斯矩阵，步骤四获得的汽车簧下质量垂向振动位移zu1、zu2、zu3、zu4，簧下质量垂向振动速度簧下质量垂向振动加速度汽车车身垂向位移zs，车身垂向速度车身垂向加速度车身侧倾角车身侧倾角速度车身侧倾角加速度车身俯仰角θ，车身俯仰角速度俯仰角加速度等，步骤五获得的控制器设计参数，通过基于多智能体的输入输出子系统终端滑模控制模块，获得4个控制输入u1、u2、u3、u4，即4个悬架作动器的控制力，与车轮受到的路面激励共同输入给carsim汽车模型。

10、本发明的有益效果如下：

11、1)本发明根据车辆的动力学运动机理，建立了主动悬架控制系统的数学模型，重新定义车辆的俯仰角、侧倾角、质心处垂向位移和非悬架质量垂向运动位移的线性组合为系统输出，通过输入输出反馈线性化，将主动悬架控制系统分解为输入输出子系统和零动态子系统，实现了模型的降维和解耦。

12、2)本发明针对输入输出子系统，建立基于图论的输入输出子系统数学模型，提出基于多智能体的输入输出子系统终端滑模控制策略，有效权衡了系统的动态性能指标和工程应用对控制算法算力的要求。

13、4)本发明以零动态子系统的状态在平衡点附近快速收敛为目标，提出基于q学习罚函数法的控制器参数设计方法，从而保证整个主动悬架控制系统的渐近稳定。

14、5)本发明所提方法简单易于实现，适用面广，适宜广泛推广应用。

技术特征：

1.基于q学习罚函数法的主动悬架终端滑模控制方法，其特征在于，该方法包括如下步骤：

2.如权利要求1所述基于q学习罚函数法的主动悬架终端滑模控制方法，其特征在于，步骤一所述的主动悬架控制系统模型实现过程如下：

3.如权利要求1所述基于q学习罚函数法的主动悬架终端滑模控制方法，其特征在于，步骤二所述的采用重新定义系统输出方法，将主动悬架控制系统模型分解为输入输出子系统和零动态子系统，实现过程如下：

4.如权利要求1所述基于q学习罚函数法的主动悬架终端滑模控制方法，其特征在于，步骤三的实现过程如下：

5.如权利要求1所述基于q学习罚函数法的主动悬架终端滑模控制方法，其特征在于，步骤五的实现过程如下：

6.如权利要求1所述基于q学习罚函数法的主动悬架终端滑模控制方法，其特征在于，步骤六的实现过程如下：

技术总结
基于Q学习罚函数法的主动悬架终端滑模控制方法涉及主动悬架系统控制领域，本发明首先重新定义车辆的俯仰角、侧倾角、质心处垂向位移和非悬架质量垂向运动位移的线性组合为系统输出，通过输入输出反馈线性化，将系统分解为输入输出子系统和零动态子系统；然后针对输入输出子系统的第i个智能体，提出基于多智能体的输入输出子系统终端滑模控制方法；以满足零动态子系统快速收敛为目标，提出基于Q学习罚函数法的控制器参数设计方法，使零动态子系统在平衡点附近渐近稳定。本发明实现了不同路面等级下，车身垂向、俯仰和侧倾加速度的快速降低，有效权衡了主动悬架控制系统的动态性能与控制算法的算力需求，提高了整车的舒适性和操稳性。

技术研发人员：张袅娜,吴光仡,李宗昊,张哲,陈楠,姜春霞,高丽辉,张鹤书
受保护的技术使用者：长春工业大学
技术研发日：
技术公布日：2024/9/23