一种智能网联条件下垃圾清运系统及其构建方法与流程

1.本发明涉及一种垃圾清运车智能控制领域内的垃圾清运系统及其构建方法。


背景技术：

2.城市环境中所进行的垃圾清运工作往往分区域进行，区域束缚性较强，从业人员往往更加熟悉负责区域路况而难以适应城区全部区域内的路况，因此在有突发情况产生时，临时跨区调度存在困难；随着城市交通压力增大以及居民对市区生活质量追求的提高，垃圾清运工作越来越偏向于夜间进行，更易发生事故；并且由于垃圾清运车一般体型较大，在面对窄巷或拥堵路况时效率低下并且燃油经济性较低。综上所述，在单座城市内或多座城市间，各个垃圾中转站与多个垃圾处理厂之间的垃圾清运工作的高效性、经济性与安全性变得越来越难以保证。


技术实现要素：

3.本发明的目的是提供一种智能网联条件下垃圾清运系统及其构建方法，能够实现较大区域内垃圾中转站与垃圾处理工厂之间的高效垃圾清理转运调度工作，同时辅助并监管人类驾驶(操作)员完成相对重复的垃圾清运工作。
4.为实现上述目的，本发明还提供了一种智能网联条件下垃圾清运系统，包括云调度平台以及车载网联终端，云调度平台以及车载网联终端通过通讯链路层及数据存储处理系统相连；云调度平台包括开放交通数据获取及处理模块、网联清运车道路行进回传数据处理模块以及固定转运路网库，开放交通数据获取及处理模块、网联清运车道路行进回传数据处理模块以及固定转运路网库均与云运算服务器相连，云运算服务器分别与智能转运任务规划模块、道路拥堵预警模块、终端感知数据处理模块相连；车载网联终端包括感知及智能网联设备、高级操作辅助模块、智能垃圾清运车综合显示及驾驶辅助模块、智能清运车终端主机，感知及智能网联设备与智能清运车终端主机相连，高级操作辅助模块以及智能垃圾清运车综合显示及驾驶辅助模块均与智能清运车终端主机相连。
5.与现有技术相比，本发明的有益效果在于，能够快速精装掌握垃圾清运车统一调度过程中路况信息，提供准确的交通状态演变预测，能够在垃圾清运路线规划过程中的按照时效性、安全性、舒适性、经济性等多因素动态寻优，并且解决重复劳动、夜间作业、从业人员素质良莠不齐等情况下的驾驶(操作)辅助及监管问题。
6.作为本发明的进一步改进，开放交通数据获取及处理模块依靠第三方大数据平台的对外服务api开发而成，并集成了清理转运作业电子地图；网联清运车道路行进回传数据处理模块处理感知及智能网联设备回传的道路状况数据，将感知及智能网联设备上传的道路状况数据具体用数据集合s表示，其中集合中包括s:＜lon,lat,v,head,aacc,tacc,vid＞，集合中lon为本车经度，lat为本车纬度，v为本车车速，head为本车车头方向，aacc为本车纵向加速度，tacc为本车横向加速度，vid为车载视频数据，其中vid数据利用机器视觉算法得出车辆密度估计值，同时结合车速、纵向加速度数据变化值δaacc与横向加速度数据
变化值tacc，综合计算当前该终端所处位置的道路交通拥堵状况；固定转运路网库记录本区域内预先规划完成的并且相对固定高效的垃圾转运路网数据；云运算服务器内构建垃圾清运作业的数字孪生空间，并利用系统仿真技术构建垃圾清理转运路网内的实时自主调度系统；道路拥堵预警模块结合系统仿真理论下的车辆出发模型、路口到达与离开模型及大数据分析手段预测交通拥堵演化规律。
7.这样依靠高德、百度等第三方大数据平台的对外服务api开发而成，能够获取特定区域内的实时交通流量、道路类型、交通事件等数据，同时该平台还集成清理转运作业电子地图，该地图利用arcgis地理信息引擎开发专用垃圾清运地图，从而实现调度信息的实时展示，综合计算当前该终端所处位置的道路交通拥堵状况，与上述开放平台获取的交通状况数据形成互补，通过云运算服务器智能转运任务规划模块内的自主调度算法基于上述开放交通数据获取及处理模块、网联清运车道路行进回传数据处理模块以及固定转运路网库三方数据源，自主规划安全性、效率性、节能性、舒适性多条件优化的转运路线，并将演化预测结果将作为自主调度算法的输入数据之一，辅助调度结果达到最优。
8.作为本发明的进一步改进，感知及智能网联设备包括外视摄像头、毫米波雷达、超声波雷达、驾驶舱摄像头、v2v近距数据传输设备，由智能清运车终端主机统一管理，统一调度，数据共享；高级操作辅助模块利用感知及智能网联设备获取的必要数据，完成垃圾车驾驶员驾驶车辆行驶和挂箱作业过程中的异常驾驶行为检测及预警功能，采用视频、声音、指示灯的人机接口同操作员进行沟通；智能垃圾清运车综合显示及驾驶辅助模块为云服务端自主调度结果的综合显示端，将调度信息与导航指令传输给驾驶员；智能清运车终端主机为车辆终端的主控设备，统一协调全车各种感知设备以及人机接口，融合处理各感知数据并进行驾驶员状态运算，同时负责与云服务平台进行网联通讯。
9.这样由智能清运车终端主机作为总控，对感知及智能网联设备发送的实时路况数据以及驾驶员状态数据进行处理，并上传给云调度平台处理，进而再下达指令给智能清运车终端主机，再由智能清运车终端主机执行指令。
10.作为本发明的进一步改进，通讯链路层及数据存储处理系统包括4g/5g路由器和控制器，4g/5g路由器与控制器连接，控制器与数据存储器连接；这样数据能够通过数据存储器进行存储和调用，通过控制器进行数据的处理并且由4g/5g路由器进行数据的传输。
11.为实现上述目的，本发明还提供了一种智能网联条件下垃圾清运系统构建方法，包括以下步骤：
12.步骤1，建立开放交通数据获取及处理模块、网联清运车道路行进回传数据处理模块以及固定转运路网库；
13.步骤2，建立云运算服务器；
14.步骤3，建立智能转运任务规划模块、道路拥堵预警模块、终端感知数据处理模块；
15.步骤4，基于智能清运车终端主机建立高级操作辅助模块、智能垃圾清运车综合显示及驾驶辅助模块和驾驶员员状态辨识模块，并由通过高级操作辅助模块、智能垃圾清运车综合显示及驾驶辅助模块将智能清运车终端主机与感知及智能网联设备建立连接。
16.与现有技术相比，本发明的有益效果在于，通过以开放交通数据获取及处理模块、网联清运车道路行进回传数据处理模块以及固定转运路网库为基础，建立云运算服务器，进而建立智能转运任务规划模块、道路拥堵预警模块、终端感知数据处理模块，通过4g/5g
网络与智能清运车终端主机建立数据联系，实现垃圾清运车辅助终端动态接入云服务平台的统一多决策级工作方式，使得垃圾清运车终端与云平台功能互补，动态配置，具有较大的灵活性。
17.作为本发明的进一步改进，步骤1具体内容如下：
18.开放交通数据获取及处理模块依靠第三方大数据平台的对外服务api开发而成，能够获取特定区域内的实时交通流量、道路类型、交通事件等数据，同时该平台还集成清理转运作业电子地图，利用arcgis地理信息引擎开发专用垃圾清运地图，从而实现调度信息的实时展示；固定转运路网库记录本区域内预先规划完成的并且相对固定高效的垃圾转运路网数据，该数据为自主调度算法的备选可行驶区域；网联清运车道路行进回传数据处理模块，综合计算当前该终端所处位置的道路交通拥堵状况，与上述开放平台获取的交通状况数据形成互补。
19.这样以开放交通数据获取及处理模块和网联清运车道路行进回传数据处理模块建立动态实时数据，并辅以固定转运路网库记录的本区域内预先规划完成的线路数据，将三者动静结合，从而为精确判断垃圾清运车的实际运转路线提高精准的数据支撑。
20.作为本发明的进一步改进，步骤2具体内容如下：
21.云服务器包括垃圾清运数字孪生空间以及垃圾清运系统仿真模拟环境，其中，数字孪生空间基于gis地理信息数据，开发各垃圾中转站及处理厂属性库，垃圾车属性库，转运路网库，动态渲染模块，异常提示模块，该空间记录并渲染运营区域内的道路信息以及终端实时运行数据，并对其进行相关提示；垃圾清运系统仿真模拟环境集成垃圾车到达模型，垃圾车驶离模型，路线自主调度算法，交通状况预测模型，交通事件分析模型等。该环境依靠数字孪生空间驱动仿真进程，并利用数字孪生空间完成系统时间模拟；其中，在一定时间内垃圾车到达的时间间隔认为是随机的，垃圾车的随机到达概率采用泊松分布描述，在平稳泊松分布过程中，(t+δt)时间间隔内垃圾车到达中转站或处理厂的数量x的概率可表示为：
22.p{n(t+δt)-n(t)＝x}＝e-λδt(λδt)xx
23.其中，t表示，δt表示，p表示，n(t)表示在(0,t)区间内到达实体的个数，t≥0，δt≥0，x＝0,1,2,
…
，λ为到达速率；若垃圾车到达时间满足平稳泊松过程，则到达时间间隔服从指数分布，其密度函数为：
[0024][0025]
其中β＝1/λ，为垃圾车达到的时间间隔均值。
[0026]
这样能够依靠固定转运路网库建立虚拟的数字孪生空间，配合垃圾清运系统仿真模拟环境，依靠数字孪生空间驱动仿真进程，并利用数字孪生空间完成系统时间模拟，智能转运任务规划模块内的自主调度算法基于开放交通数据获取及处理模块、网联清运车道路行进回传数据处理模块以及固定转运路网库三方数据源，结合中转站和垃圾处理厂的处理时间来预测垃圾车行驶时间，从而更准确的规划垃圾车的行驶路线。
[0027]
作为本发明的进一步改进，步骤2中的数字孪生空间以及垃圾清运系统仿真模拟环境，自主调度模块利用多目标优化算法，由于垃圾清运工作的特征，来规划线路时采用线性加权平均法解决多目标调度问题，先按照不同目标函数f1(x)、f2(x)、f3(x)、f4(x)按照在
垃圾清运作业中的重要程度确定权重k1、k2、k3、k4，满足k＞0，并且其中上述目标函数分别对应安全性、运行时间、能源消耗速度以及舒适性，在其中寻找最优解；定义的评价函数如下所示：
[0028][0029]
其中u[f(x)]为一个实函数，利用垃圾清运过程的多因素偏好信息构建该效用函数，使得求该满意解等价于求以该实函数为新目标函数的单目标规划问题的最优解。最后求解非线性规划问题值得注意的是，在垃圾清运过程中，认为上述各目标的属性是独立于其他目标因素的。
[0030]
这样能够按照应安全性、运行时间、能源消耗速度以及舒适性来寻找最优选的行驶路径，从而根据多种因素来综合判断并选择合适的垃圾转运车行驶路线。
[0031]
作为本发明的进一步改进，步骤4具体内容如下：
[0032]
智能清运车终端主机采用4g/5g通讯手段构建物联网通讯架构，以嵌入式视觉运算工控机为主控单元，传感器数据处理采用边缘计算布局，以原始探测/感知模块的感知数据为源数据，构建智能传感器边缘运算布局，由智能传感器输出的感知结果数据，经主控单元内的数据管理软件一体化接收，同时进行处理、存储、转发各智能传感器的感知数据，统一管理，综合调度，实现车载系统内的感知数据共享主控单元内的网联数据传输模块将本车感知数据实时上传至云服务器，同时以近距即时通讯技术为基础，构建v2v智能网联架构，以此提高系统整体的容灾性，稳定性以及通讯能力；
[0033]
主控单元内主要分为两大主要的功能模块，一个为高级操作辅助模块，另一个为智能垃圾清运车综合显示及驾驶辅助模块，二者的数据来源由数据管理软件统一调配，其中智能垃圾清运车综合显示及驾驶辅助模块融合前向摄像头、倒车摄像头、毫米波雷达、驾驶舱摄像头、驾驶舱麦克风、线控操作数据这些基础配置或选装功能的多源数据流，综合给出驾驶辅助建议与驾驶员异常状态警告信息。
[0034]
这样能够建立一个以垃圾转运车为主体的智能控制系统，从而将各个只能设备综合控制，实现数据的统一管理，综合调度，使得车载系统内的感知数据共享，进而以此提高系统整体的容灾性，稳定性以及通讯能力，并以此综合给出驾驶辅助建议与驾驶员异常状态警告信息。
[0035]
作为本发明的进一步改进，步骤4中的驾驶员员状态辨识模块为三个辨识子模块，分别为：鲁莽操作辨识模块、疲劳及分心辨识模块、愤怒状态辨识模块，采用无接触视频辨识方法，首先利用集成回归树算法进行人脸对齐，视频图像中的人脸特征点表示为：
[0036][0037]
其中，i＝(x,y)为图像中的第i个特征点的二维坐标，s为由i个特征点构成的整个面部特征点的集合，t是，n是。之后利用c++开源工具包dlib进行人脸特征点拟合；
[0038]
同理，利用该工具进行眼部、嘴部特征拟合，并完成头部姿态解算，利用垃圾清运车驾驶或作业过程中采集的数据集完成模型训练，进行驾驶员疲劳、分析状态辨识；
[0039]
采用边缘计算架构布局，以车载传感器感知数据、驾驶室内摄像头获取的图像数
据、驾驶室内麦克风采集的音频数据为模型输入，融合终端内部及外部环境语义信息，得出鲁莽操作辨识结果、愤怒异常情绪操作辨识结果；
[0040]
音频处理组件根据驾驶员发出的声音信号，通过时域分析，得到音频每帧的短时能量数值、短时过零率数值以及mel频率倒谱系数，其中时域处理应满足：
[0041]
yi(n)＝w(n)*x((i-1)*inc+n),其中1＜n＜l,1＜i＜fn
[0042]
其中，x(n)为声纹波形时域信号，w(n)为加窗函数，yi(n)为一帧中的数值，其中n＝1,2,...l,i＝1,2,...fn,l为帧长；inc为帧移长度；fn为分帧后的总帧数；计算第i帧语音信号yi(n)短时能量公式为：
[0043]
其中，1＜i＜fn
[0044]
短时平均过零率表示一帧语音中语音信号波形穿过横轴，即零点平的次数，计算公式为：
[0045][0046]
其中，sgn[*]是符号函数，表示为：
[0047][0048]
这样能够通过车载传感器感知数据、驾驶室内摄像头获取的图像数据、驾驶室内麦克风采集的音频数据为模型输入，融合终端内部及外部环境语义信息，准确的把控驾驶员的各种行驶状态，包括鲁莽操作辨识、疲劳及分心辨识、愤怒状态辨识等，从而给出这些负面状态下对于驾驶员的状态警告，并以此下达对应的指令。
附图说明
[0049]
图1为本发明系统结构框图。
[0050]
图2为本发明工作流程图。
[0051]
图3为本发明辅助功能逻辑图。
具体实施方式
[0052]
下面结合附图对本发明进一步说明：
[0053]
如图1-3所示一种智能网联条件下垃圾清运系统，包括云调度平台以及车载网联终端，云调度平台以及车载网联终端通过通讯链路层及数据存储处理系统相连；云调度平台包括开放交通数据获取及处理模块、网联清运车道路行进回传数据处理模块以及固定转运路网库，开放交通数据获取及处理模块、网联清运车道路行进回传数据处理模块以及固定转运路网库均与云运算服务器相连，云运算服务器分别与智能转运任务规划模块、道路拥堵预警模块、终端感知数据处理模块相连；车载网联终端包括感知及智能网联设备、高级操作辅助模块、智能垃圾清运车综合显示及驾驶辅助模块、智能清运车终端主机，感知及智能网联设备与智能清运车终端主机相连，高级操作辅助模块以及智能垃圾清运车综合显示
及驾驶辅助模块均与智能清运车终端主机相连。
[0054]
开放交通数据获取及处理模块依靠第三方大数据平台的对外服务api开发而成，并集成了清理转运作业电子地图；网联清运车道路行进回传数据处理模块处理感知及智能网联设备回传的道路状况数据，将感知及智能网联设备上传的道路状况数据具体用数据集合s表示，其中集合中包括s:＜lon,lat,v,head,aacc,tacc,vid＞，集合中lon为本车经度，lat为本车纬度，v为本车车速，head为本车车头方向，aacc为本车纵向加速度，tacc为本车横向加速度，vid为车载视频数据，其中vid数据利用机器视觉算法得出车辆密度估计值，同时结合车速、纵向加速度数据变化值δaacc与横向加速度数据变化值tacc，综合计算当前该终端所处位置的道路交通拥堵状况；固定转运路网库记录本区域内预先规划完成的并且相对固定高效的垃圾转运路网数据；云运算服务器内构建垃圾清运作业的数字孪生空间，并利用系统仿真技术构建垃圾清理转运路网内的实时自主调度系统。
[0055]
道路拥堵预警模块结合系统仿真理论下的车辆出发模型、路口到达与离开模型及大数据分析手段预测交通拥堵演化规律；感知及智能网联设备包括外视摄像头、毫米波雷达、超声波雷达、驾驶舱摄像头、v2v近距数据传输设备，由智能清运车终端主机统一管理，统一调度，数据共享；高级操作辅助模块利用感知及智能网联设备获取的必要数据，完成垃圾车驾驶员驾驶车辆行驶和挂箱作业过程中的异常驾驶行为检测及预警功能，采用视频、声音、指示灯的人机接口同操作员进行沟通；智能垃圾清运车综合显示及驾驶辅助模块为云服务端自主调度结果的综合显示端，将调度信息与导航指令传输给驾驶员；智能清运车终端主机为车辆终端的主控设备，统一协调全车各种感知设备以及人机接口，融合处理各感知数据并进行驾驶员状态运算，同时负责与云服务平台进行网联通讯；通讯链路层及数据存储处理系统包括4g/5g路由器和控制器，4g/5g路由器与控制器连接，控制器与数据存储器连接。
[0056]
如图1-3所示的一种智能网联条件下垃圾清运系统构建方法，包括以下步骤：
[0057]
步骤1，建立开放交通数据获取及处理模块、网联清运车道路行进回传数据处理模块以及固定转运路网库；开放交通数据获取及处理模块依靠第三方大数据平台的对外服务api开发而成，能够获取特定区域内的实时交通流量、道路类型、交通事件等数据，同时该平台还集成清理转运作业电子地图，利用arcgis地理信息引擎开发专用垃圾清运地图，从而实现调度信息的实时展示；固定转运路网库记录本区域内预先规划完成的并且相对固定高效的垃圾转运路网数据，该数据为自主调度算法的备选可行驶区域；网联清运车道路行进回传数据处理模块，综合计算当前该终端所处位置的道路交通拥堵状况，与上述开放平台获取的交通状况数据形成互补。
[0058]
步骤2，建立云运算服务器；
[0059]
云服务器包括垃圾清运数字孪生空间以及垃圾清运系统仿真模拟环境，其中，数字孪生空间基于gis地理信息数据，开发各垃圾中转站及处理厂属性库，垃圾车属性库，转运路网库，动态渲染模块，异常提示模块，该空间记录并渲染运营区域内的道路信息以及终端实时运行数据，并对其进行相关提示；垃圾清运系统仿真模拟环境集成垃圾车到达模型，垃圾车驶离模型，路线自主调度算法，交通状况预测模型，交通事件分析模型等。该环境依靠数字孪生空间驱动仿真进程，并利用数字孪生空间完成系统时间模拟；其中，在一定时间内垃圾车到达的时间间隔认为是随机的，垃圾车的随机到达概率采用泊松分布描述，在平
稳泊松分布过程中，(t+δt)时间间隔内垃圾车到达中转站或处理厂的数量x的概率可表示为：
[0060]
p{n(t+δt)-n(t)＝x}＝e-λδt(λδt)xx
[0061]
其中，t表示，δt表示，p表示，n(t)表示在(0,t)区间内到达实体的个数，t≥0，δt≥0，x＝0,1,2,
…
，λ为到达速率；若垃圾车到达时间满足平稳泊松过程，则到达时间间隔服从指数分布，其密度函数为：
[0062]
其中β＝1/λ，为垃圾车达到的时间间隔均值。
[0063]
数字孪生空间以及垃圾清运系统仿真模拟环境，自主调度模块利用多目标优化算法，由于垃圾清运工作的特征，来规划线路时采用线性加权平均法解决多目标调度问题，先按照不同目标函数f1(x)、f2(x)、f3(x)、f4(x)按照在垃圾清运作业中的重要程度确定权重k1、k2、k3、k4，满足k＞0，并且其中上述目标函数分别对应安全性、运行时间、能源消耗速度以及舒适性，在其中寻找最优解；定义的评价函数如下所示：
[0064][0065]
其中u[f(x)]为一个实函数，利用垃圾清运过程的多因素偏好信息构建该效用函数，使得求该满意解等价于求以该实函数为新目标函数的单目标规划问题的最优解。最后求解非线性规划问题值得注意的是，在垃圾清运过程中，认为上述各目标的属性是独立于其他目标因素的。
[0066]
步骤3，建立智能转运任务规划模块、道路拥堵预警模块、终端感知数据处理模块。
[0067]
步骤4，基于智能清运车终端主机建立高级操作辅助模块、智能垃圾清运车综合显示及驾驶辅助模块和驾驶员员状态辨识模块，并由通过高级操作辅助模块、智能垃圾清运车综合显示及驾驶辅助模块将智能清运车终端主机与感知及智能网联设备建立连接。
[0068]
智能清运车终端主机采用4g/5g通讯手段构建物联网通讯架构，以嵌入式视觉运算工控机为主控单元，传感器数据处理采用边缘计算布局，以原始探测/感知模块的感知数据为源数据，构建智能传感器边缘运算布局，由智能传感器输出的感知结果数据，经主控单元内的数据管理软件一体化接收，同时进行处理、存储、转发各智能传感器的感知数据，统一管理，综合调度，实现车载系统内的感知数据共享主控单元内的网联数据传输模块将本车感知数据实时上传至云服务器，同时以近距即时通讯技术为基础，构建v2v智能网联架构，以此提高系统整体的容灾性，稳定性以及通讯能力。
[0069]
主控单元内主要分为两大主要的功能模块，一个为高级操作辅助模块，另一个为智能垃圾清运车综合显示及驾驶辅助模块，二者的数据来源由数据管理软件统一调配，其中智能垃圾清运车综合显示及驾驶辅助模块融合前向摄像头、倒车摄像头、毫米波雷达、驾驶舱摄像头、驾驶舱麦克风、线控操作数据这些基础配置或选装功能的多源数据流，综合给出驾驶辅助建议与驾驶员异常状态警告信息。
[0070]
驾驶员员状态辨识模块为三个辨识子模块，分别为：鲁莽操作辨识模块、疲劳及分心辨识模块、愤怒状态辨识模块，采用无接触视频辨识方法，首先利用集成回归树算法进行
人脸对齐，视频图像中的人脸特征点表示为：
[0071][0072]
其中，i＝(x,y)为图像中的第i个特征点的二维坐标，s为由i个特征点构成的整个面部特征点的集合，t是，n是。之后利用c++开源工具包dlib进行人脸特征点拟合；同理，利用该工具进行眼部、嘴部特征拟合，并完成头部姿态解算，利用垃圾清运车驾驶或作业过程中采集的数据集完成模型训练，进行驾驶员疲劳、分析状态辨识。
[0073]
采用边缘计算架构布局，以车载传感器感知数据、驾驶室内摄像头获取的图像数据、驾驶室内麦克风采集的音频数据为模型输入，融合终端内部及外部环境语义信息，得出鲁莽操作辨识结果、愤怒异常情绪操作辨识结果；音频处理组件根据驾驶员发出的声音信号，通过时域分析，得到音频每帧的短时能量数值、短时过零率数值以及mel频率倒谱系数，其中时域处理应满足：
[0074]
yi(n)＝w(n)*x((i-1)*inc+n),其中1＜n＜l,1＜i＜fn
[0075]
其中，x(n)为声纹波形时域信号，w(n)为加窗函数，yi(n)为一帧中的数值，其中n＝1,2,...l,i＝1,2,...fn,l为帧长；inc为帧移长度；fn为分帧后的总帧数；计算第i帧语音信号yi(n)短时能量公式为：
[0076]
其中，1＜i＜fn
[0077]
短时平均过零率表示一帧语音中语音信号波形穿过横轴，即零点平的次数，计算公式为：
[0078]
其中1＜i＜fn
[0079]
其中，sgn[*]是符号函数，表示为：
[0080][0081]
本发明中，系统包含云调度平台以及车载网联终端，其中，云调度平台以云运算服务器为中心，辅以开放交通数据获取及处理模块、固定转运路网库、网联清运车道路行进回传数据处理模块、智能转运任务规划模块、道路拥堵预警模块、终端感知数据处理模块
[0082]
其中开放交通数据获取及处理模块依靠高德、百度等第三方大数据平台的对外服务api开发而成，能够获取特定区域内的实时交通流量、道路类型、交通事件等数据，同时该平台还集成清理转运作业电子地图，该地图利用arcgis地理信息引擎开发专用垃圾清运地图，从而实现调度信息的实时展示。
[0083]
网联清运车道路行进回传数据处理模块处理网联终端回传的道路状况数据，网联垃圾清运车终端上传的道路状况数据具体可用数据集合s表示，其中集合中包括s:＜lon,lat,v,head,aacc,tacc,vid＞，集合中lon为本车经度，lat为本车纬度，v为本车车速，head为本车车头方向，aacc为本车纵向加速度，tacc为本车横向加速度，vid为车载视频数据，其中vid数据利用机器视觉算法得出车辆密度估计值，同时结合车速、纵向加速度数据变化值δaacc与横向加速度数据变化值tacc，综合计算当前该终端所处位置的道路交通拥堵状
况，与上述开放平台获取的交通状况数据形成互补。
[0084]
固定转运路网库记录本区域内预先规划完成的并且相对固定高效的垃圾转运路网数据，该数据为自主调度算法的备选可行驶区域。
[0085]
云运算服务器内构建垃圾清运作业的数字孪生空间，并利用系统仿真技术构建垃圾清理转运路网内的实时自主调度系统，智能转运任务规划模块内的自主调度算法基于上述开放交通数据获取及处理模块、网联清运车道路行进回传数据处理模块以及固定转运路网库三方数据源，自主规划安全性、效率性、节能性、舒适性多条件优化的转运路线。道路拥堵预警模块结合系统仿真理论下的车辆出发模型、路口到达与离开模型及大数据分析等手段预测交通拥堵演化规律，演化预测结果将作为自主调度算法的输入数据之一，辅助调度结果达到最优。
[0086]
网联终端为垃圾清运车车载终端，其通过4g/5g路由器与云调度端实现远程通讯，其中主要包含以下几个部分：感知及智能网联设备、高级操作辅助模块、智能垃圾清运车综合显示模块、终端主机四大部分。
[0087]
感知及智能网联设备包括外视摄像头、毫米波雷达、超声波雷达、驾驶舱摄像头、v2v近距数据传输设备等。上述感知设备由终端主机接口模块统一管理，统一调度，数据共享。
[0088]
高级操作辅助模块利用感知设备获取的必要数据，完成垃圾车驾驶员驾驶车辆行驶和挂箱作业过程中的异常驾驶(操作)行为检测及预警功能，采用视频、声音、指示灯等多种人机接口同人类操作员进行沟通，防止由疲倦、饮酒、鲁莽操作等异常状态所导致的事故的发生。
[0089]
智能垃圾清运车综合显示及驾驶辅助模块为云服务端自主调度结果的综合显示端，将调度信息与导航指令传输给人类驾驶员。智能清运车终端主机为车辆终端的主控设备，统一协调全车各种感知设备以及人机接口，融合处理各感知数据并进行驾驶员状态运算，同时负责与云服务平台进行网联通讯。
[0090]
运行时，首先云运算服务器开启，云运算服务器包括垃圾清运数字孪生空间以及垃圾清运系统仿真模拟环境。在云服务器开启的同时，检查各物联网终端运行状态，同时处理各终端的上线请求，监控各终端的通讯链路连接情况。与此同时，通过开放交通数据api获取第三方平台的实时交通路况侦测数据，融合接收到的网联终端反馈数据，作为数字孪生空间及垃圾清运系统仿真模拟环境的数据源。
[0091]
其中，数字孪生空间基于gis地理信息数据，开发各垃圾中转站及处理厂属性库，垃圾车属性库，转运路网库，动态渲染模块，异常提示模块，该空间记录并渲染运营区域内的道路信息以及终端实时运行数据，并对其进行相关提示；垃圾清运系统仿真模拟环境集成垃圾车到达模型，垃圾车驶离模型，路线自主调度算法，交通状况预测模型，交通事件分析模型等。该环境依靠数字孪生空间驱动仿真进程，并利用数字孪生空间完成系统时间模拟。
[0092]
通过开放交通数据获取及处理模块依靠高德、百度等第三方大数据平台，能够获取特定区域内的实时交通流量、道路类型、交通事件等数据，同时结合固定转运路网库记录本区域内预先规划完成的并且相对固定高效的垃圾转运路网数据，从而由云运算服务器中的垃圾清运数字孪生空间以及垃圾清运系统仿真模拟环境来对垃圾转运车达到垃圾中转
站或者垃圾处理厂的进行规划，选择一条合适的路径。
[0093]
当垃圾转运车行驶在该路径后，感知及智能网联设备中的外视摄像头、毫米波雷达、超声波雷达、驾驶舱摄像头、v2v近距数据传输设备等实时监测到的道路信息以及驾驶员的形式状态信息，并将这些数据一方面通过4g/5g网络传输给智能清运车终端主机进行处理后通过4g/5g网络传输给云运算服务器，云运算服务器将其中关于道路的信息的数据传递给终端感知数据处理模块，由该模块对这些数据处理，剔除无用的信息后，经云运算服务器将其处理后的有用信息传输给道路交通预警模块以及网联清运车道路回传数据处理模块，其中网联清运车道路行进回传数据处理模块将该网联感知数据进行处理并传输给云运算服务器，与运算服务器结合开放交通数据获取及处理模块和固定转运路网库的数据，以两动态一静态的数据作为依据，再进一步用垃圾清运数字孪生空间以及垃圾清运系统仿真模拟环境对垃圾清运车的行驶路径做规划，这些数据连通道路交通预警模块以系统仿真理论下的车辆出发模型、路口到达与离开模型及大数据分析等手段预测交通拥堵演化规律，演化预测结果都输入至智能转运任务规划模块，从而制定出更符合实际的路径，并由云运算服务器通过4g/5g网络传递给智能清运车终端主机，经智能清运车终端主机处理后再只能垃圾清运车综合显示及驾驶辅助模块上显示，将调度信息与导航指令传输给驾驶员。
[0094]
而当驾驶员处于负面的驾驶状态，比如疲劳、愤怒等时，高级操作辅助模块利用感知设备获取的必要数据，完成垃圾车驾驶员驾驶车辆行驶和挂箱作业过程中的异常驾驶(操作)行为检测及预警功能，采用视频、声音、指示灯等多种人机接口同人类操作员进行沟通，防止由疲倦、饮酒、鲁莽操作等异常状态所导致的事故的发生。
[0095]
本发明利用云服务平台与智能网联终端动态结合的架构方式，可以保证智能网联条件下垃圾清运车系统配置的灵活性与可维护性，能够有效增强该系统在不同城市交通特点下的适用性；结合数字孪生技术与系统仿真理论，能够在动态变化的交通环境中实现智能化垃圾清运作业调度，在多因素目标条件下寻找最优垃圾转运调度方式；驾驶辅助模块及操作辅助模块构建方法，能够实现垃圾清运车在垃圾转运过程中的智能化辅助作业，完全适配垃圾转运作业特点，能够防止驾驶员疲劳、分心、鲁莽等状态带来的安全隐患。
[0096]
本发明不局限于上述实施例，在本公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。

技术特征：
1.一种智能网联条件下垃圾清运系统，其特征在于，包括云调度平台以及车载网联终端，云调度平台以及车载网联终端通过通讯链路层及数据存储处理系统相连；云调度平台包括开放交通数据获取及处理模块、网联清运车道路行进回传数据处理模块以及固定转运路网库，开放交通数据获取及处理模块、网联清运车道路行进回传数据处理模块以及固定转运路网库均与云运算服务器相连，云运算服务器分别与智能转运任务规划模块、道路拥堵预警模块、终端感知数据处理模块相连；车载网联终端包括感知及智能网联设备、高级操作辅助模块、智能垃圾清运车综合显示及驾驶辅助模块、智能清运车终端主机，感知及智能网联设备与智能清运车终端主机相连，高级操作辅助模块以及智能垃圾清运车综合显示及驾驶辅助模块均与智能清运车终端主机相连。2.根据权利要求1所述的一种智能网联条件下垃圾清运系统，其特征在于：开放交通数据获取及处理模块依靠第三方大数据平台的对外服务api开发而成，并集成了清理转运作业电子地图；网联清运车道路行进回传数据处理模块处理感知及智能网联设备回传的道路状况数据，将感知及智能网联设备上传的道路状况数据具体用数据集合s表示，其中集合中包括s:＜lon,lat,v,head,aacc,tacc,vid＞，集合中lon为本车经度，lat为本车纬度，v为本车车速，head为本车车头方向，aacc为本车纵向加速度，tacc为本车横向加速度，vid为车载视频数据，其中vid数据利用机器视觉算法得出车辆密度估计值，同时结合车速、纵向加速度数据变化值δaacc与横向加速度数据变化值tacc，综合计算当前该终端所处位置的道路交通拥堵状况；固定转运路网库记录本区域内预先规划完成的并且相对固定高效的垃圾转运路网数据；云运算服务器内构建垃圾清运作业的数字孪生空间，并利用系统仿真技术构建垃圾清理转运路网内的实时自主调度系统；道路拥堵预警模块结合系统仿真理论下的车辆出发模型、路口到达与离开模型及大数据分析手段预测交通拥堵演化规律。3.根据权利要求2所述的一种智能网联条件下垃圾清运系统，其特征在于：感知及智能网联设备包括外视摄像头、毫米波雷达、超声波雷达、驾驶舱摄像头、v2v近距数据传输设备，由智能清运车终端主机统一管理，统一调度，数据共享；高级操作辅助模块利用感知及智能网联设备获取的必要数据，完成垃圾车驾驶员驾驶车辆行驶和挂箱作业过程中的异常驾驶行为检测及预警功能，采用视频、声音、指示灯的人机接口同操作员进行沟通；智能垃圾清运车综合显示及驾驶辅助模块为云服务端自主调度结果的综合显示端，将调度信息与导航指令传输给驾驶员；智能清运车终端主机为车辆终端的主控设备，统一协调全车各种感知设备以及人机接口，融合处理各感知数据并进行驾驶员状态运算，同时负责与云服务平台进行网联通讯。4.根据权利要求3所述的一种智能网联条件下垃圾清运系统，其特征在于：通讯链路层及数据存储处理系统包括4g/5g路由器和控制器，4g/5g路由器与控制器连接，控制器与数据存储器连接。
5.一种智能网联条件下垃圾清运系统构建方法，其特征在于：用于构建权利要求1-4任意一项所述的一种智能网联条件下垃圾清运系统，包括以下步骤，步骤1，建立开放交通数据获取及处理模块、网联清运车道路行进回传数据处理模块以及固定转运路网库；步骤2，建立云运算服务器；步骤3，建立智能转运任务规划模块、道路拥堵预警模块、终端感知数据处理模块；步骤4，基于智能清运车终端主机建立高级操作辅助模块、智能垃圾清运车综合显示及驾驶辅助模块和驾驶员员状态辨识模块，并由通过高级操作辅助模块、智能垃圾清运车综合显示及驾驶辅助模块将智能清运车终端主机与感知及智能网联设备建立连接。6.根据权利要求5所述的一种智能网联条件下垃圾清运系统构建方法，其特征在于，步骤1具体内容如下：开放交通数据获取及处理模块依靠第三方大数据平台的对外服务api开发而成，能够获取特定区域内的实时交通流量、道路类型、交通事件等数据，同时该平台还集成清理转运作业电子地图，利用arcgis地理信息引擎开发专用垃圾清运地图，从而实现调度信息的实时展示；固定转运路网库记录本区域内预先规划完成的并且相对固定高效的垃圾转运路网数据，该数据为自主调度算法的备选可行驶区域；网联清运车道路行进回传数据处理模块，综合计算当前该终端所处位置的道路交通拥堵状况，与上述开放平台获取的交通状况数据形成互补。7.根据权利要求6所述的一种智能网联条件下垃圾清运系统构建方法，其特征在于，步骤2具体内容如下：云服务器包括垃圾清运数字孪生空间以及垃圾清运系统仿真模拟环境，其中，数字孪生空间基于gis地理信息数据，开发各垃圾中转站及处理厂属性库，垃圾车属性库，转运路网库，动态渲染模块，异常提示模块，该空间记录并渲染运营区域内的道路信息以及终端实时运行数据，并对其进行相关提示；垃圾清运系统仿真模拟环境集成垃圾车到达模型，垃圾车驶离模型，路线自主调度算法，交通状况预测模型，交通事件分析模型等。该环境依靠数字孪生空间驱动仿真进程，并利用数字孪生空间完成系统时间模拟；其中，在一定时间内垃圾车到达的时间间隔认为是随机的，垃圾车的随机到达概率采用泊松分布描述，在平稳泊松分布过程中，(t+δt)时间间隔内垃圾车到达中转站或处理厂的数量x的概率可表示为：p{n(t+δt)-n(t)＝x}＝e-λδt(λδt)xx其中，t表示当前时间，δt表示从从当前地点行驶至达中转站或处理厂的时间，n(t)表示在(0,t)区间内到达实体的个数，t≥0，δt≥0，x＝0,1,2,
…
，λ为到达速率；若垃圾车到达时间满足平稳泊松过程，则到达时间间隔服从指数分布，其密度函数为：其中β＝1/λ，为垃圾车达到的时间间隔均值。8.根据权利要求7所述的一种智能网联条件下垃圾清运系统构建方法，其特征在于，步骤2中的数字孪生空间以及垃圾清运系统仿真模拟环境，自主调度模块利用多目标优化算
法，由于垃圾清运工作的特征，来规划线路时采用线性加权平均法解决多目标调度问题，先按照不同目标函数f1(x)、f2(x)、f3(x)、f4(x)按照在垃圾清运作业中的重要程度确定权重k1、k2、k3、k4，满足k＞0，并且其中上述目标函数分别对应安全性、运行时间、能源消耗速度以及舒适性，在其中寻找最优解；定义的评价函数如下所示：其中u[f(x)]为一个实函数，利用垃圾清运过程的多因素偏好信息构建该效用函数，使得求该满意解等价于求以该实函数为新目标函数的单目标规划问题的最优解；最后求解非线性规划问题d是单目标规划问题的所有解的集合，值得注意的是，在垃圾清运过程中，认为上述各目标的属性是独立于其他目标因素的。9.根据权利要求8所述的一种智能网联条件下垃圾清运系统构建方法，其特征在于，步骤4具体内容如下：智能清运车终端主机采用4g/5g通讯手段构建物联网通讯架构，以嵌入式视觉运算工控机为主控单元，传感器数据处理采用边缘计算布局，以原始探测/感知模块的感知数据为源数据，构建智能传感器边缘运算布局，由智能传感器输出的感知结果数据，经主控单元内的数据管理软件一体化接收，同时进行处理、存储、转发各智能传感器的感知数据，统一管理，综合调度，实现车载系统内的感知数据共享主控单元内的网联数据传输模块将本车感知数据实时上传至云服务器，同时以近距即时通讯技术为基础，构建v2v智能网联架构，以此提高系统整体的容灾性，稳定性以及通讯能力；主控单元内主要分为两大主要的功能模块，一个为高级操作辅助模块，另一个为智能垃圾清运车综合显示及驾驶辅助模块，二者的数据来源由数据管理软件统一调配，其中智能垃圾清运车综合显示及驾驶辅助模块融合前向摄像头、倒车摄像头、毫米波雷达、驾驶舱摄像头、驾驶舱麦克风、线控操作数据这些基础配置或选装功能的多源数据流，综合给出驾驶辅助建议与驾驶员异常状态警告信息。10.根据权利要求9所述的一种智能网联条件下垃圾清运系统构建方法，其特征在于，步骤4中的驾驶员员状态辨识模块为三个辨识子模块，分别为：鲁莽操作辨识模块、疲劳及分心辨识模块、愤怒状态辨识模块，采用无接触视频辨识方法，首先利用集成回归树算法进行人脸对齐，视频图像中的人脸特征点表示为：其中，i＝(x,y)为图像中的第i个特征点的二维坐标，s为由i个特征点构成的整个面部特征点的集合；之后利用c++开源工具包dlib进行人脸特征点拟合；同理，利用该工具进行眼部、嘴部特征拟合，并完成头部姿态解算，利用垃圾清运车驾驶或作业过程中采集的数据集完成模型训练，进行驾驶员疲劳、分析状态辨识；采用边缘计算架构布局，以车载传感器感知数据、驾驶室内摄像头获取的图像数据、驾驶室内麦克风采集的音频数据为模型输入，融合终端内部及外部环境语义信息，得出鲁莽操作辨识结果、愤怒异常情绪操作辨识结果；音频处理组件根据驾驶员发出的声音信号，通过时域分析，得到音频每帧的短时能量
数值、短时过零率数值以及mel频率倒谱系数，其中时域处理应满足：y
i
(n)＝w(n)*x((i-1)*inc+n),其中1＜n＜l,1＜i＜fn其中，x(n)为声纹波形时域信号，w(n)为加窗函数，y
i
(n)为一帧中的数值，其中n＝1,2,...l,i＝1,2,...fn,l为帧长；inc为帧移长度；fn为分帧后的总帧数；计算第i帧语音信号y
i
(n)短时能量公式为：其中，1＜i＜fn短时平均过零率表示一帧语音中语音信号波形穿过横轴，即零点平的次数，计算公式为：其中1＜i＜fn其中，sgn[*]是符号函数，表示为：

技术总结
本发明公开了垃圾清运车智能控制领域内的一种智能网联条件下垃圾清运系统及其构建方法，包括云调度平台以及车载网联终端，云调度平台以及车载网联终端通过通讯链路层及数据存储处理系统相连；云调度平台包括开放交通数据获取及处理模块、网联清运车道路行进回传数据处理模块以及固定转运路网库，开放交通数据获取及处理模块、网联清运车道路行进回传数据处理模块以及固定转运路网库均与云运算服务器相连；能够快速精装掌握垃圾清运车统一调度过程中路况信息，提供准确的交通状态演变预测，能够在垃圾清运路线规划过程中的按照时效性、安全性、舒适性、经济性等多因素动态寻优。经济性等多因素动态寻优。经济性等多因素动态寻优。


技术研发人员：王晓原 鲍红军 王全政
受保护的技术使用者：江苏银宝专用车有限公司
技术研发日：2022.09.26
技术公布日：2023/1/6