建设机械的显示系统及其控制方法

建设机械的显示系统及其控制方法
【技术领域】
[0001] 本发明涉及一种建设机械的显示系统及其控制方法。
【背景技术】
[0002] 在液压挖掘机等建设机械中，已知有将发动机的冷却水的水温等各种信息显示于 驾驶室内的监视器装置的技术（例如参照专利文献1)。
[0003] 而且，已知有在驾驶室的监视器装置中显示用于表示作业对象的设计面、铲斗的 齿尖的位置的图像（例如，参照专利文献2)。
[0004] 现有技术文献
[0005] 专利文献
[0006] 专利文献1 :日本特开2012 - 136985号公报
[0007] 专利文献2 :日本特开2012 - 172431号公报

【发明内容】

[0008] 发明所要解决的技术方案
[0009] 所述监视器设于将驾驶室的前窗与侧窗分隔的纵框的下部，以避免阻碍操作人员 的前方视野（参照专利文献1的图2)。由于操作人员一边观察工作装置一边进行操作，因 此为了确认所述监视器装置的信息，需要较大地错开视点来确认监视器装置。
[0010] 因此，存在操作作业中的视点的移动变大、作业效率不会提高这一问题。
[0011] 本发明的目的在于提供一种能够使操作作业中的视点的移动较少、从而能够提高 作业效率的建设机械的显示系统以及其控制方法。
[0012] 第一发明的建设机械的显示系统是一种建设机械的显示系统，其特征在于，所述 建设机械具有工作装置和主体部，该主体部供所述工作装置安装，并且具有驾驶室，该建设 机械的显示系统具备：工作装置位置检测部，其检测所述工作装置相对于所述主体部的位 置信息；实像显示部，其将作业辅助信息作为实像而显示；组合器（3 于），其将由所 述实像显示部显示的所述实像向驾驶室内反射而将所述作业辅助信息作为虚像而显示，并 将所述虚像与驾驶室的前方景色重叠地显示；显示控制部，其控制所述实像显示部；所述 显示控制部基于工作装置的位置信息，控制所述作业辅助信息的沿组合器表面的显示位置 以及向所述驾驶室的前方的深度显示位置，将所述驾驶室的操作人员所认知的所述作业辅 助信息的投影像显示于所述工作装置的周围。
[0013] 第二发明的建设机械的显示系统的特征在于，在第一发明的基础上，具备：位置检 测部，其检测具有所述主体部的当前位置、朝向、倾斜角度的三维位置信息；存储部，其存储 作业对象的目标地形信息；所述作业辅助信息是基于所述工作装置的位置信息、所述主体 部的三维位置信息以及所述目标地形信息而作成的所述工作装置的操作信息。
[0014] 第三发明的建设机械的显示系统的特征在于，在第一发明或者第二发明的基础 上，具备：位置检测部，其检测具有所述主体部的当前位置、朝向、倾斜角度的三维位置信 息；存储部，其存储作业对象的目标地形信息；所述显示控制部与作业对象的地形位置配 合地利用所述实像显示部显示用于表示施工后的完成形态的施工设计面信息，所述施工设 计面信息基于所述主体部的三维位置信息和所述目标地形信息而作成。
[0015] 第四发明的建设机械的显示系统的特征在于，在第一发明至第三发明的任一者的 基础上，具备：位置检测部，其检测具有所述主体部的当前位置、朝向、倾斜角度的三维位置 信息；存储部，其存储作业对象的目标地形信息以及所述工作装置的轨迹信息；所述显示 控制部与作业对象的地形位置配合地利用所述实像显示部显示用于表示施工后的完成形 态的施工设计面信息，所述施工设计面信息基于所述主体部的三维位置信息、所述目标地 形信息、以及基于所述工作装置的轨迹信息的作业进度信息而作成。
[0016] 第五发明的建设机械的显示系统的特征在于，在第一发明至第四发明的任一者的 基础上，所述建设机械的显示系统具备配置于所述实像显示部与组合器之间的透镜光学系 统，所述透镜光学系统具备多个透镜，并且至少一部分的透镜被设为能够沿光轴方向移动， 所述显示控制部将所述透镜光学系统的至少一部分的透镜沿光轴方向移动而控制所述作 业辅助信息的深度显示位置。
[0017] 第六发明的建设机械的显示系统的特征在于，在第一发明至第四发明的任一者的 基础上，所述实像显示部被设为能够改变与所述组合器之间的距离，所述显示控制部变更 所述实像显示部与所述组合器的距离而控制所述作业辅助信息的深度显示位置。
[0018] 第七发明的建设机械的显示系统的控制方法是一种建设机械的显示系统的控制 方法，其特征在于，在具有工作装置和供所述工作装置安装并且具有驾驶室的主体部的建 设机械中，具备：实像显示部，其将作业辅助信息作为实像而显示；组合器，其将由所述实 像显示部显示的所述实像向驾驶室内反射而将所述作业辅助信息作为虚像而显示，并将所 述虚像与驾驶室的前方景色重叠地显示；所述建设机械的显示系统的控制方法具备以下步 骤：检测所述工作装置相对于所述主体部的位置信息；基于所述工作装置的位置信息控制 所述作业辅助信息的沿组合器表面的显示位置以及向所述驾驶室的前方的深度显示位置， 将所述驾驶室的操作人员所认知的所述作业辅助信息的投影像显示于所述工作装置的周 围。
[0019] 根据第一发明，由于显示系统具备实像显示部以及组合器，所以能够将作业辅助 信息与驾驶室的前方景色重叠地显示。因此，在操作人员目视确认工作装置以及作业辅助 信息的情况下，能够减少视点的移动。因此，能够减少操作作业中的视点的移动，从而能够 提高作业效率。
[0020] 在此基础上，显示控制部基于工作装置的位置信息控制所述作业辅助信息的沿组 合器表面的显示位置以及向所述驾驶室的前方的深度显示位置。因此，能够将所述驾驶室 的操作人员所认知的所述作业辅助信息的投影像显示于所述工作装置的周围，能够将操作 人员的视线的移动与焦点调节抑制为最小限度。因此，也能够减少操作人员识别工作装置 以及作业辅助信息的情况下的负载。
[0021] 根据第二发明，作为所述作业辅助信息，基于所述工作装置的位置信息、所述主体 部的三维位置信息以及所述目标地形信息而作成工作装置的操作信息。因此，作为操作信 息，能够显示工作装置的移动方向、移动量，操作人员能够容易地操作工作装置。
[0022] 根据第三发明，与作业对象的地形位置配合地显示基于主体部的三维位置信息和 目标地形信息作成的施工设计面信息。因此，操作人员只要与显示的施工设计面信息配合 地操作工作装置即可，能够容易地操作工作装置。
[0023] 根据第四发明，与作业对象的地形位置配合地显示基于主体部的三维位置信息、 目标地形信息以及基于工作装置的轨迹信息的作业进度信息而作成的施工设计面信息。因 此，操作人员只要与显示的施工设计面信息配合地操作工作装置即可，能够容易地操作工 作装置。另外，能够确认施工后的完成形态，并能够容易地确认是否正如目标地形信息那样 正确地进行施工。
[0024] 根据第五发明，在所述实像显示部与组合器之间配置透镜光学系统，其具备多个 透镜，并且至少一部分的透镜能够沿光轴方向移动，所述显示控制部将所述透镜光学系统 的至少一部分的透镜沿光轴方向移动。因此，能够容易且迅速地控制作业辅助信息的深度 显示位置。
[0025] 根据第六发明，所述显示控制部变更所述实像显示部与所述组合器之间的距离而 控制所述作业辅助信息的深度显示位置。因此，能够不再需要一部分的透镜能够移动的透 镜光学系统。
[0026] 根据第七发明，能够起到与第一发明相同的作用以及效果。
【附图说明】
[0027] 图1是本发明的一实施方式的建设机械的立体图。
[0028] 图2A是示意性地表示建设机械的结构的侧视图。
[0029] 图2B是示意性地表示建设机械的结构的后视图。
[0030] 图2C是示意性地表示建设机械的结构的俯视图。
[0031] 图3是表示建设机械所具备的控制系统的结构的框图。
[0032] 图4是建设机械的驾驶室的立体图。
[0033] 图5是建设机械的驾驶室的侧视图。
[0034] 图6是表示显示于建设机械的显示装置的引导画面的图。
[0035] 图7是表示显示于建设机械的显示装置的引导画面的图。
[0036] 图8是示意性地表示建设机械的|产斗位置的图。
[0037] 图9是表示引导画面的显示控制方法的流程图。
[0038] 图10是表示警告信息显示处理的流程图。
[0039] 图11是表不施工设计面彳目息显不处理的流程图。
[0040] 图12是说明铲斗的轨迹信息的计算方法的图。
[0041] 图13是表示操作辅助信息显示处理的流程图。
【具体实施方式】
[0042] 以下，基于【附图说明】本发明的实施方式。
[0043] 【1?液压挖掘机的整体结构】
[0044] 以下，参照附图对本发明的建设机械的显示系统的一实施方式的液压挖掘机的显 示系统进行说明。
[0045] 图1是搭载有显示系统的液压挖掘机100的立体图。液压挖掘机100具有车身1 与工作装置2。车身1相当于本发明的主体部。车身1具有旋转体3、驾驶室4以及行驶装 置5。旋转体3以能够旋转的方式安装于行驶装置5。旋转体3收纳有未图示的发动机、液 压泵等装置。驾驶室4载置于旋转体3的前部。在驾驶室4内配置有后述的显示装置38 以及操作装置25 (参照图3)。行驶装置5具有左右的履带5a、5b，通过履带5a、5b旋转，从 而液压挖掘机100行驶。
[0046] 工作装置2安装于车身1的前部，具有大臂6、小臂7、铲斗8、大臂缸10、小臂缸 11、以及铲斗缸12。
[ 0047] 大臂6的基端部经由大臂销13以能够摆动的方式安装于车身1的前部。即，大臂 销13相当于大臂6相对于旋转体3的摆动中心。
[0048] 小臂7的基端部经由小臂销14以能够摆动的方式安装于大臂6的前端部。即，小 臂销14相当于小臂7相对于大臂6的摆动中心。
[0049] 在小臂7的顶端部，经由铲斗销15以能够摆动的方式安装有铲斗8。即，铲斗销 15相当于铲斗8相对于小臂7的摆动中心。
[0050] 图2是示意性地表示液压挖掘机100的结构的图。图2A是液压挖掘机100的侧视 图，图2B是液压挖掘机100的后视图。图2C是液压挖掘机100的俯视图。如图2A所示， 大臂6的长度、S卩、从大臂销13至小臂销14的长度是L1。小臂7的长度、S卩、从小臂销14 至铲斗销15的长度是L2。铲斗8的长度、S卩、从铲斗销15至铲斗8的齿尖P的长度是L3。
[0051] 图1所示的大臂缸10、小臂缸11以及铲斗缸12分别是通过液压驱动的液压缸。 大臂缸10的基端部经由大臂缸脚销l〇a以能够摆动的方式安装于旋转体3。另外，大臂缸 10的顶端部经由大臂缸顶部销l〇b以能够摆动的方式安装于大臂6。大臂缸10通过液压 而伸缩，从而驱动大臂6。
[0052] 小臂缸11的基端部经由小臂缸脚销11a以能够摆动的方式安装于大臂6。另外， 小臂缸11的顶端部经由小臂缸顶部销lib以能够摆动的方式安装于小臂7。小臂缸11通 过液压而伸缩，从而驱动小臂7。
[0053] 铲斗缸12的基端部经由铲斗缸脚销12a以能够摆动的方式安装于小臂7。另外， 铲斗缸12的顶端部经由铲斗缸顶部销12b以能够摆动的方式安装于第一连杆部件47的一 端以及第二连杆部件48的一端。第一连杆部件47的另一端经由第一连杆销47a以能够摆 动的方式安装于小臂7的顶端部。第二连杆部件48的另一端经由第二连杆销48a以能够 摆动的方式安装于铲斗8。铲斗缸12通过液压而伸缩，从而驱动铲斗8。
[0054] 在大臂缸10、小臂缸11、铲斗缸12等液压缸与未图示的液压泵之间配置有比例控 制阀37 (参照图3)。比例控制阀37通过后述的工作装置控制器26而被控制，从而控制供 给到液压缸10~12的工作油的流量。由此，控制了液压缸10~12的动作。
[0055] 如图2A所示，在大臂6、小臂7以及铲斗8分别设有第一~第三行程传感器16~ 18。
[0056] 第一行程传感器16检测大臂缸10的行程长度。后述的显示控制器39 (参照图3) 从第一行程传感器16所检测出的大臂缸10的行程长度计算出后述的大臂6相对于车身坐 标系的zm轴的摆动角a。
[0057] 第二行程传感器17检测小臂缸11的行程长度。显示控制器39从第二行程传感 器17所检测的小臂缸11的行程长度计算出小臂7相对于大臂6的摆动角0。
[0058] 第三行程传感器18检测铲斗缸12的行程长度。显示控制器39从第三行程传感 器18所检测的铲斗缸12的行程长度计算出铲斗8相对于小臂7的摆动角 Y。
[0059] 如后述那样，能够利用第一~第三行程传感器16~18检测出工作装置2的铲斗8 的齿尖P相对于车身1的位置信息。因此，第一~第三行程传感器16~18相当于本发明 的工作装置位置检测部。
[0060] 如图2A所示，在车身1中具备位置检测部19。位置检测部19检测液压挖掘机100 的当前位置。位置检测部 19 具有RTK-GNSS(RealTimeKinematic-GlobalNavigation SatelliteSystems，GNSS称作全球导航卫星系统。）用的两个天线21、22、三维位置传感 器23以及倾斜角传感器24。
[0061] 天线21、22沿后述的车身坐标系xm-ym-zm的ym轴隔开一定距离地配置。与 利用天线21、22接收的GNSS电波相应的信号被输入到三维位置传感器23。三维位置传感 器23检测天线21、22的全球坐标系中的设置位置。
[0062] 此外，全球坐标系是通过GNSS计测的坐标系，并且是以固定于地球的原点为基准 的坐标系。与此相对，后述的车身坐标系是以固定于车身1(具体而言是旋转体3)的原点 为基准的坐标系。两个天线21、22是用于检测出车身1的当前位置以及车身1 (具体而言 是旋转体3)的朝向的天线。位置检测部19通过两个天线21、22的位置检测出后述的车身 坐标系的xm轴的全球坐标系中的方向角（方位角）。
[0063] 如图3所示，在车身1中具备倾斜角传感器24。倾斜角传感器24如图2B所示那 样检测车身1重力方向（铅直线）的车身1的宽度方向（左右方向）的倾斜角9 1 (以下， 称作"侧倾角0 1")。另外，倾斜角传感器24如图2A所示那样检测相对于重力方向的车身 1的前后方向的倾斜角9 2(以下，称作"间距角0 2"）。而且，倾斜角传感器24检测旋转 体3的旋转角度、换句话说是绕车身坐标系的铅直轴（zm轴）的倾斜角（以下，称作"横摆 角Q3"）。
[0064] 此外，在本实施方式中，车身1的宽度方向的意思是铲斗8的宽度方向，并与车宽 度方向一致。但是，在工作装置2具备倾斜铲斗的情况下，铲斗8的宽度方向与车宽度方向 可能不一致。
[0065] 位置检测部19由于具备天线21、22、三维位置传感器23以及倾斜角传感器24,因 此检测出具有车身1的全球坐标上的当前位置、朝向、倾斜角度的主体部的三维位置信息。 车身1的全球坐标上的当前位置由炜度、经度、海拔的数据表示。全球坐标上的车身1的朝 向由方位角表示。倾斜角度由所述侧倾角9 1、间距角9 2、横摆角0 3表示。
[0066] 图3是表示液压挖掘机100所具备的控制系统的结构的框图。液压挖掘机100具 备操作装置25、工作装置控制器26、工作装置控制装置27以及显示系统28。
[0067] 操作装置25具有操作工作装置2及旋转体3的操作部件31L、31R、检测操作部件 31L、31R的操作的操作检测部32、行驶操作部件33、行驶操作检测部34。操作部件31L、31R 是操作人员用于操作工作装置2以及旋转体3的部件，例如是操作杆。
[0068] 操作部件31R进行工作装置2的大臂6与铲斗8的操作，操作部件31R的前后方 向的操作与大臂的上下动作对应，左右方向的操作与铲斗的挖掘、释放的动作对应。
[0069] 操作部件31L进行旋转体3与小臂7的操作，操作部件31L的前后方向的操作与 小臂的挖掘、释放的动作对应，左右方向的操作与旋转体3的左右方向的旋转动作对应。
[0070] 操作检测部32具备检测操作部件31L的操作的操作检测部32L、以及检测操作部 件31R的操作的操作检测部32R。操作检测部32L、32R例如使用设于操作部件31L、31R的未 图示的检测检测角的电位计等。与操作部件31L、31R的操作内容相对应，操作检测部32L、 32R将倾倒角作为电信号而检测，并作为检测信号向工作装置控制器26输送。也可以在操 作部件31L、31R中与操作信号相应地产生先导流量，在操作检测部32L、32R中检测出先导 压并作为检测信号。
[0071] 行驶操作部件33是操作人员用于操作液压挖掘机100的行驶的部件，例如是操作 杆。行驶操作检测部34与行驶操作部件33的操作内容相应地产生先导流量。与先导压相 应地确定供给到行驶马达的流量，并驱动行驶装置5。
[0072] 工作装置控制器26具有RAM、ROM等存储部35、CPU等运算部36。工作装置控制 器26主要进行工作装置2的动作以及旋转体3的旋转控制。工作装置控制器26与操作部 件31L、31R的操作相应地生成用于使工作装置2以及旋转体3动作的控制信号，并输出到 工作装置控制装置27。
[0073] 工作装置控制装置27具有比例控制阀37,并基于来自工作装置控制器26的控制 信号控制比例控制阀37。与来自工作装置控制器26的控制信号相应的流量的工作油从比 例控制阀37流出，并供给到液压缸10~12、未图示的旋转马达。与从比例控制阀37供给 的工作油相应地驱动液压缸10~12、旋转马达。由此，工作装置2动作，旋转体3旋转。
[0074] [2?显示系统的结构]
[0075] 显示系统28是用于将警告信息、操作向导、施工设计面信息、车身信息等各种信 息向操作人员提供的系统。显示系统28具有显示装置38、显示控制器39、所述各种传感器 16、17、18、23、24以及后述的监视装置60。
[0076] 如图4、5所示，显示装置38具有实像显示部40、透镜光学系统41、以及组合器42。 实像显示部40由液晶显示器、有机EL显示器、投影仪以及显示屏等能够显示实像的显示装 置构成。此外，也可以使用透射式显示屏从配置于显示屏的背面侧的投影仪投射并显示影 像。
[0077] 透镜光学系统41配置于实像显示部40与组合器42之间，具备多个透镜。透镜光 学系统41的透镜的一部分构成为能够沿光轴方向移动。透镜的驱动机构能够使用在照相 机的变焦透镜等中使用的驱动机构。
[0078] 组合器42由设于在驾驶室4的前面的框4AF内上下设置有两个的前窗4A部分 的、将一部分的光反射并使剩余的光透过的半透镜构成。该组合器42将显示于实像显示部 40的影像向驾驶室4内的操作人员侧反射并且将来自驾驶室4的外部的光向驾驶室4内透 过。
[0079] 因此，从操作人员的视点来看，能够将显示于所述实像显示部40的实像作为能够 从组合器42透过而目视确认的、重叠显示于驾驶室4的前方景色的虚像70而被获取。因 此，显示装置38作为在操作人员的视场中直接放映出影像的所谓的平视显示器而其作用。[0080] 此外，通过使组合器42具有透镜效果，能够放大操作人员目视确认的虚像70、变 更虚像70的显示位置。在本实施方式中，为了使组合器42具有透镜效果，作为组合器42 使用了凹面半透镜。
[0081] 而且，在本实施方式中，通过显示控制器39的控制，将透镜光学系统41的至少一 部分的透镜沿光轴方向移动，能够变更操作人员目视确认的虚像70的深度显示位置（从操 作人员的视点位置至显示于驾驶室的前方的虚像70的距离）。即，在配置有透镜光学系统 41的情况下，采用利用该光学系统放大地窥视处于其深处的实像显示部40的形态。而且， 通过使所述透镜光学系统41内部的一部分的透镜沿光轴方向移动，从而获得与实像显示 部40的深度（从组合器42至实像显示部40的距离）变化的情况相同的效果，其结果是， 虚像70的深度显示位置也变更。在图5中，在虚线所示的虚像70和实线所示的虚像70处 变更了深度显示位置。
[0082] 而且，由于虚像70的大小取决于透镜光学系统41的射出窗的大小，因此即使虚像 70的深度显示位置改变，也能够将操作人员的视场角上的虚像70的大小保持为一定。
[0083] 此外，在变更所述虚像70的深度显示位置时，也可以采用如下结构：不配置透镜 光学系统41，而是使用线性促动器等使所述实像显示部40构成为能够向靠近组合器42的 方向以及远离组合器42的方向移动，并变更实像显示部40以及组合器42的距离。
[0084] 显示控制器39执行显示系统28的各种功能。显示控制器39和工作装置控制器 26能够通过无线或有线的通信手段相互通信。
[0085] 显示控制器39具有RAM、ROM等存储部43、CPU等运算部44。
[0086] 在存储部43存储有三维的目标地形信息。目标地形信息是关于作为作业对象的 地面的施工后的地形（设计地形）的形状以及位置的信息，通过三角形、四边形等多边形来 表现。
[0087] 运算部44基于存储于存储部43的目标地形信息、由位置检测部19检测的车身1 的三维位置信息、利用作为工作装置位置检测部的第一~第三行程传感器16~18检测出 的铲斗8的齿尖的位置信息，执行用于作成作业辅助信息的各种运算。显示控制器39在实 像显示部40显示针对操作人员的作业辅助信息。因此，显示控制器39相当于本发明的显 示控制部。
[0088] [3?引导画面]
[0089] 以下，详细说明显示于显示装置38的引导画面。如图6所示，引导画面将操作辅 助信息82作为作业辅助信息而显示，而且显示车身信息83、施工设计面信息84。另外，在 显示警告信息（提醒信息）81情况下，如图7所示，也显示警告信息81作为作业辅助信息。
[0090] 警告信息81被从连接于显示控制器39的监视装置60输出。监视装置60具备检 测出液压挖掘机100的各种状态的传感器等，在检测数据存在异常的情况下将警告信息81 向显示控制器39输出。例如，监视装置60具备检测液压泵的排出压的传感器、检测发动机 的冷却水的水温的传感器、污染传感器等。另外，监视装置60也具备检测人等障碍物接近 液压挖掘机100的周围的接近传感器等。
[0091] 监视装置60基于这些传感器的数据作成用于向操作人员传递警告的警告信息 81，并向显示控制器39输出。在显示控制器39从监视装置60接收警告信息81时，立即显 示于实像显示部40。即，警告信息81被最优先地显示。
[0092] 图7的警告信息81是在液压挖掘机100的左方向检测出人等障碍物的情况下的 警告信息的例子。
[0093] 操作辅助信息82是支援工作装置2的操作的向导信息。例如，显示控制器39的 运算部44如后述那样参照由位置检测部19检测的车身1的三维位置信息、由第一~第三 行程传感器16~18检测的工作装置2中的铲斗8的齿尖的位置信息、以及存储于存储部 43的目标地形信息，从而计算出工作装置2的移动方向以及移动量。显示控制器39根据工 作装置2的移动方向以及移动量作成操作辅助信息82,并显示于实像显示部40。
[0094] 例如，图6的操作辅助信息82是在图8所示的液压挖掘机100中、铲斗8处于铲 斗8A的位置的情况下显示的信息。在图6的操作辅助信息82中示出了由于铲斗8配置于 距目标地形4m的上方而需要向下方移动4m的情况。图7的操作辅助信息82是在铲斗8 处于铲斗8B的位置的情况下显示的信息。在图7的操作辅助信息82中示出了铲斗8的剩 余的移动量。
[0095]此外，操作辅助信息82既可以是用表示铲斗8的移动方向的箭头和表示移动距离 的数字显示的类型，也可以是用表示移动目标位置（高度等级）的三角标记与表示当前的 铲斗8的位置的条状显示的类型。在图6、7中一并标注这两个显示类型，但通常仅显示任 一者即可。
[0096]车身信息83是燃油量表的数据、当前时刻、当前的油耗下的剩余运转时间等信 息。操作人员能够设定有无车身信息83的显示、所显示的数据的种类等，该设定信息存储 于存储部43。显示控制器39在设定为具有显示车身信息83的情况下，显示指定的数据。 此外，车身信息83的显示位置不与铲斗8的齿尖位置连动而被固定。
[0097] 施工设计面信息84使用所述目标地形信息和铲斗8的齿尖的轨迹信息而被作成。 即，显示控制器39在施工前基于所述目标地形信息、由位置检测部19检测的三维位置信 息，将目标地形信息作为施工设计面信息84显示于实像显示部40。因此，从操作人员的视 点来看，可以在能够通过组合器42目视确认的作业对象的地面重叠看到所述目标地形信 息。
[0098] 另外，在施工中途、施工后，显示控制器39除了所述目标地形信息之外还重叠铲 斗8的齿尖的轨迹信息而作成施工设计面信息84,也显示完成形态的信息。
[0099] 显示于实像显示部40的引导画面经由透镜光学系统41被组合器42反射，并被操 作人员目视确认。因此，操作人员能够在能够透过组合器42看到的前窗4A的前方景色、换 句话说是作业现场的景象上重叠看到所述引导画面。
[0100] 显示控制器39将警告信息81、操作辅助信息82与工作装置2的铲斗8的位置一 并显示。因此，警告信息81以及操作辅助信息82伴随着铲斗8的移动，沿着组合器42的 表面的显示位置以及深度显示位置变化。
[0101] 显示控制器39将车身信息83固定于实像显示部40的确定的位置而显示。但是， 也可以与警告信息81、操作辅助信息82相同地将车身信息83与铲斗8的位置一并显示。
[0102] 显示控制器39将施工设计面信息84与作为作业对象的地面一并显示。
[0103] [4.引导画面的显示控制方法]
[0104] 接下来，基于图9的流程图说明所述引导画面的显示控制方法。在液压挖掘机100 的施工作业中，显示控制器39以一定时间间隔、例如0. 1秒的间隔重复执行图9所示的引 导画面的显示控制，并以例如1秒左右的间隔变更显示。
[0105](警告信息的显示）
[0106] 在开始引导画面的显示控制时，显示控制器39的运算部44判断是否从监视装置 60输出警告信息81 (是否具有警告信息81)(步骤S1)。在具有警告信息81的情况下，运 算部44显示警告信息81 (步骤S2)。通过在显示控制的起初进行警告信息81的显示处理， 能够最优先地显示警告信息81，并且能够迅速地向操作人员传递警告信息。后述详细说明 警告信息的显示处理。此外，在显示处理其他信息时，在从监视装置60输出警告信息81的 情况下，中断而执行警告信息81的显示处理（步骤S2)即可。
[0107](施工设计面信息的显示）
[0108] 在步骤S2的警告信息81的显示处理之后、或者由于不具有警告信息81而在步 骤S1中判断为否的情况下，运算部44判断施工设计面信息84是否存储于存储部43 (步骤 S3)。由于根据施工现场的不同，有时不存在施工设计面信息84,因此判断其有无。
[0109] 在具有施工设计面信息84的情况下，运算部44进行施工设计面信息84的显示处 理（步骤S4)。
[0110] (操作辅助信息的显示）
[0111] 在步骤S4的施工设计面信息84的显示处理之后、或者由于不具有施工设计面信 息84而在步骤S3中判断为否的情况下，运算部44判定有无操作辅助信息82的显示设定 (步骤S5)。
[0112] 在具有操作辅助信息82的显示设定的情况下，运算部44进行操作辅助信息82的 显示处理（步骤S6)。
[0113] 此外，后述详细说明步骤S2、S4、S6的各显示处理。
[0114](车身信息的显示）
[0115] 在步骤S5中判断为否的情况下、或者在步骤S6的显示处理之后，运算部44判定 是否成为显示车身信息83的设定（步骤S7)。
[0116] 然后，在判断为具有车身信息83的显示设定的情况下，运算部44进行车身信息83 的显示处理（步骤S8)。在该情况下，运算部44控制实像显示部40,如图6、7所示，将燃油 量表的数据、当前时刻等车身信息显示于已确定的显示位置。
[0117] 如上述那样，在施工作业持续期间，运算部44以规定时间间隔重复从所述步骤S1 至步骤S8的处理，因此返回步骤S1，继续进行显示处理。
[0118] [4 一 1?警告信息显示处理S2]
[0119] 接下来，基于图10的流程图对步骤S2的警告信息81的显示处理进行说明。此外， 在警告信息显示处理S2中，由于利用液压挖掘机100的车身坐标系计算齿尖位置，因此首 先对车身坐标系进行说明。
[0120] (车身坐标系的 说明）
[0121] 在液压挖掘机100中，如图2所示，参照所述倾斜角传感器24的检测值，以大臂销 13的轴与工作装置2的动作平面的交点为原点设定车身坐标系xm-ym-zm。这里，工作 装置2的动作平面成为xm-zm。另外，车身坐标系也能够使用各天线21、22的位置数据而 设定。此外，在以下的说明中，大臂销13的位置的意思是大臂销13的车宽度方向的中点的 位置。
[0122] 天线21、22与车身坐标系的原点的位置关系、S卩、天线21、22与大臂销13的车宽 度方向的中点的位置关系被预先设定。具体而言，如图2B以及图2C所示，利用大臂销13 与天线21之间的车身坐标系的xm轴向的距离Lbbx、大臂销13与天线21之间的车身坐标 系的ym轴向的距离Lbby、大臂销13与天线21之间的车身坐标系的zm轴向的距离Lbbz， 确定车身坐标系的原点与天线21的位置关系。
[0123] 另外，利用大臂销13与天线22之间的车身坐标系的xm轴向的距离Lbdx、大臂销 13与天线22之间的车身坐标系的ym轴向的距离Lbdy、大臂销13与天线22之间的车身坐 标系的zm轴向的距离Lbdz，确定车身坐标系的原点与天线22的位置关系。
[0124](车身坐标系上的齿尖位置计算S11)
[0125] 运算部44计算车身坐标系上的铲斗8的齿尖位置（步骤S11)。运算部44根据第 一~第三行程传感器16~18的检测结果计算上述大臂6、小臂7、铲斗8的当前的摆动角 a、|3、y〇
[0126]运算部44使用大臂6、小臂7、铲斗8的摆动角a、0、y和大臂6、小臂7、铲斗8 的长度11、12、13，利用以下的数学式1的式子运算出车身坐标系中的铲斗8的齿尖的坐标 (x，y，z)〇
[0127]【数学式1】
[0128]x=Lisina+L2sin(a+ ) +L3sin(a+ +y)
[0129] y= 0
[0130]Z=Llcosa+L2cos(a+ ) +L3cos(a+ +y)
[0131](警告信息的生成S12)
[0132] 接下来，运算部44生成从监视装置60输出的警告信息81的显示内容（S12)。例 如，在监视装置60的接近传感器检测出在左方向具有障碍物、并输出该检测信息时，运算 部44生成左方向的箭头和感叹号作为警告信息81的显示内容（显示图像）。此外，警告信 息81的显示内容（显示图像）与警告信息的种类相应地设定。即，在需要引起操作人员的 注意的情况下生成感叹号。在需要指示应注意所述障碍物的检测的方向的情况下生成该方 向的箭头。另外，在警告液压泵的排出压、发动机冷却水的水温的异常的情况下，生成表示 这些警告对象的图标、文字等图像。
[0133](警告信息的显示位置计算S13)
[0134] 接下来，运算部44与铲斗8的齿尖的当前位置配合地计算警告信息81的显示位 置（步骤S13)。组合器42的显示面中的警告信息81的显示位置是不与铲斗8、操作辅助 信息82重叠的位置，并且被设定为接近铲斗8的位置。另外，与警告信息81的内容配合地 调整显示位置。因此，如图7所示，警告左方向的障碍物的警告信息81显示于铲斗8的左 斜上方位置等。如果是警告右方向的障碍物的警告信息，则显示于铲斗8的右斜上方位置 等。
[0135] 另外，与铲斗8的齿尖距组合器42的距离、换句话说是距操作人员的视点的距离 配合地设定作为虚像而显示的警告信息81的相当于从操作人员观察时成为深度方向的坐 标（x)的深度显示位置。
[0136](警告信息的显示S14)
[0137] 接下来，运算部44控制透镜光学系统41以及实像显示部40,在步骤S13中计算的 显示位置显示警告信息81 (步骤S14)。通过以上的S11~S14的处理，结束警告信息显示 处理S2。
[0138] [4 一 2?施工设计面信息显示处理S4]
[0139] 接下来，基于图11的流程图对步骤S4的施工设计面信息84的显示处理进行说 明。
[0140](全球坐标系的车身的三维位置信息计算S21)
[0141] 在显示施工设计面信息84的情况下，运算部44计算全球坐标系上的车身1的三 维位置信息（步骤S21)。
[0142] 具体地说，运算部44使用三维位置传感器23以及倾斜角传感器24的检测值，计 算全球坐标系上的车身1的三维位置信息（炜度、经度、高度、方位角、侧倾角、间距角、横摆 角）（步骤S21)。
[0143]S卩，三维位置传感器23检测天线21、22的全球坐标上的位置（炜度、经度、高度）。 运算部44根据上述车身坐标系的原点与各天线21、22的位置关系、以及三维位置传感器23 所检测的全球坐标系中的天线21、22的坐标，运算车身坐标系的原点位置的全球坐标（A， B，C) 〇
[0144] 而且，由于天线21、22沿车身坐标系的ym轴配置，所以运算部44从全球坐标系中 的天线21、22的坐标运算车身1 (旋转体3)的朝向（方位角）。
[0145](车身坐标系上的齿尖位置计算S22)
[0146] 接下来，运算部44计算车身坐标系上的铲斗8的齿尖的位置（步骤S22)。由于该 车身坐标系上的铲斗8的齿尖位置的具体计算方法与所述警告信息81的显示处理中的步 骤S11相同，因此省略说明。
[0147](全球坐标系上的齿尖位置计算S23)
[0148] 接下来，运算部44计算全球坐标系上的铲斗8的齿尖位置（步骤S23)。运算部 44利用以下的数学式2的式子，将从数学式1求出的车身坐标系中的铲斗8的齿尖的坐标 (x，y，z)转换成全球坐标系中的坐标（X，Y，Z)。
[0149]【数学式2】
[0151] 其中，《、9、k由以下的数学式3表示。
[0152]【数学式3】
[0155] k=-0 3
[0156] 这里，如所述那样，0 1是侧倾角。0 2是间距角。0 3是横摆角。
[0157](齿尖的轨迹信息存储S24)
[0158] 接下来，运算部44将在步骤S23中计算的齿尖位置存储于存储部43,从而存储齿 尖的轨迹信息（步骤S24)。
[0159] 此时，为了计算、显示施工后的完成形态，需要将铲斗8的齿尖作为由铲斗8的齿 尖的两端形成的线而获取，并计算其轨迹。因此，如图12所示，在车身1与施工面200不平 行时，除了铲斗8的齿尖之中距地形最近的点与地形之间的距离dl之外，使用全球坐标系 中的车身1的倾斜角度与施工面200的倾斜角度的信息取得铲斗8的齿尖的线201移动时 的轨迹信息。
[0160](针对目标地形的作业进度信息计算S25)
[0161] 接下来，运算部44基于存储于存储部43的铲斗8的齿尖的轨迹信息和存储于存 储部43的目标地形信息，计算针对目标地形的作业进度信息（步骤S25)。
[0162](施工设计面信息生成&显示位置计算S26)
[0163] 接下来，运算部44基于所述目标地形信息以及作业进度信息生成施工设计面信 息84的显示内容（步骤S26)。另外，基于车身1的三维位置信息，计算出显示施工设计面 信息84的位置（步骤S26)。
[0164](施工设计面信息显示S27)
[0165] 运算部44控制透镜光学系统41以及实像显示部40,在步骤S26中计算出的显示 位置显示施工设计面信息84 (步骤S27)。
[0166] 因此，操作人员能够在作业对象的地面重叠目视确认施工设计面信息84。例如，如 果是施工作业前，由于施工设计面信息84显示作业目标的地形，因此操作人员能够容易地 掌握接下来应进行作业的目标面。
[0167] 另外，如果是作业中，由于施工设计面信息84也包含作业进度信息，所以操作人 员能够以不变更视点以及焦点为前提容易地掌握能够实际目视确认的铲斗8的齿尖位置 和挖掘等作业的目标面的位置关系，并且也能够容易地确认是否已能够如目标那样进行施 工。
[0168] 此外，在同时显示施工设计面信息84、警告信息81、操作辅助信息82的情况下，显 示控制器39优先使警告信息81、操作辅助信息82的深度显示位置作为铲斗8的位置来控 制透镜光学系统41。即，在警告信息81、操作辅助信息82的深度显示位置和施工设计面信 息84的深度显示位置不同的情况下，透镜光学系统41为了设定警告信息81、操作辅助信息 82的深度显示位置而被控制。
[0169] 另外，也可以分别设置显示作为与铲斗8的齿尖位置配合地变更显示位置的作业 辅助信息的警告信息81、操作辅助信息82的实像显示部40及透镜光学系统41、以及显示 作为不与铲斗8的齿尖位置配合地变更显示位置的信息的车身信息83、施工设计面信息84 的实像显示部40以及透镜光学系统41。
[0170] [4 一 3.操作辅助信息显示处理S6]
[0171] 接下来，基于图13的流程图对使用了步骤S6的施工设计面信息84的操作辅助信 息82的显示处理进行说明。
[0172] 在显示操作辅助信息82的情况下，运算部44也计算全球坐标系上的车身1的三 维位置信息（步骤S31)。接下来，运算部44计算车身坐标系上的齿尖的位置（步骤S32)。 接下来，运算部44计算全球坐标上的齿尖位置（步骤S33)。由于这些步骤S31~S33的具 体的计算方法与所述施工设计面信息84的显示处理中的步骤S21~S23相同，因此省略说 明。此外，在接着步骤S4的施工设计面信息84的显示处理而进行步骤S6的操作辅助信息 82的显示处理的情况下，也可以省略步骤S31~S33, 并使用在步骤S21~S23中计算的数 据。
[0173] 接下来，运算部44基于如所述那样运算的铲斗8的齿尖的全球坐标的当前位置 和存储于存储部43的目标地形信息，计算到达目标地点所需的齿尖的移动量信息（步骤 S34) 〇
[0174] 接下来，运算部44基于在步骤S34中计算的移动量信息生成操作辅助信息82的 显示内容，与铲斗8的齿尖的当前位置配合地计算显示位置（步骤S35)。组合器42的显示 面中的操作辅助信息82的显示位置是不与铲斗8、警告信息81重叠的位置，并且被设定为 接近铲斗8的位置。因此，在图6、7中，显示于铲斗8的侧方位置。另外，作为虚像显示的 操作辅助信息82的相当于从操作人员观察成为深度方向的坐标（x)的深度显示位置被与 铲斗8的齿尖的位置配合地设定。
[0175] 接下来，运算部44控制透镜光学系统41以及实像显示部40,在步骤S35中计算的 显示位置显示操作辅助信息82 (步骤S36)。
[0176] 根据这种本实施方式，将显示装置38具备实像显示部40、透镜光学系统41、组合 器42而构成，因此能够将作业辅助信息与驾驶室4的前方景色重叠而显示。因此，操作人 员在目视确认工作装置2的|产斗8以及作为作业辅助信息的警告信息81、操作辅助信息82 的情况下，能够减少视点以及焦点的移动，能够提尚作业效率。
[0177] 显示控制器39基于铲斗8的位置信息控制警告信息81、操作辅助信息82的沿组 合器42的表面的显示位置以及深度显示位置。因此，能够将操作人员所认知的警告信息 81、操作辅助信息82的投影像显示于铲斗8的周围，能够将操作人员的视线的移动与焦点 调节抑制为最小限度。因此，也能够减少操作人员识别铲斗8以及作业辅助信息的情况下 的负载。
[0178] 组合器42能够与前窗4A的大小配合地设定，因此与以往的监视器装置相比，能够 增大各种信息的显示区域。因此，能够将以往如果不切换监视器装置的画面就不能显示的 多个信息无接缝地显示于组合器42的区域内。而且，在提供信息化的各种作业辅助信息的 情况下，无需增加驾驶室4内的监视器装置，能够确保驾驶室4内的空间，并且能够维持操 作人员的作业性、视野性。
[0179][实施方式的变形]
[0180] 此外，本发明并不限定于上述实施方式，能够实现本发明的目的的范围内的变形、 改良等也包含于本发明中。
[0181] 在上述实施方式中，利用第一~第三行程传感器16~18检测大臂6、小臂7、铲斗 8的倾斜角，但倾斜角的检测部件并不限定于这些。例如也可以具备检测大臂6、小臂7、铲 斗8的倾斜角的角度传感器。
[0182] 在上述实施方式中具有铲斗8,但是铲斗8并不局限于此，也可以是倾斜铲斗。倾 斜铲斗是如下铲斗：其具备铲斗倾斜缸，通过使铲斗左右倾斜，即使液压挖掘机位于倾斜 地，也能够以自由的形态将斜面、平地成形、平整，也能够进行低板的碾压作业。
[0183] 另外，工作装置2并不限定于具有铲斗8。例如，作为工作装置2,也可以安装有液 压断路器等除铲斗8以外的配件。
[0184] 而且，作为建设机械，并不限定于液压挖掘机100,也可以是推土机、轮式装载机、 机动平路机等具有工作装置的各种建设机械。
[0185] 显示于实像显示部40的引导画面的内容并不限定于上述内容，只要与配件的种 类、建设机械的种类等相应地设定即可。另外，显示控制器39的功能的一部分或全部也可 以通过配置于建设机械的外部的基地局计算机的执行而传送。
[0186] 作为操作辅助信息82,并不限定于直至目标地点的移动量信息。例如，在挖掘后向 上方移动铲斗8的情况下，也可以将铲斗8向上方的移动量作为操作辅助信息82而显示。 操作辅助信息82的内容与工作装置的种类、操作人员的操作相应地设定即可。
[0187] 作为建设机械，也可以不具备检测天线21、22等全球坐标系上的当前位置的机 构。在该情况下，只要基于车身坐标系上的信息作成并显示警告信息81等即可。
[0188] 另外，与工作装置2的位置配合地显示的作业辅助信息的深度显示位置并不限定 于移动透镜光学系统41的透镜、移动实像显示部40的情况。例如，也可以处理作业辅助信 息的显示图像而调整操作人员所认知的投影像的深度显示位置。
[0189]【工业上的可利用性】
[0190] 本发明除了能够使用于液压挖掘机之外，也能够使用于轮式装载机、推土机、机动 平路机等操作人员能够目视确认工作装置的各种建设机械。
[0191] 附图标记的说明
[0192] 1…车身，3…旋转体，4…驾驶室，4A…前窗，5…行驶装置，6…大臂，7…小臂，8… f产斗，16…第一行程传感器，17…第二行程传感器，18…第三行程传感器，19…位置检测部， 21、22…天线，23…三维位置传感器，24…倾斜角传感器，25…操作装置，26…工作装置控制 器，27…工作装置控制装置，28…显示系统，38…显示装置，39…显示控制器，40…实像显示 部，41…透镜光学系统，42…组合器，43…存储部，44…运算部，60…监视装置，70…虚像， 81…警告信息，82…操作辅助信息，83…车身信息，84…施工设计面信息，100…液压挖掘 机。
【主权项】
1. 一种建设机械的显示系统，其特征在于，所述建设机械具有工作装置和主体部，该主 体部供所述工作装置安装，并且具有驾驶室， 该建设机械的显示系统具备： 工作装置位置检测部，其检测所述工作装置相对于所述主体部的位置信息； 实像显示部，其将作业辅助信息作为实像而显示； 组合器，其将由所述实像显示部显示的所述实像向驾驶室内反射而将所述作业辅助信 息作为虚像而显示，并将所述虚像与驾驶室的前方景色重叠地显示； 显示控制部，其控制所述实像显示部； 所述显示控制部基于工作装置的位置信息，控制所述作业辅助信息的沿组合器表面的 显示位置以及向所述驾驶室的前方的深度显示位置，将所述驾驶室的操作人员所认知的所 述作业辅助信息的投影像显示于所述工作装置的周围。2. 根据权利要求1所述的建设机械的显示系统，其特征在于，具备： 位置检测部，其检测具有所述主体部的当前位置、朝向、倾斜角度的三维位置信息； 存储部，其存储作业对象的目标地形信息； 所述作业辅助信息是基于所述工作装置的位置信息、所述主体部的三维位置信息以及 所述目标地形信息而作成的所述工作装置的操作信息。3. 根据权利要求1或2所述的建设机械的显示系统，其特征在于，具备： 位置检测部，其检测具有所述主体部的当前位置、朝向、倾斜角度的三维位置信息； 存储部，其存储作业对象的目标地形信息； 所述显示控制部与作业对象的地形位置配合地利用所述实像显示部显示用于表示施 工后的完成形态的施工设计面信息， 所述施工设计面信息基于所述主体部的三维位置信息和所述目标地形信息而作成。4. 根据权利要求1至3中任一项所述的建设机械的显示系统，其特征在于，具备： 位置检测部，其检测具有所述主体部的当前位置、朝向、倾斜角度的三维位置信息； 存储部，其存储作业对象的目标地形信息以及所述工作装置的轨迹信息； 所述显示控制部与作业对象的地形位置配合地利用所述实像显示部显示用于表示施 工后的完成形态的施工设计面信息， 所述施工设计面信息基于所述主体部的三维位置信息、所述目标地形信息、以及基于 所述工作装置的轨迹信息的作业进度信息而作成。5. 根据权利要求1至4中任一项所述的建设机械的显示系统，其特征在于， 所述建设机械的显示系统具备配置于所述实像显示部与组合器之间的透镜光学系统， 所述透镜光学系统具备多个透镜，并且至少一部分的透镜被设为能够沿光轴方向移 动， 所述显示控制部将所述透镜光学系统的至少一部分的透镜沿光轴方向移动而控制所 述作业辅助信息的深度显示位置。6. 根据权利要求1至4中任一项所述的建设机械的显示系统，其特征在于， 所述实像显示部被设为能够改变与所述组合器之间的距离， 所述显示控制部变更所述实像显示部与所述组合器的距离而控制所述作业辅助信息 的深度显示位置。7. -种建设机械的显示系统的控制方法，其特征在于， 在具有工作装置和供所述工作装置安装并且具有驾驶室的主体部的建设机械中，具 备：实像显示部，其将作业辅助信息作为实像而显示；组合器，其将由所述实像显示部显示 的所述实像向驾驶室内反射而将所述作业辅助信息作为虚像而显示，并将所述虚像与驾驶 室的前方景色重叠地显示； 所述建设机械的显示系统的控制方法具备以下步骤： 检测所述工作装置相对于所述主体部的位置信息； 基于所述工作装置的位置信息控制所述作业辅助信息的沿组合器表面的显示位置以 及向所述驾驶室的前方的深度显示位置，将所述驾驶室的操作人员所认知的所述作业辅助 信息的投影像显示于所述工作装置的周围。
【专利摘要】本发明涉及一种建设机械的显示系统及其控制方法，显示系统(28)具备检测工作装置相对于主体部的位置信息的行程传感器(16～18)、实像显示部(40)、组合器(42)以及显示控制器(39)。显示控制器(39)基于工作装置的位置信息，控制作业辅助信息的沿组合器(42)的表面的显示位置以及向驾驶室的前方的深度显示位置。将操作人员所认知的作业辅助信息的投影像显示于工作装置的周围。
【IPC分类】E02F9/26, G06T19/00
【公开号】CN104884713
【申请号】CN201380068124
【发明人】坪根大, 栗原隆, 深野亮
【申请人】株式会社小松制作所
【公开日】2015年9月2日
【申请日】2013年10月28日
【公告号】DE112013006256T5, WO2014103498A1