车体端装置的制造方法
车体端装置的制造方法
【专利说明】
[0001] 本申请是申请日为2012年7月12日、申请号为201210242096. 3、发明名称为"全 周鸟瞰图像产生方法及其训练方法及训练装置"的发明专利申请的分案申请。
技术领域
[0002] 本发明涉及一种车体端装置。
【背景技术】
[0003] 在科技发展日新月异的现今时代中，多种行车辅助工具系已被开发出来，以提升 道路使用上的安全性。举例来说，一般来说，多车体联结车因其特殊的联结式车体结构，使 得驾驶者往往需面临多车体联结车回转内轮差较大及视线死角较多的情形。据此，如何针 对多车体联结车提供合适的行车辅助工具，以增进多车体联结车的驾驶困难度及行车安全 性，为业界不断致力的方向之一。
【发明内容】
[0004] 根据本公开的第一方面，提供一种车体端装置，应用于多车体联结车中，以对应地 提供实际操作全周图像，该多车体联结车包括第一、第二车体部及连结部，该第一车体部的 行进方向相对于该第二车体部的行进方向具有夹角；该第一车体部包括第一联结表面、第 一、第二及第六表面，该第一表面与该第一联结表面相对，并与该第二及该第六表面相邻； 该第二车体部包括第二联结表面、第三、第四及第五表面，该第二联结表面经由该连结部与 该第一联结表面联结，该第四表面与该第二联结表面相对，并与该第三及该第五表面相邻， 该第二与该第三表面相邻，且该第五与该第六表面相邻；该第一至该第六表面分别适于配 置第一、第二、第三、第四、第五及第六图像提取单元，以分别提取第一、第二、第三、第四、第 五及第六实际操作图像，其中该第一实际操作图像与该第二及该第六实际操作图像部分重 叠、该第四实际操作图像与该第三及该第五实际操作图像部分重叠、该第二及该第三实际 操作图像部分重叠且该第五及该第六实际操作图像部分重叠。该车体端装置包括：存储单 元，用以存储角度-全周图像模型查表，其中包括N个训练角度及对应的N笔全周图像模 型，其中N为大于1的自然数；角度检测单元，用以检测该夹角并对应地提供夹角实测值； 以及处理单元，存取该角度-全周图像模型查表，以于该N个训练角度找出与该夹角实测值 近似的挑选训练角度，并于该N笔全周图像模型中找出对应的挑选全周图像模型。其中，该 处理单元还接收该第一至该第六实际操作图像，并根据该挑选全周图像模型来对该第一至 该第六实际操作图像进行处理，以找出该实际操作全周图像。
[0005] 为了对本发明的上述及其他方面有更佳的了解，下文特举优选实施例，并配合附 图，作详细说明如下：
【附图说明】
[0006] 图1绘示根据本实施例的多车体联结车的示意图。
[0007] 图2绘示根据本实施例的车体端装置的方块图。
[0008] 图3绘示根据本实施例的多车体联结车的另一示意图。
[0009] 图4绘示依照本发明实施例的全周鸟瞰图像产生方法的流程图。 [0010] 图5绘示根据本实施例的训练系统的方块图。
[0011] 图6绘示根据本实施例的可动乘载单元201的示意图。
[0012] 图7绘示根据本实施例的特征点单元203的示意图。
[0013] 图8A至图8F分别绘示第一至第六图像Imx_l'及Imx_6'的示意图。
[0014] 图9绘示第i笔特征点对照表T_i的示意图。
[0015] 图10绘示第i笔全周图像模型M_i的示意图。
[0016] 图11绘示乃均化子单元的操作的示意图。
[0017] 图12绘示依照本发明实施例的训练方法的流程图。
[0018] 图13绘示依照本发明实施例的训练方法的细部流程图。
[0019] 图14绘示依照本发明实施例的训练方法的另一细部流程图。
[0020] 图15绘示根据本发明另一实施例的车体端装置的方块图。
[0021] 图16绘示根据本发明另一实施例的训练系统的方块图。
[0022] 【主要元件符号说明】
[0023] 100 :多车体联结车
[0024] 11 :第一车体部
[0025] 13 :连结部
[0026] 15 :第二车体部
[0027] S1-S6 :表面
[0028] SC1、SC2:连结表面
[0029] D1、D2:行进方向
[0030] 1000 :车体端装置
[0031] 101_1_101_6 :图像提取单元
[0032] 103 :处理单元
[0033] 105 :角度检测单元
[0034] 107 :存储单元
[0035] 109:扭曲校正单元
[0036] 113 :显示单元
[0037] A12、A23、A34、A45、A56、A61 :重叠拍摄区域
[0038] 2000 :训练装置
[0039] 201 :可动乘载单元
[0040] 203 :特征点单元
[0041] 205:控制单元
[0042] P1-P14 :特征点
[0043] C12、C23、C34、C61 :矩形物件
[0044] C45 :三角形物件
[0045] C56 :菱形物件
[0046]lm_l至lm_6:第一至第六实际提取图像
[0047] Im_l'至Im_6'：校正后的第一至第六实际提取图像
[0048] Imx_l至Imx_6:第一至第六图像
[0049] Imx_l'至Imx_6' ：校正后的第一至第六图像
[0050] 0 r:夹角实测值
[0051] 0ts:挑选训练角度
[0052] Ms:挑选全周图像模型
[0053] lm:实际操作全周图像
[0054]al_a2、al3_al4、bl_b4、c3_c8、d5-dl0、e9_el2、m-fl4:特征点
[0055]T_i :第i笔特征点对照表
[0056] kl_kl4 :缝合区特征点
[0057]B1、B2:边界
[0058] dsl、ds2:距离
[0059]Ax_12:图像缝合区
【具体实施方式】
[0060] 本实施例的训练系统包括车体端装置及训练装置，其中车体端装置系配置于多车 体联结车上，而多车体联结车可选择性地为连结巴士、连结拖板车、连结货柜车等。
[0061] 车体端装置
[0062] 请参照图1，其绘示根据本实施例的多车体联结车的示意图。本实施例的车体端装 置1000配置于多车体联结车100上，以针对其提供全周图像，例如是全周鸟瞰图像。举例 来说，本实施例的多车体联结车100包括第一车体部11、第二车体部15及连结部13。第一 车体部11及第二车体部15例如分别为牵引动力车头（Tractor)及拖车车体（Trailer)，其 通过连结部13相互连接。第一车体部11及第二车体部15分别具有行进方向D1及D2,其 中行进方向D1相对行进方向D2具有夹角0。
[0063] 进一步的说，第一车体部11包括联结表面SC1、表面Sl、S2及S6。联结表面SCI 与连结部13相连接，而表面S1与联结表面SCI相对并实质上相互平行，连结表面与表面S2 及S6相邻并实质上相互垂直。举例来说，表面Sl、S2及S6分别为牵引动力车头的前保险 杆表面、右侧及左侧表面。第二车体部15包括联结表面SC2、表面S3、S4及S5。联结表面 SC2经由连结部13与连结表面SCI相连接，而表面S4与联结SC2表面相对并实质上相互平 行，并与表面S3及S5相邻并实质上相互垂直。举例来说，表面S3、S4及S5分别为拖车车 体的后保险杆表面、右侧及左侧表面。表面S1至S6更分别适于配置图像提取单元101_1 至 101_6。
[0064] 请参照图2,其绘示根据本实施例的车体端装置的方块图。车体端装置1000还包 括处理单元103、角度检测单元105、存储器107及显示单元113。举例来说，处理单元103、 存储单元107及显示单元113例如配置于第一车体部11中驾驶座的实体位置。图像提取 单元101_1至101_6经由多车体联结车100上的实体或无线通信连结来与处理单元103连 接。
[0065] 进一步的说，图像提取单元101_1、101_2及101_6分别配置于表面Sl、S2及S6 上，以分别提取对应的第一、第二及第六实际提取图像Iml、Im2及Im6。举例来说，图像提 取单元101_1、101_2及101_6分别配置于牵引动力车头的前保险杆上、右侧后视镜下方及 左侧后视镜下方。图像提取单元101_3、101_4及101_5分别配置于表面S3、S4及S5上，以 分别提取对应的第三、第四及第五实际提取图像Im3、Im4及Im5。举例来说，图像提取单元 101_4、101_3及101_5分别配置于拖车车体的后保险杆上、右侧车体上方及左侧车体上方。
[0066] 请参照图3,其绘示根据本实施例的多车体联结车的另一示意图。图像提取单元 101_1至101_6例如为鱼眼镜头，而对于配置于相邻表面上（例如是表面S1与S2、表面S2 与S3、表面S3与S4、表面S4与S5、表面S5与S6及表面S6与S1)的两个相邻的图像提取 单元来说，其所拍摄到的图像彼此部分重叠。以图像提取单元1〇1_1及1〇1_2拍摄到的第 一及第二实际提取图像Iml及Im2来说，其例如具有实质上大于或等于130°的水平视角 (HorizontalViewAngle)，而图像提取单元101_1及101_2分别配置于实质上相互垂直的 表面S1及S2上。据此，对于重叠拍摄区域A12中的物件来说，其将同时地被显示在图像提 取单元1〇1_1及1〇1_2提取到的第一及第二实际提取图像Iml及Im2中；换句话说，第一及 第二实际提取图像Iml及Im2具有重叠拍摄区域A12。
[0067] 基于相似的情形，第二及第三实际提取图像Im2及Im3、第三及第四实际提取图像 Im3及Im4、第四及第五实际提取图像Im4及Im5、第五及第六实际提取图像Im5及Im6与第 六及第一实际提取图像Im6及Iml亦分别地具有重叠拍摄区域A23、A34、A45、A56及A61。
[0068] 请参照图15,在其他例子中，车体端装置1000还包括扭曲校正单元109,例如配置 于第一车体部11中驾驶座的实体位置。图像提取单元1〇1_1至1〇1_6经由多车体联结车 100上的实体或无线通信连结来与扭曲校正单元109及处理单元103连接。扭曲校正单元 109接收第一至第六实际提取图像Iml至Im6,并对其进行扭曲校正；扭曲校正单元109还 将校正后的第一至第六实际提取图像Iml'至Im6'提供至处理单元103。举例来说，扭曲校 正单元109可以实体电路来实现，例如是嵌入式处理器或其他电路。在其他例子中，扭曲校 正单元109也可以软件的方式来实现，并对应地存储于计算机可读介质，例如是随机存取 存储器、只读存储器或非易失存储器中；而处理单元103以对应地存取此计算机可读介质， 以实现对应的图像扭曲校正操作。
[0069] 角度检测单元105可选择性地以光编码器（OpticalEncoder)、电位 计（Potentiometer)、旋转可变差动变压器（RotationalVariableDifference Transformer)、陀螺仪（GyroSensor)、图像式角度传感器等其中的部分或全部来实现。举 例来说，角度检测单元105配置于连结部13上，以针对第一车体部11行进方向D1相对于 第二车体部15的行进方向D2的夹角0进行检测。角度检测单元105也可经由多车体联 结车100上的实体或无线通信连结来与处理单元103连接，并提供夹角0对应的夹角实测 值Qr〇
[0070] 存储单元107存储及提供角度-全周图像模型查表，其中记录N个训练角度 0t_l、0t_2、…、0t_N及对应的N笔全周图像模型11、]?_2、…、M_N，其中N为大于1 的自然数，且N个训练角度0t_l至0t_N例如涵盖夹角0可能的数值范围。举例来说， 夹角9介于-90° (例如为第一车体部11向左转90° )至+90° (例如为第一车体部11 向右转90° )的数值范围，其中N例如等于37,而训练角度0t_l至0t_N对应地以5°为 步阶单位，涵盖-90°、-85°、-80°、、0°、+5°、+10°、...、+90° 的数值范围。
[0071] 处理单元103接收夹角实测值0r，并据以存取存储单元107,以于N个训练角度 0t_l至0t_N中找出与夹角实测值0r近似的挑选训练角度0ts及与其对应的挑选全周 图像模型Ms。举一个例子来说，夹角实测值0r等于3°，而处理单元103以训练角度0t_l 至0t_N(例如分别对应至实体角度-90°、-85°、…、+90° )中与夹角实测值0r最接 近的第36个训练角度0t_36(例如是5° )作为挑选训练角度0ts，并以对应的第36笔 全周图像模型M_36作为挑选全周图像模型Ms。
[0072] 处理单元103还接收扭曲校正后的第一至第六实际提取图像Iml'至Im6'，并根据 挑选全周图像模型Ms来对该第一至第六实际提取图像Iml'至Im6'进行处理，以找出多车 体联结车100的实际操作全周图像Im ;处理单元103还将实际操作全周图像Im提供至显 示单元113,以驱动其显示实际操作全周图像Im。据此，应由参考实际操作全周图像Im，多 车体联结车100的驾驶人可更有效率地掌握多车体联结车100与其周围环境的关系信息。
[0073] 请参照图4,其绘示依照本发明实施例的全周鸟瞰图像产生方法的流程图。举例 来说，本实施例的全周鸟瞰图像产生方法被应用于车体端装置1000中，其对应地应用于多 车体联结车100上；本实施例的全周鸟瞰图像产生方法例如包括下列的步骤。首先如步骤 (a)，应用存储单元107提供角度-全周图像模型查表，其中包括N个训练角度0t_l至0t_ N及对应的N笔全周图像模型M_1至M_N。接着如步骤（b)，应用角度检测单元105检测第 一车体部11及第二车体部15对应的行径方向D1与D2间的夹角0，并对应地提供夹角实 测值9r。
[0074] 然后如步骤（c)，应用处理单元103来存取此角度-全周图像模型查表，以于N个 训练角度9t_l至0t_N找出与夹角实测值0 1最相近的挑选训练角度0ts，并于N笔全 周图像模型M_1至M_N找出对应的挑选全周图像模型Ms。接着如步骤（d)，经由配置于表 面S1至S6上的图像提取单元101_1至101_6来分别提取第一至第六实际操作图像Iml至 Im6,其中任一个实际操作图像Iml至Im6与其相邻的另一个实际操作图像部分重叠。
[0075] 之后如步骤（e)，应用处理单元103根据挑选全周图像模型Ms来对第一至第六实 际操作图像Iml至Im6进行处理，以找出实际操作全周图像Im。
[0076] 举例来说，本实施例的全周鸟瞰图像产生方法在步骤（d)及（e)之间还包括步骤 (f)，应用扭曲校正单元109来针对第一至第六实际操作图像Iml至Im6进行扭曲校正，并 将校正后的第一至第六实际操作图像Iml'至Im6'提供至处理单元103。换句话说，本实施 例的全周鸟瞰图像产生方法在步骤（e)中是根据挑选全周图像模型Ms来对校正后的第一 至第六实际操作图像Iml'至Im6'进行处理。
[0077] 综合以上，本实施例的多车体联结车可根据参考角度检测单元来检测其第一及第 二车体部对应的夹角实测值；根据夹角实测值来查询其既有的角度-全周图像模型查表， 以对应地找出与夹角实测值接近的既有训练角度及对应的选取全周图像模型；及经由配置 于其车体周围的六个表面上的六个图像提取单元，来对应地提取六笔图像。本实施例的多 车体联结车更根据此六笔图像及此选取全周图像模型，来找出对应至多车体联结车的实际 操作全周图像。据此，相较于传统行车辅助工具，本实施例的多车体联结车具有可有效地针 对多车体联结车提供全周图像的优点。
[0078] 训练装置
[0079] 举例来说，本实施例的车体端装置1000所应用的角度-全周图像模型查表由训练 装置所提供，其中训练装置在训练阶段中，与多车体联结车100相连接，以针对其进行相关 的训练，进而建立此角度-全周图像模型查表。接下来针对本实施例的训练装置做进一步 的说明。
[0080] 本实施例的训练装置2000例如包括可动乘载单元201、特征点单元203及控制单 元205,其中可动乘载单元201与特征点单元203分别与控制单元205电性连接。控制单元 205作为训练装置2000的主控元件，以在训练阶段中对应地与车体端装置1000连接，其中 控制单元205与 车体端装置1000的连接关系可如图5所示。
[0081] 控制单元205更对应地用以决定N个训练角度0t_l至0t_N，并据以驱动可动乘 载单元201移动多车体联结车100中第一车体部11及第二车体部15其中之一，以对应地 调整夹角9,并使得夹角9可选择性地对应至N个训练角度0t_l至0t_N中的第i个训 练角度9t_i，其中i为小于或等于N的自然数。举一个操作实例来说，可动乘载单元201 用以乘载第一车体部11，并可使第一车体部11以连结部13为轴心左右旋转，进而对应地针 对夹角9进行调整，如图6所示。
[0082] 特征点单元203用以在夹角0实质上等于第i个训练角度0t_i时，针对图像 提取单元1〇1_1至1〇1_6对应的第一至第六提取图像中，任两个相邻图像的重叠拍摄区域 (例如是重叠拍摄区域412、423、434、445、456及八61)提供至少一个特征点，使得此第一至 第六提取图像中，任两个相邻图像分别对应地显示与此特征点对应的第一特征点及第二特 征点。
[0083] 举例来说，特征点单元203用以根据平铺于多车体联结车100周围地面上的多个 几何图形，提供特征点，如图7表示。以重叠拍摄区域A12来说，特征点单元203于其中提供 矩形物件C12,而其中矩形特征点物件C12的端点，将对应地形成特征点P1及P2。相似地， 特征点单元203亦对应地于重叠拍摄区域A23、A34、A45、A56及A61中提供矩形物件C23、 矩形物件C34、三角形物件C45、菱形物件C56及矩形物件C61，而其对应的端点亦对应地形 成对应重叠拍摄区域中的特征点P3、P4、P5、…、P14。
[0084] 在可动乘载单元201使夹角0实质上等于第i个训练角度0t_i且特征点单元 203对应地针对各重叠拍摄区域A12至A61提供特征点P1至P14后，控制单元205通过图 像提取单元1〇1_1至1〇1_6,以对应地提取第一至第六图像Imx_l至Imx_6,其中各第一至 第六图像Imx_l至Imx_6中任两个相邻的图像分别对应地显示第一特征点及第二特征点。
[0085] 请参照图16,在其他例子中，车体端装置1000还包括扭曲校正单元109,电性连接 图像提取单元1〇]_1至1〇1_6以及控制单元205,其中第一至第六图像Imx_l至Imx_6经由 扭曲校正单元109对应地产生校正后的第一至第六图像111?_1'至Imx_6'，并被提供至控制 单元205。在其他例子中，扭曲校正单元109也可以软件的方式来实现，并对应地存储于计 算机可读介质，例如是随取存储器、只读存储器或非挥发存储器中；而车体端装置1〇〇〇的 处理单元103以对应地存取此计算机可读介质，以实现对应的图像扭曲校正操作；此时校 正后的第一至第六图像Imx_l'至Imx_6'则是经由处理单元103被提供至控制单元205。
[0086] 请参照图8A及图8B，其分别绘示第一及第二图像Imx_Hlmx_2'的示意图。以 图像提取单元1〇1_1及1〇1_2对应产生的第一及第二图像及Imx_2'的情形来说， 第一图像包括图像物件P1_C12,其例如为图像提取单元101_1针对矩型特征点物件 C12所拍摄到的图像内容，其中图像物件P1_C12包括分别与特征点P1及P2对应的第一组 特征点al及a2。相似地，第二图像Imx_2'包括图像物件P2_C12,其例如为图像提取单元 101_2针对矩型特征点物件C12所拍摄到的图像内容，其中图像物件P2_C12包括分别与特 征点P1及P2对应的第二组特征点bl及b2。与第一及第二图像111^_1'至Imx_2'相似地， 第三至第六图像Imx_3'至Imx_6'分别如图8C至图8F所示，在此将不再对其进行赘述。
[0087] 控制单元205接收第一至第六图像Imx_l'至Imx_6'，且通过特征点单元203针 对任两个相邻图像的重叠拍摄区域提供至少一个特征点，使得第一至第六图像至 Imx_6'中任两个相邻图像分别对应地显示一第一特征点及一第二特征点；控制单元205并 分别记录其中任两个相邻图像中的两组特征点的坐标值，并将此两组坐标值记录为对应至 第i个训练角度9t_i的第i笔特征点对照表T_i。以相邻的第一及第二图像及 Imx_2'的情况来说，控制单元205记录第一图像中对应至特征点P1及P2的第一 组特征点al及a2的坐标值（Xpyj及（x/，yj及第二图像Imx_2'中对应至特征点P1及 P2的第二组特征点bl及b2的坐标值（x2，y2)及（x2，y2'）于第i笔特征点对照表T_i中。
[0088] 相似地，第二图像Imx_2'与第三图像Imx_3'中对应的特征点b3至b4与c3至c4、 第三图像Imx_3'与第四图像Imx_4'中对应的特征点c5至c8与d5至d8、第四图像Imx_4' 与第五图像Imx_5'中对应的特征点d9、dl0与e9、el0、第五图像Imx_5'与第六图像Imx_6' 中对应的特征点ell、el2与fll、fl2及第六图像Imx_6'与第一图像中对应的特征 点f13、f14与al3、al4的坐标值亦对应地被存储于第i笔特征点对照表T_i中，而第i笔 特征点对照表T_i例如具有如图9所示的数据结构。
[0089] 控制单元205还根据第i笔特征点对照表T_i建立第i笔全周图像模型M_i，藉 此完成针对第i个训练角度0t_i的训练操作。举例来说，全周图像模型M_i可如图10所 示，其中缝合区特征点kl及k2分别为其中对应至特征点P1及P2的显示图像，相似地，缝 合区特征点k3、k4、…、kl3及kl4分别为其中对应至特征点P3、P4、…、P13及P14的显 示图像。
[0090] 举例来说，控制单元205包括均化子单元，其参考第i笔全周图像模型M_i中与第 一及第二特征点对应的缝合区特征点的位置信息，来找出权重参数W1及W2。此均化子单元 更根据两笔权重参数W1及W2来针对此第一及此第二特征点进行图像均化，以找出此缝合 区特征点的像素数据，据此完成图像均化操作。
[0091] 接下来，以此均化子单元针对缝合区特征点kl进行均化的操作为例，来针对此均 化子单元的操作做进一步的说明。请参照图11，其绘示乃均化子单元操作的示意图。第i 笔全周图像模型M_i由第一至第六笔图像Imx_r至Imx_6'所而成，而对于第一至第六笔 图像11^_1'至1!^_6'中任两笔相邻的图像来说，其可相互交迭出图像缝合区。以第一及 第二笔图像&ImX_2'来说，其交迭出图像缝合区Ax_12,其中图像缝合区Ax_12例 如对应地具有边界B1及B2,分别由第一及第二图像Imx_l'及Imx_2'所决定。
[0092] 此均化子单元找出缝合区特征点kl与边界B1的距离dsl及缝合区特征点kl与边 界B2的距离ds2,并据以决定权重参数W1及W2。举例来说，权重参数W1及W2分别满足：
[0095] 此均化子单元还根据下列方程式，来参考权重参数W1及W2对第一及第二特征点， 即是特征点al及bl，进行权重相加，并据以决定缝合区特征点kl的像素值：
[0096]kl=WlXal+W2Xbl
[0097] 基于相似的操作，此均化子单元还针对第i笔全周图像模型M_i中的各笔缝合区 特征点k2-kl4执行实质上相同的均化操作，藉此完成建立第i笔全周图像模型M_i的操 作。
[0098] 在找出与第i个训练角度0t_i对应的全周图像模型M_i后，控制单元205更调整 参数i，以在此训练阶段中，针对所有的N个训练角度0t_l至0t_N分别找出对应的N笔 全周图像模型M_1至11_1并将其提供至车体端装置1000,并对应地存储在车体端装置1000 的存储单元107中。在其他例子中，控制单元205与存储单元107电性连接，以将全周图像 模型M_i存储在存储单元107中。
[0099] 举一个操作实例来说，控制单元205设定参数i具有起始数值1 ;而控制单元205 更在对应至第i个训练角度0t_i的训练操作完成后，判断参数i是否等于N;如果是，表 示训练装置2000已针对所有的N笔训练角度0t_l至0t_N完成对应的训练操作。
[0100] 相对地，当i不等于N时表示训练装置2000尚未完成针对所有的N笔训练角度 0t_l至0t_N的训练操作。据此，控制单元205将i递增1，并驱动训练装置2000针对下 一个训练角度进行训练操作。
[0101] 请参照图1 2,其绘示依照本发明实施例的训练方法的流程图。举例来说，本实施例 的训练方法被应用于包括车体端装置1000及训练装置2000的训练系统中；本实施例的训 练方法例如包括下列的步骤。首先如步骤（A)，提供多车体联结车100。接着如步骤（B)，控 制单元205决定N个训练角度0t_l至0t_N，并应用可动乘载单元201移动第一车体部11 及第二车体部15其中之一以调整夹角0，使得夹角0对应至N个训练角度0t_l至0t_ N中的第i个训练角度0t_i。
[0102] 然后如步骤（C)，在其中控制单元205经由配置于第一至第六表面S1至S6上的 图像提取单元1〇1_1至1〇1_6来分别提取第一至第六图像Imx_l至Imx_6,并经由扭曲校 正单元109校正得到校正后的第一至第六图像111?_1'至Imx_6'。接着如步骤（D)，当夹角 0对应至第i个训练角度9t_i时，应用特征点单元203来针对第一至第六图像111?_1'至 Imx_6'中任两个图像的重叠拍摄区域A12至A61提供至少一个特征点，使得第一至第六图 像至Imx_6'中任两个图像分别对应地显示第一及第二特征点，例如是特征点al及 bl〇
[0103] 然后如步骤（E)，控制单元205记录第一及第二特征点在此任两个图像中的两组 坐标值，以针对第i个训练角度9t_i建立第i笔特征点对照表T_i。接着如步骤（F)，控 制单元205根据第i笔特征点对照表T_i建立第i笔全周图像模型M_i。之后如步骤（G)， 控制单元205调整参数i，并重复执行步骤（C)-(F)以对应至N个训练角度0t_l至0t_N 分别找出N笔全周图像模型M_1至M_N。
[0104] 请参照图13,其绘示依照本发明实施例的训练方法的部分流程图。举例来说，训练 方法中的步骤（F)包括子步骤（F1)至（F3)。进一步的说，步骤（F)首先包括步骤（F1)，控 制单元205中的均化子单元找出第i笔全周图像模型M_i中与第一及第二特征点（例如是 特征点al及bl)对应的缝合区特征点（例如是缝合区特征点kl)的位置信息。接着如步 骤（F2)，此均化子单元根据缝合区特征点的位置信息来找出权重参数W1及W2。
[0105] 之后如步骤（F3)，此均化子单元根据权重参数W1及W2来针对此第一及此第二特 征点进行图像均化，以对应至第i个训练角度0t_i建立第i笔全周图像模型M_i。
[0106] 请参照图14,其绘示依照本发明实施例的训练方法的部分流程图。举例来说，控 制单元205设定参数i具有起始数值1，而训练方法的步骤（G)包括子步骤（G1)至（G3)。 首先如步骤（G1)，控制单元205在步骤（F)之后，判断参数i是否等于N;如果是，则执行步 骤（G2)，以将N笔全周图像模型M_1至M_N输出至车体端装置1000,并对应地终止本实施 例的训练方法。相对地，当i不等于N时执行步骤（G3)，控制单元205将i递增1，之后重 复执行步骤（C)，以针对下一个训练角度进行训练操作。
[0107] 在本实施例中，虽仅以特征点单元203针对各重叠拍摄区域A12、A23、A34、A45、 A56及A61提供特征点物件的情形做说明，然而，本实施例的特征点单元203并不局限于此。 举例来说，本实施例的特征点单元203更针对非重叠拍摄区域提供不同的特征点物件，以 利相对应的扭曲校正操作的进行。
[0108] 本实施例的车体端装置可根据参考角度检测单元来检测其的第一及第二车体部 对应的夹角实测值；根据夹角实测值来查询其既有的角度-全周图像模型查表，以对应地 找出与夹角实测值接近的既有训练角度及对应的选取全周图像模型；及经由配置于其车体 周围的六个表面上的六个图像提取单元，来对应地提取六笔图像。本实施例的车体端装置 更根据此六笔图像及此选取全周图像模型，来找出对应至多车体联结车的实际操作全周图 像。据此，相较于传统行车辅助工具，本实施例的车体端装置具有可有效地针对多车体联结 车提供全周图像的优点。
[0109] 此外，本实施例的训练装置可在训练阶段中，经由可动乘载单元来调整多车体联 结车的两个车体间的夹角，使其对应地对应至N笔预设训练角度中的第i笔预设训练角度， 其中i为小于或等于N的自然数。本实施例的训练装置更可应用特征点单元，来针对六笔 图像中任两个图像的重叠拍摄区域提供特征点，并根据此两个图像中与此特征点对应的两 笔特征点，建立对应至第i个预设训练角度的第i笔特征点对照表。本实施例的训练装置 更可调整参数i，来针对所有的N笔预设训练角度建立对应的N笔全周图像模型，并将其提 供至车体端装置中。据此，本实施例的训练装置更具有可有效地经由训练操作，来建立与N 个不同的预设角度对应的N笔全周图像模型，藉此使对应的车体端装置可根据此N笔记全 周图像模型实现对应的全周鸟瞰图像产生操作。
[0110] 综上所述，虽然本发明已以优选实施例公开如上，然其并非用以限定本发明。本发 明所属领域技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此， 本发明的保护范围当视所附权利要求书所界定者为准。
【主权项】
1. 一种车体端装置，应用于多车体联结车中，以对应地提供实际操作全周图像，该多车 体联结车包括第一、第二车体部及连结部，该第一车体部的行进方向相对于该第二车体部 的行进方向具有夹角；该第一车体部包括第一联结表面、第一、第二及第六表面，该第一表 面与该第一联结表面相对，并与该第二及该第六表面相邻；该第二车体部包括第二联结表 面、第三、第四及第五表面，该第二联结表面经由该连结部与该第一联结表面联结，该第四 表面与该第二联结表面相对，并与该第三及该第五表面相邻，该第二与该第三表面相邻，且 该第五与该第六表面相邻；该第一至该第六表面分别适于配置第一、第二、第三、第四、第五 及第六图像提取单元，以分别提取第一、第二、第三、第四、第五及第六实际操作图像，其中 该第一实际操作图像与该第二及该第六实际操作图像部分重叠、该第四实际操作图像与该 第三及该第五实际操作图像部分重叠、该第二及该第三实际操作图像部分重叠且该第五及 该第六实际操作图像部分重叠；该车体端装置包括： 存储单元，用以存储角度-全周图像模型查表，其中包括N个训练角度及对应的N笔全 周图像模型，其中N为大于1的自然数； 角度检测单元，用以检测该夹角并对应地提供夹角实测值；以及 处理单元，存取该角度-全周图像模型查表，以于该N个训练角度找出与该夹角实测值 近似的挑选训练角度，并于该N笔全周图像模型中找出对应的挑选全周图像模型； 其中，该处理单元还接收该第一至该第六实际操作图像，并根据该挑选全周图像模型 来对该第一至该第六实际操作图像进行处理，以找出该实际操作全周图像。2. 如权利要求1所述的车体端装置，还包括： 显示单元，用以接收并显示该实际操作全周图像。3. 如权利要求1所述的车体端装置，还包括： 扭曲校正单元，用以针对该第一至该第六实际操作图像进行扭曲校正，并将校正后的 该第一至该第六实际操作图像提供至该处理单元； 其中，该处理单元系根据该挑选全周图像模型来对校正后的该第一至该第六实际操作 图像进行处理，以找出并驱动该显示单元显示该实际操作全周图像。
【专利摘要】一种车体端装置，应用于多车体联结车中，该多车体联结车的第一车体部的行进方向相对第二车体部的行进方向具有夹角。第一车体部配置第一、第二、第三、第四、第五及第六图像提取单元，以提取第一、第二、第三、第四、第五及第六实际操作图像。车体端装置包括：存储单元，用以存储角度-全周图像模型查表，其中包括N个训练角度及对应的N笔全周图像模型；角度检测单元，用以检测夹角并对应提供夹角实测值；处理单元，存取角度-全周图像模型查表，以于N个训练角度找出与夹角实测值近似的挑选训练角度，并于N笔全周图像模型中找出对应的挑选全周图像模型，以及根据挑选全周图像模型来对第一至第六实际操作图像进行处理，以找出实际操作全周图像。
【IPC分类】G09B9/04, G06T7/00
【公开号】CN104900110
【申请号】CN201510314180
【发明人】林昱成, 林哲聪, 杜明仁, 刘丽芬, 沈信良
【申请人】财团法人工业技术研究院
【公开日】2015年9月9日
【申请日】2012年7月12日
【公告号】CN103310673A, CN103310673B, US9082315, US20130236858
【专利说明】
[0001] 本申请是申请日为2012年7月12日、申请号为201210242096. 3、发明名称为"全 周鸟瞰图像产生方法及其训练方法及训练装置"的发明专利申请的分案申请。
技术领域
[0002] 本发明涉及一种车体端装置。
【背景技术】
[0003] 在科技发展日新月异的现今时代中，多种行车辅助工具系已被开发出来，以提升 道路使用上的安全性。举例来说，一般来说，多车体联结车因其特殊的联结式车体结构，使 得驾驶者往往需面临多车体联结车回转内轮差较大及视线死角较多的情形。据此，如何针 对多车体联结车提供合适的行车辅助工具，以增进多车体联结车的驾驶困难度及行车安全 性，为业界不断致力的方向之一。
【发明内容】
[0004] 根据本公开的第一方面，提供一种车体端装置，应用于多车体联结车中，以对应地 提供实际操作全周图像，该多车体联结车包括第一、第二车体部及连结部，该第一车体部的 行进方向相对于该第二车体部的行进方向具有夹角；该第一车体部包括第一联结表面、第 一、第二及第六表面，该第一表面与该第一联结表面相对，并与该第二及该第六表面相邻； 该第二车体部包括第二联结表面、第三、第四及第五表面，该第二联结表面经由该连结部与 该第一联结表面联结，该第四表面与该第二联结表面相对，并与该第三及该第五表面相邻， 该第二与该第三表面相邻，且该第五与该第六表面相邻；该第一至该第六表面分别适于配 置第一、第二、第三、第四、第五及第六图像提取单元，以分别提取第一、第二、第三、第四、第 五及第六实际操作图像，其中该第一实际操作图像与该第二及该第六实际操作图像部分重 叠、该第四实际操作图像与该第三及该第五实际操作图像部分重叠、该第二及该第三实际 操作图像部分重叠且该第五及该第六实际操作图像部分重叠。该车体端装置包括：存储单 元，用以存储角度-全周图像模型查表，其中包括N个训练角度及对应的N笔全周图像模 型，其中N为大于1的自然数；角度检测单元，用以检测该夹角并对应地提供夹角实测值； 以及处理单元，存取该角度-全周图像模型查表，以于该N个训练角度找出与该夹角实测值 近似的挑选训练角度，并于该N笔全周图像模型中找出对应的挑选全周图像模型。其中，该 处理单元还接收该第一至该第六实际操作图像，并根据该挑选全周图像模型来对该第一至 该第六实际操作图像进行处理，以找出该实际操作全周图像。
[0005] 为了对本发明的上述及其他方面有更佳的了解，下文特举优选实施例，并配合附 图，作详细说明如下：
【附图说明】
[0006] 图1绘示根据本实施例的多车体联结车的示意图。
[0007] 图2绘示根据本实施例的车体端装置的方块图。
[0008] 图3绘示根据本实施例的多车体联结车的另一示意图。
[0009] 图4绘示依照本发明实施例的全周鸟瞰图像产生方法的流程图。 [0010] 图5绘示根据本实施例的训练系统的方块图。
[0011] 图6绘示根据本实施例的可动乘载单元201的示意图。
[0012] 图7绘示根据本实施例的特征点单元203的示意图。
[0013] 图8A至图8F分别绘示第一至第六图像Imx_l'及Imx_6'的示意图。
[0014] 图9绘示第i笔特征点对照表T_i的示意图。
[0015] 图10绘示第i笔全周图像模型M_i的示意图。
[0016] 图11绘示乃均化子单元的操作的示意图。
[0017] 图12绘示依照本发明实施例的训练方法的流程图。
[0018] 图13绘示依照本发明实施例的训练方法的细部流程图。
[0019] 图14绘示依照本发明实施例的训练方法的另一细部流程图。
[0020] 图15绘示根据本发明另一实施例的车体端装置的方块图。
[0021] 图16绘示根据本发明另一实施例的训练系统的方块图。
[0022] 【主要元件符号说明】
[0023] 100 :多车体联结车
[0024] 11 :第一车体部
[0025] 13 :连结部
[0026] 15 :第二车体部
[0027] S1-S6 :表面
[0028] SC1、SC2:连结表面
[0029] D1、D2:行进方向
[0030] 1000 :车体端装置
[0031] 101_1_101_6 :图像提取单元
[0032] 103 :处理单元
[0033] 105 :角度检测单元
[0034] 107 :存储单元
[0035] 109:扭曲校正单元
[0036] 113 :显示单元
[0037] A12、A23、A34、A45、A56、A61 :重叠拍摄区域
[0038] 2000 :训练装置
[0039] 201 :可动乘载单元
[0040] 203 :特征点单元
[0041] 205:控制单元
[0042] P1-P14 :特征点
[0043] C12、C23、C34、C61 :矩形物件
[0044] C45 :三角形物件
[0045] C56 :菱形物件
[0046]lm_l至lm_6:第一至第六实际提取图像
[0047] Im_l'至Im_6'：校正后的第一至第六实际提取图像
[0048] Imx_l至Imx_6:第一至第六图像
[0049] Imx_l'至Imx_6' ：校正后的第一至第六图像
[0050] 0 r:夹角实测值
[0051] 0ts:挑选训练角度
[0052] Ms:挑选全周图像模型
[0053] lm:实际操作全周图像
[0054]al_a2、al3_al4、bl_b4、c3_c8、d5-dl0、e9_el2、m-fl4:特征点
[0055]T_i :第i笔特征点对照表
[0056] kl_kl4 :缝合区特征点
[0057]B1、B2:边界
[0058] dsl、ds2:距离
[0059]Ax_12:图像缝合区
【具体实施方式】
[0060] 本实施例的训练系统包括车体端装置及训练装置，其中车体端装置系配置于多车 体联结车上，而多车体联结车可选择性地为连结巴士、连结拖板车、连结货柜车等。
[0061] 车体端装置
[0062] 请参照图1，其绘示根据本实施例的多车体联结车的示意图。本实施例的车体端装 置1000配置于多车体联结车100上，以针对其提供全周图像，例如是全周鸟瞰图像。举例 来说，本实施例的多车体联结车100包括第一车体部11、第二车体部15及连结部13。第一 车体部11及第二车体部15例如分别为牵引动力车头（Tractor)及拖车车体（Trailer)，其 通过连结部13相互连接。第一车体部11及第二车体部15分别具有行进方向D1及D2,其 中行进方向D1相对行进方向D2具有夹角0。
[0063] 进一步的说，第一车体部11包括联结表面SC1、表面Sl、S2及S6。联结表面SCI 与连结部13相连接，而表面S1与联结表面SCI相对并实质上相互平行，连结表面与表面S2 及S6相邻并实质上相互垂直。举例来说，表面Sl、S2及S6分别为牵引动力车头的前保险 杆表面、右侧及左侧表面。第二车体部15包括联结表面SC2、表面S3、S4及S5。联结表面 SC2经由连结部13与连结表面SCI相连接，而表面S4与联结SC2表面相对并实质上相互平 行，并与表面S3及S5相邻并实质上相互垂直。举例来说，表面S3、S4及S5分别为拖车车 体的后保险杆表面、右侧及左侧表面。表面S1至S6更分别适于配置图像提取单元101_1 至 101_6。
[0064] 请参照图2,其绘示根据本实施例的车体端装置的方块图。车体端装置1000还包 括处理单元103、角度检测单元105、存储器107及显示单元113。举例来说，处理单元103、 存储单元107及显示单元113例如配置于第一车体部11中驾驶座的实体位置。图像提取 单元101_1至101_6经由多车体联结车100上的实体或无线通信连结来与处理单元103连 接。
[0065] 进一步的说，图像提取单元101_1、101_2及101_6分别配置于表面Sl、S2及S6 上，以分别提取对应的第一、第二及第六实际提取图像Iml、Im2及Im6。举例来说，图像提 取单元101_1、101_2及101_6分别配置于牵引动力车头的前保险杆上、右侧后视镜下方及 左侧后视镜下方。图像提取单元101_3、101_4及101_5分别配置于表面S3、S4及S5上，以 分别提取对应的第三、第四及第五实际提取图像Im3、Im4及Im5。举例来说，图像提取单元 101_4、101_3及101_5分别配置于拖车车体的后保险杆上、右侧车体上方及左侧车体上方。
[0066] 请参照图3,其绘示根据本实施例的多车体联结车的另一示意图。图像提取单元 101_1至101_6例如为鱼眼镜头，而对于配置于相邻表面上（例如是表面S1与S2、表面S2 与S3、表面S3与S4、表面S4与S5、表面S5与S6及表面S6与S1)的两个相邻的图像提取 单元来说，其所拍摄到的图像彼此部分重叠。以图像提取单元1〇1_1及1〇1_2拍摄到的第 一及第二实际提取图像Iml及Im2来说，其例如具有实质上大于或等于130°的水平视角 (HorizontalViewAngle)，而图像提取单元101_1及101_2分别配置于实质上相互垂直的 表面S1及S2上。据此，对于重叠拍摄区域A12中的物件来说，其将同时地被显示在图像提 取单元1〇1_1及1〇1_2提取到的第一及第二实际提取图像Iml及Im2中；换句话说，第一及 第二实际提取图像Iml及Im2具有重叠拍摄区域A12。
[0067] 基于相似的情形，第二及第三实际提取图像Im2及Im3、第三及第四实际提取图像 Im3及Im4、第四及第五实际提取图像Im4及Im5、第五及第六实际提取图像Im5及Im6与第 六及第一实际提取图像Im6及Iml亦分别地具有重叠拍摄区域A23、A34、A45、A56及A61。
[0068] 请参照图15,在其他例子中，车体端装置1000还包括扭曲校正单元109,例如配置 于第一车体部11中驾驶座的实体位置。图像提取单元1〇1_1至1〇1_6经由多车体联结车 100上的实体或无线通信连结来与扭曲校正单元109及处理单元103连接。扭曲校正单元 109接收第一至第六实际提取图像Iml至Im6,并对其进行扭曲校正；扭曲校正单元109还 将校正后的第一至第六实际提取图像Iml'至Im6'提供至处理单元103。举例来说，扭曲校 正单元109可以实体电路来实现，例如是嵌入式处理器或其他电路。在其他例子中，扭曲校 正单元109也可以软件的方式来实现，并对应地存储于计算机可读介质，例如是随机存取 存储器、只读存储器或非易失存储器中；而处理单元103以对应地存取此计算机可读介质， 以实现对应的图像扭曲校正操作。
[0069] 角度检测单元105可选择性地以光编码器（OpticalEncoder)、电位 计（Potentiometer)、旋转可变差动变压器（RotationalVariableDifference Transformer)、陀螺仪（GyroSensor)、图像式角度传感器等其中的部分或全部来实现。举 例来说，角度检测单元105配置于连结部13上，以针对第一车体部11行进方向D1相对于 第二车体部15的行进方向D2的夹角0进行检测。角度检测单元105也可经由多车体联 结车100上的实体或无线通信连结来与处理单元103连接，并提供夹角0对应的夹角实测 值Qr〇
[0070] 存储单元107存储及提供角度-全周图像模型查表，其中记录N个训练角度 0t_l、0t_2、…、0t_N及对应的N笔全周图像模型11、]?_2、…、M_N，其中N为大于1 的自然数，且N个训练角度0t_l至0t_N例如涵盖夹角0可能的数值范围。举例来说， 夹角9介于-90° (例如为第一车体部11向左转90° )至+90° (例如为第一车体部11 向右转90° )的数值范围，其中N例如等于37,而训练角度0t_l至0t_N对应地以5°为 步阶单位，涵盖-90°、-85°、-80°、、0°、+5°、+10°、...、+90° 的数值范围。
[0071] 处理单元103接收夹角实测值0r，并据以存取存储单元107,以于N个训练角度 0t_l至0t_N中找出与夹角实测值0r近似的挑选训练角度0ts及与其对应的挑选全周 图像模型Ms。举一个例子来说，夹角实测值0r等于3°，而处理单元103以训练角度0t_l 至0t_N(例如分别对应至实体角度-90°、-85°、…、+90° )中与夹角实测值0r最接 近的第36个训练角度0t_36(例如是5° )作为挑选训练角度0ts，并以对应的第36笔 全周图像模型M_36作为挑选全周图像模型Ms。
[0072] 处理单元103还接收扭曲校正后的第一至第六实际提取图像Iml'至Im6'，并根据 挑选全周图像模型Ms来对该第一至第六实际提取图像Iml'至Im6'进行处理，以找出多车 体联结车100的实际操作全周图像Im ;处理单元103还将实际操作全周图像Im提供至显 示单元113,以驱动其显示实际操作全周图像Im。据此，应由参考实际操作全周图像Im，多 车体联结车100的驾驶人可更有效率地掌握多车体联结车100与其周围环境的关系信息。
[0073] 请参照图4,其绘示依照本发明实施例的全周鸟瞰图像产生方法的流程图。举例 来说，本实施例的全周鸟瞰图像产生方法被应用于车体端装置1000中，其对应地应用于多 车体联结车100上；本实施例的全周鸟瞰图像产生方法例如包括下列的步骤。首先如步骤 (a)，应用存储单元107提供角度-全周图像模型查表，其中包括N个训练角度0t_l至0t_ N及对应的N笔全周图像模型M_1至M_N。接着如步骤（b)，应用角度检测单元105检测第 一车体部11及第二车体部15对应的行径方向D1与D2间的夹角0，并对应地提供夹角实 测值9r。
[0074] 然后如步骤（c)，应用处理单元103来存取此角度-全周图像模型查表，以于N个 训练角度9t_l至0t_N找出与夹角实测值0 1最相近的挑选训练角度0ts，并于N笔全 周图像模型M_1至M_N找出对应的挑选全周图像模型Ms。接着如步骤（d)，经由配置于表 面S1至S6上的图像提取单元101_1至101_6来分别提取第一至第六实际操作图像Iml至 Im6,其中任一个实际操作图像Iml至Im6与其相邻的另一个实际操作图像部分重叠。
[0075] 之后如步骤（e)，应用处理单元103根据挑选全周图像模型Ms来对第一至第六实 际操作图像Iml至Im6进行处理，以找出实际操作全周图像Im。
[0076] 举例来说，本实施例的全周鸟瞰图像产生方法在步骤（d)及（e)之间还包括步骤 (f)，应用扭曲校正单元109来针对第一至第六实际操作图像Iml至Im6进行扭曲校正，并 将校正后的第一至第六实际操作图像Iml'至Im6'提供至处理单元103。换句话说，本实施 例的全周鸟瞰图像产生方法在步骤（e)中是根据挑选全周图像模型Ms来对校正后的第一 至第六实际操作图像Iml'至Im6'进行处理。
[0077] 综合以上，本实施例的多车体联结车可根据参考角度检测单元来检测其第一及第 二车体部对应的夹角实测值；根据夹角实测值来查询其既有的角度-全周图像模型查表， 以对应地找出与夹角实测值接近的既有训练角度及对应的选取全周图像模型；及经由配置 于其车体周围的六个表面上的六个图像提取单元，来对应地提取六笔图像。本实施例的多 车体联结车更根据此六笔图像及此选取全周图像模型，来找出对应至多车体联结车的实际 操作全周图像。据此，相较于传统行车辅助工具，本实施例的多车体联结车具有可有效地针 对多车体联结车提供全周图像的优点。
[0078] 训练装置
[0079] 举例来说，本实施例的车体端装置1000所应用的角度-全周图像模型查表由训练 装置所提供，其中训练装置在训练阶段中，与多车体联结车100相连接，以针对其进行相关 的训练，进而建立此角度-全周图像模型查表。接下来针对本实施例的训练装置做进一步 的说明。
[0080] 本实施例的训练装置2000例如包括可动乘载单元201、特征点单元203及控制单 元205,其中可动乘载单元201与特征点单元203分别与控制单元205电性连接。控制单元 205作为训练装置2000的主控元件，以在训练阶段中对应地与车体端装置1000连接，其中 控制单元205与 车体端装置1000的连接关系可如图5所示。
[0081] 控制单元205更对应地用以决定N个训练角度0t_l至0t_N，并据以驱动可动乘 载单元201移动多车体联结车100中第一车体部11及第二车体部15其中之一，以对应地 调整夹角9,并使得夹角9可选择性地对应至N个训练角度0t_l至0t_N中的第i个训 练角度9t_i，其中i为小于或等于N的自然数。举一个操作实例来说，可动乘载单元201 用以乘载第一车体部11，并可使第一车体部11以连结部13为轴心左右旋转，进而对应地针 对夹角9进行调整，如图6所示。
[0082] 特征点单元203用以在夹角0实质上等于第i个训练角度0t_i时，针对图像 提取单元1〇1_1至1〇1_6对应的第一至第六提取图像中，任两个相邻图像的重叠拍摄区域 (例如是重叠拍摄区域412、423、434、445、456及八61)提供至少一个特征点，使得此第一至 第六提取图像中，任两个相邻图像分别对应地显示与此特征点对应的第一特征点及第二特 征点。
[0083] 举例来说，特征点单元203用以根据平铺于多车体联结车100周围地面上的多个 几何图形，提供特征点，如图7表示。以重叠拍摄区域A12来说，特征点单元203于其中提供 矩形物件C12,而其中矩形特征点物件C12的端点，将对应地形成特征点P1及P2。相似地， 特征点单元203亦对应地于重叠拍摄区域A23、A34、A45、A56及A61中提供矩形物件C23、 矩形物件C34、三角形物件C45、菱形物件C56及矩形物件C61，而其对应的端点亦对应地形 成对应重叠拍摄区域中的特征点P3、P4、P5、…、P14。
[0084] 在可动乘载单元201使夹角0实质上等于第i个训练角度0t_i且特征点单元 203对应地针对各重叠拍摄区域A12至A61提供特征点P1至P14后，控制单元205通过图 像提取单元1〇1_1至1〇1_6,以对应地提取第一至第六图像Imx_l至Imx_6,其中各第一至 第六图像Imx_l至Imx_6中任两个相邻的图像分别对应地显示第一特征点及第二特征点。
[0085] 请参照图16,在其他例子中，车体端装置1000还包括扭曲校正单元109,电性连接 图像提取单元1〇]_1至1〇1_6以及控制单元205,其中第一至第六图像Imx_l至Imx_6经由 扭曲校正单元109对应地产生校正后的第一至第六图像111?_1'至Imx_6'，并被提供至控制 单元205。在其他例子中，扭曲校正单元109也可以软件的方式来实现，并对应地存储于计 算机可读介质，例如是随取存储器、只读存储器或非挥发存储器中；而车体端装置1〇〇〇的 处理单元103以对应地存取此计算机可读介质，以实现对应的图像扭曲校正操作；此时校 正后的第一至第六图像Imx_l'至Imx_6'则是经由处理单元103被提供至控制单元205。
[0086] 请参照图8A及图8B，其分别绘示第一及第二图像Imx_Hlmx_2'的示意图。以 图像提取单元1〇1_1及1〇1_2对应产生的第一及第二图像及Imx_2'的情形来说， 第一图像包括图像物件P1_C12,其例如为图像提取单元101_1针对矩型特征点物件 C12所拍摄到的图像内容，其中图像物件P1_C12包括分别与特征点P1及P2对应的第一组 特征点al及a2。相似地，第二图像Imx_2'包括图像物件P2_C12,其例如为图像提取单元 101_2针对矩型特征点物件C12所拍摄到的图像内容，其中图像物件P2_C12包括分别与特 征点P1及P2对应的第二组特征点bl及b2。与第一及第二图像111^_1'至Imx_2'相似地， 第三至第六图像Imx_3'至Imx_6'分别如图8C至图8F所示，在此将不再对其进行赘述。
[0087] 控制单元205接收第一至第六图像Imx_l'至Imx_6'，且通过特征点单元203针 对任两个相邻图像的重叠拍摄区域提供至少一个特征点，使得第一至第六图像至 Imx_6'中任两个相邻图像分别对应地显示一第一特征点及一第二特征点；控制单元205并 分别记录其中任两个相邻图像中的两组特征点的坐标值，并将此两组坐标值记录为对应至 第i个训练角度9t_i的第i笔特征点对照表T_i。以相邻的第一及第二图像及 Imx_2'的情况来说，控制单元205记录第一图像中对应至特征点P1及P2的第一 组特征点al及a2的坐标值（Xpyj及（x/，yj及第二图像Imx_2'中对应至特征点P1及 P2的第二组特征点bl及b2的坐标值（x2，y2)及（x2，y2'）于第i笔特征点对照表T_i中。
[0088] 相似地，第二图像Imx_2'与第三图像Imx_3'中对应的特征点b3至b4与c3至c4、 第三图像Imx_3'与第四图像Imx_4'中对应的特征点c5至c8与d5至d8、第四图像Imx_4' 与第五图像Imx_5'中对应的特征点d9、dl0与e9、el0、第五图像Imx_5'与第六图像Imx_6' 中对应的特征点ell、el2与fll、fl2及第六图像Imx_6'与第一图像中对应的特征 点f13、f14与al3、al4的坐标值亦对应地被存储于第i笔特征点对照表T_i中，而第i笔 特征点对照表T_i例如具有如图9所示的数据结构。
[0089] 控制单元205还根据第i笔特征点对照表T_i建立第i笔全周图像模型M_i，藉 此完成针对第i个训练角度0t_i的训练操作。举例来说，全周图像模型M_i可如图10所 示，其中缝合区特征点kl及k2分别为其中对应至特征点P1及P2的显示图像，相似地，缝 合区特征点k3、k4、…、kl3及kl4分别为其中对应至特征点P3、P4、…、P13及P14的显 示图像。
[0090] 举例来说，控制单元205包括均化子单元，其参考第i笔全周图像模型M_i中与第 一及第二特征点对应的缝合区特征点的位置信息，来找出权重参数W1及W2。此均化子单元 更根据两笔权重参数W1及W2来针对此第一及此第二特征点进行图像均化，以找出此缝合 区特征点的像素数据，据此完成图像均化操作。
[0091] 接下来，以此均化子单元针对缝合区特征点kl进行均化的操作为例，来针对此均 化子单元的操作做进一步的说明。请参照图11，其绘示乃均化子单元操作的示意图。第i 笔全周图像模型M_i由第一至第六笔图像Imx_r至Imx_6'所而成，而对于第一至第六笔 图像11^_1'至1!^_6'中任两笔相邻的图像来说，其可相互交迭出图像缝合区。以第一及 第二笔图像&ImX_2'来说，其交迭出图像缝合区Ax_12,其中图像缝合区Ax_12例 如对应地具有边界B1及B2,分别由第一及第二图像Imx_l'及Imx_2'所决定。
[0092] 此均化子单元找出缝合区特征点kl与边界B1的距离dsl及缝合区特征点kl与边 界B2的距离ds2,并据以决定权重参数W1及W2。举例来说，权重参数W1及W2分别满足：
[0095] 此均化子单元还根据下列方程式，来参考权重参数W1及W2对第一及第二特征点， 即是特征点al及bl，进行权重相加，并据以决定缝合区特征点kl的像素值：
[0096]kl=WlXal+W2Xbl
[0097] 基于相似的操作，此均化子单元还针对第i笔全周图像模型M_i中的各笔缝合区 特征点k2-kl4执行实质上相同的均化操作，藉此完成建立第i笔全周图像模型M_i的操 作。
[0098] 在找出与第i个训练角度0t_i对应的全周图像模型M_i后，控制单元205更调整 参数i，以在此训练阶段中，针对所有的N个训练角度0t_l至0t_N分别找出对应的N笔 全周图像模型M_1至11_1并将其提供至车体端装置1000,并对应地存储在车体端装置1000 的存储单元107中。在其他例子中，控制单元205与存储单元107电性连接，以将全周图像 模型M_i存储在存储单元107中。
[0099] 举一个操作实例来说，控制单元205设定参数i具有起始数值1 ;而控制单元205 更在对应至第i个训练角度0t_i的训练操作完成后，判断参数i是否等于N;如果是，表 示训练装置2000已针对所有的N笔训练角度0t_l至0t_N完成对应的训练操作。
[0100] 相对地，当i不等于N时表示训练装置2000尚未完成针对所有的N笔训练角度 0t_l至0t_N的训练操作。据此，控制单元205将i递增1，并驱动训练装置2000针对下 一个训练角度进行训练操作。
[0101] 请参照图1 2,其绘示依照本发明实施例的训练方法的流程图。举例来说，本实施例 的训练方法被应用于包括车体端装置1000及训练装置2000的训练系统中；本实施例的训 练方法例如包括下列的步骤。首先如步骤（A)，提供多车体联结车100。接着如步骤（B)，控 制单元205决定N个训练角度0t_l至0t_N，并应用可动乘载单元201移动第一车体部11 及第二车体部15其中之一以调整夹角0，使得夹角0对应至N个训练角度0t_l至0t_ N中的第i个训练角度0t_i。
[0102] 然后如步骤（C)，在其中控制单元205经由配置于第一至第六表面S1至S6上的 图像提取单元1〇1_1至1〇1_6来分别提取第一至第六图像Imx_l至Imx_6,并经由扭曲校 正单元109校正得到校正后的第一至第六图像111?_1'至Imx_6'。接着如步骤（D)，当夹角 0对应至第i个训练角度9t_i时，应用特征点单元203来针对第一至第六图像111?_1'至 Imx_6'中任两个图像的重叠拍摄区域A12至A61提供至少一个特征点，使得第一至第六图 像至Imx_6'中任两个图像分别对应地显示第一及第二特征点，例如是特征点al及 bl〇
[0103] 然后如步骤（E)，控制单元205记录第一及第二特征点在此任两个图像中的两组 坐标值，以针对第i个训练角度9t_i建立第i笔特征点对照表T_i。接着如步骤（F)，控 制单元205根据第i笔特征点对照表T_i建立第i笔全周图像模型M_i。之后如步骤（G)， 控制单元205调整参数i，并重复执行步骤（C)-(F)以对应至N个训练角度0t_l至0t_N 分别找出N笔全周图像模型M_1至M_N。
[0104] 请参照图13,其绘示依照本发明实施例的训练方法的部分流程图。举例来说，训练 方法中的步骤（F)包括子步骤（F1)至（F3)。进一步的说，步骤（F)首先包括步骤（F1)，控 制单元205中的均化子单元找出第i笔全周图像模型M_i中与第一及第二特征点（例如是 特征点al及bl)对应的缝合区特征点（例如是缝合区特征点kl)的位置信息。接着如步 骤（F2)，此均化子单元根据缝合区特征点的位置信息来找出权重参数W1及W2。
[0105] 之后如步骤（F3)，此均化子单元根据权重参数W1及W2来针对此第一及此第二特 征点进行图像均化，以对应至第i个训练角度0t_i建立第i笔全周图像模型M_i。
[0106] 请参照图14,其绘示依照本发明实施例的训练方法的部分流程图。举例来说，控 制单元205设定参数i具有起始数值1，而训练方法的步骤（G)包括子步骤（G1)至（G3)。 首先如步骤（G1)，控制单元205在步骤（F)之后，判断参数i是否等于N;如果是，则执行步 骤（G2)，以将N笔全周图像模型M_1至M_N输出至车体端装置1000,并对应地终止本实施 例的训练方法。相对地，当i不等于N时执行步骤（G3)，控制单元205将i递增1，之后重 复执行步骤（C)，以针对下一个训练角度进行训练操作。
[0107] 在本实施例中，虽仅以特征点单元203针对各重叠拍摄区域A12、A23、A34、A45、 A56及A61提供特征点物件的情形做说明，然而，本实施例的特征点单元203并不局限于此。 举例来说，本实施例的特征点单元203更针对非重叠拍摄区域提供不同的特征点物件，以 利相对应的扭曲校正操作的进行。
[0108] 本实施例的车体端装置可根据参考角度检测单元来检测其的第一及第二车体部 对应的夹角实测值；根据夹角实测值来查询其既有的角度-全周图像模型查表，以对应地 找出与夹角实测值接近的既有训练角度及对应的选取全周图像模型；及经由配置于其车体 周围的六个表面上的六个图像提取单元，来对应地提取六笔图像。本实施例的车体端装置 更根据此六笔图像及此选取全周图像模型，来找出对应至多车体联结车的实际操作全周图 像。据此，相较于传统行车辅助工具，本实施例的车体端装置具有可有效地针对多车体联结 车提供全周图像的优点。
[0109] 此外，本实施例的训练装置可在训练阶段中，经由可动乘载单元来调整多车体联 结车的两个车体间的夹角，使其对应地对应至N笔预设训练角度中的第i笔预设训练角度， 其中i为小于或等于N的自然数。本实施例的训练装置更可应用特征点单元，来针对六笔 图像中任两个图像的重叠拍摄区域提供特征点，并根据此两个图像中与此特征点对应的两 笔特征点，建立对应至第i个预设训练角度的第i笔特征点对照表。本实施例的训练装置 更可调整参数i，来针对所有的N笔预设训练角度建立对应的N笔全周图像模型，并将其提 供至车体端装置中。据此，本实施例的训练装置更具有可有效地经由训练操作，来建立与N 个不同的预设角度对应的N笔全周图像模型，藉此使对应的车体端装置可根据此N笔记全 周图像模型实现对应的全周鸟瞰图像产生操作。
[0110] 综上所述，虽然本发明已以优选实施例公开如上，然其并非用以限定本发明。本发 明所属领域技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此， 本发明的保护范围当视所附权利要求书所界定者为准。
【主权项】
1. 一种车体端装置，应用于多车体联结车中，以对应地提供实际操作全周图像，该多车 体联结车包括第一、第二车体部及连结部，该第一车体部的行进方向相对于该第二车体部 的行进方向具有夹角；该第一车体部包括第一联结表面、第一、第二及第六表面，该第一表 面与该第一联结表面相对，并与该第二及该第六表面相邻；该第二车体部包括第二联结表 面、第三、第四及第五表面，该第二联结表面经由该连结部与该第一联结表面联结，该第四 表面与该第二联结表面相对，并与该第三及该第五表面相邻，该第二与该第三表面相邻，且 该第五与该第六表面相邻；该第一至该第六表面分别适于配置第一、第二、第三、第四、第五 及第六图像提取单元，以分别提取第一、第二、第三、第四、第五及第六实际操作图像，其中 该第一实际操作图像与该第二及该第六实际操作图像部分重叠、该第四实际操作图像与该 第三及该第五实际操作图像部分重叠、该第二及该第三实际操作图像部分重叠且该第五及 该第六实际操作图像部分重叠；该车体端装置包括： 存储单元，用以存储角度-全周图像模型查表，其中包括N个训练角度及对应的N笔全 周图像模型，其中N为大于1的自然数； 角度检测单元，用以检测该夹角并对应地提供夹角实测值；以及 处理单元，存取该角度-全周图像模型查表，以于该N个训练角度找出与该夹角实测值 近似的挑选训练角度，并于该N笔全周图像模型中找出对应的挑选全周图像模型； 其中，该处理单元还接收该第一至该第六实际操作图像，并根据该挑选全周图像模型 来对该第一至该第六实际操作图像进行处理，以找出该实际操作全周图像。2. 如权利要求1所述的车体端装置，还包括： 显示单元，用以接收并显示该实际操作全周图像。3. 如权利要求1所述的车体端装置，还包括： 扭曲校正单元，用以针对该第一至该第六实际操作图像进行扭曲校正，并将校正后的 该第一至该第六实际操作图像提供至该处理单元； 其中，该处理单元系根据该挑选全周图像模型来对校正后的该第一至该第六实际操作 图像进行处理，以找出并驱动该显示单元显示该实际操作全周图像。
【专利摘要】一种车体端装置，应用于多车体联结车中，该多车体联结车的第一车体部的行进方向相对第二车体部的行进方向具有夹角。第一车体部配置第一、第二、第三、第四、第五及第六图像提取单元，以提取第一、第二、第三、第四、第五及第六实际操作图像。车体端装置包括：存储单元，用以存储角度-全周图像模型查表，其中包括N个训练角度及对应的N笔全周图像模型；角度检测单元，用以检测夹角并对应提供夹角实测值；处理单元，存取角度-全周图像模型查表，以于N个训练角度找出与夹角实测值近似的挑选训练角度，并于N笔全周图像模型中找出对应的挑选全周图像模型，以及根据挑选全周图像模型来对第一至第六实际操作图像进行处理，以找出实际操作全周图像。
【IPC分类】G09B9/04, G06T7/00
【公开号】CN104900110
【申请号】CN201510314180
【发明人】林昱成, 林哲聪, 杜明仁, 刘丽芬, 沈信良
【申请人】财团法人工业技术研究院
【公开日】2015年9月9日
【申请日】2012年7月12日
【公告号】CN103310673A, CN103310673B, US9082315, US20130236858
最新回复(0)