一种远程操控方法及装置的制造方法
一种远程操控方法及装置的制造方法
【技术领域】
[0001] 本发明涉及多媒体技术领域，尤其涉及一种远程操控方法及装置。
【背景技术】
[0002]当前，电子设备种类及功能越来越多，给人们生活带来了极大的便利。当设计了终 端产品，在不方便将产品直接呈现给参观者的情况下，可以远程演示给参观者。演示者一般 需要一边介绍产品的使用，一边让用户操控终端，进行切身体验。
[0003] 已有的远程操控方式中，控制端需要通过与被控端建立起连接，获得对被控端的 控制权限，并在控制端的显示屏幕上显示被控端的显示屏幕内容。这种远程操控方式虽然 可以实现远程控制，但却无法满足终端演示的需求。比如，采用这种方式，用户无法在控制 端看到终端（也即被控端）的屏幕内容之外的信息（比如终端的外壳），并且，被控端在将 终端控制权交给控制端后，演示者将无法在被控端演示终端使用过程，显然，这种远程操控 方式影响了终端的远程演示的效果。
【发明内容】
[0004] 本发明实施例提供一种远程操控方法及装置，用以在能够呈现终端的屏幕内容之 外的信息及演示者演示内容的情况下，实现对终端的远程操控。
[0005] 第一方面，提供一种远程操控方法，包括：
[0006] 获得演示图像，所述演示图像为用于演示终端操作的图像；
[0007] 根据终端的检测参数信息，在所述演示图像中检测演示屏幕画面，所述演示屏幕 画面为所述演示图像中所述终端的屏幕画面；
[0008] 根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏 幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系；
[0009] 根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端。 [0010] 结合第一方面，在第一种可能的实现方式中，所述操作信息包括操作动作信息和 第一操作位置信息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素 点集合的信息；
[0011] 根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端，包 括：
[0012] 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合 对应在所述终端的显示屏幕上第二像素点集合的信息；
[0013] 根据所述第二像素点集合的信息和所述操作动作信息，操控所述终端。
[0014] 结合第一方面，在第二种可能的实现方式中，所述操作信息包括第一操作位置信 息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；
[0015] 根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端，包 括：
[0016] 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合 对应在所述终端的显示屏幕上第二像素点集合的信息；
[0017] 在所述终端的显示屏幕上，将轨迹图标移动至所述第二像素点集合的位置处。
[0018] 结合第一方面，或第一方面的第一或第二种可能的实现方式，在第三种可能的实 现方式中，所述演示屏幕画面的参数信息包括以下信息中的至少一项：演示屏幕画面的宽 度值、所述演示屏幕画面的高度值以及所述演示屏幕画面上的参考像素点在所述演示图像 中的坐标值，所述屏幕参数信息包括所述终端的屏幕分辨率；
[0019] 根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏 幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系，包括：根据所述演 示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述演示屏幕画面上的参考像素点在 所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定所述演示屏幕画面上的像素 点与所述显示屏幕上的像素点之间的映射关系。
[0020] 结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，根据以下 公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关 系：
[0023] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应 的所述显示屏幕上的像素点的坐标值，TrX为所述显示屏幕的宽度值，TrY为所述显示屏幕 的高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY) 为所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的 坐标原点。
[0024] 结合第一方面，或第一方面的第一或第二种可能的实现方式，在第五种可能的实 现方式中，所述终端的屏幕参数信息包括所述终端的放置状态信息、所述终端的屏幕分辨 率，所述演示屏幕画面的参数信息包括演示屏幕画面的宽度值、所述演示屏幕画面的高度 值、和所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值；
[0025] 根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏 幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系，包括：
[0026] 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点 在所述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息，确定 所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
[0027] 结合第一方面的第五种可能的实现方式，在第六种可能的实现方式中，所述放置 状态信息包括所述终端的放置状态相对参考状态的倾斜角，其中，所述倾斜角为在所述演 示图像上，所述终端的放置状态相对参考状态沿逆时针方向旋转的角度，在所述终端的放 置状态为所述参考状态时，所述显示屏幕的顶边所在的方向为水平方向，所述显示屏幕的 侧边所在的方向为垂直方向，根据以下公式确定所述演示屏幕画面上的像素点与所述终端 的显示屏幕上的像素点之间的映射关系：
[0030] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应 的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的 高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为 所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐 标原点，9为基于所述倾斜角的角度值0确定的角度值，，9为像素点（X，Y)与参考像素 点（PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度 值。
[0031] 结合第一方面的第六种可能的实现方式，在第七种可能的实现方式中，基于所述 倾斜角的角度值0确定所述第一锐角夹角的角度值0包括：
[0032]当所述倾斜角的角度值0为0时，确定所述第一锐角夹角的角度值0为a，其 中，a为像素点（X，Y)与参考像素点（PtX，PtY)之间的连线与水平方向的第二锐角夹角的 角度值；或者
[0033] 当所述倾斜角的角度值0大于0、且所述倾斜角的角度值0小于JT时，确定所述 第一锐角夹角的角度值0为所述倾斜角的角度值0减去角度值a后的差值；或者
[0034]当所述倾斜角的角度值0大于或等于、且所述倾斜角的角度值0小于3JT/2 时，确定所述第一锐角夹角的角度值9为所述倾斜角的角度值0与角度值a相加、再减 去n后的值；或者
[0035] 当所述倾斜角的角度值0大于或等于3JT/2、且所述倾斜角的角度值0小于2JT 时，确定所述第一锐角夹角的角度值9为所述倾斜角的角度值0减去角度值a、再减去 n后的值。
[0036] 结合第一方面，或第一方面的第一至第七种可能的实现方式中的任意一种，在第 八种可能的实现方式中，所述根据终端的检测参数信息，在所述演示图像中检测演示屏幕 画面，包括：
[0037] 在所述演示图像中检测所有具有四边形轮廓的物体；
[0038] 在检测到的所述所有具有四边形轮廓的物体中，查找出具有终端四边形轮廓的所 述演示屏幕画面，所述终端四边形轮廓与所述终端的检测参数信息匹配。
[0039] 结合第一方面的第八种可能的实现方式，在第九种可能的实现方式中，在所述演 示图像中检测所有具有四边形轮廓的物体，包括：
[0040] 在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。
[0041] 结合第一方面的第九种可能的实现方式，在第十种可能的实现方式中，根据包括 以下信息中的至少一种确定所述图像检测范围：所述演示屏幕画面的在所述演示图像中的 移动信息、所述演示图像中的演示所述终端操作的演示者手部位置信息、预设的区域范围 信息。
[0042] 第二方面，提供一种远程操控装置，包括：
[0043] 获取模块，用于获得演示图像，所述演示图像为用于演示终端操作的图像；
[0044] 检测模块，用于根据终端的检测参数信息，在所述获取模块获取到的所述演示图 像中检测演示屏幕画面，所述演示屏幕画面为所述演示图像中所述终端的屏幕画面；
[0045] 确定模块，用于根据所述检测模块检测出的所述演示屏幕画面的参数信息和所述 终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素 点之间的映射关系；
[0046] 操控模块，用于根据用户对所述演示屏幕画面的操作信息，以及所述确定模块确 定的所述映射关系，操控所述终端。
[0047] 结合第二方面，在第一种可能的实现方式中，所述第一操作位置信息包括所述演 示屏幕画面上的被操作的第一像素点集合的信息；
[0048] 所述操控模块具体用于：
[0049] 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合 对应在所述终端的显示屏幕上第二像素点集合的信息；根据所述第二像素点集合的信息和 所述操作动作信息，操控所述终端。
[0050] 结合第二方面，在第二种可能的实现方式中，所述操作信息包括第一操作位置信 息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；
[0051] 所述操控模块具体用于：
[0052] 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合 对应在所述终端的显示屏幕上第二像素点集合的信息；在所述终端的显示屏幕上，将轨迹 图标移动至所述第二像素点集合的位置处。
[0053] 结合第二方面，或第二方面的第一或第二种可能的实现方式，在第三种可能的实 现方式中，所述演示屏幕画面的参数信息包括以下信息中的至少一项：演示屏幕画面的宽 度值、所述演示屏幕画面的高度值以及所述演示屏幕画面上的参考像素点在所述演示图像 中的坐标值，所述屏幕参数信息包括所述终端的屏幕分辨率；
[0054] 所述确定模块具体用于：
[0055] 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述演示屏幕画 面上的参考像素点在所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定所述演 示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
[0056] 结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述确定 模块具体用于根据以下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上 的像素点之间的映射关系：
[0059] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应 的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的 高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为 所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐 标原点。
[0060] 结合第二方面，或第二方面的第一或第二种可能的实现方式，在第五种可能的实 现方式中，所述终端的屏幕参数信息包括所述终端的放置状态信息、所述终端的屏幕分辨 率，所述演示屏幕画面的参数信息包括演示屏幕画面的宽度值、所述演示屏幕画面的高度 值、和所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值；
[0061] 所述确定模块具体用于：
[0062] 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点 在所述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息，确定 所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
[0063] 结合第二方面的第五种可能的实现方式，在第六种可能的实现方式中，所述放置 状态信息包括所述终端的放置状态相对参考状态的倾斜角，其中，所述倾斜角为在所述演 示图像上，所述终端的放置状态相对参考状态沿逆时针方向旋转的角度，在所述终端的放 置 状态为所述参考状态时参考状态时，所述显示屏幕的顶边所在的方向为水平方向，所述 显示屏幕的侧边所在的方向为垂直方向，所述确定模块具体用于根据以下公式确定所述演 示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
[0066] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应 的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的 高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为 所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐 标原点。9为基于所述倾斜角的角度值0确定的角度值，9为像素点（X，Y)与参考像素 点（PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度 值。
[0067] 结合第二方面的第六种可能的实现方式，在第七种可能的实现方式中，所述确定 模块具体用于：
[0068] 当所述倾斜角的角度值0为0时，确定所述第一锐角夹角的角度值0为a，其 中，a为像素点（X，Y)与参考像素点（PtX，PtY)之间的连线与水平方向的第二锐角夹角的 角度值；或者
[0069] 当所述倾斜角的角度值0大于0、且所述倾斜角的角度值0小于时，确定所述 第一锐角夹角的角度值0为所述倾斜角的角度值0减去角度值a后的差值；或者
[0070] 当所述倾斜角的角度值0大于或等于JT、且所述倾斜角的角度值0小于3JT/2 时，确定所述第一锐角夹角的角度值9为所述倾斜角的角度值0与角度值a相加、再减 去n后的值；或者
[0071] 当所述倾斜角的角度值0大于或等于3JT/2、且所述倾斜角的角度值0小于2JT 时，确定所述第一锐角夹角的角度值9为所述倾斜角的角度值0减去角度值a、再减去 n后的值。
[0072] 结合第二方面，或第二方面的第一至第七种可能的实现方式中的任意一种，在第 八种可能的实现方式中，所述检测模块具体用于：
[0073] 在所述演示图像中检测所有具有四边形轮廓的物体；在检测到的所述所有具有四 边形轮廓的物体中，查找出具有终端四边形轮廓的所述演示屏幕画面，所述终端四边形轮 廓与所述终端的检测参数信息匹配。
[0074] 结合第二方面的第八种可能的实现方式，在第九种可能的实现方式中，所述检测 模块具体用于：
[0075] 在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。
[0076] 结合第二方面的第九种可能的实现方式，在第十种可能的实现方式中，所示检测 模块具体用于根据包括以下信息中的至少一种确定所述图像检测范围：所述演示屏幕画面 的在所述演示图像中的移动信息、所述演示图像中的演示所述终端操作的演示者手部位置 信息、预设的区域范围信息。
[0077] 第三方面，提供一种远程操控设备，包括：处理器、存储器和总线；所述存储器存 储执行指令，当所述远程操控设备运行时，所述处理器与所述存储器之间通过总线通信，使 得所述处理器执行如下执行指令：
[0078] 获得演示图像，所述演示图像为用于演示终端操作的图像；
[0079] 根据终端的检测参数信息，在所述演示图像中检测演示屏幕画面，所述演示屏幕 画面为所述演示图像中所述终端的屏幕画面；
[0080] 根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏 幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系；
[0081] 根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端。
[0082] 结合第三方面，在第一种可能的实现方式中，所述操作信息包括操作动作信息和 第一操作位置信息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素 点集合的信息；所述处理器执行的所述执行指令中，根据用户对所述演示屏幕画面的操作 信息，以及所述映射关系，操控所述终端，包括：
[0083] 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合 对应在所述终端的显示屏幕上第二像素点集合的信息；
[0084] 根据所述第二像素点集合的信息和所述操作动作信息，操控所述终端。
[0085] 结合第三方面，在第二种可能的实现方式中，所述操作信息包括第一操作位置信 息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息； 所述处理器执行的所述执行指令中，根据用户对所述演示屏幕画面的操作信息，以及所述 映射关系，操控所述终端，包括：
[0086] 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合 对应在所述终端的显示屏幕上第二像素点集合的信息；
[0087] 在所述终端的显示屏幕上，将轨迹图标移动至所述第二像素点集合的位置处。
[0088] 结合第三方面，或第三方面的第一或第二种可能的实现方式，在第三种可能的实 现方式中，所述演示屏幕画面的参数信息包括以下信息中的至少一项：演示屏幕画面的宽 度值、所述演示屏幕画面的高度值以及所述演示屏幕画面上的参考像素点在所述演示图像 中的坐标值，所述屏幕参数信息包括所述终端的屏幕分辨率；
[0089] 所述处理器执行的所述执行指令中，根据所述演示屏幕画面的参数信息和所述终 端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点 之间的映射关系，包括：
[0090] 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述演示屏幕画 面上的参考像素点在所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定所述演 示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
[0091] 结合第三方面的第三种可能的实现方式，在第四种可能的实现方式中，所述处理 器执行的所述执行指令中，根据以下公式确定所述演示屏幕画面上的像素点与所述终端的 显示屏幕上的像素点之间的映射关系：
[0094] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应 的所述显示屏幕上的像素点的坐标值，TrX为所述显示屏幕的宽度值，TrY为所述显示屏幕 的高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY) 为所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的 坐标原点。
[0095] 结合第三方面，或第三方面的第一或第二种可能的实现方式，在第五种可能的实 现方式中，所述终端的屏幕参数信息包括所述终端的放置状态信息、所述终端的屏幕分辨 率，所述演示屏幕画面的参数信息包括演示屏幕画面的宽度值、所述演示屏幕画面的高度 值、和所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值；所述处理器执行的 所述执行指令中，根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所 述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系，包括： [0096] 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点 在所述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息，确定 所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
[0097] 结合第三方面的第五种可能的实现方式，在第六种可能的实现方式中，所述放置 状态信息包括所述终端的放置状态相对参考状态的倾斜角，其中，所述倾斜角为在所述演 示图像上，所述终端的放置状态相对参考状态沿逆时针方向旋转的角度，在所述终端的放 置状态为所述参考状态时，所述显示屏幕的顶边所在的方向为水平方向，所述显示屏幕的 侧边所在的方向为垂直方向，所述处理器执行的所述执行指令中，根据以下公式确定所述 演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
[0100] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应 的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的 高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为 所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐 标原点。9为基于所述倾斜角的角度值0确定的角度值，9为像素点（X，Y)与参考像素 点（PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度 值。
[0101] 结合第三方面的第六种可能的实现方式，在第七种可能的实现方式中，所述处理 器执行的所述执行指令中，基于所述倾斜角的角度值0确定所述第一锐角夹角的角度值 Q，包括：
[0102]当所述倾斜角的角度值e为0时，确定所述第一锐角夹角的角度值0为a，其 中，a为像素点（X，Y)与参考像素点（PtX，PtY)之间的连线与水平方向的第二锐角夹角的 角度值；或者
[0103] 当所述倾斜角的角度值e大于0、且所述倾斜角的角度值e小于31时，确定所述 第一锐角夹角的角度值0为所述倾斜角的角度值0减去角度值a后的差值；或者
[0104] 当所述倾斜角的角度值0大于或等于、且所述倾斜角的角度值0小于3JT/2 时，确定所述第一锐角夹角的角度值9为所述倾斜角的角度值0与角度值a相加、再减 去n后的值；或者
[0105] 当所述倾斜角的角度值0大于或等于3JT/2、且所述倾斜角的角度值0小于2JT 时，确定所述第一锐角夹角的角度值9为所述倾斜角的角度值0减去角度值a、再减去 n后的值。
[0106] 结合第三方面，或第三方面的第一至第七种可能的实现方式中的任意一种，在第 八种可能的实现方式中，所述处理器执行的所述执行指令中，根据终端的检测参数信息，在 所述演示图像中检测演示屏幕画面，包括：
[0107] 在所述演示图像中检测所有具有四边形轮廓的物体；
[0108] 在检测到的所述所有具有四边形轮廓的物体中，查找出具有终端四边形轮廓的所 述演示屏幕画面，所述终端四边形轮廓与所述终端的检测参数信息匹配。
[0109] 结合第一方面的第八种可能的实现方式，在第九种可能的实现方式中，所述处理 器执行的所述执行指令中，在所述演示图像中检测所有具有四边形轮廓的物体，包括：
[0110] 在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。
[0111] 结合第三方面的第九种可能的实现方式，在第十种可能的实现方式中，，所述处理 器执行的所述执行指令中，根据包括以下信息中的至少一种确定所述图像检测范围：所述 演示屏幕画面的在所述演示图像中的移动信息、所述演示图像中的演示所述终端操作的演 示者手部位置信息、预设的区域范围信息。
[0112]根据上述任一方面提供的方案，采用图像采集设备采集用于演示终端操作的演示 图像，呈现给远端的参观者，并在该演示图像中检测终端的演示屏幕画面，建立演示图像中 终端的演示屏幕画面上的像素点与终端实际的显示屏幕上的像素点之间的映射关系；根据 用户对终端的演示屏幕画面的操作信息，以及所述映射关系，操控所述终端。从而采用本发 明实施例，不仅可以在演示图像中呈现终端的屏幕内容之外的信息（如终端外壳形貌）及 演示者演示内容，还可以实现对终端的远程操控。
【附图说明】
[0113] 图1为本发明实施例一提供的远程操控方法流程图；
[0114] 图2为本发明实施例二提供的远程操控方法流程图；
[0115] 图3(a)为对演示图像中的终端屏幕画面进行操作的示意图；
[0116] 图3(b)为在终端的屏幕上，轨迹球按照激光点移动的位置进行移动，的示意图；
[0117] 图4(a)为倾斜角|3 = 0时，计算映射关系的不意图；
[0118] 图4(b)为0 < |3 < 31/2时计算映身寸关系的不意图；
[0119] 图4(c)为Jr/2<|3< 31时计算映身寸关系的不意图；
[0120] 图4(d)为31 < |3 < 3 31/2时计算映身寸关系的不意图；
[0121] 图4(e)为|3多3 31/2时计算映射关系的不意图；
[0122] 图5为本发明实施例三提供的支持远程远程操控的系统架构示意图；
[0123] 图6为本发明实施例在演示场景下的应用示意图；
[0124] 图7为本发明实施例在家庭远程视频聊天场景中的应用示意图；
[0125] 图8为本发明实施例在远程可视手写签名场景中的应用示意图；
[0126] 图9为本发明实施例四提供的远程操控装置结构示意图；
[0127] 图10为本发明实施例五提供的远程操控设备结构示意图。
【具体实施方式】
[0128] 本发明实施例的基本思想是：采用图像采集设备采集用于演示终端操作的演示图 像，呈现给远端的参观者，并在该演示图像中检测终端的演示屏幕画面，建立演示图像中终 端的演示屏幕画面上的像素点与终端实际的显示屏幕上的像素点之间的映射关系；根据用 户对终端的演示屏幕画面的操作信息，以及所述映射关系，操控所述终端。从而采用本发明 实施例，不仅可以在演示图像中呈现终端的屏幕内容之外的信息（如终端外壳形貌）及演 示者演示内容，还可以实现对终端的远程操控。
[0129] 下面结合说明书附图对本发明实施例作进一步详细描述。
[0130] 实施例一
[0131] 如图1所示，为本发明实施例一提供的远程操控方法流程图，包括以下步骤：
[0132] S101 :获得演示图像，所述演示图像为用于演示终端操作的图像。
[0133] 在具体实施中，可以采用图像采集设备采集演示者演示终端操作时的演示图像。 这里的演示者为向其它用户演示终端操作过程的用户。
[0134] 本发明实施例的终端可以是移动终端，或具有触摸屏的终端。
[0135] S102 :根据终端的检测参数信息，在所述演示图像中检测演示屏幕画面，所述演示 屏幕画面为所述演示图像中所述终端的屏幕画面。
[0136] 在具体实施中，本发明实施例的执行主体可以为独立于终端之外的控制设备，比 如可以为独立的个人电脑（PersonalComputer，PC)等，也可以是安装在终端之上的功能模 块，本发明实施例中并不限定。
[0137] 在具体实施过程中，可以根据终端的检测参数信息，比如终端的宽高比（宽度与 高度的比值，这里，终端的宽度值可以认为是终端的显示屏幕的顶边的长度值，高度值可以 认为是终端的显示屏幕的侧边的长度值）、屏幕分辨率（这里，屏幕分辨率可以包括终端的 显示屏幕在顶边所在的方向上的分辨率（对应宽度值），及在侧边所在的方向上的分辨率 (对应高度值））、放置状态信息（比如横屏、竖屏、放置倾斜角等）等中的一种或多种，在演 示图像中检测匹配该终端的检测参数信息的演示屏幕画面（即演示图像中终端的屏幕画 面）。这里，图像采集设备采集到的演示图像中，可能包含演示者的图像、终端的图像（包含 终端的演示屏幕画面）、以及其它的背景图像，本发明实施例需要从中检测出与用户操作相 关的演示屏幕画面，为下述步骤S103作铺垫。
[0138] S103:根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述 演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系。
[0139] 这里，所述演示屏幕画面的参数信息可以包括以下信息中的至少一项：演示屏幕 画面的宽度值、演示屏幕画面的高度值以及所述演示屏幕画面上的参考像素点在所述演示 图像中的坐标值；终端的屏幕参数信息可以包括以下信息中的至少一项：所述终端的屏幕 分辨率、所述终端的放置状态信息、所述终端的宽度值和高度值。
[0140] 在S102检测到演示图像中的终端的演示屏幕画面后，可以建立该演示屏幕画面 上的像素点在演示图像中的坐标值与终端实际的显示屏幕上的像素点在该终端的显示屏 幕上的坐标值之间的映射关系，以便基于该映射关系，将用户在演示图像中的演示屏幕画 面上的操作位置转换为在终端的实际的显示屏幕上的操作位置。
[0141] S104 :根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终 端。
[0142] 这里的用户为对演示图像中的演示屏幕画面进行操作的用户，为与演示者对应的 参观者。
[0143] 这里的操作信息可以包括操作动作信息和第一操作位置信息，该第一操作位置信 息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；
[0144] S104中，根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述 终端，可以包括：根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素 点集合对应在所述终端的显示屏幕上第二像素点集合的信息；根据所述第二像素点集合的 信息和所述操作动作信息，操控所述终端。或者，可以只根据第一像素点集合的信息执行漫 游操作，也即，根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点 集合对应在所述终端的显示屏幕上第二像素点集合的信息；根据所述第二像素点集合的信 息，将所述终端的显示屏幕上的轨迹图标进行移动。详见下述实施例的描述。
[0145] 下面通过实施例二，对本发明实施例的思想作进一步详细说明。
[0146] 实施例二
[0147] 如图2所示，为本发明实施例二提供的远程操控方法流程图，包括以下步骤：
[0148] S201 :在获取的演示图像中检测所有具有四边形轮廓的物体；在检测到的所有具 有四边形轮廓的物体中，查找出具有终端四边形轮廓的演示屏幕画面，所述终端四边形轮 廓与所述终端的检测参数信息匹配。
[0149] 本发明实施例中所述四边形轮廓可以是四个角具有一定弧度的四边形的轮廓。
[0150] 这里，终端的检测参数信息可以包括终端的宽高比、屏幕分辨率、放置状态信息中 的一种或多种。其中，若检测参数信息中包括终端的屏幕分辨率，不包括宽高比，则通过屏 幕分辨率可以计算得到终端的宽高比，比如屏幕分辨率对应的在显示屏幕的顶边所在的 方向上的像素个数为600 (即为宽度值），在显示屏幕的侧边所在的方向上的像素个数为 800(即为高度值），则终端的宽高比为3:4。在具体实施中，可以设置终端的默认放置状态， 比如默认放置状态为：终端的显示屏幕的顶边所在的方向为水平方向，终端的显示屏幕的 侧边所在的方向为垂直方向，这种情况下就要求演示者（演示终端操作的用户）在演示终 端时将终端置于默认的放置状态下。若不设置终端的默认放置状态，则可以通过放置状态 信息来指示终端当前的放置角度，也即终端的放置状态相对参考状态的倾斜角，参考状态 可以就是所述默认放置状态。
[0151] 在具体实施中，若本发明实施例的执行主体为独立于终端之外的实体，则需要获 取终端传输的参数信息，具体地，终端可以通过无线传输将参数信息传输给本发明实施例 的执行主体。
[0152] 可选地，在演示图像中检测所有具有四边形轮廓的物体，包括：
[0153] 在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。
[0154] 在具体实施中，可以遍历演示图像中的各个像素点来检测所有具有四边形轮廓的 物体，但由于屏幕轮廓检测耗时比较大，在具体实施中，可以首先确定图像检测范围，在确 定的图像检测范围内检测具有四边形轮廓的物体。
[0155] 可选地，可以根据以下信息中至少一种确定图像检测范围：
[0156] 所述演示屏幕画面的在所述演示图像中的移动信息、所述演示图像中的演示所述 终端操作的演示者手部位置信息、预设的区域范围信息。
[0157] 在具体实施中，演示者在演示终端操作时，一般会移动终端，而演示图像中的背景 画面通常不会发生变化，因此，可以基于演示图像中的演示屏幕画面变动信息，确定一个图 像检测范围，使得确定的图像检测范围内包含变动的画面；除此之外，考虑应用场景的特 点，终端一般会在手部附近，因此可以通过检测演示图像中演示者手部位置来确定图像检 测范围，手部位置检测可采用已有的比如基于Kinect的手势识别算法等。除此之外，还可 以根据演示者身高、演示屏幕大小、对演示者所处位置的限定等来预先设置一个区域范围 作为图像检测范围。在具体实施中，可以基于上述三种信息的综合分析来确定图像检测范 围，比如，将分别基于每一种信息得到的图像检测范围的交集或合集作为最终确定的图像 检测范围。
[0158] 在确定图像检测范围后，可以根据终端的屏幕分辨率（对应终端的宽高比）、放置 状态信息（比如横屏、竖屏、放置倾斜角等）、终端的演示屏幕画面的面积（可以基于终端的 屏幕分辨率和演示图像对应的拍摄时的缩放比例来确定该面积）等，在演示图像中检测匹 配该终端的检测参数信息的演示屏幕画面。
[0159] S202:根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述 演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系。
[0160] 这里，可以根据检测到的演示图像中终端的演示屏幕画面和所述终端的屏幕参数 信息，确定演示屏幕画面上的像素点所对应的终端的显示屏幕上的像素点，基于该映射关 系执行相关操作指令。在S203之后将介绍两种具体的映射方式。
[0161] S203 :根据用户对演示图像中终端的演示屏幕画面的第一操作位置信息（所述演 示屏幕画面上的被操作的第一像素点集合的信息），以及所述映射关系，确定所述第一操作 位置信息所对应的终端的显示屏幕上的第二操作位置信息（所述终端的显示屏幕上第二 像素点集合的信息）；根据所述第二操作位置信息和所述操作动作信息，操控所述终端。
[0162] 可选地，获得所述第一像素点集合对应在所述终端的显示屏幕上第二像素点集合 的信息后，还可以在所述终端的显示屏幕上，将轨迹图标移动至所述第二像素点集合的位 置处。
[0163] 在具体实施中，操作动作信息所指示的操作动作可以是点击操作、滑动操作等。除 此之外，还可以基于第二操作位置信息在显示屏幕上显示参观者（基于演示图像中终端的 演示屏幕画面进行操作的用户）的漫游操作；这里的漫游操作是指操作指示图标在演示屏 幕画面上移动的操作，比如，参观者采用激光笔，用激光点指向演示屏幕画面并移动位置。 针对漫游操作，为了使演示者看到参观者的漫游操作轨迹，可以在终端的显示屏幕上设置 轨迹图标，使该轨迹图标按照漫游操作的操作位置进行移动。如图3(a)所示，参观者用激 光笔打出激光点指向演示图像中终端的演示屏幕画面并进行移动，这时，在终端的显示屏 幕上轨迹图标（可以为轨迹球）按照激光点移动的位置进行移动，如图3(b)所示。
[0164] 下面，对S202中确定映射关系的方式作进一步说明。
[0165] 在S202中，根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定 所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系。本发明 实施例中提供以下两种方式确定所述映射关系：
[0166] 方式一：终端的放置状态为默认状态：比如，终端的显示屏幕的顶边（如图4(a) 所示）所在的方向为水平方向，终端的显示屏幕的侧边所在的方向为垂直方向；所述屏幕 参数信息包括所述终端的屏幕分辨率；所述演示屏幕画面的参数信息包括：演示屏幕画面 的宽度值、所述演示屏幕画面的高度值、和所述演示屏幕画面上的参考像素点在所述演示 图像中的坐标值；
[0167] 具体地，根据所述演示屏幕画面的宽度值（可以采用像素点个数来表示）、所述演 示屏幕画面的高度值（可以采用像素点个数来表示）、所述演示屏幕画面上的参考像素点 在所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定演示图像中终端的演示屏 幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系。
[0168] 例如，如图4(a)所示，可以根据以下公式确定所述演示屏幕画面上的像素点与所 述终端的显示屏幕上的像素点之间的映射关系：
[0171] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为所述显示屏幕 上的像素点的坐标值，TrX为终端在所述显示屏幕的顶边所在方向上的分辨率，即为显示屏 幕的宽度值，TrY为终端在所述显示屏幕的侧边所在方向上的分辨率，即为显示屏幕的高度 值；CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值；(PtX，PtY)为所述 参考像素点在所述演示图像中的坐标值；所述参考像素点对应于所述显示屏幕上的坐标原 点。
[0172] 在图4(a)中，演示图像中的坐标原点为演示图像左上角的像素点；在演示图像 中，横坐标轴方向为水平向右的方向，纵坐标轴方向为垂直向下的方向。终端的显示屏幕上 的坐标原点为终端在默认放置状态（显示屏幕的顶边所在的方向为水平方向、显示屏幕的 侧边所在的方向为垂直方向，比如处于竖屏状态下）下时终端显示屏幕左上角的像素点， 在终端的显示屏幕中，横坐标轴方向即为处于默认放置状态时的水平向右的方向，纵坐标 轴方向即为处于默认放置状态时的垂直向下的方向。
[0173] 这里需要说明的是，上述公式仅是方式一的实例之一，任何基于方式一的思想、通 过上述公式的简单变形得到的实例均在本发明保护范围内。
[0174] 方式二，终端的放置状态相对参考状态（比如上述默认状态）能够具有一定的倾 斜角；所述屏幕参数信息包括所述终端的屏幕分辨率和放置状态信息 ；所述演示屏幕画面 的参数信息包括演示屏幕画面的宽度值、所述演示屏幕画面的高度值、和所述演示屏幕画 面上的参考像素点在所述演示图像中的坐标值；
[0175] 具体地，根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考 像素点在所述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信 息，确定所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
[0176] 在具体实施中，所述放置状态信息可以包括所述终端的放置状态相对参考状态的 倾斜角，其中，所述倾斜角为在所述演示图像上，所述终端的放置状态相对参考状态沿逆时 针方向旋转的角度，在所述终端的放置状态为所述参考状态时，所述显示屏幕的顶边所在 的方向为水平方向，所述显示屏幕的侧边所在的方向为垂直方向；可以根据以下公式确定 所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
[0179] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应 的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的 高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为 所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐 标原点。9为基于所述倾斜角的角度值0确定的角度值，9为像素点（X，Y)与参考像素 点（PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度 值（也可以是像素点（X，Y)与参考像素点（PtX，PtY)之间的连线与所述显示屏幕的顶边所 在的方向之间的钝角夹角的角度值，此时上述公式中sin0、cos0取绝对值）。
[0180] 在具体实施中，基于倾斜角的角度值0的不同，0的具体计算方式也不同。以参 考状态为上述方式一中所述默认放置状态为例：
[0181]如图4(a)所示，|3 = 0,此时：9 = a;
[0182]如图 4(b)所示，0 < |3<JT/2,此时：9=|3 -a;
[0183]如图 4(c)所示，JT/2< |3 <JT，此时：0=|3 -a;
[0184] 如图 4(d)所示，JT< |3 < 3JT/2,此时：0 =a+ |3 -jt;
[0185]如图4(e)所示，0彡3jt/2,此时：0 = 0-a -31;
[0186]其中：
[0187] 在图4(a)~（e)中，演示图像中的坐标原点为演示图像左上角的像素点；在演示 图像中，横坐标轴方向为水平向右的方向，纵坐标轴方向为垂直向下的方向。终端的显示屏 幕上的坐标原点为终端在默认放置状态（显示屏幕的顶边所在的方向为水平方向、显示屏 幕的侧边所在的方向为垂直方向，比如处于竖屏状态下）下时终端显示屏幕左上角的像素 点，在终端的显示屏幕中，横坐标轴方向即为处于默认放置状态时的水平向右的方向，纵坐 标轴方向即为处于默认放置状态时的垂直向下的方向。
[0188] 为了更好地说明本发明实施例支持远程操控的思想，下面从系统的角度作下介 绍。
[0189] 实施例三
[0190] 如图5所示，为本发明实施例三提供的支持远程操控的系统架构示意图。在该 系统中，上述方法步骤的执行主体为独立于终端之外的设备，比如为个人电脑（Personal Computer，PC)，终端可以通过无线套接字（Socket)将参数信息传输给PC。
[0191] 在该系统中，实现本发明实施例功能的主要模块包括：
[0192] 终端算法模块51，部署在终端，用于将终端参数信息（如屏幕分辨率、放置状态信 息等）传输给映射模块53,并响应映射模块53传输的操控指令（如响应参观者的点击、滑 动、漫游操作等）；
[0193] 终端屏幕检测模块52,部署在PC端，用于在图像检测范围计算模块55确定的图像 检测范围内检测四边形轮廓，在检测到的所有四边形轮廓中，查找匹配映射模块53传输的 终端参数信息的四边形轮廓，并将查找到的四边形轮廓内的画面作为所述终端的演示屏幕 画面；
[0194] 映射模块53,部署在PC端，用于接收终端算法模块51传输的终端参数信息，并将 其传输给终端屏幕检测模块52;并，根据终端参数信息和终端屏幕检测模块52检测到的终 端的演示屏幕画面，生成演示图像中终端的演示屏幕画面上的像素点与终端的显示屏幕上 的像素点之间的映射关系；根据生成的映射关系，将操控信息检测模块54传输的操作信息 转换成针对终端的操控指令，并传输给终端算法模块51;
[0195] 操控信息检测模块54,部署在PC端，用于检测用户的操控信息（如参观者手持激 光笔的漫游或点击操作等），并将操控信息发送至映射模块53;
[0196]图像检测范围计算模块55,部署在PC端，根据检测的演示者手部位置信息，确定 图像检测范围，并传输给终端屏幕检测模块52。
[0197] 关于本发明实施例应用场景的说明：
[0198] 本发明实施例不仅可以应用于终端产品演示的场景，在其它需要远程操控的场景 下同样适用，比如还可以适用于类似亲情关怀的辅助操控场景、远程可视手写签名场景等。
[0199] 场景一：终端产品演示。
[0200] 如图6所示，演示者拿起终端，将终端显示屏幕朝向图像采集设备，PC机中网络传 输模块将图像采集设备采集的演示图像传输给远端，并通过远端的显示屏幕呈现给远端的 参观者。参观者可以通过显示屏幕清晰的看到终端的演示屏幕画面，并可以使用交互工具 远程对该演示屏幕画面执行操作；交互设备检测参观者的操作信息，并传输给演示端的PC 机；PC机结合远端操作信息和确定的演示图像中终端的演示屏幕画面的像素点与终端的 显示屏幕上的像素点之间的映射关系，生成针对终端的操控指令，并传输给终端；终端响应 接收到的操控指令，演示者可以通过终端的显示屏幕的反馈看到本地参观者的操作。
[0201] 场景二：协助操作。
[0202] 如图7所示，在家庭远程视频聊天场景中，A端成员可以通过视频聊天窗口看到B 端成员手持的终端，该终端与B端成员用于视频聊天的PC机通过有线或无线连接。A端成 员可以通过鼠标控制B端成员手持的终端，实现方式与上述实施例介绍的方式一致：在A 端用于视频聊天的PC机接收的演示图像中检测终端，并生成所述映射关系，基于该映射关 系，将检测到的A端成员的操作信息生成针对终端的操作指令，发送至B端的终端，B端的 终端响应该操作指令。
[0203] 场景三：远程可视手写签名。
[0204] 随着数字手写签名变得越来越广泛，本地进行数字手写签名的方式已越来越无法 满足签名需求，比如，如果仅是将本地签名文件传输至远端，则无论是在安全性上还是在用 户体验上都有所欠缺，采用本发明实施例可以实现远程可视手写签名。
[0205] 如图8所示，在本地终端屏幕上，签名者（对应上述场景一的参观者）可以看到远 端终端显示屏幕上的待签名文档，签名者可持签名工具（如签字笔）在待签名文档的签名 位置上签名，并将操作信息（如签名轨迹信息）传输至远端。在远端，根据生成的映射关系， 将签名者的操作信息映射为针对终端的操控指令，也即控制终端显示屏幕上显示签名者的 签名轨迹。
[0206] 除签名轨迹外，还可以采用终端摄像头采集签名者脸部等视觉生物特征，用终端 麦克风采集签名者声音数据，结合多种特征生成对特定的目标文件的多模态签名。在签名 认证时，同样可以通过采集用户的脸部、声音以及签名轨迹等数据进行认证；这种多模态签 名方式可以提高签名认证的安全性。
[0207] 基于同一发明构思，本发明实施例中还提供了一种与远程操控方法对应的远程操 控装置，由于该装置解决问题的原理与本发明实施例远程操控方法相似，因此该装置的实 施可以参见方法的实施，重复之处不再赘述。
[0208] 实施例四
[0209] 如图9所示，为本发明实施例四提供的远程操控装置结构示意图，包括：
[0210] 获取模块91，用于获得演示图像，所述演示图像为用于演示终端操作的图像；
[0211] 检测模块92,用于根据终端的检测参数信息，在所述获取模块91获取到的所述演 示图像中检测演示屏幕画面，所述演示屏幕画面为所述演示图像中所述终端的屏幕画面；
[0212] 确定模块93,用于根据所述检测模块92检测出的所述演示屏幕画面的参数信息 和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上 的像素点之间的映射关系；
[0213] 操控模块94,用于根据用户对所述演示屏幕画面的操作信息，以及所述确定模块 93确定的所述映射关系，操控所述终端。
[0214] 可选地，所述操作信息包括操作动作信息和第一操作位置信息，所述第一操作位 置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；
[0215] 所述操控模块94具体用于：
[0216] 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合 对应在所述终端的显示屏幕上第二像素点集合的信息；根据所述第二像素点集合的信息和 所述操作动作信息，操控所述终端。
[0217] 可选地，所述操作信息包括第一操作位置信息，所述第一操作位置信息包括所述 演示屏幕画面上的被操作的第一像素点集合的信息；
[0218] 所述操控模块94具体用于：
[0219] 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合 对应在所述终端的显示屏幕上第二像素点集合的信息；在所述终端的显示屏幕上，将轨迹 图标移动至所述第二像素点集合的位置处。
[0220] 可选地，所述演示屏幕画面的参数信息包括以下信息中的至少一项：演示屏幕画 面的宽度值、所述演示屏幕画面的高度值以及所述演示屏幕画面上的参考像素点在所述演 示图像中的坐标值，所述屏幕参数信息包括所述终端的屏幕分辨率；
[0221] 所述确定模块93具体用于：
[0222] 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述演示屏幕画 面上的参考像素点在所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定所述演 示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
[0223] 可选地，所述确定模块93具体用于根据以下公式确定所述演示屏幕画面上的像 素点与所述终端的显示屏幕上的像素点之间的映射关系：
[0226] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应 的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的 高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为 所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐 标原点。
[0227] 可选地，所述终端的屏幕参数信息包括所述终端的放置状态信息、所述终端的屏 幕分辨率，所述演示屏幕画面的参数信息包括演示屏幕画面的宽度值、所述演示屏幕画面 的高度值、和所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值；
[0228] 所述确定模块93具体用于：
[0229] 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点 在所述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息，确定 所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系；
[0230] 可选地，所述放置状态信息包括所述终端的放置状态相对参考状态的倾斜角，其 中，所述倾斜角为在所述演示图像上，所述终端的放置状态相对参考状态沿逆时针方向旋 转的角度，在所述终端的放置状态为所述参考状态时，所述显示屏幕的顶边所在的方向为 水平方向，所述显示屏幕的侧边所在的方向为垂直方向，所述确定模块93具体用于根据以 下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射 关系：
[0233] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应 的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的 高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为 所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐 标原点。9为基于所述倾斜角的角度值0确定的角度值，9为像素点（X，Y)与参考像素 点（PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度 值。< br>[0234] 可选地，所述确定模块93具体用于：
[0235] 当所述倾斜角的角度值0为0时，确定所述第一锐角夹角的角度值0为a，其 中，a为像素点（X，Y)与参考像素点（PtX，PtY)之间的连线与水平方向的第二锐角夹角的 角度值；或者
[0236] 当所述倾斜角的角度值0大于0、且所述倾斜角的角度值0小于JT时，确定所述 第一锐角夹角的角度值0为所述倾斜角的角度值0减去角度值a后的差值；或者
[0237] 当所述倾斜角的角度值0大于或等于JT、且所述倾斜角的角度值0小于3JT/2 时，确定所述第一锐角夹角的角度值9为所述倾斜角的角度值0与角度值a相加、再减 去n后的值；或者
[0238] 当所述倾斜角的角度值0大于或等于3JT/2、且所述倾斜角的角度值0小于2JT 时，确定所述第一锐角夹角的角度值9为所述倾斜角的角度值0减去角度值a、再减去 n后的值。
[0239] 可选地，所述终端的检测参数信息包括以下信息中的至少一种：所述终端的宽高 比、所述终端的屏幕分辨率、所述终端的放置状态信息。
[0240] 可选地，所述终端的映射参数信息包括以下信息中的至少一种：所述终端的屏幕 分辨率、所述终端的放置状态信息、所述终端的宽度值和高度值。
[0241] 可选地，所述检测模块92具体用于：
[0242] 在所述演示图像中检测所有具有四边形轮廓的物体；在检测到的所述所有具有四 边形轮廓的物体中，查找出具有终端四边形轮廓的所述演示屏幕画面，所述终端四边形轮 廓与所述终端的检测参数信息匹配。
[0243] 可选地，所述检测模块92具体用于：
[0244] 在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。
[0245] 可选地，所述检测模块92具体用于根据包括以下信息中的至少一种确定所述图 像检测范围：所述演示屏幕画面的在所述演示图像中的移动信息、所述演示图像中的演示 所述终端操作的演示者手部位置信息、预设的区域范围信息。
[0246] 实施例五
[0247] 如图10所示，为本发明实施例五提供的远程操控设备100结构示意图，包括：处理 器101、存储器102和总线103;所述存储器102存储执行指令，当所述远程操控设备100运 行时，所述处理器101与所述存储器102之间通过总线103通信，使得所述处理器101执行 如下执行指令：
[0248] 获得演示图像，所述演示图像为用于演示终端操作的图像；
[0249] 根据终端的检测参数信息，在所述演示图像中检测演示屏幕画面，所述演示屏幕 画面为所述演示图像中所述终端的屏幕画面；
[0250] 根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏 幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系；
[0251] 根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端。
[0252] 可选地，所述操作信息包括操作动作信息和第一操作位置信息，所述第一操作位 置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；所述处理器101执行 的所述执行指令中，根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所 述终端，包括：
[0253] 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合 对应在所述终端的显示屏幕上第二像素点集合的信息；
[0254] 根据所述第二像素点集合的信息和所述操作动作信息，操控所述终端。
[0255] 可选地，所述操作信息包括第一操作位置信息，所述第一操作位置信息包括所述 演示屏幕画面上的被操作的第一像素点集合的信息；
[0256] 所述处理器101执行的所述执行指令中，根据用户对所述演示屏幕画面的操作信 息，以及所述映射关系，操控所述终端，包括：
[0257] 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合 对应在所述终端的显示屏幕上第二像素点集合的信息；
[0258] 在所述终端的显示屏幕上，将轨迹图标移动至所述第二像素点集合的位置处。
[0259] 可选地，所述演示屏幕画面的参数信息包括以下信息中的至少一项：演示屏幕画 面的宽度值、所述演示屏幕画面的高度值以及所述演示屏幕画面上的参考像素点在所述演 示图像中的坐标值，所述屏幕参数信息包括所述终端的屏幕分辨率；
[0260] 所述处理器101执行的所述执行指令中，根据所述演示屏幕画面的参数信息和所 述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像 素点之间的映射关系，包括：
[0261] 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述演示屏幕画 面上的参考像素点在所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定所述演 示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
[0262] 可选地，所述处理器101执行的所述执行指令中，根据以下公式确定所述演示屏 幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
[0265] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应 的所述显示屏幕上的像素点的坐标值，TrX为所述显示屏幕的宽度值，TrY为所述显示屏幕 的高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY) 为所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的 坐标原点。
[0266] 可选地，所述终端的屏幕参数信息包括所述终端的放置状态信息、所述终端的屏 幕分辨率，所述演示屏幕画面的参数信息包括演示屏幕画面的宽度值、所述演示屏幕画面 的高度值、和所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值；所述处理器 101执行的所述执行指令中，根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信 息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关 系，包括：
[0267] 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点 在所述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息，确定 所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
[0268] 可选地，所述放置状态信息包括所述终端的放置状态相对参考状态的倾斜角，其 中，所述倾斜角为在所述演示图像上，所述终端的放置状态相对参考状态沿逆时针方向旋 转的角度，在所述终端的放置状态为所述参考状态时，所述显示屏幕的顶边所在的方向为 水平方向，所述显示屏幕的侧边所在的方向为垂直方向，所述处理器101执行的所述执行 指令中，根据以下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素 点之间的映射关系：
[0271] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应 的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的 高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为 所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐 标原点。9为基于所述倾斜角的角度值0确定的角度值，9为像素点（X，Y)与参考像素 点（PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度 值。
[0272] 可选地，所述处理器101执行的所述执行指令中，基于所述倾斜角的角度值0确 定所述第一锐角夹角的角度值0包括：
[0273] 当所述倾斜角的角度值0为0时，确定所述第一锐角夹角的角度值0为a，其 中，a为像素点（X，Y)与参考像素点（PtX，PtY)之间的连线与水平方向的第二锐角夹角的 角度值；或者
[0274] 当所述倾斜角的角度值0大于0、且所述倾斜角的角度值0小于31时，确定所述 第一锐角夹角的角度值0为所述倾斜角的角度值0减去角度值a后的差值；或者
[0275] 当所述倾斜角的角度值0大于或等于JT、且所述倾斜角的角度值0小于3JT/2 时，确定所述第一锐角夹角的角度值9为所述倾斜角的角度值0与角度值a相加、再减 去n后的值；或者
[0276] 当所述倾斜角的角度值0大于或等于3JT/2、且所述倾斜角的角度值0小于2JT 时，确定所述第一锐角夹角的角度值9为所述倾斜角的角度值0减去角度值a、再减去 n后的值。
[0277] 可选地，所述终端的检测参数信息包括以下信息中的至少一种：所述终端的宽高 比、所述终端的屏幕分辨率、所述终端的放置状态信息。
[0278] 可选地，所述终端的映射参数信息包括以下信息中的至少一种：所述终端的屏幕 分辨率、所述终端的放置状态信息、所述终端的宽度值和高度值。
[0279] 可选地，所述处理器101执行的所述执行指令中，根据终端的检测参数信息，在所 述演示图像中检测演示屏幕画面，包括：
[0280] 在所述演示图像中检测所有具有四边形轮廓的物体；
[0281] 在检测到的所述所有具有四边形轮廓的物体中，查找出具有终端四边形轮廓的所 述演示屏幕画面，所述终端四边形轮廓与所述终端的检测参数信息匹配。
[0282] 可选地，所述处理器101执行的所述执行指令中，在所述演示图像中检测所有具 有四边形轮廓的物体，包括：
[0283] 在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。
[0284] 可选地，所述处理器101执行的所述执行指令中，根据包括以下信息中的至少一 种确定所述图像检测范围：所述演示屏幕画面的在所述演示图像中的移动信息、所述演示 图像中的演示所述终端操作的演示者手部位置信息、预设的区域范围信息。
[0285] 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序 产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实 施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机 可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产 品的形式。
[0286] 本发明是参照根据本发明实施例的方法、装置（系统）、和计算机程序产品的流程 图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一 流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算 机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理 器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生 用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能 的装置。
[0287] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特 定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指 令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能。
[0288] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计 算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或 其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图 一个方框或多个方框中指定的功能的步骤。
[0289] 尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造 性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优 选实施例以及落入本发明范围的所有变更和修改。
[0290] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精 神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围 之内，则本发明也意图包含这些改动和变型在内。
【主权项】
1. 一种远程操控方法，其特征在于，所述方法包括： 获得演示图像，所述演示图像为用于演示终端操作的图像； 根据终端的检测参数信息，在所述演示图像中检测演示屏幕画面，所述演示屏幕画面 为所述演示图像中所述终端的屏幕画面； 根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画 面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系； 根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端。2. 如权利要求1所述的方法，其特征在于，所述操作信息包括操作动作信息 和第一操 作位置信息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合 的信息； 根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端，包括： 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应 在所述终端的显示屏幕上第二像素点集合的信息； 根据所述第二像素点集合的信息和所述操作动作信息，操控所述终端。3. 如权利要求1所述的方法，其特征在于，所述操作信息包括第一操作位置信息，所述 第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息； 根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端，包括： 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应 在所述终端的显示屏幕上第二像素点集合的信息； 在所述终端的显示屏幕上，将轨迹图标移动至所述第二像素点集合的位置处。4. 如权利要求1至3任一项所述的方法，其特征在于，所述演示屏幕画面的参数信息包 括以下信息中的至少一项：演示屏幕画面的宽度值、所述演示屏幕画面的高度值以及所述 演示屏幕画面上的参考像素点在所述演示图像中的坐标值，所述屏幕参数信息包括所述终 端的屏幕分辨率； 根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画 面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系，包括： 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述演示屏幕画面上 的参考像素点在所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定所述演示屏 幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。5. 如权利要求4所述的方法，其特征在于，根据以下公式确定所述演示屏幕画面上的 像素点与所述终端的显示屏幕上的像素点之间的映射关系：其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应的所 述显示屏幕上的像素点的坐标值，TrX为所述显示屏幕的宽度值，TrY为所述显示屏幕的高 度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为所 述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标 原点。6. 如权利要求1至3任一项所述的方法，其特征在于，所述终端的屏幕参数信息包括所 述终端的放置状态信息、所述终端的屏幕分辨率，所述演示屏幕画面的参数信息包括演示 屏幕画面的宽度值、所述演示屏幕画面的高度值、和所述演示屏幕画面上的参考像素点在 所述演示图像中的坐标值； 根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画 面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系，包括： 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点在所 述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息，确定所述 演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。7. 如权利要求6所述的方法，其特征在于，所述放置状态信息包括所述终端的放置状 态相对参考状态的倾斜角，其中，所述倾斜角为在所述演示图像上，所述终端的放置状态相 对参考状态沿逆时针方向旋转的角度；在所述终端的放置状态为所述参考状态时，所述显 示屏幕的顶边所在的方向为水平方向，所述显示屏幕的侧边所在的方向为垂直方向；根据 以下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映 射关系：其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应的所 述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的高度 值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为所 述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标 原点，Θ为基于所述倾斜角的角度值β确定的角度值，Θ为像素点（X，Y)与参考像素点 (PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度值。8. 如权利要求7所述的方法，其特征在于，基于所述倾斜角的角度值β确定所述第一 锐角夹角的角度值Θ，包括： 当所述倾斜角的角度值β为〇时，确定所述第一锐角夹角的角度值Θ为α，其中，α 为像素点（X，Υ)与参考像素点（PtX，PtY)之间的连线与水平方向的第二锐角夹角的角度 值；或者 当所述倾斜角的角度值β大于〇、且所述倾斜角的角度值β小于π时，确定所述第一 锐角夹角的角度值Θ为所述倾斜角的角度值β减去角度值α后的差值；或者 当所述倾斜角的角度值β大于或等于π、且所述倾斜角的角度值β小于3 π/2时， 确定所述第一锐角夹角的角度值Θ为所述倾斜角的角度值β与角度值α相加、再减去π 后的值；或者 当所述倾斜角的角度值β大于或等于3 π/2、且所述倾斜角的角度值β小于2 π时， 确定所述第一锐角夹角的角度值Θ为所述倾斜角的角度值β减去角度值α、再减去π后 的值。9. 如权利要求1至8任一项所述的方法，其特征在于，所述根据终端的检测参数信息， 在所述演示图像中检测演示屏幕画面，包括： 在所述演示图像中检测所有具有四边形轮廓的物体； 在检测到的所述所有具有四边形轮廓的物体中，查找出具有终端四边形轮廓的所述演 示屏幕画面，所述终端四边形轮廓与所述终端的检测参数信息匹配。10. 如权利要求9所述的方法，其特征在于，在所述演示图像中检测所有具有四边形轮 廓的物体，包括： 在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。11. 如权利要求10所述的方法，其特征在于，根据包括以下信息中的至少一种确定所 述图像检测范围：所述演示屏幕画面的在所述演示图像中的移动信息、所述演示图像中的 演示所述终端操作的演示者手部位置信息、预设的区域范围信息。12. -种远程操控装置，其特征在于，该装置包括： 获取模块，用于获得演示图像，所述演示图像为用于演示终端操作的图像； 检测模块，用于根据终端的检测参数信息，在所述获取模块获取到的所述演示图像中 检测演示屏幕画面，所述演示屏幕画面为所述演示图像中所述终端的屏幕画面； 确定模块，用于根据所述检测模块检测出的所述演示屏幕画面的参数信息和所述终端 的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之 间的映射关系； 操控模块，用于根据用户对所述演示屏幕画面的操作信息，以及所述确定模块确定的 所述映射关系，操控所述终端。13. 如权利要求12所述的装置，其特征在于，所述操作信息包括操作动作信息和第一 操作位置信息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集 合的信息； 所述操控模块具体用于： 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应 在所述终端的显示屏幕上第二像素点集合的信息；根据所述第二像素点集合的信息和所述 操作动作信息，操控所述终端。14. 如权利要求12所述的装置，其特征在于，所述操作信息包括第一操作位置信息，所 述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息； 所述操控模块具体用于： 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应 在所述终端的显示屏幕上第二像素点集合的信息；在所述终端的显示屏幕上，将轨迹图标 移动至所述第二像素点集合的位置处。15. 如权利要求12至14任一项所述的装置，其特征在于，所述演示屏幕画面的参数信 息包括以下信息中的至少一项：演示屏幕画面的宽度值、所述演示屏幕画面的高度值以及 所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值，所述屏幕参数信息包括所 述终端的屏幕分辨率； 所述确定模块具体用于： 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述演示屏幕画面上 的参考像素点在所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定所述演示屏 幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。16. 如权利要求15所述的装置，其特征在于，所述确定模块具体用于根据以下公式确 定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应的所 述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的高度 值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为所述 参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标原 点。17. 如权利要求12至14任一项所述的装置，其特征在于，所述终端的屏幕参数信息包 括所述终端的放置状态信息、所述终端的屏幕分辨率，所述演示屏幕画面的参数信息包括 演示屏幕画面的宽度值、所述演示屏幕画面的高度值、和所述演示屏幕画面上的参考像素 点在所述演示图像中的坐标值； 所述确定模块具体用于： 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点在所 述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息，确定所述 演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。18. 如权利要求17所述的装置，其特征在于，所述放置状态信息包括所述终端的放置 状态相对参考状态的倾斜角，其中，所述倾斜角为在所述演示图像上，所述终端的放置状态 相对参考状态沿逆时针方向旋转的角度；在所述终端的放置状态为所述参考状态时，所述 显示屏幕的顶边所在的方向为水平方向，所述显示屏幕的侧边所在的方向为垂直方向；所 述确定模块具体用于根据以下公式确定所述演示屏幕画面上的像素点与所述终端的显示 屏幕上的像素点之间的映射关系：其中，（Χ，γ)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应的所 述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的高度 值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为所 述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标 原点，Θ为基于所述倾斜角的角度值β确定的角度值，Θ为像素点（X，Y)与参考像素点 (PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度值。19. 如权利要求18所述的装置，其特征在于，所述确定模块具体用于： 当所述倾斜角的角度值β为〇时，确定所述第一锐角夹角的角度值Θ为α，其中，α 为像素点（X，Υ)与参考像素点（PtX，PtY)之间的连线与水平方向的第二锐角夹角的角度 值；或者 当所述倾斜角的角度值β大于〇、且所述倾斜角的角度值β小于π时，确定所述第一 锐角夹角的角度值Θ为所述倾斜角的角度值β减去角度值α后的差值；或者 当所述倾斜角的角度值β大于或等于π、且所述倾斜角的角度值β小于3 π/2时， 确定所述第一锐角夹角的角度值Θ为所述倾斜角的角度值β与角度值α相加、再减去π 后的值；或者 当所述倾斜角的角度值β大于或等于3 π/2、且所述倾斜角的角度值β小于2 π时， 确定所述第一锐角夹角的角度值Θ为所述倾斜角的角度值β减去角度值α、再减去π后 的值。20. 如权利要求12至19任一项所述的装置，其特征在于，所述检测模块具体用于： 在所述演示图像中检测所有具有四边形轮廓的物体；在检测到的所述所有具有四边形 轮廓的物体中，查找出具有终端四边形轮廓的所述演示屏幕画面，所述终端四边形轮廓与 所述终端的检测参数信息匹配。21. 如权利要求20所述的装置，其特征在于，所述检测模块具体用于： 在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。22. 如权利要求21所述的装置，其特征在于，所述检测模块具体用于根据包括以下信 息中的至少一种确定所述图像检测范围：所述演示屏幕画面的在所述演示图像中的移动信 息、所述演示图像中的演示所述终端操作的演示者手部位置信息、预设的区域范围信息。
【专利摘要】本发明涉及控制技术领域，尤其涉及一种远程操控方法及装置，用以在能够呈现终端的除屏幕内容之外的信息及演示者演示内容的情况下，实现对终端的远程操控。本发明实施例提供一种远程操控方法包括：获得演示图像，所述演示图像为用于演示终端操作的图像；根据终端的检测参数信息，在所述演示图像中检测演示屏幕画面，所述演示屏幕画面为所述演示图像中所述终端的屏幕画面；根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系；根据用户对演示屏幕画面的操作信息，以及所述映射关系，操控终端。
【IPC分类】G06F17/50
【公开号】CN104899361
【申请号】CN201510257853
【发明人】宋星光, 廉士国
【申请人】华为技术有限公司
【公开日】2015年9月9日
【申请日】2015年5月19日
【技术领域】
[0001] 本发明涉及多媒体技术领域，尤其涉及一种远程操控方法及装置。
【背景技术】
[0002]当前，电子设备种类及功能越来越多，给人们生活带来了极大的便利。当设计了终 端产品，在不方便将产品直接呈现给参观者的情况下，可以远程演示给参观者。演示者一般 需要一边介绍产品的使用，一边让用户操控终端，进行切身体验。
[0003] 已有的远程操控方式中，控制端需要通过与被控端建立起连接，获得对被控端的 控制权限，并在控制端的显示屏幕上显示被控端的显示屏幕内容。这种远程操控方式虽然 可以实现远程控制，但却无法满足终端演示的需求。比如，采用这种方式，用户无法在控制 端看到终端（也即被控端）的屏幕内容之外的信息（比如终端的外壳），并且，被控端在将 终端控制权交给控制端后，演示者将无法在被控端演示终端使用过程，显然，这种远程操控 方式影响了终端的远程演示的效果。
【发明内容】
[0004] 本发明实施例提供一种远程操控方法及装置，用以在能够呈现终端的屏幕内容之 外的信息及演示者演示内容的情况下，实现对终端的远程操控。
[0005] 第一方面，提供一种远程操控方法，包括：
[0006] 获得演示图像，所述演示图像为用于演示终端操作的图像；
[0007] 根据终端的检测参数信息，在所述演示图像中检测演示屏幕画面，所述演示屏幕 画面为所述演示图像中所述终端的屏幕画面；
[0008] 根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏 幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系；
[0009] 根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端。 [0010] 结合第一方面，在第一种可能的实现方式中，所述操作信息包括操作动作信息和 第一操作位置信息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素 点集合的信息；
[0011] 根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端，包 括：
[0012] 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合 对应在所述终端的显示屏幕上第二像素点集合的信息；
[0013] 根据所述第二像素点集合的信息和所述操作动作信息，操控所述终端。
[0014] 结合第一方面，在第二种可能的实现方式中，所述操作信息包括第一操作位置信 息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；
[0015] 根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端，包 括：
[0016] 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合 对应在所述终端的显示屏幕上第二像素点集合的信息；
[0017] 在所述终端的显示屏幕上，将轨迹图标移动至所述第二像素点集合的位置处。
[0018] 结合第一方面，或第一方面的第一或第二种可能的实现方式，在第三种可能的实 现方式中，所述演示屏幕画面的参数信息包括以下信息中的至少一项：演示屏幕画面的宽 度值、所述演示屏幕画面的高度值以及所述演示屏幕画面上的参考像素点在所述演示图像 中的坐标值，所述屏幕参数信息包括所述终端的屏幕分辨率；
[0019] 根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏 幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系，包括：根据所述演 示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述演示屏幕画面上的参考像素点在 所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定所述演示屏幕画面上的像素 点与所述显示屏幕上的像素点之间的映射关系。
[0020] 结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，根据以下 公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关 系：
[0023] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应 的所述显示屏幕上的像素点的坐标值，TrX为所述显示屏幕的宽度值，TrY为所述显示屏幕 的高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY) 为所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的 坐标原点。
[0024] 结合第一方面，或第一方面的第一或第二种可能的实现方式，在第五种可能的实 现方式中，所述终端的屏幕参数信息包括所述终端的放置状态信息、所述终端的屏幕分辨 率，所述演示屏幕画面的参数信息包括演示屏幕画面的宽度值、所述演示屏幕画面的高度 值、和所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值；
[0025] 根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏 幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系，包括：
[0026] 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点 在所述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息，确定 所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
[0027] 结合第一方面的第五种可能的实现方式，在第六种可能的实现方式中，所述放置 状态信息包括所述终端的放置状态相对参考状态的倾斜角，其中，所述倾斜角为在所述演 示图像上，所述终端的放置状态相对参考状态沿逆时针方向旋转的角度，在所述终端的放 置状态为所述参考状态时，所述显示屏幕的顶边所在的方向为水平方向，所述显示屏幕的 侧边所在的方向为垂直方向，根据以下公式确定所述演示屏幕画面上的像素点与所述终端 的显示屏幕上的像素点之间的映射关系：
[0030] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应 的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的 高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为 所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐 标原点，9为基于所述倾斜角的角度值0确定的角度值，，9为像素点（X，Y)与参考像素 点（PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度 值。
[0031] 结合第一方面的第六种可能的实现方式，在第七种可能的实现方式中，基于所述 倾斜角的角度值0确定所述第一锐角夹角的角度值0包括：
[0032]当所述倾斜角的角度值0为0时，确定所述第一锐角夹角的角度值0为a，其 中，a为像素点（X，Y)与参考像素点（PtX，PtY)之间的连线与水平方向的第二锐角夹角的 角度值；或者
[0033] 当所述倾斜角的角度值0大于0、且所述倾斜角的角度值0小于JT时，确定所述 第一锐角夹角的角度值0为所述倾斜角的角度值0减去角度值a后的差值；或者
[0034]当所述倾斜角的角度值0大于或等于、且所述倾斜角的角度值0小于3JT/2 时，确定所述第一锐角夹角的角度值9为所述倾斜角的角度值0与角度值a相加、再减 去n后的值；或者
[0035] 当所述倾斜角的角度值0大于或等于3JT/2、且所述倾斜角的角度值0小于2JT 时，确定所述第一锐角夹角的角度值9为所述倾斜角的角度值0减去角度值a、再减去 n后的值。
[0036] 结合第一方面，或第一方面的第一至第七种可能的实现方式中的任意一种，在第 八种可能的实现方式中，所述根据终端的检测参数信息，在所述演示图像中检测演示屏幕 画面，包括：
[0037] 在所述演示图像中检测所有具有四边形轮廓的物体；
[0038] 在检测到的所述所有具有四边形轮廓的物体中，查找出具有终端四边形轮廓的所 述演示屏幕画面，所述终端四边形轮廓与所述终端的检测参数信息匹配。
[0039] 结合第一方面的第八种可能的实现方式，在第九种可能的实现方式中，在所述演 示图像中检测所有具有四边形轮廓的物体，包括：
[0040] 在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。
[0041] 结合第一方面的第九种可能的实现方式，在第十种可能的实现方式中，根据包括 以下信息中的至少一种确定所述图像检测范围：所述演示屏幕画面的在所述演示图像中的 移动信息、所述演示图像中的演示所述终端操作的演示者手部位置信息、预设的区域范围 信息。
[0042] 第二方面，提供一种远程操控装置，包括：
[0043] 获取模块，用于获得演示图像，所述演示图像为用于演示终端操作的图像；
[0044] 检测模块，用于根据终端的检测参数信息，在所述获取模块获取到的所述演示图 像中检测演示屏幕画面，所述演示屏幕画面为所述演示图像中所述终端的屏幕画面；
[0045] 确定模块，用于根据所述检测模块检测出的所述演示屏幕画面的参数信息和所述 终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素 点之间的映射关系；
[0046] 操控模块，用于根据用户对所述演示屏幕画面的操作信息，以及所述确定模块确 定的所述映射关系，操控所述终端。
[0047] 结合第二方面，在第一种可能的实现方式中，所述第一操作位置信息包括所述演 示屏幕画面上的被操作的第一像素点集合的信息；
[0048] 所述操控模块具体用于：
[0049] 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合 对应在所述终端的显示屏幕上第二像素点集合的信息；根据所述第二像素点集合的信息和 所述操作动作信息，操控所述终端。
[0050] 结合第二方面，在第二种可能的实现方式中，所述操作信息包括第一操作位置信 息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；
[0051] 所述操控模块具体用于：
[0052] 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合 对应在所述终端的显示屏幕上第二像素点集合的信息；在所述终端的显示屏幕上，将轨迹 图标移动至所述第二像素点集合的位置处。
[0053] 结合第二方面，或第二方面的第一或第二种可能的实现方式，在第三种可能的实 现方式中，所述演示屏幕画面的参数信息包括以下信息中的至少一项：演示屏幕画面的宽 度值、所述演示屏幕画面的高度值以及所述演示屏幕画面上的参考像素点在所述演示图像 中的坐标值，所述屏幕参数信息包括所述终端的屏幕分辨率；
[0054] 所述确定模块具体用于：
[0055] 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述演示屏幕画 面上的参考像素点在所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定所述演 示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
[0056] 结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述确定 模块具体用于根据以下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上 的像素点之间的映射关系：
[0059] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应 的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的 高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为 所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐 标原点。
[0060] 结合第二方面，或第二方面的第一或第二种可能的实现方式，在第五种可能的实 现方式中，所述终端的屏幕参数信息包括所述终端的放置状态信息、所述终端的屏幕分辨 率，所述演示屏幕画面的参数信息包括演示屏幕画面的宽度值、所述演示屏幕画面的高度 值、和所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值；
[0061] 所述确定模块具体用于：
[0062] 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点 在所述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息，确定 所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
[0063] 结合第二方面的第五种可能的实现方式，在第六种可能的实现方式中，所述放置 状态信息包括所述终端的放置状态相对参考状态的倾斜角，其中，所述倾斜角为在所述演 示图像上，所述终端的放置状态相对参考状态沿逆时针方向旋转的角度，在所述终端的放 置 状态为所述参考状态时参考状态时，所述显示屏幕的顶边所在的方向为水平方向，所述 显示屏幕的侧边所在的方向为垂直方向，所述确定模块具体用于根据以下公式确定所述演 示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
[0066] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应 的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的 高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为 所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐 标原点。9为基于所述倾斜角的角度值0确定的角度值，9为像素点（X，Y)与参考像素 点（PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度 值。
[0067] 结合第二方面的第六种可能的实现方式，在第七种可能的实现方式中，所述确定 模块具体用于：
[0068] 当所述倾斜角的角度值0为0时，确定所述第一锐角夹角的角度值0为a，其 中，a为像素点（X，Y)与参考像素点（PtX，PtY)之间的连线与水平方向的第二锐角夹角的 角度值；或者
[0069] 当所述倾斜角的角度值0大于0、且所述倾斜角的角度值0小于时，确定所述 第一锐角夹角的角度值0为所述倾斜角的角度值0减去角度值a后的差值；或者
[0070] 当所述倾斜角的角度值0大于或等于JT、且所述倾斜角的角度值0小于3JT/2 时，确定所述第一锐角夹角的角度值9为所述倾斜角的角度值0与角度值a相加、再减 去n后的值；或者
[0071] 当所述倾斜角的角度值0大于或等于3JT/2、且所述倾斜角的角度值0小于2JT 时，确定所述第一锐角夹角的角度值9为所述倾斜角的角度值0减去角度值a、再减去 n后的值。
[0072] 结合第二方面，或第二方面的第一至第七种可能的实现方式中的任意一种，在第 八种可能的实现方式中，所述检测模块具体用于：
[0073] 在所述演示图像中检测所有具有四边形轮廓的物体；在检测到的所述所有具有四 边形轮廓的物体中，查找出具有终端四边形轮廓的所述演示屏幕画面，所述终端四边形轮 廓与所述终端的检测参数信息匹配。
[0074] 结合第二方面的第八种可能的实现方式，在第九种可能的实现方式中，所述检测 模块具体用于：
[0075] 在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。
[0076] 结合第二方面的第九种可能的实现方式，在第十种可能的实现方式中，所示检测 模块具体用于根据包括以下信息中的至少一种确定所述图像检测范围：所述演示屏幕画面 的在所述演示图像中的移动信息、所述演示图像中的演示所述终端操作的演示者手部位置 信息、预设的区域范围信息。
[0077] 第三方面，提供一种远程操控设备，包括：处理器、存储器和总线；所述存储器存 储执行指令，当所述远程操控设备运行时，所述处理器与所述存储器之间通过总线通信，使 得所述处理器执行如下执行指令：
[0078] 获得演示图像，所述演示图像为用于演示终端操作的图像；
[0079] 根据终端的检测参数信息，在所述演示图像中检测演示屏幕画面，所述演示屏幕 画面为所述演示图像中所述终端的屏幕画面；
[0080] 根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏 幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系；
[0081] 根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端。
[0082] 结合第三方面，在第一种可能的实现方式中，所述操作信息包括操作动作信息和 第一操作位置信息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素 点集合的信息；所述处理器执行的所述执行指令中，根据用户对所述演示屏幕画面的操作 信息，以及所述映射关系，操控所述终端，包括：
[0083] 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合 对应在所述终端的显示屏幕上第二像素点集合的信息；
[0084] 根据所述第二像素点集合的信息和所述操作动作信息，操控所述终端。
[0085] 结合第三方面，在第二种可能的实现方式中，所述操作信息包括第一操作位置信 息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息； 所述处理器执行的所述执行指令中，根据用户对所述演示屏幕画面的操作信息，以及所述 映射关系，操控所述终端，包括：
[0086] 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合 对应在所述终端的显示屏幕上第二像素点集合的信息；
[0087] 在所述终端的显示屏幕上，将轨迹图标移动至所述第二像素点集合的位置处。
[0088] 结合第三方面，或第三方面的第一或第二种可能的实现方式，在第三种可能的实 现方式中，所述演示屏幕画面的参数信息包括以下信息中的至少一项：演示屏幕画面的宽 度值、所述演示屏幕画面的高度值以及所述演示屏幕画面上的参考像素点在所述演示图像 中的坐标值，所述屏幕参数信息包括所述终端的屏幕分辨率；
[0089] 所述处理器执行的所述执行指令中，根据所述演示屏幕画面的参数信息和所述终 端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点 之间的映射关系，包括：
[0090] 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述演示屏幕画 面上的参考像素点在所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定所述演 示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
[0091] 结合第三方面的第三种可能的实现方式，在第四种可能的实现方式中，所述处理 器执行的所述执行指令中，根据以下公式确定所述演示屏幕画面上的像素点与所述终端的 显示屏幕上的像素点之间的映射关系：
[0094] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应 的所述显示屏幕上的像素点的坐标值，TrX为所述显示屏幕的宽度值，TrY为所述显示屏幕 的高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY) 为所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的 坐标原点。
[0095] 结合第三方面，或第三方面的第一或第二种可能的实现方式，在第五种可能的实 现方式中，所述终端的屏幕参数信息包括所述终端的放置状态信息、所述终端的屏幕分辨 率，所述演示屏幕画面的参数信息包括演示屏幕画面的宽度值、所述演示屏幕画面的高度 值、和所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值；所述处理器执行的 所述执行指令中，根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所 述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系，包括： [0096] 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点 在所述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息，确定 所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
[0097] 结合第三方面的第五种可能的实现方式，在第六种可能的实现方式中，所述放置 状态信息包括所述终端的放置状态相对参考状态的倾斜角，其中，所述倾斜角为在所述演 示图像上，所述终端的放置状态相对参考状态沿逆时针方向旋转的角度，在所述终端的放 置状态为所述参考状态时，所述显示屏幕的顶边所在的方向为水平方向，所述显示屏幕的 侧边所在的方向为垂直方向，所述处理器执行的所述执行指令中，根据以下公式确定所述 演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
[0100] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应 的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的 高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为 所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐 标原点。9为基于所述倾斜角的角度值0确定的角度值，9为像素点（X，Y)与参考像素 点（PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度 值。
[0101] 结合第三方面的第六种可能的实现方式，在第七种可能的实现方式中，所述处理 器执行的所述执行指令中，基于所述倾斜角的角度值0确定所述第一锐角夹角的角度值 Q，包括：
[0102]当所述倾斜角的角度值e为0时，确定所述第一锐角夹角的角度值0为a，其 中，a为像素点（X，Y)与参考像素点（PtX，PtY)之间的连线与水平方向的第二锐角夹角的 角度值；或者
[0103] 当所述倾斜角的角度值e大于0、且所述倾斜角的角度值e小于31时，确定所述 第一锐角夹角的角度值0为所述倾斜角的角度值0减去角度值a后的差值；或者
[0104] 当所述倾斜角的角度值0大于或等于、且所述倾斜角的角度值0小于3JT/2 时，确定所述第一锐角夹角的角度值9为所述倾斜角的角度值0与角度值a相加、再减 去n后的值；或者
[0105] 当所述倾斜角的角度值0大于或等于3JT/2、且所述倾斜角的角度值0小于2JT 时，确定所述第一锐角夹角的角度值9为所述倾斜角的角度值0减去角度值a、再减去 n后的值。
[0106] 结合第三方面，或第三方面的第一至第七种可能的实现方式中的任意一种，在第 八种可能的实现方式中，所述处理器执行的所述执行指令中，根据终端的检测参数信息，在 所述演示图像中检测演示屏幕画面，包括：
[0107] 在所述演示图像中检测所有具有四边形轮廓的物体；
[0108] 在检测到的所述所有具有四边形轮廓的物体中，查找出具有终端四边形轮廓的所 述演示屏幕画面，所述终端四边形轮廓与所述终端的检测参数信息匹配。
[0109] 结合第一方面的第八种可能的实现方式，在第九种可能的实现方式中，所述处理 器执行的所述执行指令中，在所述演示图像中检测所有具有四边形轮廓的物体，包括：
[0110] 在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。
[0111] 结合第三方面的第九种可能的实现方式，在第十种可能的实现方式中，，所述处理 器执行的所述执行指令中，根据包括以下信息中的至少一种确定所述图像检测范围：所述 演示屏幕画面的在所述演示图像中的移动信息、所述演示图像中的演示所述终端操作的演 示者手部位置信息、预设的区域范围信息。
[0112]根据上述任一方面提供的方案，采用图像采集设备采集用于演示终端操作的演示 图像，呈现给远端的参观者，并在该演示图像中检测终端的演示屏幕画面，建立演示图像中 终端的演示屏幕画面上的像素点与终端实际的显示屏幕上的像素点之间的映射关系；根据 用户对终端的演示屏幕画面的操作信息，以及所述映射关系，操控所述终端。从而采用本发 明实施例，不仅可以在演示图像中呈现终端的屏幕内容之外的信息（如终端外壳形貌）及 演示者演示内容，还可以实现对终端的远程操控。
【附图说明】
[0113] 图1为本发明实施例一提供的远程操控方法流程图；
[0114] 图2为本发明实施例二提供的远程操控方法流程图；
[0115] 图3(a)为对演示图像中的终端屏幕画面进行操作的示意图；
[0116] 图3(b)为在终端的屏幕上，轨迹球按照激光点移动的位置进行移动，的示意图；
[0117] 图4(a)为倾斜角|3 = 0时，计算映射关系的不意图；
[0118] 图4(b)为0 < |3 < 31/2时计算映身寸关系的不意图；
[0119] 图4(c)为Jr/2<|3< 31时计算映身寸关系的不意图；
[0120] 图4(d)为31 < |3 < 3 31/2时计算映身寸关系的不意图；
[0121] 图4(e)为|3多3 31/2时计算映射关系的不意图；
[0122] 图5为本发明实施例三提供的支持远程远程操控的系统架构示意图；
[0123] 图6为本发明实施例在演示场景下的应用示意图；
[0124] 图7为本发明实施例在家庭远程视频聊天场景中的应用示意图；
[0125] 图8为本发明实施例在远程可视手写签名场景中的应用示意图；
[0126] 图9为本发明实施例四提供的远程操控装置结构示意图；
[0127] 图10为本发明实施例五提供的远程操控设备结构示意图。
【具体实施方式】
[0128] 本发明实施例的基本思想是：采用图像采集设备采集用于演示终端操作的演示图 像，呈现给远端的参观者，并在该演示图像中检测终端的演示屏幕画面，建立演示图像中终 端的演示屏幕画面上的像素点与终端实际的显示屏幕上的像素点之间的映射关系；根据用 户对终端的演示屏幕画面的操作信息，以及所述映射关系，操控所述终端。从而采用本发明 实施例，不仅可以在演示图像中呈现终端的屏幕内容之外的信息（如终端外壳形貌）及演 示者演示内容，还可以实现对终端的远程操控。
[0129] 下面结合说明书附图对本发明实施例作进一步详细描述。
[0130] 实施例一
[0131] 如图1所示，为本发明实施例一提供的远程操控方法流程图，包括以下步骤：
[0132] S101 :获得演示图像，所述演示图像为用于演示终端操作的图像。
[0133] 在具体实施中，可以采用图像采集设备采集演示者演示终端操作时的演示图像。 这里的演示者为向其它用户演示终端操作过程的用户。
[0134] 本发明实施例的终端可以是移动终端，或具有触摸屏的终端。
[0135] S102 :根据终端的检测参数信息，在所述演示图像中检测演示屏幕画面，所述演示 屏幕画面为所述演示图像中所述终端的屏幕画面。
[0136] 在具体实施中，本发明实施例的执行主体可以为独立于终端之外的控制设备，比 如可以为独立的个人电脑（PersonalComputer，PC)等，也可以是安装在终端之上的功能模 块，本发明实施例中并不限定。
[0137] 在具体实施过程中，可以根据终端的检测参数信息，比如终端的宽高比（宽度与 高度的比值，这里，终端的宽度值可以认为是终端的显示屏幕的顶边的长度值，高度值可以 认为是终端的显示屏幕的侧边的长度值）、屏幕分辨率（这里，屏幕分辨率可以包括终端的 显示屏幕在顶边所在的方向上的分辨率（对应宽度值），及在侧边所在的方向上的分辨率 (对应高度值））、放置状态信息（比如横屏、竖屏、放置倾斜角等）等中的一种或多种，在演 示图像中检测匹配该终端的检测参数信息的演示屏幕画面（即演示图像中终端的屏幕画 面）。这里，图像采集设备采集到的演示图像中，可能包含演示者的图像、终端的图像（包含 终端的演示屏幕画面）、以及其它的背景图像，本发明实施例需要从中检测出与用户操作相 关的演示屏幕画面，为下述步骤S103作铺垫。
[0138] S103:根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述 演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系。
[0139] 这里，所述演示屏幕画面的参数信息可以包括以下信息中的至少一项：演示屏幕 画面的宽度值、演示屏幕画面的高度值以及所述演示屏幕画面上的参考像素点在所述演示 图像中的坐标值；终端的屏幕参数信息可以包括以下信息中的至少一项：所述终端的屏幕 分辨率、所述终端的放置状态信息、所述终端的宽度值和高度值。
[0140] 在S102检测到演示图像中的终端的演示屏幕画面后，可以建立该演示屏幕画面 上的像素点在演示图像中的坐标值与终端实际的显示屏幕上的像素点在该终端的显示屏 幕上的坐标值之间的映射关系，以便基于该映射关系，将用户在演示图像中的演示屏幕画 面上的操作位置转换为在终端的实际的显示屏幕上的操作位置。
[0141] S104 :根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终 端。
[0142] 这里的用户为对演示图像中的演示屏幕画面进行操作的用户，为与演示者对应的 参观者。
[0143] 这里的操作信息可以包括操作动作信息和第一操作位置信息，该第一操作位置信 息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；
[0144] S104中，根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述 终端，可以包括：根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素 点集合对应在所述终端的显示屏幕上第二像素点集合的信息；根据所述第二像素点集合的 信息和所述操作动作信息，操控所述终端。或者，可以只根据第一像素点集合的信息执行漫 游操作，也即，根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点 集合对应在所述终端的显示屏幕上第二像素点集合的信息；根据所述第二像素点集合的信 息，将所述终端的显示屏幕上的轨迹图标进行移动。详见下述实施例的描述。
[0145] 下面通过实施例二，对本发明实施例的思想作进一步详细说明。
[0146] 实施例二
[0147] 如图2所示，为本发明实施例二提供的远程操控方法流程图，包括以下步骤：
[0148] S201 :在获取的演示图像中检测所有具有四边形轮廓的物体；在检测到的所有具 有四边形轮廓的物体中，查找出具有终端四边形轮廓的演示屏幕画面，所述终端四边形轮 廓与所述终端的检测参数信息匹配。
[0149] 本发明实施例中所述四边形轮廓可以是四个角具有一定弧度的四边形的轮廓。
[0150] 这里，终端的检测参数信息可以包括终端的宽高比、屏幕分辨率、放置状态信息中 的一种或多种。其中，若检测参数信息中包括终端的屏幕分辨率，不包括宽高比，则通过屏 幕分辨率可以计算得到终端的宽高比，比如屏幕分辨率对应的在显示屏幕的顶边所在的 方向上的像素个数为600 (即为宽度值），在显示屏幕的侧边所在的方向上的像素个数为 800(即为高度值），则终端的宽高比为3:4。在具体实施中，可以设置终端的默认放置状态， 比如默认放置状态为：终端的显示屏幕的顶边所在的方向为水平方向，终端的显示屏幕的 侧边所在的方向为垂直方向，这种情况下就要求演示者（演示终端操作的用户）在演示终 端时将终端置于默认的放置状态下。若不设置终端的默认放置状态，则可以通过放置状态 信息来指示终端当前的放置角度，也即终端的放置状态相对参考状态的倾斜角，参考状态 可以就是所述默认放置状态。
[0151] 在具体实施中，若本发明实施例的执行主体为独立于终端之外的实体，则需要获 取终端传输的参数信息，具体地，终端可以通过无线传输将参数信息传输给本发明实施例 的执行主体。
[0152] 可选地，在演示图像中检测所有具有四边形轮廓的物体，包括：
[0153] 在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。
[0154] 在具体实施中，可以遍历演示图像中的各个像素点来检测所有具有四边形轮廓的 物体，但由于屏幕轮廓检测耗时比较大，在具体实施中，可以首先确定图像检测范围，在确 定的图像检测范围内检测具有四边形轮廓的物体。
[0155] 可选地，可以根据以下信息中至少一种确定图像检测范围：
[0156] 所述演示屏幕画面的在所述演示图像中的移动信息、所述演示图像中的演示所述 终端操作的演示者手部位置信息、预设的区域范围信息。
[0157] 在具体实施中，演示者在演示终端操作时，一般会移动终端，而演示图像中的背景 画面通常不会发生变化，因此，可以基于演示图像中的演示屏幕画面变动信息，确定一个图 像检测范围，使得确定的图像检测范围内包含变动的画面；除此之外，考虑应用场景的特 点，终端一般会在手部附近，因此可以通过检测演示图像中演示者手部位置来确定图像检 测范围，手部位置检测可采用已有的比如基于Kinect的手势识别算法等。除此之外，还可 以根据演示者身高、演示屏幕大小、对演示者所处位置的限定等来预先设置一个区域范围 作为图像检测范围。在具体实施中，可以基于上述三种信息的综合分析来确定图像检测范 围，比如，将分别基于每一种信息得到的图像检测范围的交集或合集作为最终确定的图像 检测范围。
[0158] 在确定图像检测范围后，可以根据终端的屏幕分辨率（对应终端的宽高比）、放置 状态信息（比如横屏、竖屏、放置倾斜角等）、终端的演示屏幕画面的面积（可以基于终端的 屏幕分辨率和演示图像对应的拍摄时的缩放比例来确定该面积）等，在演示图像中检测匹 配该终端的检测参数信息的演示屏幕画面。
[0159] S202:根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述 演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系。
[0160] 这里，可以根据检测到的演示图像中终端的演示屏幕画面和所述终端的屏幕参数 信息，确定演示屏幕画面上的像素点所对应的终端的显示屏幕上的像素点，基于该映射关 系执行相关操作指令。在S203之后将介绍两种具体的映射方式。
[0161] S203 :根据用户对演示图像中终端的演示屏幕画面的第一操作位置信息（所述演 示屏幕画面上的被操作的第一像素点集合的信息），以及所述映射关系，确定所述第一操作 位置信息所对应的终端的显示屏幕上的第二操作位置信息（所述终端的显示屏幕上第二 像素点集合的信息）；根据所述第二操作位置信息和所述操作动作信息，操控所述终端。
[0162] 可选地，获得所述第一像素点集合对应在所述终端的显示屏幕上第二像素点集合 的信息后，还可以在所述终端的显示屏幕上，将轨迹图标移动至所述第二像素点集合的位 置处。
[0163] 在具体实施中，操作动作信息所指示的操作动作可以是点击操作、滑动操作等。除 此之外，还可以基于第二操作位置信息在显示屏幕上显示参观者（基于演示图像中终端的 演示屏幕画面进行操作的用户）的漫游操作；这里的漫游操作是指操作指示图标在演示屏 幕画面上移动的操作，比如，参观者采用激光笔，用激光点指向演示屏幕画面并移动位置。 针对漫游操作，为了使演示者看到参观者的漫游操作轨迹，可以在终端的显示屏幕上设置 轨迹图标，使该轨迹图标按照漫游操作的操作位置进行移动。如图3(a)所示，参观者用激 光笔打出激光点指向演示图像中终端的演示屏幕画面并进行移动，这时，在终端的显示屏 幕上轨迹图标（可以为轨迹球）按照激光点移动的位置进行移动，如图3(b)所示。
[0164] 下面，对S202中确定映射关系的方式作进一步说明。
[0165] 在S202中，根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定 所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系。本发明 实施例中提供以下两种方式确定所述映射关系：
[0166] 方式一：终端的放置状态为默认状态：比如，终端的显示屏幕的顶边（如图4(a) 所示）所在的方向为水平方向，终端的显示屏幕的侧边所在的方向为垂直方向；所述屏幕 参数信息包括所述终端的屏幕分辨率；所述演示屏幕画面的参数信息包括：演示屏幕画面 的宽度值、所述演示屏幕画面的高度值、和所述演示屏幕画面上的参考像素点在所述演示 图像中的坐标值；
[0167] 具体地，根据所述演示屏幕画面的宽度值（可以采用像素点个数来表示）、所述演 示屏幕画面的高度值（可以采用像素点个数来表示）、所述演示屏幕画面上的参考像素点 在所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定演示图像中终端的演示屏 幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系。
[0168] 例如，如图4(a)所示，可以根据以下公式确定所述演示屏幕画面上的像素点与所 述终端的显示屏幕上的像素点之间的映射关系：
[0171] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为所述显示屏幕 上的像素点的坐标值，TrX为终端在所述显示屏幕的顶边所在方向上的分辨率，即为显示屏 幕的宽度值，TrY为终端在所述显示屏幕的侧边所在方向上的分辨率，即为显示屏幕的高度 值；CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值；(PtX，PtY)为所述 参考像素点在所述演示图像中的坐标值；所述参考像素点对应于所述显示屏幕上的坐标原 点。
[0172] 在图4(a)中，演示图像中的坐标原点为演示图像左上角的像素点；在演示图像 中，横坐标轴方向为水平向右的方向，纵坐标轴方向为垂直向下的方向。终端的显示屏幕上 的坐标原点为终端在默认放置状态（显示屏幕的顶边所在的方向为水平方向、显示屏幕的 侧边所在的方向为垂直方向，比如处于竖屏状态下）下时终端显示屏幕左上角的像素点， 在终端的显示屏幕中，横坐标轴方向即为处于默认放置状态时的水平向右的方向，纵坐标 轴方向即为处于默认放置状态时的垂直向下的方向。
[0173] 这里需要说明的是，上述公式仅是方式一的实例之一，任何基于方式一的思想、通 过上述公式的简单变形得到的实例均在本发明保护范围内。
[0174] 方式二，终端的放置状态相对参考状态（比如上述默认状态）能够具有一定的倾 斜角；所述屏幕参数信息包括所述终端的屏幕分辨率和放置状态信息 ；所述演示屏幕画面 的参数信息包括演示屏幕画面的宽度值、所述演示屏幕画面的高度值、和所述演示屏幕画 面上的参考像素点在所述演示图像中的坐标值；
[0175] 具体地，根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考 像素点在所述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信 息，确定所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
[0176] 在具体实施中，所述放置状态信息可以包括所述终端的放置状态相对参考状态的 倾斜角，其中，所述倾斜角为在所述演示图像上，所述终端的放置状态相对参考状态沿逆时 针方向旋转的角度，在所述终端的放置状态为所述参考状态时，所述显示屏幕的顶边所在 的方向为水平方向，所述显示屏幕的侧边所在的方向为垂直方向；可以根据以下公式确定 所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
[0179] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应 的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的 高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为 所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐 标原点。9为基于所述倾斜角的角度值0确定的角度值，9为像素点（X，Y)与参考像素 点（PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度 值（也可以是像素点（X，Y)与参考像素点（PtX，PtY)之间的连线与所述显示屏幕的顶边所 在的方向之间的钝角夹角的角度值，此时上述公式中sin0、cos0取绝对值）。
[0180] 在具体实施中，基于倾斜角的角度值0的不同，0的具体计算方式也不同。以参 考状态为上述方式一中所述默认放置状态为例：
[0181]如图4(a)所示，|3 = 0,此时：9 = a;
[0182]如图 4(b)所示，0 < |3<JT/2,此时：9=|3 -a;
[0183]如图 4(c)所示，JT/2< |3 <JT，此时：0=|3 -a;
[0184] 如图 4(d)所示，JT< |3 < 3JT/2,此时：0 =a+ |3 -jt;
[0185]如图4(e)所示，0彡3jt/2,此时：0 = 0-a -31;
[0186]其中：
[0187] 在图4(a)~（e)中，演示图像中的坐标原点为演示图像左上角的像素点；在演示 图像中，横坐标轴方向为水平向右的方向，纵坐标轴方向为垂直向下的方向。终端的显示屏 幕上的坐标原点为终端在默认放置状态（显示屏幕的顶边所在的方向为水平方向、显示屏 幕的侧边所在的方向为垂直方向，比如处于竖屏状态下）下时终端显示屏幕左上角的像素 点，在终端的显示屏幕中，横坐标轴方向即为处于默认放置状态时的水平向右的方向，纵坐 标轴方向即为处于默认放置状态时的垂直向下的方向。
[0188] 为了更好地说明本发明实施例支持远程操控的思想，下面从系统的角度作下介 绍。
[0189] 实施例三
[0190] 如图5所示，为本发明实施例三提供的支持远程操控的系统架构示意图。在该 系统中，上述方法步骤的执行主体为独立于终端之外的设备，比如为个人电脑（Personal Computer，PC)，终端可以通过无线套接字（Socket)将参数信息传输给PC。
[0191] 在该系统中，实现本发明实施例功能的主要模块包括：
[0192] 终端算法模块51，部署在终端，用于将终端参数信息（如屏幕分辨率、放置状态信 息等）传输给映射模块53,并响应映射模块53传输的操控指令（如响应参观者的点击、滑 动、漫游操作等）；
[0193] 终端屏幕检测模块52,部署在PC端，用于在图像检测范围计算模块55确定的图像 检测范围内检测四边形轮廓，在检测到的所有四边形轮廓中，查找匹配映射模块53传输的 终端参数信息的四边形轮廓，并将查找到的四边形轮廓内的画面作为所述终端的演示屏幕 画面；
[0194] 映射模块53,部署在PC端，用于接收终端算法模块51传输的终端参数信息，并将 其传输给终端屏幕检测模块52;并，根据终端参数信息和终端屏幕检测模块52检测到的终 端的演示屏幕画面，生成演示图像中终端的演示屏幕画面上的像素点与终端的显示屏幕上 的像素点之间的映射关系；根据生成的映射关系，将操控信息检测模块54传输的操作信息 转换成针对终端的操控指令，并传输给终端算法模块51;
[0195] 操控信息检测模块54,部署在PC端，用于检测用户的操控信息（如参观者手持激 光笔的漫游或点击操作等），并将操控信息发送至映射模块53;
[0196]图像检测范围计算模块55,部署在PC端，根据检测的演示者手部位置信息，确定 图像检测范围，并传输给终端屏幕检测模块52。
[0197] 关于本发明实施例应用场景的说明：
[0198] 本发明实施例不仅可以应用于终端产品演示的场景，在其它需要远程操控的场景 下同样适用，比如还可以适用于类似亲情关怀的辅助操控场景、远程可视手写签名场景等。
[0199] 场景一：终端产品演示。
[0200] 如图6所示，演示者拿起终端，将终端显示屏幕朝向图像采集设备，PC机中网络传 输模块将图像采集设备采集的演示图像传输给远端，并通过远端的显示屏幕呈现给远端的 参观者。参观者可以通过显示屏幕清晰的看到终端的演示屏幕画面，并可以使用交互工具 远程对该演示屏幕画面执行操作；交互设备检测参观者的操作信息，并传输给演示端的PC 机；PC机结合远端操作信息和确定的演示图像中终端的演示屏幕画面的像素点与终端的 显示屏幕上的像素点之间的映射关系，生成针对终端的操控指令，并传输给终端；终端响应 接收到的操控指令，演示者可以通过终端的显示屏幕的反馈看到本地参观者的操作。
[0201] 场景二：协助操作。
[0202] 如图7所示，在家庭远程视频聊天场景中，A端成员可以通过视频聊天窗口看到B 端成员手持的终端，该终端与B端成员用于视频聊天的PC机通过有线或无线连接。A端成 员可以通过鼠标控制B端成员手持的终端，实现方式与上述实施例介绍的方式一致：在A 端用于视频聊天的PC机接收的演示图像中检测终端，并生成所述映射关系，基于该映射关 系，将检测到的A端成员的操作信息生成针对终端的操作指令，发送至B端的终端，B端的 终端响应该操作指令。
[0203] 场景三：远程可视手写签名。
[0204] 随着数字手写签名变得越来越广泛，本地进行数字手写签名的方式已越来越无法 满足签名需求，比如，如果仅是将本地签名文件传输至远端，则无论是在安全性上还是在用 户体验上都有所欠缺，采用本发明实施例可以实现远程可视手写签名。
[0205] 如图8所示，在本地终端屏幕上，签名者（对应上述场景一的参观者）可以看到远 端终端显示屏幕上的待签名文档，签名者可持签名工具（如签字笔）在待签名文档的签名 位置上签名，并将操作信息（如签名轨迹信息）传输至远端。在远端，根据生成的映射关系， 将签名者的操作信息映射为针对终端的操控指令，也即控制终端显示屏幕上显示签名者的 签名轨迹。
[0206] 除签名轨迹外，还可以采用终端摄像头采集签名者脸部等视觉生物特征，用终端 麦克风采集签名者声音数据，结合多种特征生成对特定的目标文件的多模态签名。在签名 认证时，同样可以通过采集用户的脸部、声音以及签名轨迹等数据进行认证；这种多模态签 名方式可以提高签名认证的安全性。
[0207] 基于同一发明构思，本发明实施例中还提供了一种与远程操控方法对应的远程操 控装置，由于该装置解决问题的原理与本发明实施例远程操控方法相似，因此该装置的实 施可以参见方法的实施，重复之处不再赘述。
[0208] 实施例四
[0209] 如图9所示，为本发明实施例四提供的远程操控装置结构示意图，包括：
[0210] 获取模块91，用于获得演示图像，所述演示图像为用于演示终端操作的图像；
[0211] 检测模块92,用于根据终端的检测参数信息，在所述获取模块91获取到的所述演 示图像中检测演示屏幕画面，所述演示屏幕画面为所述演示图像中所述终端的屏幕画面；
[0212] 确定模块93,用于根据所述检测模块92检测出的所述演示屏幕画面的参数信息 和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上 的像素点之间的映射关系；
[0213] 操控模块94,用于根据用户对所述演示屏幕画面的操作信息，以及所述确定模块 93确定的所述映射关系，操控所述终端。
[0214] 可选地，所述操作信息包括操作动作信息和第一操作位置信息，所述第一操作位 置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；
[0215] 所述操控模块94具体用于：
[0216] 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合 对应在所述终端的显示屏幕上第二像素点集合的信息；根据所述第二像素点集合的信息和 所述操作动作信息，操控所述终端。
[0217] 可选地，所述操作信息包括第一操作位置信息，所述第一操作位置信息包括所述 演示屏幕画面上的被操作的第一像素点集合的信息；
[0218] 所述操控模块94具体用于：
[0219] 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合 对应在所述终端的显示屏幕上第二像素点集合的信息；在所述终端的显示屏幕上，将轨迹 图标移动至所述第二像素点集合的位置处。
[0220] 可选地，所述演示屏幕画面的参数信息包括以下信息中的至少一项：演示屏幕画 面的宽度值、所述演示屏幕画面的高度值以及所述演示屏幕画面上的参考像素点在所述演 示图像中的坐标值，所述屏幕参数信息包括所述终端的屏幕分辨率；
[0221] 所述确定模块93具体用于：
[0222] 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述演示屏幕画 面上的参考像素点在所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定所述演 示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
[0223] 可选地，所述确定模块93具体用于根据以下公式确定所述演示屏幕画面上的像 素点与所述终端的显示屏幕上的像素点之间的映射关系：
[0226] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应 的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的 高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为 所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐 标原点。
[0227] 可选地，所述终端的屏幕参数信息包括所述终端的放置状态信息、所述终端的屏 幕分辨率，所述演示屏幕画面的参数信息包括演示屏幕画面的宽度值、所述演示屏幕画面 的高度值、和所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值；
[0228] 所述确定模块93具体用于：
[0229] 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点 在所述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息，确定 所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系；
[0230] 可选地，所述放置状态信息包括所述终端的放置状态相对参考状态的倾斜角，其 中，所述倾斜角为在所述演示图像上，所述终端的放置状态相对参考状态沿逆时针方向旋 转的角度，在所述终端的放置状态为所述参考状态时，所述显示屏幕的顶边所在的方向为 水平方向，所述显示屏幕的侧边所在的方向为垂直方向，所述确定模块93具体用于根据以 下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射 关系：
[0233] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应 的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的 高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为 所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐 标原点。9为基于所述倾斜角的角度值0确定的角度值，9为像素点（X，Y)与参考像素 点（PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度 值。< br>[0234] 可选地，所述确定模块93具体用于：
[0235] 当所述倾斜角的角度值0为0时，确定所述第一锐角夹角的角度值0为a，其 中，a为像素点（X，Y)与参考像素点（PtX，PtY)之间的连线与水平方向的第二锐角夹角的 角度值；或者
[0236] 当所述倾斜角的角度值0大于0、且所述倾斜角的角度值0小于JT时，确定所述 第一锐角夹角的角度值0为所述倾斜角的角度值0减去角度值a后的差值；或者
[0237] 当所述倾斜角的角度值0大于或等于JT、且所述倾斜角的角度值0小于3JT/2 时，确定所述第一锐角夹角的角度值9为所述倾斜角的角度值0与角度值a相加、再减 去n后的值；或者
[0238] 当所述倾斜角的角度值0大于或等于3JT/2、且所述倾斜角的角度值0小于2JT 时，确定所述第一锐角夹角的角度值9为所述倾斜角的角度值0减去角度值a、再减去 n后的值。
[0239] 可选地，所述终端的检测参数信息包括以下信息中的至少一种：所述终端的宽高 比、所述终端的屏幕分辨率、所述终端的放置状态信息。
[0240] 可选地，所述终端的映射参数信息包括以下信息中的至少一种：所述终端的屏幕 分辨率、所述终端的放置状态信息、所述终端的宽度值和高度值。
[0241] 可选地，所述检测模块92具体用于：
[0242] 在所述演示图像中检测所有具有四边形轮廓的物体；在检测到的所述所有具有四 边形轮廓的物体中，查找出具有终端四边形轮廓的所述演示屏幕画面，所述终端四边形轮 廓与所述终端的检测参数信息匹配。
[0243] 可选地，所述检测模块92具体用于：
[0244] 在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。
[0245] 可选地，所述检测模块92具体用于根据包括以下信息中的至少一种确定所述图 像检测范围：所述演示屏幕画面的在所述演示图像中的移动信息、所述演示图像中的演示 所述终端操作的演示者手部位置信息、预设的区域范围信息。
[0246] 实施例五
[0247] 如图10所示，为本发明实施例五提供的远程操控设备100结构示意图，包括：处理 器101、存储器102和总线103;所述存储器102存储执行指令，当所述远程操控设备100运 行时，所述处理器101与所述存储器102之间通过总线103通信，使得所述处理器101执行 如下执行指令：
[0248] 获得演示图像，所述演示图像为用于演示终端操作的图像；
[0249] 根据终端的检测参数信息，在所述演示图像中检测演示屏幕画面，所述演示屏幕 画面为所述演示图像中所述终端的屏幕画面；
[0250] 根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏 幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系；
[0251] 根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端。
[0252] 可选地，所述操作信息包括操作动作信息和第一操作位置信息，所述第一操作位 置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；所述处理器101执行 的所述执行指令中，根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所 述终端，包括：
[0253] 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合 对应在所述终端的显示屏幕上第二像素点集合的信息；
[0254] 根据所述第二像素点集合的信息和所述操作动作信息，操控所述终端。
[0255] 可选地，所述操作信息包括第一操作位置信息，所述第一操作位置信息包括所述 演示屏幕画面上的被操作的第一像素点集合的信息；
[0256] 所述处理器101执行的所述执行指令中，根据用户对所述演示屏幕画面的操作信 息，以及所述映射关系，操控所述终端，包括：
[0257] 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合 对应在所述终端的显示屏幕上第二像素点集合的信息；
[0258] 在所述终端的显示屏幕上，将轨迹图标移动至所述第二像素点集合的位置处。
[0259] 可选地，所述演示屏幕画面的参数信息包括以下信息中的至少一项：演示屏幕画 面的宽度值、所述演示屏幕画面的高度值以及所述演示屏幕画面上的参考像素点在所述演 示图像中的坐标值，所述屏幕参数信息包括所述终端的屏幕分辨率；
[0260] 所述处理器101执行的所述执行指令中，根据所述演示屏幕画面的参数信息和所 述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像 素点之间的映射关系，包括：
[0261] 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述演示屏幕画 面上的参考像素点在所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定所述演 示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
[0262] 可选地，所述处理器101执行的所述执行指令中，根据以下公式确定所述演示屏 幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
[0265] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应 的所述显示屏幕上的像素点的坐标值，TrX为所述显示屏幕的宽度值，TrY为所述显示屏幕 的高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY) 为所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的 坐标原点。
[0266] 可选地，所述终端的屏幕参数信息包括所述终端的放置状态信息、所述终端的屏 幕分辨率，所述演示屏幕画面的参数信息包括演示屏幕画面的宽度值、所述演示屏幕画面 的高度值、和所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值；所述处理器 101执行的所述执行指令中，根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信 息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关 系，包括：
[0267] 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点 在所述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息，确定 所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
[0268] 可选地，所述放置状态信息包括所述终端的放置状态相对参考状态的倾斜角，其 中，所述倾斜角为在所述演示图像上，所述终端的放置状态相对参考状态沿逆时针方向旋 转的角度，在所述终端的放置状态为所述参考状态时，所述显示屏幕的顶边所在的方向为 水平方向，所述显示屏幕的侧边所在的方向为垂直方向，所述处理器101执行的所述执行 指令中，根据以下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素 点之间的映射关系：
[0271] 其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应 的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的 高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为 所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐 标原点。9为基于所述倾斜角的角度值0确定的角度值，9为像素点（X，Y)与参考像素 点（PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度 值。
[0272] 可选地，所述处理器101执行的所述执行指令中，基于所述倾斜角的角度值0确 定所述第一锐角夹角的角度值0包括：
[0273] 当所述倾斜角的角度值0为0时，确定所述第一锐角夹角的角度值0为a，其 中，a为像素点（X，Y)与参考像素点（PtX，PtY)之间的连线与水平方向的第二锐角夹角的 角度值；或者
[0274] 当所述倾斜角的角度值0大于0、且所述倾斜角的角度值0小于31时，确定所述 第一锐角夹角的角度值0为所述倾斜角的角度值0减去角度值a后的差值；或者
[0275] 当所述倾斜角的角度值0大于或等于JT、且所述倾斜角的角度值0小于3JT/2 时，确定所述第一锐角夹角的角度值9为所述倾斜角的角度值0与角度值a相加、再减 去n后的值；或者
[0276] 当所述倾斜角的角度值0大于或等于3JT/2、且所述倾斜角的角度值0小于2JT 时，确定所述第一锐角夹角的角度值9为所述倾斜角的角度值0减去角度值a、再减去 n后的值。
[0277] 可选地，所述终端的检测参数信息包括以下信息中的至少一种：所述终端的宽高 比、所述终端的屏幕分辨率、所述终端的放置状态信息。
[0278] 可选地，所述终端的映射参数信息包括以下信息中的至少一种：所述终端的屏幕 分辨率、所述终端的放置状态信息、所述终端的宽度值和高度值。
[0279] 可选地，所述处理器101执行的所述执行指令中，根据终端的检测参数信息，在所 述演示图像中检测演示屏幕画面，包括：
[0280] 在所述演示图像中检测所有具有四边形轮廓的物体；
[0281] 在检测到的所述所有具有四边形轮廓的物体中，查找出具有终端四边形轮廓的所 述演示屏幕画面，所述终端四边形轮廓与所述终端的检测参数信息匹配。
[0282] 可选地，所述处理器101执行的所述执行指令中，在所述演示图像中检测所有具 有四边形轮廓的物体，包括：
[0283] 在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。
[0284] 可选地，所述处理器101执行的所述执行指令中，根据包括以下信息中的至少一 种确定所述图像检测范围：所述演示屏幕画面的在所述演示图像中的移动信息、所述演示 图像中的演示所述终端操作的演示者手部位置信息、预设的区域范围信息。
[0285] 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序 产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实 施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机 可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产 品的形式。
[0286] 本发明是参照根据本发明实施例的方法、装置（系统）、和计算机程序产品的流程 图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一 流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算 机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理 器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生 用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能 的装置。
[0287] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特 定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指 令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能。
[0288] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计 算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或 其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图 一个方框或多个方框中指定的功能的步骤。
[0289] 尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造 性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优 选实施例以及落入本发明范围的所有变更和修改。
[0290] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精 神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围 之内，则本发明也意图包含这些改动和变型在内。
【主权项】
1. 一种远程操控方法，其特征在于，所述方法包括： 获得演示图像，所述演示图像为用于演示终端操作的图像； 根据终端的检测参数信息，在所述演示图像中检测演示屏幕画面，所述演示屏幕画面 为所述演示图像中所述终端的屏幕画面； 根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画 面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系； 根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端。2. 如权利要求1所述的方法，其特征在于，所述操作信息包括操作动作信息 和第一操 作位置信息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合 的信息； 根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端，包括： 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应 在所述终端的显示屏幕上第二像素点集合的信息； 根据所述第二像素点集合的信息和所述操作动作信息，操控所述终端。3. 如权利要求1所述的方法，其特征在于，所述操作信息包括第一操作位置信息，所述 第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息； 根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端，包括： 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应 在所述终端的显示屏幕上第二像素点集合的信息； 在所述终端的显示屏幕上，将轨迹图标移动至所述第二像素点集合的位置处。4. 如权利要求1至3任一项所述的方法，其特征在于，所述演示屏幕画面的参数信息包 括以下信息中的至少一项：演示屏幕画面的宽度值、所述演示屏幕画面的高度值以及所述 演示屏幕画面上的参考像素点在所述演示图像中的坐标值，所述屏幕参数信息包括所述终 端的屏幕分辨率； 根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画 面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系，包括： 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述演示屏幕画面上 的参考像素点在所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定所述演示屏 幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。5. 如权利要求4所述的方法，其特征在于，根据以下公式确定所述演示屏幕画面上的 像素点与所述终端的显示屏幕上的像素点之间的映射关系：其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应的所 述显示屏幕上的像素点的坐标值，TrX为所述显示屏幕的宽度值，TrY为所述显示屏幕的高 度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为所 述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标 原点。6. 如权利要求1至3任一项所述的方法，其特征在于，所述终端的屏幕参数信息包括所 述终端的放置状态信息、所述终端的屏幕分辨率，所述演示屏幕画面的参数信息包括演示 屏幕画面的宽度值、所述演示屏幕画面的高度值、和所述演示屏幕画面上的参考像素点在 所述演示图像中的坐标值； 根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画 面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系，包括： 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点在所 述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息，确定所述 演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。7. 如权利要求6所述的方法，其特征在于，所述放置状态信息包括所述终端的放置状 态相对参考状态的倾斜角，其中，所述倾斜角为在所述演示图像上，所述终端的放置状态相 对参考状态沿逆时针方向旋转的角度；在所述终端的放置状态为所述参考状态时，所述显 示屏幕的顶边所在的方向为水平方向，所述显示屏幕的侧边所在的方向为垂直方向；根据 以下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映 射关系：其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应的所 述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的高度 值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为所 述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标 原点，Θ为基于所述倾斜角的角度值β确定的角度值，Θ为像素点（X，Y)与参考像素点 (PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度值。8. 如权利要求7所述的方法，其特征在于，基于所述倾斜角的角度值β确定所述第一 锐角夹角的角度值Θ，包括： 当所述倾斜角的角度值β为〇时，确定所述第一锐角夹角的角度值Θ为α，其中，α 为像素点（X，Υ)与参考像素点（PtX，PtY)之间的连线与水平方向的第二锐角夹角的角度 值；或者 当所述倾斜角的角度值β大于〇、且所述倾斜角的角度值β小于π时，确定所述第一 锐角夹角的角度值Θ为所述倾斜角的角度值β减去角度值α后的差值；或者 当所述倾斜角的角度值β大于或等于π、且所述倾斜角的角度值β小于3 π/2时， 确定所述第一锐角夹角的角度值Θ为所述倾斜角的角度值β与角度值α相加、再减去π 后的值；或者 当所述倾斜角的角度值β大于或等于3 π/2、且所述倾斜角的角度值β小于2 π时， 确定所述第一锐角夹角的角度值Θ为所述倾斜角的角度值β减去角度值α、再减去π后 的值。9. 如权利要求1至8任一项所述的方法，其特征在于，所述根据终端的检测参数信息， 在所述演示图像中检测演示屏幕画面，包括： 在所述演示图像中检测所有具有四边形轮廓的物体； 在检测到的所述所有具有四边形轮廓的物体中，查找出具有终端四边形轮廓的所述演 示屏幕画面，所述终端四边形轮廓与所述终端的检测参数信息匹配。10. 如权利要求9所述的方法，其特征在于，在所述演示图像中检测所有具有四边形轮 廓的物体，包括： 在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。11. 如权利要求10所述的方法，其特征在于，根据包括以下信息中的至少一种确定所 述图像检测范围：所述演示屏幕画面的在所述演示图像中的移动信息、所述演示图像中的 演示所述终端操作的演示者手部位置信息、预设的区域范围信息。12. -种远程操控装置，其特征在于，该装置包括： 获取模块，用于获得演示图像，所述演示图像为用于演示终端操作的图像； 检测模块，用于根据终端的检测参数信息，在所述获取模块获取到的所述演示图像中 检测演示屏幕画面，所述演示屏幕画面为所述演示图像中所述终端的屏幕画面； 确定模块，用于根据所述检测模块检测出的所述演示屏幕画面的参数信息和所述终端 的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之 间的映射关系； 操控模块，用于根据用户对所述演示屏幕画面的操作信息，以及所述确定模块确定的 所述映射关系，操控所述终端。13. 如权利要求12所述的装置，其特征在于，所述操作信息包括操作动作信息和第一 操作位置信息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集 合的信息； 所述操控模块具体用于： 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应 在所述终端的显示屏幕上第二像素点集合的信息；根据所述第二像素点集合的信息和所述 操作动作信息，操控所述终端。14. 如权利要求12所述的装置，其特征在于，所述操作信息包括第一操作位置信息，所 述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息； 所述操控模块具体用于： 根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应 在所述终端的显示屏幕上第二像素点集合的信息；在所述终端的显示屏幕上，将轨迹图标 移动至所述第二像素点集合的位置处。15. 如权利要求12至14任一项所述的装置，其特征在于，所述演示屏幕画面的参数信 息包括以下信息中的至少一项：演示屏幕画面的宽度值、所述演示屏幕画面的高度值以及 所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值，所述屏幕参数信息包括所 述终端的屏幕分辨率； 所述确定模块具体用于： 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述演示屏幕画面上 的参考像素点在所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定所述演示屏 幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。16. 如权利要求15所述的装置，其特征在于，所述确定模块具体用于根据以下公式确 定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：其中，（X，Y)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应的所 述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的高度 值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为所述 参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标原 点。17. 如权利要求12至14任一项所述的装置，其特征在于，所述终端的屏幕参数信息包 括所述终端的放置状态信息、所述终端的屏幕分辨率，所述演示屏幕画面的参数信息包括 演示屏幕画面的宽度值、所述演示屏幕画面的高度值、和所述演示屏幕画面上的参考像素 点在所述演示图像中的坐标值； 所述确定模块具体用于： 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点在所 述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息，确定所述 演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。18. 如权利要求17所述的装置，其特征在于，所述放置状态信息包括所述终端的放置 状态相对参考状态的倾斜角，其中，所述倾斜角为在所述演示图像上，所述终端的放置状态 相对参考状态沿逆时针方向旋转的角度；在所述终端的放置状态为所述参考状态时，所述 显示屏幕的顶边所在的方向为水平方向，所述显示屏幕的侧边所在的方向为垂直方向；所 述确定模块具体用于根据以下公式确定所述演示屏幕画面上的像素点与所述终端的显示 屏幕上的像素点之间的映射关系：其中，（Χ，γ)为所述演示屏幕画面上的像素点的坐标值，（Gx，Gy)为与（X，Y)对应的所 述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的高度 值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，（PtX，PtY)为所 述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标 原点，Θ为基于所述倾斜角的角度值β确定的角度值，Θ为像素点（X，Y)与参考像素点 (PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度值。19. 如权利要求18所述的装置，其特征在于，所述确定模块具体用于： 当所述倾斜角的角度值β为〇时，确定所述第一锐角夹角的角度值Θ为α，其中，α 为像素点（X，Υ)与参考像素点（PtX，PtY)之间的连线与水平方向的第二锐角夹角的角度 值；或者 当所述倾斜角的角度值β大于〇、且所述倾斜角的角度值β小于π时，确定所述第一 锐角夹角的角度值Θ为所述倾斜角的角度值β减去角度值α后的差值；或者 当所述倾斜角的角度值β大于或等于π、且所述倾斜角的角度值β小于3 π/2时， 确定所述第一锐角夹角的角度值Θ为所述倾斜角的角度值β与角度值α相加、再减去π 后的值；或者 当所述倾斜角的角度值β大于或等于3 π/2、且所述倾斜角的角度值β小于2 π时， 确定所述第一锐角夹角的角度值Θ为所述倾斜角的角度值β减去角度值α、再减去π后 的值。20. 如权利要求12至19任一项所述的装置，其特征在于，所述检测模块具体用于： 在所述演示图像中检测所有具有四边形轮廓的物体；在检测到的所述所有具有四边形 轮廓的物体中，查找出具有终端四边形轮廓的所述演示屏幕画面，所述终端四边形轮廓与 所述终端的检测参数信息匹配。21. 如权利要求20所述的装置，其特征在于，所述检测模块具体用于： 在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。22. 如权利要求21所述的装置，其特征在于，所述检测模块具体用于根据包括以下信 息中的至少一种确定所述图像检测范围：所述演示屏幕画面的在所述演示图像中的移动信 息、所述演示图像中的演示所述终端操作的演示者手部位置信息、预设的区域范围信息。
【专利摘要】本发明涉及控制技术领域，尤其涉及一种远程操控方法及装置，用以在能够呈现终端的除屏幕内容之外的信息及演示者演示内容的情况下，实现对终端的远程操控。本发明实施例提供一种远程操控方法包括：获得演示图像，所述演示图像为用于演示终端操作的图像；根据终端的检测参数信息，在所述演示图像中检测演示屏幕画面，所述演示屏幕画面为所述演示图像中所述终端的屏幕画面；根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系；根据用户对演示屏幕画面的操作信息，以及所述映射关系，操控终端。
【IPC分类】G06F17/50
【公开号】CN104899361
【申请号】CN201510257853
【发明人】宋星光, 廉士国
【申请人】华为技术有限公司
【公开日】2015年9月9日
【申请日】2015年5月19日
最新回复(0)