终端控制方法和系统的制作方法
终端控制方法和系统的制作方法
【技术领域】
[0001]本发明涉及计算机技术领域，特别是涉及一种终端控制方法和系统。
【背景技术】
[0002]随着计算机技术的发展，触控屏幕在电子设备中也越来越重要，对电子设备的控制，通常通过检测用户对触控屏幕的触摸操作来实现。
[0003]但是，上述电子设备只能在检测到用户的触摸操作时，才进行相应的响应操作，当用户期望对电子设备进行控制但难以对触控屏幕进行触控操作时，如用户双手受限、用户手部残疾或用户双手正在进行其他操作，电子设备无法做出用户期望的控制响应，导致电子设备的响应性能差和便捷性能低。
【发明内容】
[0004]基于此，有必要针对上述电子设备只能在检测到用户的触摸操作时，才进行相应的响应操作，导致电子设备的响应性能差和便捷性能低的问题，提供一种终端控制方法和系统。
[0005]一种终端控制方法，包括以下步骤:
[0006]接收用户侧发送的语音信息；
[0007]根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令；
[0008]将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。
[0009]上述终端控制方法，接收用户侧发送的语音信息，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令，将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。可根据用户侧发送的语音信息，进行相应的触控模拟，实现对终端的相应控制，无需用户对终端进行触控操作，可有效提高终端的响应性能和便捷性。
[0010]优选地，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤还包括以下步骤:
[0011]对所述语音信息进行语义识别，生成与所述语音信息匹配的语音指令；
[0012]根据语音指令与操作控件间的预设对应关系，获取与所生成的语音指令对应的操作控件的位置信息和模拟操作指令。
[0013]上述终端控制方法，无需用户侧发送固定的语音指令，通过语义识别即可生成相应的语音指令，进彳丁终端控制，可进一步提尚终端控制的便捷性能和响应性能。
[0014]优选地，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤还包括以下步骤:
[0015]识别当前的置顶应用为所述目标应用；
[0016]调取与所述置顶应用对应存储的语音信息与操作控件间的预设对应关系；
[0017]根据调取的预设对应关系，获取与接收的语音信息对应的操作控件的位置信息和模拟操作指令。
[0018]上述终端控制方法，对应不同的应用生成不同的操作控件的位置信息和模拟操作指令，以在终端快速实现对不同应用的相应控制。
[0019]优选地，将所述位置信息以及所述模拟操作指令发送到操作系统的步骤之前，还包括以下步骤:
[0020]检测终端当前显示的页面是否为系统桌面；
[0021]若否，则根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令；
[0022]若是，则生成与所述语音信息对应的按键的键值，并根据生成的键值对所述终端进行相应控制。
[0023]上述终端控制方法，在终端当前显示的为系统桌面时，生成与所述语音信息对应的按键的键值，可快速根据生成的键值对所述终端进行相应控制，进一步提高终端控制效率。
[0024]优选地，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤还包括以下步骤:
[0025]检测终端当前显示界面的显示模式，其中，所述显示模式包括横屏显示模式和竖屏显示模式；
[0026]调取与检测的显示模式对应存储的操作控件与语音信息间的预设对应关系；
[0027]根据调取的预设对应关系，获取与接收的语音信息对应的操作控件的位置信息和模拟操作指令。
[0028]上述终端控制方法，通过检测终端当前显示界面的显示模式，可根据终端的显示模式的改变，快速根据当前显示模式获取对应的操作控件的位置信息和模拟操作指令，进行相应控制，可进一步提尚终端控制效率。
[0029]优选地，若所述语音信息包括语音指令和待控制终端的语音标识，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤包括以下步骤:
[0030]根据所述语音标识查找与所述语音标识所标示的终端对应存储的操作控件与语音指令间的预设对应关系；
[0031]根据调取的预设对应关系，获取与接收的语音指令对应的操作控件的位置信息和模拟操作指令；
[0032]将所述位置信息以及所述模拟操作指令发送到操作系统的步骤包括以下步骤:
[0033]向所述语音标识所标示的终端的操作系统发送所述位置信息以及所述模拟操作指令。
[0034]上述终端控制方法，根据所述语音信息包括语音指令和待控制终端的语音标识，可快速生成与不同待控制终端对应的操作控件的位置信息和操作控件的模拟操作指令，对各待控制终端进行快速高效的语音控制。
[0035]优选地，若所述语音信息包括语音指令和待控制终端的语音标识，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤包括以下步骤:
[0036]比较所述语音标识与预存的本终端的标识信息是否一致；
[0037]若一致，则根据所述语音指令，获取目标程序中与所述语音指令对应的操作控件的位置信息以及所述操作控件的模拟操作指令。
[0038]上述终端控制方法，在语音数据中的待控制终端的语音标识与本终端的标识信息一致时，根据所述语音指令，获取目标程序中与所述语音指令对应的操作控件的位置信息以及所述操作控件的模拟操作指令，对与待控制终端的语音标识一致的终端进行控制，可进一步提尚终端控制效率。
[0039]—种终端控制系统，包括:
[0040]语音信息接收模块，用于接收用户侧发送的语音信息；
[0041]位置信息模块，用于根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令；
[0042]控制模块，用于将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。
[0043]上述终端控制系统，接收用户侧发送的语音信息，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令，将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。可根据用户侧发送的语音信息，进行相应的触控模拟，实现对终端的相应控制，无需用户对终端进行触控操作，可有效提高终端的响应性能和便捷性。
[0044]优选地，所述位置信息模块还包括应用识别模块、第二调取模块和第二信息生成模块，其中:
[0045]所述应用识别模块用于识别当前的置顶应用为所述目标应用；
[0046]所述第二调取模块用于调取与所述置顶应用对应存储的语音信息与操作控件间的预设对应关系；
[0047]所述第二信息生成模块用于根据调取的预设对应关系，获取与接收的语音信息对应的操作控件的位置信息和模拟操作指令。
[0048]上述终端控制系统，对应不同的应用生成不同的操作控件的位置信息和模拟操作指令，以在终端快速实现对不同应用的相应控制。
[0049]优选地，上述终端控制系统还包括页面检测模块、第三信息生成模块和第三控制模块，其中:
[0050]所述页面检测模块用于检测终端当前显示的页面是否为系统桌面；
[0051]所述第三信息生成模块用于在所述终端当前显示的页面不是系统桌面时，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令；
[0052]所述第三控制模块用于在所述终端当前显示的页面是系统桌面时，生成与所述语音信息对应的按键的键值，并根据生成的键值对所述终端进行相应控制。
[0053]上述终端控制系统，在终端当前显示的为系统桌面时，生成与所述语音信息对应的按键的键值，可快速根据生成的键值对所述终端进行相应控制，进一步提高终端控制效率。
【附图说明】
[0054]图1是本发明终端控制方法第一实施方式的流程示意图；
[0055]图2是本发明终端控制方法第二实施方式的流程示意图；
[0056]图3是本发明实施例的终端控制方法的实施环境的结构示意图；
[0057]图4是本发明终端控制方法第三实施方式的流程示意图；
[0058]图5是本发明终端控制系统第一实施方式的结构示意图；
[0059]图6是本发明终端控制系统第二实施方式的结构示意图；
[0060]图7是本发明终端控制系统第三实施方式的结构示 意图。
【具体实施方式】
[0061]本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。
[0062]请参阅图1，图1本发明终端控制方法第一实施方式的流程示意图。
[0063]本实施方式所述的终端控制方法，包括以下步骤:
[0064]步骤S101，接收用户侧发送的语音信息。
[0065]步骤S102，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令。
[0066]步骤S103，将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。
[0067]本实施方式，接收用户侧发送的语音信息，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令，将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。可根据用户侧发送的语音信息，进行相应的触控模拟，实现对终端的相应控制，无需用户对终端进行触控操作，可有效提尚终端的响应性能和便捷性。
[0068]其中，对于步骤S101，优选地，用户侧发送的语音信息可为预设的语音指令或其他。用户侧发送的语音信息还可包括待控制终端的语音标识与语音指令、或待控制终端的语音标识以及与预设的语音指令等同含义的语音数据。
[0069]进一步地，用户侧发送的语音信息优选地为用户发送的语音。
[0070]对于步骤S102，所述目标应用可为待控终制端终端中安装的任意应用。所述操作控件的位置信息优选地为用于触发所述相应控制的触发操作所触发的位置信息。还可为所述操作控件在显示界面中所处位置的位置信息。如用于实现翻页控制时，对显示屏进行翻页滑动操作所生成的坐标信息，或对翻页控件进行点击所生成的坐标信息。所述模拟操作指令用于模拟对所述操作控件的触发操作。
[0071]优选地，可预先建立语音数据与目标应用中各操作控件的对应关系，根据语音数据查找对应的操作控件，再查找操作控件的位置信息和模拟操作指令，还可预先建立语音数据与各操作控件的位置信息和模拟操作指令间的对应关系。
[0072]进一步地，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤还包括以下步骤:
[0073]对所述语音信息进行语义识别，生成与所述语音信息匹配的语音指令。
[0074]根据语音指令与操作控件间的预设对应关系，获取与所生成的语音指令对应的操作控件的位置信息和模拟操作指令。
[0075]本实施例，无需用户侧发送固定的语音指令，通过语义识别即可生成相应的语音指令，进彳丁终端控制，可进一步提尚终端控制的便捷性能和响应性能。
[0076]在一个实施例中，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤还包括以下步骤:
[0077]识别当前的置顶应用为所述目标应用。
[0078]调取与所述置顶应用对应存储的语音信息与操作控件间的预设对应关系。
[0079]根据调取的预设对应关系，获取与接收的语音信息对应的操作控件的位置信息和模拟操作指令。
[0080]本实施例，对应不同的应用生成不同的操作控件的位置信息，以在终端快速实现对不同应用的相应控制。
[0081]优选地，在其他实施例中还可预先指定待控制终端中的某一应用为所述目标应用，或在所述语音数据中指定目标应用。所述置顶应用可为终端当前运行应用列表中处于列表最顶端的应用。
[0082]在另一个实施例中，将所述位置信息以及所述模拟操作指令发送到操作系统的步骤之前，还包括以下步骤:
[0083]检测终端当前显示的页面是否为系统桌面。
[0084]若否，则根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令。
[0085]若是，则生成与所述语音信息对应的按键的键值，并根据生成的键值对所述终端进行相应控制。
[0086]本实施例，在终端当前显示的为系统桌面时，生成与所述语音信息对应的按键的键值，可快速根据生成的键值对所述终端进行相应控制，进一步提高终端控制效率。
[0087]优选地，所述键值为用于响应用户对按键的触发生成的响应信息，可为数字或数字组成数字串。
[0088]优选地，当所述终端的操作系统为Android系统时，可通过终端的用于存放运行应用的栈，查找位于栈顶的是否为桌面，若是，所述终端当前显示的页面是系统桌面，若否，则所述终端当前显示的页面是应用页面。在其他实施例中，还可通过本领域技术人员惯用的技术手段检测终端当前显示的页面是否为系统桌面。
[0089]在其他实施例中，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤还包括以下步骤:
[0090]检测终端当前显示界面的显示模式，其中，所述显示模式包括横屏显示模式和竖屏显示模式。
[0091]调取与检测的显示模式对应存储的操作控件与语音信息间的预设对应关系。
[0092]根据调取的预设对应关系，获取与接收的语音信息对应的操作控件的位置信息和模拟操作指令。
[0093]本实施例，通过检测终端当前显示界面的显示模式，可根据终端的显示模式的改变，快速根据当前显示模式获取对应的操作控件的位置信息和模拟操作指令，进行相应控制，可进一步提尚终端控制效率。
[0094]优选地，横屏显示模式和竖屏显示模式可由终端相对于用户的摆放方式决定。可通过安装在终端内的陀螺仪检测终端当前显示界面的显示模式。还可通过本领域技术人员惯用的技术手段实现显示模式的检测。
[0095]对于步骤S103，所述终端可包括个人数字助理、智能电话、平板电脑、便携式媒体播放器等类似设备，还可包括智能电饭煲、智能电冰箱、智能电视机、智能空调、智能豆浆机、智能电风扇等智能家居设备。所述相应控制包括对人数字助理、智能电话、平板电脑、便携式媒体播放器等类似设备内安装的各种应用的控制，或对智能电饭煲、智能电冰箱、智能电视机、智能空调等智能家居设备自身所具有功能的控制。
[0096]优选地，所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制，可将所述操作控件的位置信息输入预存的onTouch O函数，完成触发操作的模拟，实现对终端的相应控制。在其他实施例中，还可采取本技术领域人员惯用的其他手段将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。
[0097]本实施方式所述的终端控制方法，在用户双手受限或用户双手正在进行其他操作时，可直接通过语音对终端进行控制。
[0098]请参阅图2，图2是本发明的终端控制方法第二实施方式的流程示意图。
[0099]本实施方式的所述终端控制方法与第一实施方式的区别在于:若所述语音信息包括语音指令和待控制终端的语音标识，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤包括以下步骤:
[0100]步骤S201，比较所述语音标识与预存的本终端的标识信息是否一致。
[0101]步骤S202，若一致，则根据所述语音指令，获取目标程序中与所述语音指令对应的操作控件的位置信息以及所述操作控件的模拟操作指令。
[0102]本实施方式，在语音数据中的待控制终端的语音标识与本终端的标识信息一致时，根据所述语音信息，获取目标程序中与所述语音指令对应的操作控件的位置信息以及所述操作控件的模拟操作指令，对与待控制终端的语音标识一致的终端进行控制，可进一步提尚终端控制效率。
[0103]其中，对于步骤S201，所述语音标识可为待控制终端的名字对应的语音、型号对应的语音或其他身份标识对应的语音。
[0104]优选地，若所述语音标识与预存的本终端的标识信息相同，则一致。如名字相同、型号相同或其他身份标识相同。
[0105]对于步骤S202，当所述终端为智能电饭煲、智能电冰箱、智能电视机、智能空调等智能家居设备。可通过比较所述语音标识与预存的本终端的标识信息，快速对各种智能家居设备进行指向控制。
[0106]请参阅图3，图3是本发明实施例的终端控制方法的实施环境的结构示意图。
[0107]图3所示实施环境用于实现本发明部分实施例或实施方式所述的终端控制方法，包括总控终端120、用户端、第一待控制终端140和第二待控制终端160，所述总控终端与第一待控制终端140和/或第二待控制终端160通过无线网络或有线网络连接。
[0108]其中，总控终端120可包括智能手机、台式机、笔记本、个人数字助理、平板电脑等终端设备中的至少一种，装设有用于实现本发明终端控制方法的用户端。
[0109]第一待控制终端140可为智能电冰箱，第二待控制终端160可为智能电饭锅，第一待控制终端140和第二待控制终端160还可为个人数字助理、智能电话、平板电脑、便携式媒体播放器等类似设备，也可为智能电 视机、智能空调等智能家居设备。
[0110]总控终端120，预存有与第一待控制终端140对应存储的第一类操作控件与语音信息间的预设对应关系以及第一类操作控件的位置信息和模拟操作指令，与第二待控制终端160对应存储的第二类操作控件与语音信息间的预设对应关系以及第二类操作控件的位置信息和模拟操作指令。第一类操作控件或第二类操作控件的位置信息为对第一待控制终端140或第二待控制终端160上的功能控件进行触发操作，生成的操作控件的位置信息。
[0111]在一个实施例中，当总控终端120接收用户侧发送的包括语音指令和待控制终端的语音标识的语音信息后，根据所述语音标识查找与所述语音标识所标示的终端对应存储的操作控件与语音信息间的预设对应关系。根据调取的预设对应关系，获取与接收的语音信息对应的操作控件的位置信息和模拟操作指令。向所述语音标识所标示的终端的操作系统发送所述位置信息和所述模拟操作指令。
[0112]当所述语音数据包括的语音标识为第一待控制终端140或第二待控制终端160的语音标识时，第一待控制终端140或第二待控制终端160的操作系统接收所述位置信息和所述模拟操作指令，将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。
[0113]本实施环境，通过在总控终端120上安装用户端。可分别对各个待控制终端进行高效的语音控制。
[0114]请参阅图4，图4是本发明的终端控制方法第三实施方式的流程示意图。
[0115]本实施方式的所述终端控制方法可运行于图3所示的总控终端，与第一实施方式的区别在于:若所述语音信息包括语音指令和待控制终端的语音标识，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤包括以下步骤:
[0116]步骤S401，根据所述语音标识查找与所述语音标识所标示的终端对应存储的操作控件与语音指令间的预设对应关系。
[0117]步骤S402，根据调取的预设对应关系，获取与接收的语音指令对应的操作控件的位置信息和模拟操作指令。
[0118]将所述位置信息以及所述模拟操作指令发送到操作系统的步骤包括以下步骤:
[0119]步骤S403，向所述语音标识所标示的终端的操作系统发送所述位置信息以及所述模拟操作指令。
[0120]本实施方式，根据所述语音信息包括语音指令和待控制终端的语音标识，可快速生成与不同待控制终端对应的操作控件的位置信息和模拟操作指令，对各待控制终端进行快速高效的语音控制。
[0121]对于步骤S401，可先查找终端标识与所述语音标识一致的终端，再查找与查找到的终端对应存储的操作控件与语音指令间的预设对应关系。
[0122]对于步骤S403，接收所述位置信息以及所述模拟操作指令的终端为图3所示的第一待控制终端或第二待控制终端，所述相应的控制可为暂停电饭锅煮饭、降低冰箱温度等家电控制。
[0123]请参阅图5，图5本发明终端控制系统第一实施方式的结构示意图。
[0124]本实施方式所述的终端控制系统，包括语音信息接收模块100、位置信息模块200和控制模块300，其中:
[0125]语音信息接收模块100，用于接收用户侧发送的语音信息。
[0126]位置信息模块200，用于根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令。
[0127]控制模块300，用于将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。
[0128]本实施方式，接收用户侧发送的语音信息，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令，将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。可根据用户侧发送的语音信息，进行相应的触控模拟，实现对终端的相应控制，无需用户对终端进行触控操作，可有效提尚终端的响应性能和便捷性。
[0129]其中，对于语音信息接收模块100，优选地，用户侧发送的语音信息可为预设的语音指令或其他。用户侧发送的语音信息还可包括待控制终端的语音标识与语音指令、或待控制终端的语音标识以及与预设的语音指令等同含义的语音数据。
[0130]进一步地，用户侧发送的语音信息优选地为用户发出的语音。
[0131]对于位置信息模块200，所述目标应用可为待控终制端终端中安装的任意应用。所述操作控件的位置信息优选地为用于触发所述相应控制的触发操作所触发的位置信息。还可为所述操作控件在显示界面中所处位置的位置信息。如用于实现翻页控制时，对显示屏进行翻页滑动操作所生成的坐标信息，或对翻页控件进行点击所生成的坐标信息。
[0132]优选地，可预先建立语音数据与目标应用中各操作控件的对应关系，根据语音数据查找对应的操作控件，再查找操作控件的位置信息和模拟操作指令，还可预先建立语音数据与各操作控件的位置信息和模拟操作指令间的对应关系。
[0133]进一步地，位置信息模块200还可包括语义识别模块和第一信息生成模块，其中:
[0134]所述语义识别模块用于对所述语音信息进行语义识别，生成与所述语音信息匹配的语音指令。
[0135]所述第一信息生成模块用于根据语音指令与操作控件间的预设对应关系，获取与所生成的语音指令对应的操作控件的位置信息和模拟操作指令。
[0136]本实施例，无需用户侧发送固定的语音指令，通过语义识别即可生成相应的语音指令，进彳丁终端控制，可进一步提尚终端控制的便捷性能和响应性能。
[0137]在一个实施例中，位置信息模块200还可包括应用识别模块、第二调取模块和第二信息生成模块，其中:
[0138]所述应用识别模块用于识别当前的置顶应用为所述目标应用。
[0139]所述第二调取模块用于调取与所述置顶应用对应存储的语音信息与操作控件间的预设对应关系。
[0140]所述第二信息生成模块用于根据调取的预设对应关系，获取与接收的语音信息对应的操作控件的位置信息和模拟操作指令。
[0141]本实施例，对应不同的应用生成不同的操作控件的位置信息和模拟操作指令，以在终端快速实现对不同应用的相应控制。
[0142]在另一个实施例中，所述终端控制系统还可包括页面检测模块、第三信息生成模块和第三控制模块，其中:
[0143]所述页面检测模块用于检测终端当前显示的页面是否为系统桌面。
[0144]所述第三信息生成模块用于在所述终端当前显示的页面不是系统桌面时，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令。
[0145]所述第三控制模块用于在所述终端当前显示的页面是系统桌面时，生成与所述语音信息对应的按键的键值，并根据生成的键值对所述终端进行相应控制。
[0146]本实施例，在终端当前显示的为系统桌面时，生成与所述语音信息对应的按键的键值，可快速根据生成的键值对所述终端进行相应控制，进一步提高终端控制效率。
[0147]优选地，所述键值为用于响应用户对按键的触发生成的响应信息，可为数字或数字组成数字串。
[0148]优选地，当所述终端的系统为Android系统时，可通过终端的用于存放运行应用的栈，查找位于栈顶的是否为桌面，若是，所述终端当前显示的页面是系统桌面，若否，则所述终端当前显示的页面是应用页面。在其他实施例中，还可通过本领域技术人员惯用的技术手段检测终端当前显示的页面是否为系统桌面。
[0149]在其他实施例中，所述位置信息模块还包括模式检测模块、第四调取模块和第四信息生成模块，其中:
[0150]所述模式检测模块用于检测终端当前显示界面的显示模式，其中，所述显示模式包括横屏显示模式和竖屏显示模式。
[0151]所述第四调取模块用于调取与检测的显示模式对应存储的操作控件与语音信息间的预设对应关系。
[0152]所述第四信息生成模块用于根据调取的预设对应关系，获取与接收的语音信息对应的操作控件的位置信息和模拟操作指令。
[0153]本实施例，通过检测终端当前显示界面的显示模式，可根据终端的显示模式的改变，快速根据当前显示模式获取对应的操作控件的位置信息和模拟操作指令，进行相应控制，可进一步提尚终端控制效率。
[0154]优选地，横屏显示模式和竖屏显示模式可由终端相对于用户的摆放方式决定。
[0155]对于控制模块300，所述终端可包括个人数字助理、智能电话、平板电脑、便携式媒体播放器等类似设备，还可包括智能电饭煲、智能电冰箱、智能电视机、智能空调等智能家居设备。所述相应控制包括对人数字助理、智能电话、平板电脑、便携式媒体播放器等类似设备内安装的各种应用的控制，或对智能电饭煲、智能电冰箱、智能电视机、智能空调等智能家居设备自身所具有功能的控制。
[0156]优选地，所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制，可将所述操作控件的位置信息输入预存的onTouch O函数，完成触发操作的模拟，实现对终端的相应控制。在其他实施例中，还可采取本技术领域人员惯用的其他手段将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信 息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。
[0157]本实施方式所述的终端控制系统，在用户双手受限或用户双手正在进行其他操作时，可直接通过语音对终端进行控制。
[0158]请参阅图6，图6是本发明的终端控制系统第二实施方式的结构示意图。
[0159]本实施方式的所述终端控制系统与第一实施方式的区别在于:若所述语音信息包括语音指令和待控制终端的语音标识，位置信息模块200还包括标识比较模块210和第六信息生成模块220，其中:
[0160]标识比较模块210可用于比较所述语音标识与预存的本终端的标识信息是否一致。
[0161]第六信息生成模块220可用于在所述语音标识与预存的本终端的标识信息一致时，根据所述语音指令，获取目标程序中与所述语音指令对应的操作控件的位置信息以及所述操作控件的模拟操作指令。
[0162]本实施方式，在语音数据中的待控制终端的语音标识与本终端的标识信息一致时，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令，对与待控制终端的语音标识一致的终端进行控制，可进一步提尚终端控制效率。
[0163]其中，对于标识比较模块210，所述语音标识可为待控制终端的名字对应的语音、型号对应的语音或其他身份标识对应的语音。
[0164]优选地，若所述语音标识与预存的本终端的标识信息相同，则一致。如名字相同、型号相同或其他身份标识相同。
[0165]对于第六信息生成模块220，当所述终端为智能电饭煲、智能电冰箱、智能电视机、智能空调等智能家居设备。可通过比较所述语音标识与预存的本终端的标识信息，快速对各种智能家居设备进行指向控制。
[0166]请参阅图7，图7是本发明的终端控制系统第三实施方式的结构示意图。
[0167]本实施方式的所述终端控制系统可部署于图3所示的总控终端，与第一实施方式的区别在于:若所述语音信息包括语音指令和待控制终端的语音标识，位置信息模块200还包括第五调取模块230和第五信息生成模块240，其中:
[0168]第五调取模块230可用于根据所述语音标识查找与所述语音标识所标示的终端对应存储的操作控件与语音指令间的预设对应关系。
[0169]第五信息生成模块240可用于根据调取的预设对应关系，获取与接收的语音指令对应的操作控件的位置信息和模拟操作指令。
[0170]控制模块300还可用于向所述语音标识所标示的终端的操作系统发送所述位置信息以及所述模拟操作指令。
[0171]本实施方式，根据所述语音信息包括语音指令和待控制终端的语音标识，可快速生成与不同待控制终端对应的操作控件的位置信息和模拟操作指令，对各待控制终端进行快速高效的语音控制。
[0172]对于第五调取模块230，可先查找终端标识与所述语音标识一致的终端，再查找与查找到的终端对应存储的操作控件与语音信息间的预设对应关系。
[0173]对于控制模块300，接收所述操作控件的位置信息的终端为图3所示的第一待控制终端或第二待控制终端，所述相应的控制可为暂停电饭锅煮饭、降低冰箱温度等家电控制。
[0174]以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0175]以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
【主权项】
1.一种终端控制方法，其特征在于，包括以下步骤: 接收用户侧发送的语音信息； 根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令； 将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。2.根据权利要求1所述的终端控制方法，其特征在于，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤包括以下步骤: 对所述语音信息进行语义识别，生成与所述语音信息匹配的语音指令； 根据语音指令与操作控件间的预设对应关系，获取与所生成的语音指令对应的操作控件的位置信息和模拟操作指令。3.根据权利要求1所述的终端控制方法，其特征在于，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤还包括以下步骤: 识别当前的置顶应用为所述目标应用； 调取与所述置顶应用对应存储的语音信息与操作控件间的预设对应关系； 根据调取的预设对应关系，获取与接收的语音信息对应的操作控件的位置信息和模拟操作指令。4.根据权利要求1所述的终端控制方法，其特征在于，将所述位置信息以及所述模拟操作指令发送到操作系统的步骤之前，还包括以下步骤: 检测终端当前显示的页面是否为系统桌面； 若否，则根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令； 若是，则生成与所述语音信息对应的按键的键值，并根据生成的键值对所述终端进行相应控制。5.根据权利要求1至4中任意一项所述的终端控制方法，其特征在于，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤还包括以下步骤: 检测终端当前显示界面的显示模式，其中，所述显示模式包括横屏显示模式和竖屏显示模式； 调取与检测的显示模式对应存储的操作控件与语音信息间的预设对应关系； 根据调取的预设对应关系，获取与接收的语音信息对应的操作控件的位置信息和模拟操作指令。6.根据权利要求1至4中任意一项所述的终端控制方法，其特征在于，若所述语音信息包括语音指令和待控制终端的语音标识，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤包括以下步骤: 根据所述语音标识查找与所述语音标识所标示的终端对应存储的操作控件与语音指令间的预设对应关系； 根据调取的预设对应关系，获取与接收的语音指令对应的操作控件的位置信息和模拟操作指令； 将所述位置信息以及所述模拟操作指令发送到操作系统的步骤包括以下步骤: 向所述语音标识所标示的终端的操作系统发送所述位置信息以及所述模拟操作指令。7.根据权利要求1至4中任意一项所述的终端控制方法，其特征在于，若所述语音信息包括语音指令和待控制终端的语音标识，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤包括以下步骤: 比较所述语音标识与预存的本终端的标识信息是否一致； 若一致，则根据所述语音指令，获取目标程序中与所述语音指令对应的操作控件的位置信息以及所述操作控件的模拟操作指令。8.一种终端控制系统，其特征在于，包括: 语音信息接收模块，用于接收用户侧发送的语音信息； 位置信息模块，用于根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令； 控制模块，用于将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。9.根据权利要求8所述的终端控制系统，其特征在于，所述位置信息模块还包括应用识别模块、第二调取模块和第二信息生成模块，其中: 所述应用识别模块用于识别当前的置顶应用为所述目标应用； 所述第二调取模块用于调取与所述置顶应用对应存储的语音信息与操作控件间的预设对应关系； 所述第二信息生成模块用于根据调取的预设对应关系，获取与接收的语音信息对应的操作控件的位置信息和模拟操作指令。10.根据权利要求8或9所述的终端控制系统，其特征在于，还包括页面检测模块、第三信息生成模块和第三控制模块，其中: 所述页面检测模块用于检测终端当前显示的页面是否为系统桌面； 所述第三信息生成模块用于在所述终端当前显示的页面不是系统桌面时，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令； 所述第三控制模块用于在所述终端当前显示的页面是系统桌面时，生成与所述语音信息对应的按键的键值，并根据生成的键值对所述终端进行相应控制。
【专利摘要】本发明涉及一种终端控制方法和系统，所述方法包括：接收用户侧发送的语音信息；根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令；将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。实施本发明，可根据用户侧发送的语音信息，进行相应的触控模拟，实现对终端的相应控制，无需用户对终端进行触控操作，可有效提高终端的响应性能和便捷性。
【IPC分类】G06F3/0481, G06F3/16
【公开号】CN104899003
【申请号】CN201510325747
【发明人】辛奇
【申请人】广州视源电子科技股份有限公司
【公开日】2015年9月9日
【申请日】2015年6月12日
【技术领域】
[0001]本发明涉及计算机技术领域，特别是涉及一种终端控制方法和系统。
【背景技术】
[0002]随着计算机技术的发展，触控屏幕在电子设备中也越来越重要，对电子设备的控制，通常通过检测用户对触控屏幕的触摸操作来实现。
[0003]但是，上述电子设备只能在检测到用户的触摸操作时，才进行相应的响应操作，当用户期望对电子设备进行控制但难以对触控屏幕进行触控操作时，如用户双手受限、用户手部残疾或用户双手正在进行其他操作，电子设备无法做出用户期望的控制响应，导致电子设备的响应性能差和便捷性能低。
【发明内容】
[0004]基于此，有必要针对上述电子设备只能在检测到用户的触摸操作时，才进行相应的响应操作，导致电子设备的响应性能差和便捷性能低的问题，提供一种终端控制方法和系统。
[0005]一种终端控制方法，包括以下步骤:
[0006]接收用户侧发送的语音信息；
[0007]根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令；
[0008]将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。
[0009]上述终端控制方法，接收用户侧发送的语音信息，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令，将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。可根据用户侧发送的语音信息，进行相应的触控模拟，实现对终端的相应控制，无需用户对终端进行触控操作，可有效提高终端的响应性能和便捷性。
[0010]优选地，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤还包括以下步骤:
[0011]对所述语音信息进行语义识别，生成与所述语音信息匹配的语音指令；
[0012]根据语音指令与操作控件间的预设对应关系，获取与所生成的语音指令对应的操作控件的位置信息和模拟操作指令。
[0013]上述终端控制方法，无需用户侧发送固定的语音指令，通过语义识别即可生成相应的语音指令，进彳丁终端控制，可进一步提尚终端控制的便捷性能和响应性能。
[0014]优选地，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤还包括以下步骤:
[0015]识别当前的置顶应用为所述目标应用；
[0016]调取与所述置顶应用对应存储的语音信息与操作控件间的预设对应关系；
[0017]根据调取的预设对应关系，获取与接收的语音信息对应的操作控件的位置信息和模拟操作指令。
[0018]上述终端控制方法，对应不同的应用生成不同的操作控件的位置信息和模拟操作指令，以在终端快速实现对不同应用的相应控制。
[0019]优选地，将所述位置信息以及所述模拟操作指令发送到操作系统的步骤之前，还包括以下步骤:
[0020]检测终端当前显示的页面是否为系统桌面；
[0021]若否，则根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令；
[0022]若是，则生成与所述语音信息对应的按键的键值，并根据生成的键值对所述终端进行相应控制。
[0023]上述终端控制方法，在终端当前显示的为系统桌面时，生成与所述语音信息对应的按键的键值，可快速根据生成的键值对所述终端进行相应控制，进一步提高终端控制效率。
[0024]优选地，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤还包括以下步骤:
[0025]检测终端当前显示界面的显示模式，其中，所述显示模式包括横屏显示模式和竖屏显示模式；
[0026]调取与检测的显示模式对应存储的操作控件与语音信息间的预设对应关系；
[0027]根据调取的预设对应关系，获取与接收的语音信息对应的操作控件的位置信息和模拟操作指令。
[0028]上述终端控制方法，通过检测终端当前显示界面的显示模式，可根据终端的显示模式的改变，快速根据当前显示模式获取对应的操作控件的位置信息和模拟操作指令，进行相应控制，可进一步提尚终端控制效率。
[0029]优选地，若所述语音信息包括语音指令和待控制终端的语音标识，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤包括以下步骤:
[0030]根据所述语音标识查找与所述语音标识所标示的终端对应存储的操作控件与语音指令间的预设对应关系；
[0031]根据调取的预设对应关系，获取与接收的语音指令对应的操作控件的位置信息和模拟操作指令；
[0032]将所述位置信息以及所述模拟操作指令发送到操作系统的步骤包括以下步骤:
[0033]向所述语音标识所标示的终端的操作系统发送所述位置信息以及所述模拟操作指令。
[0034]上述终端控制方法，根据所述语音信息包括语音指令和待控制终端的语音标识，可快速生成与不同待控制终端对应的操作控件的位置信息和操作控件的模拟操作指令，对各待控制终端进行快速高效的语音控制。
[0035]优选地，若所述语音信息包括语音指令和待控制终端的语音标识，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤包括以下步骤:
[0036]比较所述语音标识与预存的本终端的标识信息是否一致；
[0037]若一致，则根据所述语音指令，获取目标程序中与所述语音指令对应的操作控件的位置信息以及所述操作控件的模拟操作指令。
[0038]上述终端控制方法，在语音数据中的待控制终端的语音标识与本终端的标识信息一致时，根据所述语音指令，获取目标程序中与所述语音指令对应的操作控件的位置信息以及所述操作控件的模拟操作指令，对与待控制终端的语音标识一致的终端进行控制，可进一步提尚终端控制效率。
[0039]—种终端控制系统，包括:
[0040]语音信息接收模块，用于接收用户侧发送的语音信息；
[0041]位置信息模块，用于根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令；
[0042]控制模块，用于将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。
[0043]上述终端控制系统，接收用户侧发送的语音信息，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令，将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。可根据用户侧发送的语音信息，进行相应的触控模拟，实现对终端的相应控制，无需用户对终端进行触控操作，可有效提高终端的响应性能和便捷性。
[0044]优选地，所述位置信息模块还包括应用识别模块、第二调取模块和第二信息生成模块，其中:
[0045]所述应用识别模块用于识别当前的置顶应用为所述目标应用；
[0046]所述第二调取模块用于调取与所述置顶应用对应存储的语音信息与操作控件间的预设对应关系；
[0047]所述第二信息生成模块用于根据调取的预设对应关系，获取与接收的语音信息对应的操作控件的位置信息和模拟操作指令。
[0048]上述终端控制系统，对应不同的应用生成不同的操作控件的位置信息和模拟操作指令，以在终端快速实现对不同应用的相应控制。
[0049]优选地，上述终端控制系统还包括页面检测模块、第三信息生成模块和第三控制模块，其中:
[0050]所述页面检测模块用于检测终端当前显示的页面是否为系统桌面；
[0051]所述第三信息生成模块用于在所述终端当前显示的页面不是系统桌面时，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令；
[0052]所述第三控制模块用于在所述终端当前显示的页面是系统桌面时，生成与所述语音信息对应的按键的键值，并根据生成的键值对所述终端进行相应控制。
[0053]上述终端控制系统，在终端当前显示的为系统桌面时，生成与所述语音信息对应的按键的键值，可快速根据生成的键值对所述终端进行相应控制，进一步提高终端控制效率。
【附图说明】
[0054]图1是本发明终端控制方法第一实施方式的流程示意图；
[0055]图2是本发明终端控制方法第二实施方式的流程示意图；
[0056]图3是本发明实施例的终端控制方法的实施环境的结构示意图；
[0057]图4是本发明终端控制方法第三实施方式的流程示意图；
[0058]图5是本发明终端控制系统第一实施方式的结构示意图；
[0059]图6是本发明终端控制系统第二实施方式的结构示意图；
[0060]图7是本发明终端控制系统第三实施方式的结构示 意图。
【具体实施方式】
[0061]本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。
[0062]请参阅图1，图1本发明终端控制方法第一实施方式的流程示意图。
[0063]本实施方式所述的终端控制方法，包括以下步骤:
[0064]步骤S101，接收用户侧发送的语音信息。
[0065]步骤S102，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令。
[0066]步骤S103，将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。
[0067]本实施方式，接收用户侧发送的语音信息，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令，将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。可根据用户侧发送的语音信息，进行相应的触控模拟，实现对终端的相应控制，无需用户对终端进行触控操作，可有效提尚终端的响应性能和便捷性。
[0068]其中，对于步骤S101，优选地，用户侧发送的语音信息可为预设的语音指令或其他。用户侧发送的语音信息还可包括待控制终端的语音标识与语音指令、或待控制终端的语音标识以及与预设的语音指令等同含义的语音数据。
[0069]进一步地，用户侧发送的语音信息优选地为用户发送的语音。
[0070]对于步骤S102，所述目标应用可为待控终制端终端中安装的任意应用。所述操作控件的位置信息优选地为用于触发所述相应控制的触发操作所触发的位置信息。还可为所述操作控件在显示界面中所处位置的位置信息。如用于实现翻页控制时，对显示屏进行翻页滑动操作所生成的坐标信息，或对翻页控件进行点击所生成的坐标信息。所述模拟操作指令用于模拟对所述操作控件的触发操作。
[0071]优选地，可预先建立语音数据与目标应用中各操作控件的对应关系，根据语音数据查找对应的操作控件，再查找操作控件的位置信息和模拟操作指令，还可预先建立语音数据与各操作控件的位置信息和模拟操作指令间的对应关系。
[0072]进一步地，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤还包括以下步骤:
[0073]对所述语音信息进行语义识别，生成与所述语音信息匹配的语音指令。
[0074]根据语音指令与操作控件间的预设对应关系，获取与所生成的语音指令对应的操作控件的位置信息和模拟操作指令。
[0075]本实施例，无需用户侧发送固定的语音指令，通过语义识别即可生成相应的语音指令，进彳丁终端控制，可进一步提尚终端控制的便捷性能和响应性能。
[0076]在一个实施例中，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤还包括以下步骤:
[0077]识别当前的置顶应用为所述目标应用。
[0078]调取与所述置顶应用对应存储的语音信息与操作控件间的预设对应关系。
[0079]根据调取的预设对应关系，获取与接收的语音信息对应的操作控件的位置信息和模拟操作指令。
[0080]本实施例，对应不同的应用生成不同的操作控件的位置信息，以在终端快速实现对不同应用的相应控制。
[0081]优选地，在其他实施例中还可预先指定待控制终端中的某一应用为所述目标应用，或在所述语音数据中指定目标应用。所述置顶应用可为终端当前运行应用列表中处于列表最顶端的应用。
[0082]在另一个实施例中，将所述位置信息以及所述模拟操作指令发送到操作系统的步骤之前，还包括以下步骤:
[0083]检测终端当前显示的页面是否为系统桌面。
[0084]若否，则根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令。
[0085]若是，则生成与所述语音信息对应的按键的键值，并根据生成的键值对所述终端进行相应控制。
[0086]本实施例，在终端当前显示的为系统桌面时，生成与所述语音信息对应的按键的键值，可快速根据生成的键值对所述终端进行相应控制，进一步提高终端控制效率。
[0087]优选地，所述键值为用于响应用户对按键的触发生成的响应信息，可为数字或数字组成数字串。
[0088]优选地，当所述终端的操作系统为Android系统时，可通过终端的用于存放运行应用的栈，查找位于栈顶的是否为桌面，若是，所述终端当前显示的页面是系统桌面，若否，则所述终端当前显示的页面是应用页面。在其他实施例中，还可通过本领域技术人员惯用的技术手段检测终端当前显示的页面是否为系统桌面。
[0089]在其他实施例中，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤还包括以下步骤:
[0090]检测终端当前显示界面的显示模式，其中，所述显示模式包括横屏显示模式和竖屏显示模式。
[0091]调取与检测的显示模式对应存储的操作控件与语音信息间的预设对应关系。
[0092]根据调取的预设对应关系，获取与接收的语音信息对应的操作控件的位置信息和模拟操作指令。
[0093]本实施例，通过检测终端当前显示界面的显示模式，可根据终端的显示模式的改变，快速根据当前显示模式获取对应的操作控件的位置信息和模拟操作指令，进行相应控制，可进一步提尚终端控制效率。
[0094]优选地，横屏显示模式和竖屏显示模式可由终端相对于用户的摆放方式决定。可通过安装在终端内的陀螺仪检测终端当前显示界面的显示模式。还可通过本领域技术人员惯用的技术手段实现显示模式的检测。
[0095]对于步骤S103，所述终端可包括个人数字助理、智能电话、平板电脑、便携式媒体播放器等类似设备，还可包括智能电饭煲、智能电冰箱、智能电视机、智能空调、智能豆浆机、智能电风扇等智能家居设备。所述相应控制包括对人数字助理、智能电话、平板电脑、便携式媒体播放器等类似设备内安装的各种应用的控制，或对智能电饭煲、智能电冰箱、智能电视机、智能空调等智能家居设备自身所具有功能的控制。
[0096]优选地，所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制，可将所述操作控件的位置信息输入预存的onTouch O函数，完成触发操作的模拟，实现对终端的相应控制。在其他实施例中，还可采取本技术领域人员惯用的其他手段将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。
[0097]本实施方式所述的终端控制方法，在用户双手受限或用户双手正在进行其他操作时，可直接通过语音对终端进行控制。
[0098]请参阅图2，图2是本发明的终端控制方法第二实施方式的流程示意图。
[0099]本实施方式的所述终端控制方法与第一实施方式的区别在于:若所述语音信息包括语音指令和待控制终端的语音标识，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤包括以下步骤:
[0100]步骤S201，比较所述语音标识与预存的本终端的标识信息是否一致。
[0101]步骤S202，若一致，则根据所述语音指令，获取目标程序中与所述语音指令对应的操作控件的位置信息以及所述操作控件的模拟操作指令。
[0102]本实施方式，在语音数据中的待控制终端的语音标识与本终端的标识信息一致时，根据所述语音信息，获取目标程序中与所述语音指令对应的操作控件的位置信息以及所述操作控件的模拟操作指令，对与待控制终端的语音标识一致的终端进行控制，可进一步提尚终端控制效率。
[0103]其中，对于步骤S201，所述语音标识可为待控制终端的名字对应的语音、型号对应的语音或其他身份标识对应的语音。
[0104]优选地，若所述语音标识与预存的本终端的标识信息相同，则一致。如名字相同、型号相同或其他身份标识相同。
[0105]对于步骤S202，当所述终端为智能电饭煲、智能电冰箱、智能电视机、智能空调等智能家居设备。可通过比较所述语音标识与预存的本终端的标识信息，快速对各种智能家居设备进行指向控制。
[0106]请参阅图3，图3是本发明实施例的终端控制方法的实施环境的结构示意图。
[0107]图3所示实施环境用于实现本发明部分实施例或实施方式所述的终端控制方法，包括总控终端120、用户端、第一待控制终端140和第二待控制终端160，所述总控终端与第一待控制终端140和/或第二待控制终端160通过无线网络或有线网络连接。
[0108]其中，总控终端120可包括智能手机、台式机、笔记本、个人数字助理、平板电脑等终端设备中的至少一种，装设有用于实现本发明终端控制方法的用户端。
[0109]第一待控制终端140可为智能电冰箱，第二待控制终端160可为智能电饭锅，第一待控制终端140和第二待控制终端160还可为个人数字助理、智能电话、平板电脑、便携式媒体播放器等类似设备，也可为智能电 视机、智能空调等智能家居设备。
[0110]总控终端120，预存有与第一待控制终端140对应存储的第一类操作控件与语音信息间的预设对应关系以及第一类操作控件的位置信息和模拟操作指令，与第二待控制终端160对应存储的第二类操作控件与语音信息间的预设对应关系以及第二类操作控件的位置信息和模拟操作指令。第一类操作控件或第二类操作控件的位置信息为对第一待控制终端140或第二待控制终端160上的功能控件进行触发操作，生成的操作控件的位置信息。
[0111]在一个实施例中，当总控终端120接收用户侧发送的包括语音指令和待控制终端的语音标识的语音信息后，根据所述语音标识查找与所述语音标识所标示的终端对应存储的操作控件与语音信息间的预设对应关系。根据调取的预设对应关系，获取与接收的语音信息对应的操作控件的位置信息和模拟操作指令。向所述语音标识所标示的终端的操作系统发送所述位置信息和所述模拟操作指令。
[0112]当所述语音数据包括的语音标识为第一待控制终端140或第二待控制终端160的语音标识时，第一待控制终端140或第二待控制终端160的操作系统接收所述位置信息和所述模拟操作指令，将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。
[0113]本实施环境，通过在总控终端120上安装用户端。可分别对各个待控制终端进行高效的语音控制。
[0114]请参阅图4，图4是本发明的终端控制方法第三实施方式的流程示意图。
[0115]本实施方式的所述终端控制方法可运行于图3所示的总控终端，与第一实施方式的区别在于:若所述语音信息包括语音指令和待控制终端的语音标识，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤包括以下步骤:
[0116]步骤S401，根据所述语音标识查找与所述语音标识所标示的终端对应存储的操作控件与语音指令间的预设对应关系。
[0117]步骤S402，根据调取的预设对应关系，获取与接收的语音指令对应的操作控件的位置信息和模拟操作指令。
[0118]将所述位置信息以及所述模拟操作指令发送到操作系统的步骤包括以下步骤:
[0119]步骤S403，向所述语音标识所标示的终端的操作系统发送所述位置信息以及所述模拟操作指令。
[0120]本实施方式，根据所述语音信息包括语音指令和待控制终端的语音标识，可快速生成与不同待控制终端对应的操作控件的位置信息和模拟操作指令，对各待控制终端进行快速高效的语音控制。
[0121]对于步骤S401，可先查找终端标识与所述语音标识一致的终端，再查找与查找到的终端对应存储的操作控件与语音指令间的预设对应关系。
[0122]对于步骤S403，接收所述位置信息以及所述模拟操作指令的终端为图3所示的第一待控制终端或第二待控制终端，所述相应的控制可为暂停电饭锅煮饭、降低冰箱温度等家电控制。
[0123]请参阅图5，图5本发明终端控制系统第一实施方式的结构示意图。
[0124]本实施方式所述的终端控制系统，包括语音信息接收模块100、位置信息模块200和控制模块300，其中:
[0125]语音信息接收模块100，用于接收用户侧发送的语音信息。
[0126]位置信息模块200，用于根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令。
[0127]控制模块300，用于将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。
[0128]本实施方式，接收用户侧发送的语音信息，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令，将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。可根据用户侧发送的语音信息，进行相应的触控模拟，实现对终端的相应控制，无需用户对终端进行触控操作，可有效提尚终端的响应性能和便捷性。
[0129]其中，对于语音信息接收模块100，优选地，用户侧发送的语音信息可为预设的语音指令或其他。用户侧发送的语音信息还可包括待控制终端的语音标识与语音指令、或待控制终端的语音标识以及与预设的语音指令等同含义的语音数据。
[0130]进一步地，用户侧发送的语音信息优选地为用户发出的语音。
[0131]对于位置信息模块200，所述目标应用可为待控终制端终端中安装的任意应用。所述操作控件的位置信息优选地为用于触发所述相应控制的触发操作所触发的位置信息。还可为所述操作控件在显示界面中所处位置的位置信息。如用于实现翻页控制时，对显示屏进行翻页滑动操作所生成的坐标信息，或对翻页控件进行点击所生成的坐标信息。
[0132]优选地，可预先建立语音数据与目标应用中各操作控件的对应关系，根据语音数据查找对应的操作控件，再查找操作控件的位置信息和模拟操作指令，还可预先建立语音数据与各操作控件的位置信息和模拟操作指令间的对应关系。
[0133]进一步地，位置信息模块200还可包括语义识别模块和第一信息生成模块，其中:
[0134]所述语义识别模块用于对所述语音信息进行语义识别，生成与所述语音信息匹配的语音指令。
[0135]所述第一信息生成模块用于根据语音指令与操作控件间的预设对应关系，获取与所生成的语音指令对应的操作控件的位置信息和模拟操作指令。
[0136]本实施例，无需用户侧发送固定的语音指令，通过语义识别即可生成相应的语音指令，进彳丁终端控制，可进一步提尚终端控制的便捷性能和响应性能。
[0137]在一个实施例中，位置信息模块200还可包括应用识别模块、第二调取模块和第二信息生成模块，其中:
[0138]所述应用识别模块用于识别当前的置顶应用为所述目标应用。
[0139]所述第二调取模块用于调取与所述置顶应用对应存储的语音信息与操作控件间的预设对应关系。
[0140]所述第二信息生成模块用于根据调取的预设对应关系，获取与接收的语音信息对应的操作控件的位置信息和模拟操作指令。
[0141]本实施例，对应不同的应用生成不同的操作控件的位置信息和模拟操作指令，以在终端快速实现对不同应用的相应控制。
[0142]在另一个实施例中，所述终端控制系统还可包括页面检测模块、第三信息生成模块和第三控制模块，其中:
[0143]所述页面检测模块用于检测终端当前显示的页面是否为系统桌面。
[0144]所述第三信息生成模块用于在所述终端当前显示的页面不是系统桌面时，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令。
[0145]所述第三控制模块用于在所述终端当前显示的页面是系统桌面时，生成与所述语音信息对应的按键的键值，并根据生成的键值对所述终端进行相应控制。
[0146]本实施例，在终端当前显示的为系统桌面时，生成与所述语音信息对应的按键的键值，可快速根据生成的键值对所述终端进行相应控制，进一步提高终端控制效率。
[0147]优选地，所述键值为用于响应用户对按键的触发生成的响应信息，可为数字或数字组成数字串。
[0148]优选地，当所述终端的系统为Android系统时，可通过终端的用于存放运行应用的栈，查找位于栈顶的是否为桌面，若是，所述终端当前显示的页面是系统桌面，若否，则所述终端当前显示的页面是应用页面。在其他实施例中，还可通过本领域技术人员惯用的技术手段检测终端当前显示的页面是否为系统桌面。
[0149]在其他实施例中，所述位置信息模块还包括模式检测模块、第四调取模块和第四信息生成模块，其中:
[0150]所述模式检测模块用于检测终端当前显示界面的显示模式，其中，所述显示模式包括横屏显示模式和竖屏显示模式。
[0151]所述第四调取模块用于调取与检测的显示模式对应存储的操作控件与语音信息间的预设对应关系。
[0152]所述第四信息生成模块用于根据调取的预设对应关系，获取与接收的语音信息对应的操作控件的位置信息和模拟操作指令。
[0153]本实施例，通过检测终端当前显示界面的显示模式，可根据终端的显示模式的改变，快速根据当前显示模式获取对应的操作控件的位置信息和模拟操作指令，进行相应控制，可进一步提尚终端控制效率。
[0154]优选地，横屏显示模式和竖屏显示模式可由终端相对于用户的摆放方式决定。
[0155]对于控制模块300，所述终端可包括个人数字助理、智能电话、平板电脑、便携式媒体播放器等类似设备，还可包括智能电饭煲、智能电冰箱、智能电视机、智能空调等智能家居设备。所述相应控制包括对人数字助理、智能电话、平板电脑、便携式媒体播放器等类似设备内安装的各种应用的控制，或对智能电饭煲、智能电冰箱、智能电视机、智能空调等智能家居设备自身所具有功能的控制。
[0156]优选地，所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制，可将所述操作控件的位置信息输入预存的onTouch O函数，完成触发操作的模拟，实现对终端的相应控制。在其他实施例中，还可采取本技术领域人员惯用的其他手段将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信 息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。
[0157]本实施方式所述的终端控制系统，在用户双手受限或用户双手正在进行其他操作时，可直接通过语音对终端进行控制。
[0158]请参阅图6，图6是本发明的终端控制系统第二实施方式的结构示意图。
[0159]本实施方式的所述终端控制系统与第一实施方式的区别在于:若所述语音信息包括语音指令和待控制终端的语音标识，位置信息模块200还包括标识比较模块210和第六信息生成模块220，其中:
[0160]标识比较模块210可用于比较所述语音标识与预存的本终端的标识信息是否一致。
[0161]第六信息生成模块220可用于在所述语音标识与预存的本终端的标识信息一致时，根据所述语音指令，获取目标程序中与所述语音指令对应的操作控件的位置信息以及所述操作控件的模拟操作指令。
[0162]本实施方式，在语音数据中的待控制终端的语音标识与本终端的标识信息一致时，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令，对与待控制终端的语音标识一致的终端进行控制，可进一步提尚终端控制效率。
[0163]其中，对于标识比较模块210，所述语音标识可为待控制终端的名字对应的语音、型号对应的语音或其他身份标识对应的语音。
[0164]优选地，若所述语音标识与预存的本终端的标识信息相同，则一致。如名字相同、型号相同或其他身份标识相同。
[0165]对于第六信息生成模块220，当所述终端为智能电饭煲、智能电冰箱、智能电视机、智能空调等智能家居设备。可通过比较所述语音标识与预存的本终端的标识信息，快速对各种智能家居设备进行指向控制。
[0166]请参阅图7，图7是本发明的终端控制系统第三实施方式的结构示意图。
[0167]本实施方式的所述终端控制系统可部署于图3所示的总控终端，与第一实施方式的区别在于:若所述语音信息包括语音指令和待控制终端的语音标识，位置信息模块200还包括第五调取模块230和第五信息生成模块240，其中:
[0168]第五调取模块230可用于根据所述语音标识查找与所述语音标识所标示的终端对应存储的操作控件与语音指令间的预设对应关系。
[0169]第五信息生成模块240可用于根据调取的预设对应关系，获取与接收的语音指令对应的操作控件的位置信息和模拟操作指令。
[0170]控制模块300还可用于向所述语音标识所标示的终端的操作系统发送所述位置信息以及所述模拟操作指令。
[0171]本实施方式，根据所述语音信息包括语音指令和待控制终端的语音标识，可快速生成与不同待控制终端对应的操作控件的位置信息和模拟操作指令，对各待控制终端进行快速高效的语音控制。
[0172]对于第五调取模块230，可先查找终端标识与所述语音标识一致的终端，再查找与查找到的终端对应存储的操作控件与语音信息间的预设对应关系。
[0173]对于控制模块300，接收所述操作控件的位置信息的终端为图3所示的第一待控制终端或第二待控制终端，所述相应的控制可为暂停电饭锅煮饭、降低冰箱温度等家电控制。
[0174]以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0175]以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
【主权项】
1.一种终端控制方法，其特征在于，包括以下步骤: 接收用户侧发送的语音信息； 根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令； 将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。2.根据权利要求1所述的终端控制方法，其特征在于，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤包括以下步骤: 对所述语音信息进行语义识别，生成与所述语音信息匹配的语音指令； 根据语音指令与操作控件间的预设对应关系，获取与所生成的语音指令对应的操作控件的位置信息和模拟操作指令。3.根据权利要求1所述的终端控制方法，其特征在于，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤还包括以下步骤: 识别当前的置顶应用为所述目标应用； 调取与所述置顶应用对应存储的语音信息与操作控件间的预设对应关系； 根据调取的预设对应关系，获取与接收的语音信息对应的操作控件的位置信息和模拟操作指令。4.根据权利要求1所述的终端控制方法，其特征在于，将所述位置信息以及所述模拟操作指令发送到操作系统的步骤之前，还包括以下步骤: 检测终端当前显示的页面是否为系统桌面； 若否，则根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令； 若是，则生成与所述语音信息对应的按键的键值，并根据生成的键值对所述终端进行相应控制。5.根据权利要求1至4中任意一项所述的终端控制方法，其特征在于，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤还包括以下步骤: 检测终端当前显示界面的显示模式，其中，所述显示模式包括横屏显示模式和竖屏显示模式； 调取与检测的显示模式对应存储的操作控件与语音信息间的预设对应关系； 根据调取的预设对应关系，获取与接收的语音信息对应的操作控件的位置信息和模拟操作指令。6.根据权利要求1至4中任意一项所述的终端控制方法，其特征在于，若所述语音信息包括语音指令和待控制终端的语音标识，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤包括以下步骤: 根据所述语音标识查找与所述语音标识所标示的终端对应存储的操作控件与语音指令间的预设对应关系； 根据调取的预设对应关系，获取与接收的语音指令对应的操作控件的位置信息和模拟操作指令； 将所述位置信息以及所述模拟操作指令发送到操作系统的步骤包括以下步骤: 向所述语音标识所标示的终端的操作系统发送所述位置信息以及所述模拟操作指令。7.根据权利要求1至4中任意一项所述的终端控制方法，其特征在于，若所述语音信息包括语音指令和待控制终端的语音标识，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令的步骤包括以下步骤: 比较所述语音标识与预存的本终端的标识信息是否一致； 若一致，则根据所述语音指令，获取目标程序中与所述语音指令对应的操作控件的位置信息以及所述操作控件的模拟操作指令。8.一种终端控制系统，其特征在于，包括: 语音信息接收模块，用于接收用户侧发送的语音信息； 位置信息模块，用于根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令； 控制模块，用于将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。9.根据权利要求8所述的终端控制系统，其特征在于，所述位置信息模块还包括应用识别模块、第二调取模块和第二信息生成模块，其中: 所述应用识别模块用于识别当前的置顶应用为所述目标应用； 所述第二调取模块用于调取与所述置顶应用对应存储的语音信息与操作控件间的预设对应关系； 所述第二信息生成模块用于根据调取的预设对应关系，获取与接收的语音信息对应的操作控件的位置信息和模拟操作指令。10.根据权利要求8或9所述的终端控制系统，其特征在于，还包括页面检测模块、第三信息生成模块和第三控制模块，其中: 所述页面检测模块用于检测终端当前显示的页面是否为系统桌面； 所述第三信息生成模块用于在所述终端当前显示的页面不是系统桌面时，根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令； 所述第三控制模块用于在所述终端当前显示的页面是系统桌面时，生成与所述语音信息对应的按键的键值，并根据生成的键值对所述终端进行相应控制。
【专利摘要】本发明涉及一种终端控制方法和系统，所述方法包括：接收用户侧发送的语音信息；根据所述语音信息，获取目标程序中与所述语音信息对应的操作控件的位置信息以及所述操作控件的模拟操作指令；将所述位置信息以及所述模拟操作指令发送到操作系统，以使所述操作系统将所述位置信息作为所述模拟操作指令的参数，模拟对所述操作控件的触发操作实现相应控制。实施本发明，可根据用户侧发送的语音信息，进行相应的触控模拟，实现对终端的相应控制，无需用户对终端进行触控操作，可有效提高终端的响应性能和便捷性。
【IPC分类】G06F3/0481, G06F3/16
【公开号】CN104899003
【申请号】CN201510325747
【发明人】辛奇
【申请人】广州视源电子科技股份有限公司
【公开日】2015年9月9日
【申请日】2015年6月12日
最新回复(0)