用于控制外部设备的方法和系统的制作方法
用于控制外部设备的方法和系统的制作方法
【技术领域】
[0001]本公开涉及一种用于通过使用设备而控制外部设备的方法和系统。
【背景技术】
[0002]随着通信技术的发展，设备已经变得智能化和无处不在，并且与这些设备一起使用的外部设备已经在分布方面增加。因此，为了控制外部设备，设备能够执行与不同数量的外部设备相关的应用。
[0003]以上信息被提供作为背景信息，仅仅用于帮助对本公开的理解。关于上述的任何内容是否可被用作本公开的现有技术，没有进行任何确定，并且没有进行任何断言。
【发明内容】
[0004]技术问题
[0005]然而，当未指定的设备控制外部设备时，意想不到的问题将会发生。例如，当通过使用不是家庭成员的人的设备控制家庭设备时，其可能导致家庭设备的故障，或者可能泄漏在家庭设备中存储的信息。因此，需要其中可防止未指定的设备控制外部设备并且可根据环境情况自适应地选择用于控制外部设备的设备的环境。
[0006]据此，需要用于通过授权指定的设备暂时控制外部设备而控制所述外部设备的方法和系统。
[0007]技术方案
[0008]本公开的各方面至少解决上面提到的问题和/或缺点，并至少提供下述优点。因此，本公开一方面提供一种用于通过授权指定的设备暂时控制外部设备而控制所述外部设备的方法和系统以及存储它的非临时性计算机可读介质。
[0009]本公开另一个方面提供一种用于通过授权远程设备暂时控制外部设备而控制所述外部设备的方法和系统以及存储它的非临时性计算机可读介质。
[0010]本公开另一方面提供一种用于在设备之间执行交互服务时通过授权设备的对方设备暂时控制外部设备而控制设备的外部设备的方法和系统以及存储它的非临时性计算机可读介质。
[0011]附加方面将在随后的描述中被部分地阐述，并且将部分地从该描述中清楚，或者可通过提供的各种实施例的实践而被获知。
[0012]有益技术效果
[0013]根据以上实施例，可以防止由未指定的设备控制外部设备。
【附图说明】
[0014]本公开的某些实施例的以上和其它方面、特征和优点将从下面结合附图进行的描述中更加清楚，在附图中:
[0015]图1是根据本公开一实施例的外部设备控制系统的框图；
[0016]图2图示根据本公开一实施例的定义根据分配给外部设备的控制授权等级而提供的控制用户界面(UI)信息的表格；
[0017]图3图示根据本公开一实施例的基于用户信息定义分配给外部设备的控制授权等级的表格；
[0018]图4、5、6和7是根据本公开各种实施例的打开在第一设备和外部设备之间的通信会话的过程的流程图；
[0019]图8是根据本公开一实施例的外部设备控制方法的流程图；
[0020]图9图示根据本公开一实施例的在执行视频呼叫服务时在第二设备上显示的屏蒂;
[0021]图10图示根据本公开另一实施例的在执行视频呼叫服务时在第二设备上显示的屏幕；
[0022]图11是根据本公开另一实施例的外部设备控制方法的流程图；
[0023]图12是根据本公开另一实施例的外部设备控制方法的流程图；
[0024]图13是根据本公开另一实施例的外部设备控制方法的流程图；
[0025]图14是根据本公开另一实施例的外部设备控制方法的流程图；
[0026]图15是根据本公开另一实施例的外部设备控制方法的流程图；
[0027]图16是根据本公开另一实施例的外部设备控制方法的流程图；
[0028]图17是根据本公开另一实施例的外部设备控制方法的流程图；
[0029]图18图示根据本公开一实施例的在基于图17的流程图控制外部设备时在第一设备上显示的屏幕；
[0030]图19是根据本公开另一实施例的外部设备控制方法的流程图；
[0031]图20是根据本公开另一实施例的外部设备控制方法的流程图；
[0032]图21图示根据本公开一实施例的在由于紧急情况的发生而请求暂时控制授权时在第二设备上显示的屏幕；
[0033]图22是根据本公开另一实施例的外部设备控制方法的流程图；
[0034]图23图示根据本公开一实施例的在执行图22的外部设备控制方法时在第二设备上显示的屏幕；
[0035]图24是根据本公开另一实施例的外部设备控制方法的流程图；
[0036]图25图示根据本公开一实施例的基于图24的流程图而在第二设备上显示的屏蒂;
[0037]图26是根据本公开一实施例的图1的第一设备的框图；
[0038]图27图示根据本公开一实施例的在图26的存储单元中存储的程序和/或命令集的示例；
[0039]图28是根据本公开一实施例的图1的第一至第η外部设备的框图；以及
[0040]图29、30、31、32和33图示根据本公开各种实施例实现的示例。
[0041]贯穿附图，应当注意的是:相同的附图标记用来描绘相同或相似的元件、特征和结构。
【具体实施方式】
[0042]根据本公开一方面，提供一种外部设备控制方法。所述外部设备控制方法包括:向第二设备发送关于至少一个外部设备的信息，同时在第一设备和所述第二设备之间执行交互服务，基于关于所述至少一个外部设备的信息，从所述第二设备接收关于选择的外部设备的信息，并且基于所述关于选择的外部设备的信息，向所述第二设备发送关于所述选择的外部设备的控制用户界面(UI)信息。
[0043]根据本公开另一方面，提供一种用于控制外部设备的设备。所述设备包括:被配置成存储关于至少一个外部设备的信息和至少一个程序的存储单元、被配置成与所述至少一个外部设备和另一个设备通信的通信单元、被配置成根据执行所述至少一个程序而接收用户输入信息以及输出信息的触摸屏、以及被配置成提供基于触摸屏的UI信息并通过执行所述至少一个程序而授权所述其它设备暂时控制所述至少一个外部设备的处理器，其中，所述至少一个程序包括:命令，在被执行时，向所述其它设备发送关于所述至少一个外部设备的信息，同时在所述设备和所述其它设备之间通过通信单元执行交互服务，基于所述关于至少一个外部设备的信息，从所述其它设备通过通信单元接收关于选择的外部设备的信息，并基于所述关于选择的外部设备的信息，通过所述通信单元向所述其它设备发送关于所述选择的外部设备的控制UI信息。
[0044]根据本公开另一方面，提供一种非临时性计算机可读记录介质，其存储包括命令的一个或多个程序，当由处理器执行时，执行外部设备控制方法。所述外部设备控制方法包括:向第二设备发送关于至少一个外部设备的信息，同时在第一设备和所述第二设备之间执行交互服务，基于所述关于至少一个外部设备的信息，从所述第二设备接收关于选择的外部设备的信息，并且基于所述关于选择的外部设备的信息，向所述第二设备发送关于所述选择的外部设备的控制UI信息。
[0045]根据本公开另一方面，提供一种外部设备控制方法。所述外部设备控制方法包括:从第一设备接收并显示关于至少一个外部设备的信息，同时在所述第一设备和第二设备之间执行交互服务，基于所显示的关于至少一个外部设备的信息，向所述第一设备发送关于选择的外部设备的信息，基于所述关于选择的外部设备的信息，从所述第一设备接收并显示关于所述选择的外部设备的控制Π信息，并且基于所显示的控制Π信息，向所述选择的外部设备发送控制命令。
[0046]根据本公开另一方面，提供一种用于控制外部设备的设备。所述设备包括:被配置成存储至少一个程序的存储单元、被配置成通过执行所述至少一个程序而接收用户输入信息以及显示信息的触摸屏、被配置成与另一个设备以及其控制被授权给其它设备的至少一个外部设备通信的通信单元、以及被配置成提供基于触摸屏的UI并通过执行所述至少一个程序而被授权暂时控制至少其它设备的处理器，其中，所述至少一个程序包括:命令，在被执行时:从所述其它设备接收并显示关于所述至少一个外部设备的信息，同时在所述设备和所述其它设备之间执行交互服务，基于所显示的关于至少一个外部设备的信息，向所述其它设备发送关于选择的外部设备的信息，基于所述关于选择的外部设备的信息，从所述其它设备接收并显示关于所述选择的外部设备的控制Π信息，并基于所显示的控制Π信息，向所述选择的外部设备发送控制命令。
[0047]根据本公开另一方面，提供一种非临时性计算机可读记录介质，其存储包括命令的一个或多个程序，当由处理器执行时，执行外部设备控制方法。所述外部设备控制方法包括:从第一设备接收并显示关于至少一个外部设备的信息，同时在所述第一设备和第二设备之间执行交互服务，基于所显示的关于至少一个外部设备的信息，向所述第一设备发送关于选择的外部设备的信息，基于所述关于选择的外部设备的信息，从所述第一设备接收并显示关于所述选择的外部设备的控制Π信息，并且基于所显示的控制Π信息，向所述选择的外部设备发送控制命令。
[0048]从下面结合附图进行的公开了本公开的各种实施例的详细描述中，本公开的其它方面、优点和显著特征对于本领域技术人员来说将变得清楚。
[0049]执行本发明的最佳方式
[0050]提供下列参考附图的描述以帮助对由权利要求及其等同限定的本公开的各种实施例的全面理解。它包括各种特定细节以帮助该理解，但是这些将被认为仅仅是示范性的。因此，本领域技术人员将认识到:可做出对在此描述的各种实施例的各种变化和修改而不会脱离本公开的范围和精神。另外，为了清楚和简明，可能省略对公知功能和结构的描述。
[0051]在下列描述和权利要求中使用的术语和词语不限于字面含义，而是仅仅由发明人用来使得能够清楚和一致地理解本公开。因此，对本领域技术人员应当清楚的是:提供下列对本公开各种实施例的描述仅仅出于说明的目的，而不是出于限制由所附权利要求及其等同限定的本公开的目的。
[0052]应该理解的是:单数形式“一”、“一个”和“该”包括复数指代，除非上下文另有明确说明。因此，例如，提及“一个组件表面”包括提及一个或多个这样的表面。
[0053]贯穿说明书，情况基于指定的条件。也就是说，所述情况例如可包括:在其中执行诸如设备之间的交互服务之类的服务的情况、在其中发生火灾、入室盗窃、紧急医疗或地震的紧急情况、在其中设备进入指定的域的情况等等，但不限于此。因此，所述指定的条件例如可包括:用于提供设备之间的交互服务的条件、被确定为紧急情况的条件、用于确定设备进入指定的域的条件等等，但不限于此。
[0054]贯穿说明书，设备可控制外部设备，同时该设备可执行与外部设备相关的应用。贯穿说明书，外部设备被配置为硬件和软件，所述硬件和软件可与和外部设备相关的由所述设备执行的应用一起操作。因此，所述设备可以是主机设备，而所述外部设备可以是设备的附件(accessory)。
[0055]然而，根据各种实施例，设备可能不执行与外部设备相关的应用，并且可通过使用另一个执行与外部设备相关的应用的设备而控制外部设备。在这种情况下，可能在设备中没有安装与外部设备相关的应用，或者虽然在设备中安装了与外部设备相关的应用，但可能没有执行在所述设备中安装的应用。
[0056]贯穿说明书，应用是指基于设备和外部设备之间或设备之间的连接而被设计成执行指定的操作的计算机程序。
[0057]基于设备和外部设备之间的连接的应用例如可包括:游戏应用、乐器演奏应用、运动图像再现应用、地图应用、广播应用、锻炼支持应用、医疗应用、支付应用、交通工具模式(例如汽车、公交、飞机或船等)自动导航应用、外围设备控制应用(例如诸如智能TV、空调、机器人清洁器、空气净化器、打印机等之类的家庭设备的控制应用)等等，但不限于此。
[0058]基于设备之间的连接的应用例如可包括基于设备之间的交互服务的应用，但不限于此。交互服务例如可包括实时双向通信服务，诸如视频呼叫服务、语音呼叫服务、聊天服务等等，但不限于此。
[0059]基于设备之间的交互服务的应用可包括基于设备和外部设备之间的连接的应用。例如，当外部设备是智能TV，该设备是智能电话机并且设备之间的交互服务是视频呼叫服务时，提供视频呼叫服务的应用可包括与智能TV相关的应用(或者用于控制智能TV的操作的应用)。
[0060]当执行包括如上所述的与智能TV相关的应用的与视频呼叫服务相关的应用时，所述设备可控制智能TV，同时所述设备可执行视频呼叫服务。在提供视频呼叫服务的应用中包括的与智能TV相关的应用可被称为智能TV控制功能或提供视频呼叫服务的应用的子应用，但不限于此。
[0061]基于设备和外部设备之间的连接，设备之间的交互服务可包括调用应用的功能。例如，设备之间的交互服务可通过调用与外部设备相关的应用(例如与智能TV相关的应用)而执行能够控制外部设备的多任务分配，同时在设备之间的交互服务可执行如上所述的设备之间的视频呼叫服务。
[0062]贯穿说明书，输入信息是用户的输入信息，并且是基于触摸的输入信息。所述基于触摸的输入信息可包括用户请求、用户选择(例如显示的外部设备的标识信息(例如，包括空调、智能TV等的外部设备的名称)的选择)或用户命令(例如，基于外部设备的控制用户界面(UI)信息的与外部设备相关的控制命令)，但不限于此。
[0063]所述基于触摸的输入信息可取决于用户手势。基于触摸的用户手势例如可包括轻击(或触摸)、长轻击(或长触摸)、触摸并按住、触摸和拖动、双轻击、拖动、平移、轻弹、拖放、扫描等等，但不限于此。
[0064]所述输入信息不限于基于触摸的用户手势。例如，所述输入信息可以是基于运动的输入信息或基于视觉的输入信息。所述基于运动的输入信息可基于根据设备运动(例如设备摇动、设备轻击等)的用户手势。所述基于视觉的输入信息可基于通过分析由相机拍摄的输入图像而识别的用户手势，而无需接触设备。
[0065]图1是根据本公开一实施例的外部设备控制系统100的框图。
[0066]参照图1，外部设备控制系统100包括第一设备110、第二设备120、第一至第η外部设备130_1?130_η、网络140、网关150和服务器160，但不限于此。
[0067]也就是说，外部设备控制系统100可以不包括网关150和服务器160。外部设备控制系统100可包括多个设备，诸如第二设备120。第一设备110被授权控制第一至第η外部设备130_1?130_η。第二设备120可被授权暂时控制第一至第η外部设备130_1?130_no因此，由于外部设备控制系统100包括诸如第二设备120之类的多个设备，所述多个设备可被授权暂时控制第一至第η外部设备130 j?130_n。
[0068]外部设备控制系统100可包括至少一个外部设备，诸如基于第二设备120的家庭网络或基于第二设备120的本地域内的第一至第η外部设备130_1?130_η。第二设备120可被授权控制本地域或家庭网络内的至少一个外部设备。在这种情况下，第一设备110可被授权暂时控制家庭网络或本地域内的至少一个外部设备。
[0069]第一设备110、第一至第η外部设备130_1?130_η以及网关150可被称为处于物理本地域中。物理本地域例如可以是基于地点的物理区域，其中该地点可由名称(诸如家庭、办公室、餐馆、停车场等)来标识，但不限于此。在这种情况下，第一设备110可以是主机设备。
[0070]第一至第η外部设备130_1至130_η可以是本地设备或者第一设备110的配件。网关150可以是家庭网关或家庭服务器。网关150可包括中继功能，诸如接入点。网关150可被授权控制在本地域中包括的第一至第η外部设备130_1?130_η或者第一至第η外部设备130_1?130_η和第一设备110。
[0071]包括第一设备110、第一至第η外部设备130_1?130_η以及网关150的本地域可以是基于IP子网络的逻辑区域。
[0072]第一设备110例如可包括智能电话机、智能TV、个人计算机(PC)、台式PC、笔记本电脑、智能板、平板PC、平板手机、导航设备、移动设备、手持设备或手持PC、媒体播放器、电子书终端、个人数字助理(PDA)、具有输入基于触摸的用户手势的功能的数码相机以及数字消费电子(CE)设备(例如图像显示器或具有输入基于触摸的用户手势的功能的设备)中的至少一种，但不限于此。
[0073]第一设备110被授权控制第一至第η外部设备130_1?130_η。可在第一设备110中安装与第一至第η外部设备130_1?130_η相关的应用。当未在第一设备110中安装与第一至第η外部设备130_1?130_η中的至少一个相关的应用时，第一设备110可从服务器160下载并安装与至少一个外部设备相关的应用。
[0074]与在第一设备110中安装的第一至第η外部设备130_1?130_η相关的应用分别与第一至第η外部设备130_1?130_η相关。例如，当第一外部设备130_1是智能TV，第二外部设备130_2是机器人清洁器，并且第η外部设备130_η是空调时，可在第一设备110中安装智能TV应用、机器人清洁器应用和空调应用。
[0075]然而，可在第一设备110中安装与第一至第η外部设备130_1?130_η相关的集成的应用。集成的应用是通过将能够控制第一至第η外部设备130_1?130_η的功能的应用集成为一个应用而配置的应用。例如，当第一外部设备130_1是智能TV，第二外部设备130_2是机器人清洁器，并且第η外部设备130_η是空调时，集成的应用程序可包括智能TV功能、机器人清洁器功能和空调功能中的所有功能。第一至第η外部设备130_1?130_η的功能可以是控制第一至第η外部设备130_1?130_η的功能。集成的应用可具有能够添加新的外部设备的功能的功能。例如，当将空调添加到本地域时，集成的应用可具有能够添加关于空调应用的信息的功能。
[0076]集成的应用可被配置成根据情况分别调用与第一至第η外部设备130_1?130_η相关的应用。例如，集成的应用可被配置成根据需要分别调用智能TV应用和机器人清洁器应用。在这种情况下，智能TV应用和机器人清洁器应用可以是集成的应用的外部应用。
[0077]当在第一设备110中安装集成的应用时，第一设备110可执行集成的应用以分别控制第一至第η外部设备130_1?130_η的功能。也就是说，当通过使用第一设备110执行集成的应用时，在第一设备110上显示关于第一至第η外部设备130_1?130_η的信息。关于第一至第η外部设备130_1?130_η的信息可包括第一至第η外部设备130_1?130_η的标识信息。标识信息例如可包括第一至第η外部设备130_1?130_η的名称。在第一设备110上显示的关于第一至第η外部设备130_1?130_η的信息可以是基于列表的信息或基于增强现实的信息(augmented reality based informat1n)。
[0078]当基于在第一设备110上显示的关于第一至第η外部设备130_1?130_η的信息而选择一个外部设备时，第一设备110显示用于控制选择的外部设备的功能的控制Π信息。用户可基于在第一设备110上显示的控制Π信息来控制期望的功能。
[0079]当在第一设备110中安装了与第一至第η外部设备130_1?130_11相关的应用时，第一设备110可被配置成:显示可通过使用外部设备控制窗口插件控制的第一至第η外部设备130_1?130_η的列表，并基于显示的第一至第η外部设备130_1?130_η的列表而选择和控制期望的外部设备。
[0080]用于执行在第一设备110和第二设备120之间的交互服务的应用可包括与集成的应用相关的功能。例如，当交互服务是视频呼叫服务时，视频呼叫服务应用可包括与集成的应用相关的功能。在这种情况下，当执行在第一设备I1和第二设备120之间的交互服务时，第一设备110不执行与第一至第η外部设备130_1?130_η相关的应用，但可根据第一设备110的用户的外部设备控制请求而向第二设备120发送关于第一至第η外部设备130_1?130_η的信息以及控制UI信息。因此，第二设备120可远程控制第一至第η外部设备 130_1 ?130_η。
[0081]用于执行诸如视频呼叫服务之类的交互服务的应用可不包括与集成的应用相关的功能。在这种情况下，第一设备110可执行与第一至第η外部设备130_1?130_η中的至少一个相关的应用，该应用独立于用于执行视频呼叫服务以向第二设备120发送控制UI信息的应用。在这点上，与第一至第η外部设备130_1?130_η中的至少一个相关的应用可由用于执行视频呼叫服务的应用调用。
[0082]控制UI信息可包括基于图2所示的表格的信息。图2图示根据本公开一实施例的定义控制UI信息的表格，该控制UI信息是根据关于第一至第η外部设备130_1?130_η的控制授权等级而被提供的。
[0083]参照图2，第一至第η外部设备130_1?130_η的示例包括被实例化 为图2的表格中的行的数字TV(DTV)、蓝光光盘播放器(BDP)和PC。关于第一至第n外部设备130_1?130_η的控制授权等级包括被实例化为图2的表格中的列的整体、部分、一和用户设置项目。第一至第η外部设备130_1?130_η和关于第一至第η外部设备130_1?130_η的控制授权等级不限于图2所示的那些。
[0084]例如，图2的部分项目可被设置为多个部分项目。也就是说，图2的部分项目可被设置为部分项目1、部分项目2和部分项目3。部分项目1、部分项目2和部分项目3中包括的功能可被不同地设置，或者可被设置为逐渐增加或逐渐减少。
[0085]例如，TV基本功能(例如频道控制功能、音量控制功能和功率控制功能)被设置为DTV的部分项目。然而，当DTV的部分项目被设置为部分项目1、2和3时，TV基本功能可被设置为项目1，内容共享功能可被设置为部分项目2，而其它功能可被设置为部分项目3。可替代地，TV基本功能和内容共享功能可被设置为部分项目1，TV基本功能和其它功能可被设置为部分项目2，而内容共享功能和其它功能可被设置为部分项目3。可替代地，TV基本功能和内容共享功能可被设置为部分项目1，而TV基本功能可被设置为部分项目2。然而，作为上述部分项目的第一至第η外部设备130_1?130_η的功能的设置不限于上述的那些。
[0086]关于第一至第η外部设备130_1?130_η的控制UI信息可被配置为如图2中图示的分层定义的控制功能项目。也就是说，参照图2，DTV的基本功能、内容共享功能和其它功能被设置为相同的层。频道控制功能、音量控制功能和功率控制功能被设置为基本功能的从属层。在数字媒体服务器(DMS)和DTV之间共享内容的功能以及在数字媒体再现器(DMR)和DTV之间共享内容的功能被设置为内容共享功能的从属层。相机功能被设置为其它功能的从属层。然而，控制UI信息的分层结构不限于此。
[0087]当关于第一至第n外部设备130_1?130_η的第一设备110的控制授权等级是整体，并且第一至第η外部设备130_1?130_η是包括在图2的表格中的DTV、BDP和PC时，控制UI信息可包括在图2的DTV、BDP和PC项目中包括的整体功能信息。
[0088]当关于第一至第η外部设备130_1?130_η的第一设备110的控制授权等级是部分，并且第一至第η外部设备130_1?130_η是包括在图2的表格中的DTV、BDP和PC时，控制UI信息可包括在图2的DTV、BDP和PC项目中包括的部分功能信息。
[0089]当关于第一至第η外部设备130_1?130_η的第一设备110的控制授权等级是一，并且第一至第η外部设备130_1?130_η是包括在图2的表格中的DTV、BDP和PC时，控制UI信息可包括在图2的DTV、BDP和PC项目中包括的一条功能信息(例如电源开/关控制功能信息)。
[0090]可根据关于第一至第n外部设备130_1?130_η的第一设备110的控制授权等级而不同地提供控制UI信息。因此，当第二设备120被授权暂时控制第一至第η外部设备130_1?130_η时，暂时控制授权范围可被限制为关于第一至第η外部设备130_1?130_η的第一设备110的控制授权范围。例如，当关于第一至第η外部设备130_1?130_η的第一设备110的控制授权等级是图2中定义的项目“部分”时，关于第一至第η外部设备130_1?130_η的第二设备120的控制授权等级可能不是项目“整体”。
[0091]为了便于描述，下面将描述其中关于第一至第η外部设备130_1?130_η的第一设备110的控制授权等级在各种实施例中是项目“整体”的情况。
[0092]关于图2的用户设置项目，第一设备110的用户手动选择并向第二设备120发送控制UI信息。
[0093]可基于第一设备110的用户信息确定关于第一至第η外部设备130_1?130_η的第一设备110的控制授权等级。因此，当第一设备110的用户信息包括指示用户1(例如父亲)和用户2 (例如儿子)的信息时，基于用户I的关于第一至第η外部设备130_1?130_η的第一设备110的控制授权等级可能不同于基于用户2的关于第一至第η外部设备130_1?130_η的第一设备110的控制授权等级。根据用户区分关于第一至第η外部设备130_1?130_η的第一设备110的控制授权等级可能意味着根据用户区分关于第一至第η外部设备130_1?130_η的第一设备110的控制范围。
[0094]图3图示根据本公开一实施例的基于第一设备110的用户信息定义关于第一至第η外部设备130_1?130_η的控制授权等级的表格。
[0095]参照图3，当第一设备110的用户是用户I时，关于第一至第η外部设备130_1?130_η的第一设备110的控制授权等级被分配为能够控制第一至第η外部设备130_1?130_η的整体功能的授权。当第一设备110的用户是用户2时，第一设备110的控制授权等级被分配为能够控制第一至第η外部设备130_1?130_η之间的DTV的整体功能、BDP的部分功能以及PC的一个功能的授权。当第一设备110的用户是未注册的用户时，可通过使用被授权控制第一至第η外部设备130_1?130_η中的每一个的其它设备来确定第一设备110的控制授权等级。在这种情况下，第一设备110的控制授权等级可能不同于提供给第二设备120的暂时控制授权等级。
[0096]可根据控制授权等级提供的关于第一至第η外部设备130_1?130_η中的每一个的控制授权等级和用户控制接口信息可应用到第二设备120的暂时控制授权等级。也就是说，基于第一设备110的用户信息来确定第二设备120的暂时控制授权等级，并且根据确定的暂时控制授权等级来确定关于第一至第η外部设备130_1?130_η的用户控制接口信息。根据暂时控制授权等级确定的关于第一至第η外部设备130_1?130_η的用户控制接口信息可被称为第一至第η外部设备130_1?130_η的控制UI信息范围。
[0097]提供给第二设备120的控制UI信息包括:关于第一至第η外部设备130_1?130_η的信息以及在图2的表格中定义的第一至第η外部设备130_1?130_η的可控制功能信息，但不限于此。关于第一至第η外部设备130_1?130_η的信息可包括基于列表的信息或基于增强现实的信息。
[0098]当第一设备110向第二设备120发送控制Π信息时，第一设备110可确定关于第一至第η外部设备130_1?130_η的第二设备120的暂时控制授权等级，并根据确定的暂时控制授权等级而向第二设备120发送控制UI信息。
[0099]例如，当第一至第η外部设备130_1?130_η是如图2中图示的DTV、BDP和PC，并且由第一设备110确定的第二设备120的暂时控制授权等级是部分时，从第一设备110发送到第二设备120的控制Π信息可包括关于第一至第η外部设备130_1?130_η的信息以及在图2的部分项目中包括的功能信息。
[0100]根据关于第一至第η外部设备130_1?130_η的暂时控制授权等级确定的控制UI信息不限于图2中所图示的。例如，当关于第一至第η外部设备130_1?130_η的第二设备120的暂时控制授权等级是最高等级时，可向第二设备120发送用于控制第一至第η外部设备130_1?130_η的整体功能的控制UI信息。当关于第一至第η外部设备130_1?130_η的第二设备120的暂时控制授权等级是中等等级时，可向第二设备120发送用于控制第一至第η外部设备130_1?130_η的电源开/关功能的控制UI信息。当关于第一至第η外部设备130_1?130_η的第二设备120的暂时控制授权等级是最低等级时，可向第二设备120发送用于控制第一至第η外部设备130_1?130_η之一(例如第一外部设备130_1)的基本功能的控制Π信息。
[0101]可针对第一至第η外部设备130_1?130_η中的每一个确定第二设备120的暂时控制授权等级。第二设备120的暂时控制授权等级可以是能够控制由第二设备120选择的外部设备的暂时控制授权等级。
[0102]当第二设备120的用户是未注册的用户时，向第二设备120发送的第一至第η外部设备130_1?130_η的用户控制接口信息可包括由第一设备110的用户设置或指定的控制UI {目息。
[0103]当由第一设备110和第二设备120提供的第一至第η外部设备130_1?130_η的控制UI信息是增强现实(AR)信息时，可通过使用第一设备110中包括的相机来获得AR信息。
[0104]也就是说，当通过使用第一设备110中包括的相机来获得第一至第η外部设备130_1?130_11的图像时，通过将对象识别技术应用到获得的图像来识别关于第一至第η外部设备130_1?130_n的信息(例如标识信息)。对象识别技术可使用提取对象的图像的特征、比较提取的特征与存储的对象的特征并识别对象的方法，但不限于此。
[0105]通过使用关于第一至第η外部设备130_1?130_η的识别出的信息，第一设备110在外部设备信息数据库中搜索关于识别出的第一至第η外部设备130_1?130_η的附加信息。外部设备信息数据库可包括在第一设备110中，或者可包括在第一设备110外部的数据库服务器中。该外部数据库服务器可以是服务器160。外部设备信息数据库可包括在网关150中。
[0106]由第一设备110发现的附加信息可包括第一至第η外部设备130_1?130_η的类型、其名称、其网络地址、其控制命令列表及其状态信息，但不限于此。第一设备110生成图像，该图像包括:通过基于附加信息而使用对象跟踪技术的基于AR的信息，以及第一至第η外部设备130_1?130_η的标识信息。可基于第一设备110中包括的传感器和/或基于计算机视觉来执行对象跟踪技术，但不限于此。包括基于AR的信息的图像可包括在控制Π信息中，并且被发送到第二设备120。
[0107]基于第一至第η外部设备130_1?130_η的物理位置，由第一设备110和第二设备120提供的第一至第η外部设备130_1?130_η的控制UI信息可被提供为2维(2D)或3D平面布局(或设备布局或家庭平面图)。
[0108]控制UI信息可包括关于第一至第η外部设备130_1?130_η的第二设备120的暂时控制授权时段信息。例如，当通过使用第一设备110而将交互服务时段设置为暂时控制授权时段时，暂时控制授权时段被设置为离授权暂时控制的时间起的I小时，或者以指定的时间周期授权暂时控制，第一设备110可向第二设备120发送包括设置的暂时控制授权时段信息的控制UI信息，或者连同控制UI信息发送设置的暂时控制授权时段信息。
[0109]可设置特定的时间周期以根据年/月/周/日重复，但不限于此。例如，该特定的时间周期可被设置以每天上午8点控制父亲房子中的热水器，或者可被设置以从孩子回家的时间到父母回家的时间控制房子的门。当关于第二设备120授权暂时控制时，可设置第二设备120的暂时控制授权时段，但不限于此。
[0110]当暂时控制被授权给第二设备120时，第一设备110可显示提供给第二设备120的暂时控制授权等级，或者可显示针对其向第二设备120授权了暂时控制的第一至第η外部设备130_1?130_η的列表和可控制的功能的列表。
[0111]第二设备120未被授权控制第一至第η外部设备130_1?130_η。然而，由于第二设备120被授权暂时控制第一至第η外部设备130_1?130_η，所以第二设备120可控制第一至第η外部设备130_1?130_η。根据第一设备110的用户的请求、第二设备120的用户的请求、第一至第η外部设备130_1?130_η的请求、网关150的请求或服务器160的请求中的至少一个，第二设备120可被授权暂时控制第一至第η外部设备130_1?130_η。
[0112]第二设备120例如可包括智能电话机、智能TV、PC、台式PC、笔记本电脑、智能板、平板PC、平板手机、导航设备、移动设备、手持设备或手持PC、媒体播放器、电子书终端、PDA、输入基于触摸的用户手势的数码相机以及数字CE设备(例如图像显示器或具有输入基于触摸的用户手势的功能的设备)，但不限于此。
[0113]可通过诸如第一设备110的电话簿或地址簿之类的联系信息管理应用或者调用或与联系信息管理应用同步的应用来选择第二设备120。用于选择第二设备120的应用不限于此。
[0114]当第一设备110和第二设备120在其间执行交互服务时，可省略选择第二设备120的操作，并且可提供对于第一至第η外部设备130_1?130_η的暂时控制授权。当执行交互服务时，当请求对于第一至第η外部设备130_1?130_η的暂时控制授权时，向对应设备自动提供对于第一至第η外部设备130_1?130_η的暂时控制授权，但并不是限于此。
[0115]第一至第η外部设备130_1?130_η可能连接或可能不连接到第一设备110。当第一至第η外部设备130_1?130_η不连接到第一设备110时，第一设备110可存储关于第一至第η外部设备130_1?130_η的信息。关于第一至第η外部设备130_1?130_η的信息可包括相关的应用信息和网络连接信息，但不限于此。也就是说，关于第一至第η外部设备130_1?130_η的信息可包括如上所述的第一至第η外部设备130_1?130_η的类型、其名称、其网络地址、其控制命令列表及其状态信息，但不限于此。
[0116]第一设备110可通过第一短距离通信获得关于第一至第η外部设备130_1?130_η的信息，并基于获得的信息、通过如图4至7中图示的第二短距离通信而打开(或建立或连接(或配对))与第一至第η外部设备130_1?130_η的通信会话。
[0117]第一短距离通信是在第一设备110和第一至第η外部设备130_1?130_η之间执行的通信，以打开用于控制第一至第η外部设备130_1?130_η的通信会话。第二短距离通信是在第一设备110打开用于控制第一至第η外部设备130_1?130_η的通信会话之后而在第一设备110和第一至第η外部设备130 j?130_n之间执行的通信。
[0118]图4是根据本公开一实施例的打开在第一设备110和第一至第η外部设备130_1?130_η之间的通信会话的过程的流程图。
[0119]参照图4，通过近场通信(NFC)执行第一短距离通信，并通过使用网关150的中继功能执行第二短距离通信。当在网关150中独立地建立执行中继功能的接入点(AP)时，可通过AP执行第二短距离通信。
[0120]在操作S401中，当第一设备110和第一至第η外部设备130_1?130_η之间的距离在NFC通信范围内时，在操作S402中，第一设备110和第一至第η外部设备130_1?130_η识别第一短距离通信发生。
[0121]在操作S403中，第一至第η外部设备130_1?130_η通过NFC向第一设备110发送关于第二短距离通信连接的信息以及与第一至第η外部设备130_1?130_η相关的应用信息。
[0122]在操作S404中，第一设备110验证第一至第η外部设备130_1?130_η。可通过验证从第一至第η外部设备130_1?130_η接收的先前同意的验证信息而验证第一至第η外部设备130_1?130_η。因此，在操作S403中，第一设备110可从第一至第η外部设备130_1?130_η接收验证信息。如果在操作S403中第一设备110不从第一至第η外部设备130_1?130_η接收验证信息并且不对第一至第η外部设备130_1?130_η执行验证操作，则可省略操作S404。
[0123]在其中验证第一至第η外部设备130_1?130_η的实施例中，如果第一设备110没有从第一至第η外部设备130_1?130_η接收到验证信息或从其中接收到错误的验证信息，则第一设备110可停止打开与第一至第η外部设备130_1?130_η的通信会话的过程。
[0124]在操作S405中，基于关于第二短距离通信连接的接收的信息，第一设备110确定与第一至第η外部设备130_1?130_η的第二短距离通信。可基于从第一至第η外部设备130_1?130_η接收的指示通信方法的信息来确定第二短距离通信。
[0125]例如，如果从第一至第η外部设备130_1?130_η接收的指示通信方法的信息包括指示蓝牙通信的信息，则第一设备110将与第一至第η外部设备130_1?130_η的第二短距离通信确定为蓝牙通信。如果从第一至第η外部设备130 j?130_n接收的指示通信方法的信息包括指示基础设施模式无线局域网(LAN)通信的信息，则第一设备110将与第一至第η外部设备130_1?130_η的第二短距离通信确定为基础设施模式无线LAN通信。
[0126]在当前的过程中，第一至第η外部设备130_1?130_η的第二短距离通信使用网关150。因此，在操作S406中，第一设备110向第一至第η外部设备130_1?130_η发送网关150的连接信息。
[0127]在当前的过程中，第一设备110未连接到网关150，并在其中存储与网关150相关的连接信息。与网关150相关的连接信息对于连接到网关150是必需的。例如，与网关150相关的连接信息可包括服务集标识符(SSID)、信道信息、安全和验证密钥信息、加密密钥信息、因特网协议(IP)地址、媒体访问控制(MAC)地址等，但不限于此。
[0128]在操作S407中，通过使用与网关150相关的接收的连接信息，第一至第η外部设备130_1?130_11请求网关150连接。在操作S408中，当第一至第η外部设备130_1?130_η从网关150接收到连接接受信号时，在操作S409中，第一至第η外部设备130_1?130_η向第一设备110发送连接通知信号，该连接通知信号指示第一至第η外部设备130_1?130_η连接到网关150。
[0129]在操作S410中，通过使用网关150的连接信息，第一设备110向网关150发送连接请求信号。在操作S411中，当第一设备110从网关150接收连接接受信号时，第一设备110可经由网关150打开与第一至第η外部设备130_1?130_η的通信会话。当打开通信会话时，第一设备110可执行与第一至第η外部设备130_1?130_η相关的应用。
[0130]图5是根据本公开一实施例的在第一短距离通信使用BLE通信并且第二短距离通信使用中继时打开第一设备110和第一至第η外部设备130_1?130_η之间的通信会话的过程的流程图。
[0131]在操作S501，第一设备110接收从第一至第η外部设备130_1?130_η广播的关于第二短距离通信连接的信息和与第一至第η外部设备130_1?130_η相关的应用信息，并且在操作S502中识别第一短距离通信发生。
[0132]在操作S503中，第一设备110验证第一至第η外部设备130_1?130_η。可通过验证从第一至第η外部设备130_1?130_η接收的先前同意的验证信息来验证第一至第η外部设备130_1?130_η。因此，在操作S501中，第一设备110可从第一至第η外部设备130_1?130_11接收验证信息。在其中第一设备110在操作S501中不从第一至第η外部设备130_1?130_η接收验证信息并且不对第一至第η外部设备130_1?130_η执行验证操作的实施例中，可省略操作S503。
[0133]在其中验证第一至第η外部设备130_1?130_η的实施例中，当第一设备110没有从第一至第η外部设备130_1?130_η接收到验证信息或从其中接收到错误的验证信息时，第一设备110可停止打开与第一至第η外部设备130_1?130_η的通信会话的过程。
[0134]在操作S504中，第一设备110显示关于第一至第η外部设备130_1?130_η的信息。为此，在操作S501中，第一至第η外部设备130_1?130_η可向第一设备110发送关于第一至第η外部设备130_1?130_η的信息。
[0135]然而，在操作S502中，在第一设备110识别出第一短距离通信发生之后，第一设备110可被配置成根据从第一设备110到第一至第η外部设备130_1?130_η的信息请求的传输而接收验证信息和关于第一至第η外部设备130_1?130_η的信息。
[0136]在操作S505中，当基于关于第一至第η外部设备130_1?130_η的显示的信息而输入关于连接到第一至第η外部设备130_1?130_η的选择的用户信息时，在操作S506中，基于关于第二短距离通信连接的信息，第一设备110确定与第一至第η外部设备130_1?130_η的第二短距离通信。可如以上在操作S405中所述地确定第二短距离通信。
[0137]在当前的过程中，第一至第η外部设备130_1?130_η的第二短距离通信使用网关150。因此，在操作S507中，第一设备110向 第一至第η外部设备130_1?130_η发送与网关150相关的连接信息。
[0138]在当前的过程中，第一设备110未连接到网关150，并在其中存储与网关150相关的连接信息。
[0139]在操作S508中，通过使用与网关150相关的接收的连接信息，第一至第η外部设备130_1?130_η向网关150发送连接请求信号。在操作S509中，当第一至第η外部设备130_1?130_η从网关150接收到连接接受信号时，在操作S510中，第一至第η外部设备130_1?130_η向第一设备110发送连接通知信号，该连接通知信号指示第一至第η外部设备130_1?130_η连接到网关150。
[0140]在操作S511中，通过使用网关150的连接信息，第一设备110向网关150发送连接请求信号。在操作S512中，当第一设备110从网关150接收到连接接受信号时，第一设备110可经由网关150打开与第一至第η外部设备130_1?130_η的通信会话。
[0141]图6是根据本公开一实施例的过程的流程图，该过程是在第一短距离通信使用NFC并且第二短距离通信不使用网关150而是使用设备之间的直接通信时打开第一设备110和第一至第η外部设备130_1?130_η之间的通信会话的过程。
[0142]在操作S601中，当第一设备110和第一至第η外部设备130_1?130_η之间的距离在第一短距离通信范围内时，在操作S602中，第一设备HO和第一至第η外部设备130_1?130_η识别第一短距离通信发生。
[0143]在操作S603中，第一至第η外部设备130_1?130_η向第一设备110发送关于第二短距离通信连接的信息以及与第一至第η外部设备130_1?130_η相关的应用信息。
[0144]在操作S604中，第一设备110验证第一至第η外部设备130_1?130_η。可通过验证从第一至第η外部设备130_1?130_η接收的先前同意的验证信息而验证第一至第η外部设备130_1?130_η。因此，在操作S603中，第一设备110可从第一至第η外部设备130_1?130_η接收验证信息。当第一设备110在操作S603中不从第一至第η外部设备130_1?130_η接收验证信息并且不对第一至第η外部设备130_1?130_η执行验证操作时，可省略操作S604。
[0145]在其中验证第一至第η外部设备130_1?130_η的实施例中，当第一设备110没有从第一至第η外部设备130_1?130_η接收到验证信息或从其中接收到错误的验证信息时，第一设备110可停止打开与第一至第η外部设备130_1?130_η的通信会话的过程。
[0146]在操作S605中，基于关于第二短距离通信连接的接收的信息，第一设备110确定与第一至第η外部设备130 j?130_n的第二短距离通信。可如上所述地确定第二短距离通信。
[0147]在当前的过程中，第一至第η外部设备130_1?130_η的第二短距离通信不使用网关150，而是使用设备之间的直接通信。因此，在操作S606中，第一设备110可通过使用NFC而向第一至第η外部设备130_1?130_η发送请求设备之间的直接通信所需的第一设备110的信息。因此，通过使用第一设备110的信息，第一至第η外部设备130_1?130_η可预先尝试与第一设备110的设备之间的直接通信。
[0148]图6的流程图可被修改为不包括操作S606，使得第一设备110仅可尝试设备之间的直接通信。在操作S607中，基于关于第一至第η外部设备130_1?130_η的第二短距离通信连接的信息，第一设备110向第一至第η外部设备130_1?130_η发送连接请求信号。在操作S608中，当第一设备110从第一至第η外部设备130_1?130_η接收到连接接受信号时，第一设备110可打开与第一至第η外部设备130_1?130_η的通信会话。
[0149]图7是根据本公开一实施例的过程的流程图，该过程是在第一短距离通信使用BLE通信并且第二短距离通信不使用网关150而是使用设备之间的直接通信时打开第一设备110和第一至第η外部设备130_1?130_η之间的通信会话的过程。
[0150]在操作S701中，第一设备110接收从第一至第η外部设备130_1?130_η广播的关于第二短距离通信连接的信息以及与第一至第η外部设备130_1?130_η有关的应用信息，并且在操作S702中识别第一短距离通信发生。在操作S701中，第一至第η外部设备130_1?130_η可能不发送应用信息。
[0151]在操作S703中，第一设备110验证第一至第η外部设备130_1?130_η。可通过验证从第一至第η外部设备130_1?130_η接收的先前同意的验证信息而验证第一至第η外部设备130_1?130_η。因此，在操作S701中，第一设备110可从第一至第η外部设备130_1?130_η接收验证信息。当第一设备110在操作S701中不从第一至第η外部设备130_1?130_η接收验证信息并且不对第一至第η外部设备130_1?130_η执行验证操作时，可省略操作S703。
[0152]在其中验证第一至第η外部设备130_1?130_η的实施例中，当第一设备110没有从第一至第η外部设备130_1?130_η接收到验证信息或从其中接收到错误的验证信息时，第一设备110可停止打开与第一至第η外部设备130_1?130_η的通信会话的过程。
[0153]在操作S704中，第一设备110显示关于第一至第η外部设备130_1?130_η的信息。为此，在操作S701中，第一至第η外部设备130_1?130_η可向第一设备110发送关于第一至第η外部设备130_1?130_η的信息。
[0154]然而，在操作S702中，在第一设备110识别出第一短距离通信发生之后，第一设备110可被配置成:根据从第一设备110到第一至第η外部设备130_1?130_η的对于第一至第η外部设备130_1?130_η的信息请求的传输，接收验证信息和关于第一至第η外部设备130_1?130_η的信息。
[0155]在操作S705中，当基于关于第一至第η外部设备130_1?130_η的显示的信息而输入关于连接到第一至第η外部设备130_1?130_η的选择的用户信息时，在操作S706中，基于关于第二短距离通信连接的信息，第一设备110确定与第一至第η外部设备130_1?130_n的第二短距离通信。可如以上在操作S405中所述地确定第二短距离通信。
[0156]在当前的过程中，第一至第η外部设备130_1?130_η的第二短距离通信不使用网关150，而是使用设备之间的直接通信。因此，在操作S707中，第一设备110可通过使用BLE通信而向第一至第η外部设备130_1?130_η发送请求设备之间的直接通信所需的第一设备110的信息。因此，通过在未来使用第一设备110的信息，第一至第η外部设备130_1?130_η可预先尝试与第一设备110的设备之间的直接通信。
[0157]图7的流程图可被修改为不包括操作S707，以这样的方式，第一设备110只可尝试设备之间的直接通信。
[0158]在操作S708中，基于关于第一至第η外部设备130_1?130_η的第二短距离通信连接的信息，第一设备110向第一至第η外部设备130_1?130_η发送连接请求信号。在操作S709中，当第一设备110从第一至第η外部设备130_1?130_η接收到连接接受信号时，第一设备110可打开与第一至第η外部设备130_1?130_η的通信会话。
[0159]在图4至7的过程中，在无线通信中打开第一设备110和第一至第η外部设备130_1?130_η之间的通信会话。然而，第一设备110和第一至第η外部设备130_1?130_η之间的通信会话不限于无线通信。例如，可以以有线通信中打开第一设备110和第一至第η外部设备130_1?130_η之间的通信会话。
[0160]网络140可包括:用于通过诸如蓝牙通信、WiFi直接通信等之类的短距离通信打开第一设备110和第二设备120之间的通信会话的网络，以及用于打开诸如聊天、视频呼叫和语音呼叫之类的基于交互服务的通信会话的网络。网络140可进一步包括用于打开第二设备120和网关150之间、第一设备110和服务器160之间以及第二设备120和服务器160之间的通信会话的网络。
[0161]网络140可进一步包括用于打开在机器对机器(Μ2Μ)通信、设备到设备(D2D)通信和点对点(P2P)通信中的至少一个中的第一设备110和第二设备120之间的通信会话的网络。
[0162]网络140可被配置为无线通信网络或有线通信网络。
[0163]无线通信网络可包括下述无线网络中的至少一个，诸如不使用AP的无线局域网(WLAN)(例如WiFi直接或ad-hoc模式无线LAN)、Zigbee网络、蓝牙网络、红外数据协会(IrDA)网络、RFID网络、基于NFC的网络、使用AP的WLAN(例如WiFi或基础设施模式无线LAN)、基于3G/4G长期演进(LTE)的网络、因特网、无线内联网、无线电话网络以及超宽带(UffB)网络，但不限于此。
[0164]有线通信网络可包括电话线方法(例如家庭电话线网络联盟(PNA)、电力线方法(例如HomePlug、Longfforks和HNCP)、以太网方法(例如IEEE 802.3)和结构化布线方法中的至少一个，但不限于此。
[0165]网关150中继如参考图4和5所述的第一设备110和第一至第η外部设备130_1?130_η之间的通信、第二设备120和第一至第η外部设备130_1?130_η之间的通信以及服务器160和第一至第η外部设备130_1?130_η之间的通信。
[0166]当在第一设备110、第一至第η外部设备130_1?130_η以及网关150之间连接的网络是基于家庭的局域网时，网关150可被称为家庭网关。
[0167]网关150可包括无线中继功能。网关150可与WLAN同步。网关150可包括包含因特网共享功能的有线/无线因特网共享功能。网关150可包括具有无线和有线接口连接功能的AP或具有AP和因特网共享功能的无线共享者。
[0168]当在第一设备110和第一至第η外部设备130_1?130_η之间连接的网络是局域网时，网关150可被称为在局域网和网络140之间进行中继的网关。
[0169]服务器160可包括公共云、私有云、验证授权计费(AAA)服务器以及智能家庭业务提供商的验证服务器中的至少一个。服务器160可存储关于可被授权暂时控制第一至第η外部设备130_1?130_η的设备的信息以及在其中的关于第一至第η外部设备130_1?130_η的信息。关于第一至第η外部设备130_1?130_η的信息可包括关于第一至第η外部设备130_1?130_η的参考图4至7所述的信息。可在第一设备110和/或网关150中存储关于可被授权暂时控制第一至第η外部设备130_1?130_η的设备的信息以及关于第一至第η外部设备130_1?130_η的信息。
[0170]当不打开第一设备110和第二设备120之间的通信会话时，通过执行诸如第一设备110的电话簿或地址簿的联系信息管理应用或与联系信息管理应用同步的应用，第一设备110向第二设备120发送关于第一至第η外部设备130_1?130_η的信息，并且因此第二设备120可被授权暂时控制第一至第η外部设备130_1?130_η。
[0171]可替代地，通过使用第二设备120执行联系信息管理应用或与联系信息管理应用同步的应用，第二设备120从第一设备110请求暂时控制第一至第η外部设备130_1?130_η的授权，第二设备120可被授权暂时控制第一至第η外部设备130_1?130_η。
[0172]图8是根据本公开一实施例的外部设备控制方法的流程图。
[0173]参照图8，在第一设备110和第二设备120之间执行交互服务，由第一设备110的用户请求暂时控制至少一个外部设备的授权。
[0174]在操作S801中，当在第一设备110和第二设备120之间执行交互服务时，当在操作S802中由第一设备110的用户输入对暂时控制第一至第η外部设备130_1?130_η的授权的请求时，第一设备110在操作S803中向第二设备120发送关于第一至第η外部设备130_1?130_η的信息。关于第一至第η外部设备130_1?130_η的信息可包括以上参考图1所述的关于第一至第η外部设备130_1?130_η的信息。
[0175]通过控制第一设备110中包括的暂时控制授权请求键，通过基于触摸或运动选择暂时控制授权请求菜单项，或者通过使用第一设备110的用户的语音信号(例如请求暂时控制授权)，可输入对由第一设备110暂时控制第一至第η外部设备130_1?130_η的授权的请求。
[0176]因此，第二设备120在操作S804中显示关于第一至第η外部设备130_1?130_η的信息。图9图示根据本公开一实施例的在执行视频呼叫服务时在第二设备120上显示的屏幕 910,920 和 930。
[0177]参照图9，第二设备120可在操作S804中在屏幕910的区域911上显示关于第一至第η外部设备130_1?130_η的暂时控制授权通知消息，并且可显示包括用于接受和拒绝关于第一至第η外部设备130_1?130_η的暂时控制授权的项的菜单912。
[0178]当从菜单912中选择接受关于第一至第η外部设备130_1?130_η的暂时控制授权的项时，将第二设备120上显示的屏幕910改变为屏幕920，屏幕920图示关于第一至第η外部设备130_1?130_η的信息被提供为基于AR的信息。在屏幕920上进一步显示第一至第η外部设备130_1?130_η的标识信息和状态信息。然而，关于第一至第η外部设备130_1?130_η的信息不限于在屏幕920上显示的信息，也就是说，只有第一至第η外部设备130_1?130_η的标识信息可被显示为关于第一至第η外部设备130_1?130_η的信息。
[0179]在这点上，第一设备110和第二设备120仍处于视频呼叫状态。因此，可通过调用第一设备110的相机应用并捕获期望其控制的设备同时第一设备110的用户处于视频呼口H，向第二设备120发送图9的屏幕920，但不限于此。屏幕910和屏幕920可包括在单个屏幕中。例如，在屏幕920上显示的屏幕可被显示为屏幕910的背景屏幕。在这种情况下，在屏幕920上显示的关于第一至第η外部设备130_1?130_η的信息可被显示为可从最上层选择的区域。
[0180]图10图示根据本公开另一实施例的在执行视频呼叫服务时在第二设备120上显示的屏幕。
[0181]参照图10，关于第一至第η外部设备130_1?130_η的信息被提供为基于物理位置的平面布局。屏幕1010与图9的屏幕910的功能类似。第一至第η外部设备130_1?130_η的2D平面布局可显示在第二设备120上，如屏幕1020。在这点上，2D平面布局可显示在从视频呼叫服务屏幕分割而得到的屏幕1020的区域上。可以以画中画(PIP)的形式显示视频呼叫服务屏幕和2D平面布局，或者只可显示2D平面布局。在这点上，在第一设备110和第二设备120之前保持视频呼叫服务，并且因此连续输出基于视频呼叫的语音信号。
[0182]当在操作S805中接收到下述选择信号时，其中该选择信号基于关于第一至第η外部设备130_1?130_η的基于AR的信息，如图9的菜单920，第二设备120在操作S806中向第一设备110发送关于选择的外部设备的信息。例如可通过在关于第一至第η外部设备130_1?130_η的在第二设备120上显示的屏幕920中包括的信息上长触摸而接收选择信号，该选择信号基于关于第一至第η外部设备130_1?130_η的基于AR的信息。然而，接收关于第一至第η外部设备130_1?130_η的选择信号的方法不限于此。例如，根据用户的语音信号，如“空调”，可接收关于第一至第η外部设备130_1?130_η的选择信号。
[0183]第一设备110在操作S807中向第二设备120发送关于选择的外部设备的控制UI信息。因此，第二设备120在操作S808中显示接收的控制Π信息。也就是说，当在图2的屏幕920上选择空调时，在操作S808中，第二设备120可显示关于空调的控制UI信息，如屏幕930或1030。然而，在操作S808中关于选择的外部设备的显示的控制UI信息不限于图9的屏幕930。
[0184]当在操作S809中基于显示的控制UI信息而将控制命令输入到第二设备120时，在操作S810和S811中，第二设备120通过第一设备110而将控制命令发送到在第一至第η外部设备130_1?130_η中的对应于空调的外部设备。在这点上，第一设备110可在第一至第η外部设备130_1?130_η中的对应于空调的外部设备以及第二设备120之间进行中继。
[0185]可修改图8的流程图，使得第二设备120将控制命令直接输入到第一至第η外部设备130_1?130_η中的对应于空调设备的外部设备。可修改图8的流程图，使得第二设备120经由网关150或服务器160而将控制命令输入到第一至第η外部设备130_1?130_η中的对应于空调设备的外部设备。当控制命令被直接输入到外部设备时，通过使用关于到外部设备的通信会话连接的信息，第二设备120可打开与外部设备的通信会话。当经由网关150或服务器160发送控制命令时，第二设备120可将用于打开与外部设备的通信会话的信息提供给网关150或服务器160。
[0186]可修改图8的流程图，使得当请求暂时控制第一至第η外部设备130_1?130_η的授权时，第一设备110向第二设备120发送暂时控制授权请求信号，并且第二设备120在图9的屏幕910上显示消息911和912，并基于显示的消息911和912而向第一设备110发送暂时控制授权接受信号，使得第一设备110可向第二设备120发送关于第一至第η外部设备130_1?130_η的信息。
[0187]可修改图8的流程图使得关于选择的外部设备的信息被发送到网关150或服务器160，使得第二设备120可从网关150或服务器160接收关于选择的外部设备的控制UI信息。在这种情况下，网关150或服务器160可具有管理关于第一至第η外部设备130_1?130_η中的每一个的控制Π信息的功能。网关150或服务器160可包括关于第二设备120的暂时控制授权等级信息。根据关于第二设备120的暂时控制授权等级信息，网关150或服务器160可提供关于第一至第η外部设备130_1?130_η的控制UI信息。
[0188]图11是根据本公开另一个实施例的外部设备控制方法的流程图。
[0189]参照图11，当在第一设备110和第二设备120之间执行交互服务时，第一设备110确定将被授权暂时控制至少一个外部设备的第二设备120的控制授权等级。
[0190]图11的操作S110US1102和S1104至SlllO类似于图8的操作S801至S809，并且因此这里省略其描述以避免冗长。
[0191]在操作S1103中，第一设备110基于第二设备120的用户信息而确定暂时控制授权等级。暂时控制授权等级的确定与以上参考图1至3所述的控制授权等级的确定相同。因此，在操作S1104中，根据确定的暂时控制授权等级，第一设备110向第二设备120发送关于第一至第η外部设备130_1?130_η的信息。
[0192]可修改图11的流程图，使得可如以上参考图8所述地经由第一设备110或者经由网关150或服务器160而从第二设备120向选择的外部设备发送关于选择的外部设备的控制命令。
[0193]图12是根据本公开另一个实施例的外部设备控制方法的流程图。
[0194]参照图12，当在第一设备110和第二设备120之间执行交互服务时，由第一设备110的用户请求暂时控制至少一个外部设备的授权，并且关于第二设备120的控制授权等级信息显示在第二设备120上。
[0195]图12的操作S1201至S1203以及S1208至S1215类似于图11的操作SllOl至S1111，并且因此这里省略其描述以避免冗长。
[0196]在操作S1204中，第一设备110向第二设备120发送暂时控制授权接受请求信号。在这点上，第一设备110还可向第二设备120发送第二设备120的暂时控制授权等级信息。当第二设备120的用户在操作S1205中接受暂时控制授权接受请求时，第二设备120在操作S1206中显示第二设备120的暂时控制授权等级信息，并在操作1207中向第一设备110发送接受通知信号。因此，在操作S1208中，根据第二设备120的暂时控制授权等级，第一设备110向第二设备120发送关于第一至第η外部设备130_1?130_η的信息。
[0197]可修改图12的流程图，使得当第一设 备110向第二设备120发送暂时控制授权接受请求信号时，第一设备110显示:第二设备120的暂时控制授权等级信息，根据第二设备120的暂时控制授权等级的关于第一至第η外部设备130j?130_n的信息，以及在其上的关于与第一至第η外部设备130_1?130_η有关的信息的可控制功能的信息。
[0198]可修改图12的流程图，使得可经由第一设备110或者经由网关150或服务器160而从第二设备120向选择的外部设备发送关于选择的外部设备的控制命令。
[0199]图13是根据本公开另一实施例的外部设备控制方法的流程图。
[0200]参照图13，当在第一设备110和第二设备120之间执行交互服务时，第一设备110执行与由下述第二设备120选择的外部设备相关的应用，其中，所述第二设备120被授权暂时控制第一至第η外部设备130_1?130_η。
[0201]图13的操作S1301至S1306以及S1308至S1312类似于图8中的操作S801至S811，并且因此这里省略其描述以避免冗长。
[0202]在操作S1306中，当从第二设备120接收到关于选择的外部设备的信息时，第一设备110在操作1307中执行与选择的外部设备相关的应用。在操作S1308中，第一设备110通过使用执行的应用而向第二设备120发送关于选择的外部设备的控制UI信息。
[0203]可修改图13的流程图，使得可直接或者经由网关150或服务器160而从第二设备120向选择的外部设备发送关于选择的外部设备的控制命令。
[0204]图14是根据本公开另一个实施例的外部设备控制方法的流程图。
[0205]参照图14，当在第一设备110和第二设备120之间执行交互服务时，由第二设备120的用户请求暂时控制第一至第η外部设备130_1?130_η中的至少一个的授权。
[0206]图14的操作S1401和S1404至S1412类似于图8的操作S801和S803至S811，并且因此这里省略其描述以避免冗长。
[0207]在操作S1402中，当由第二设备120的用户请求暂时控制其控制被针对第一设备110授权的第一至第η外部设备130_1?130_η的授权时，第二设备120在操作S1403中向第一设备110发送对于第一至第η外部设备130_1?130_η的暂时控制授权请求信号。因此，第一设备110在操作S1404中向第二设备120发送关于第一至第η外部设备130_1?130_η的信息。
[0208]可修改图14的流程图，使得可直接或者经由网关150或服务器160而从第二设备120向选择的外部设备发送对于选择的外部设备的控制命令。
[0209]图15是根据本公开另一个实施例的外部设备控制方法的流程图。
[0210]参照图15，当在第一设备110和第二设备120之间执行交互服务时，由第一设备110的用户请求暂时控制第一至第η外部设备130_1?130_η中的至少一个的授权，并且第二设备120执行选择的外部设备的应用。
[0211]图15的操作S1501至S1505以及S1507至S1509类似于图8的操作S801至S805、S808以及S809，并且因此这里省略其描述以避免冗长。
[0212]在操作S1506中，第二设备120执行与由用户选择的外部设备相关的应用。在操作S1507中，第二设备120显示关于选择的外部设备的控制Π信息。可从由第二设备120执行的选择的外部设备的应用中提供关于选择的外部设备的显示的控制Π信息。
[0213]第二设备120在操作S1509中向选择的外部设备直接发送在操作S1508中输入的控制命令。
[0214]可修改图15的流程图，使得可经由第一设备110或者经由网关150或服务器160而从第二设备120向选择的外部设备发送对于选择的外部设备的控制命令。
[0215]图16是根据本公开另一个实施例的外部设备控制方法的流程图。
[0216]参照图16，当在第一设备110和第二设备120之间执行交互服务时，由第一设备110的用户请求暂时控制第一至第η外部设备130_1?130_η的授权，并且第一设备110和第二设备120执行选择的外部设备的应用。
[0217]图16的操作S1601至S1606以及S1611至S1613类似于图8的操作S801至S806以及S809至S811，并且因此这里省略其描述以避免冗长。
[0218]在操作S1605中，当第二设备120接收到关于由用户选择的外部设备的信息时，第二设备120在操作S1606中向第一设备110发送关于选择的外部设备的信息，并在操作S1607中执行与选择的外部设备相关的应用。第二设备120基于执行的应用显示关于选择的外部设备的控制Π信息。
[0219]在操作S1609中，第一设备HO执行与由第二设备120选择的外部设备相关的应用。在操作S1610中，由于执行与选择的外部设备相关的应用，所以第一设备110显示关于选择的外部设备的控制Π信息。可同时执行由第一设备110执行的操作S1609和S1610以及由第二设备120执行的操作S1607和S1608。
[0220]第一设备110的用户和第二设备120的用户可同时监测在操作S1611中输入的控制命令，同时查看相同的外部设备的控制UI信息。例如，如果在操作S1611中输入控制命令，则第二设备120在操作S1612中向第一设备110发送输入的控制命令，同时根据输入的控制命令改变显示的控制UI信息。因此，第一设备110根据接收的控制命令改变显示的控制UI信息。根据输入的控制命令而在第二设备120上显示的控制UI信息可与在第一设备110上显示的控制UI信息同步。
[0221]可修改图16的流程图，使得第一设备110可直接或者经由网关150或服务器160向选择的外部设备发送输入的控制命令。在这点上，第二设备120可向第一设备110发送控制命令，以便同步在第一设备110上显示的控制Π信息和在第二设备120上显示的控制
UI信息。
[0222]图17是根据本公开另一实施例的外部设备控制方法的流程图。
[0223]参照图17，通过执行能够调用联系人列表的应用，第一设备110设置下述对象，该对象被授权暂时控制第一至第η外部设备130 j?130_n中的至少一个。
[0224]在操作S1701中，第一设备110执行能够调用联系人列表的应用。在操作S1701中执行的应用例如可包括诸如聊天服务、视频呼叫服务和语音呼叫服务之类的应用，但不限于此。当在操作S1701中执行的应用是提供聊天服务、视频呼叫服务和语音呼叫服务的应用时，在尝试连接到会话对方之前可在操作S1701中执行该应用，但执行应用的操作S1701不限于此。
[0225]在操作S1701中执行的应用是与第一至第η外部设备130_1?130_η相关的可包括调用联系人列表的功能的应用之一。
[0226]联系人列表可基于诸如电话簿或地址簿之类的信息，但不限于此。
[0227]在操作S1702中，当输入用于调用联系人列表的用户命令时，第一设备110在操作S1703中显不该联系人列表。可如图18的屏蒂1810显不联系人列表。图18图不根据图17的流程图的在第一设备110上显示的屏幕1810、1820和1830，但在第一设备110上显示的屏幕1810、1820和1830不限于此。
[0228]当在操作S1704中基于显示的联系人列表选择一个联系人项时，在操作S1705中根据用户输入信息，第一设备110为关于选择的联系人项的第一至第η外部设备130_1?130_η中的至少一个设置和注册暂时控制授权。
[0229]也就是说，当基于联系人列表选择一个联系人项时，第一设备110可显示如图18的屏幕1820的屏幕，该屏幕能够为关于选择的联系人项的第一至第η外部设备130_1?130_η中的至少一个设置和注册暂时控制授权。
[0230]基于图18的屏幕1820，第一设备110的用户可设置:目标设备(例如第一至第η外部设备130_1?130_η中的至少一个)，其中对于所述目标设备，设置关于所选择联系人项的暂时控制授权；目标功能(例如，在与所选择的目标设备相关的功能中的暂时控制授权功能)；和暂时控制授权允许时间(或暂时控制授权允许时段)。然而，可关于所选择联系人项设置的暂时控制授权项不限于此。例如，可关于所选择联系人项设置的暂时控制授权项可被设置为仅针对目标设备。
[0231]当关于所选择联系人项完全设置了暂时控制授权时，第一设备110存储在所选择联系人项和所设置的暂时控制授权项之间的映射信息。存储在所选择联系人项和所设置的暂时控制授权项之间的映射信息的操作可以是注册关于所选择联系人项的暂时控制授权的操作。为了存储或注册映射信息，在图18的屏幕1820中包括的暂时控制授权控制窗口可包括用于选择或控制用于映射信息的存储操作或注册操作的子窗口(例如包括诸如存储、注册、复选等之类的命令的子窗口)或子屏幕。
[0232]根据在操作S1705中注册所选择联系人项的操作，第一设备110可显示图18的屏幕1830。可在图18的屏幕1830上显示与下述至少一个外部设备相关的应用信息，其中，针对所述至少一个外部设备，关于多个联系人项设置了暂时控制授权。所述至少一个外部设备包括第一至第η外部设备130_1?130_η。
[0233]图18的屏幕1830指示:第一设备110在操作S1701中执行与第一至第η外部设备130_1?130_11之一相关的应用，并且在操作S1705中针对其关于所选择联系人项设置了暂时控制授权的目标设备是与在操作S1701中执行的应用相关的外部设备。关于每个联系人项的针对第一至第η外部设备130_1?130_η的暂时控制授权范围可能相同或不同。例如，对于每个联系人项，当为相同的外部设备设置不同的暂时控制授权等级时，所述暂时控制授权范围可能不同。
[0234]在图18的屏幕1830上显示的应用信息App是指示设置暂时控制授权的信息。在屏幕1830上显示的应用信息App可被改变为与下述目标设备相关的信息，其中，对于所选择的联系人项中的每一个，针对该目标设备设置暂时控制授权。在这种情况下，对于第一设备110的用户来说，与下述目标设备相关的信息可能是已知的，其中，针对所述目标设备，关于所选择联系人项中的每一个设置了暂时控制授权。
[0235]当第一设备110显示包括应用信息App的联系人列表时，其中该应用信息App指示设置的暂时控制授权，如图18的屏幕1830，在操作S1706中，当接收到对第一至第η外部设备130_1?130_η中的至少一个的、关于对应于第二设备120的联系人项的暂时控制授权请求时，第一设备110在操作S1707中基于关于注册的外部设备的暂时控制授权范围而向第二设备120发送控制Π信息。
[0236]第二设备120在操作S1708中显示接收的控制UI信息。当在操作S1709中基于所显示的控制UI信息而输入控制命令时，第二设备120在操作S1710中向第一设备110发送控制命令。第一设备110在操作S1711中向相应的外部设备发送接收到的控制命令并控制外部设备。
[0237]图17的流程图可包括在操作S1706中当接收到暂时控制授权请求时从第二设备120接收暂时控制授权接受的操作。可修改图17的流程图，使得第一设备110可直接或者经由网关150或服务器160而向外部设备发送由第二设备120输入的控制命令。可修改图17的流程图，使得省略操作S1701，并且调用联系人列表的操作S1702开始。
[0238]图19是根据本公开另一实施例的外部设备控制方法的流程图。
[0239]参照图19，当在第一设备110和第二设备120之间执行交互服务时，第一设备110确定将被授权暂时控制第一至第η外部设备130_1?130_η的第二设备120是否是注册的设备。图19的操作S1905至S1909类似于图17的操作S1707至S1711，并且因此这里省略其描述以避免冗长。
[0240]当在操作S1901中在第一设备110和第二设备120之间执行交互服务时，当在操作S1902中基于第一设备110的UI信息而选择关于第一至第η外部设备130_1?130_η中的至少一个的暂时控制授权请求时，第一设备110在操作S1903中确定第二设备120是否是注册的设备。
[0241]注册的设备是可被授权暂时控制的预先指定的设备。通过检查关于设备的先前存储在第一设备110中并且可向其授权暂时控制的信息是否包括关于第二设备120的信息，可确定第二设备120是否是注册的设备。通过使用第二设备120的标识信息或用户信息，可检查关于设备的先前存储在第一设备110中并且可向其授权暂时控制的信息是否包括关于第二设备120的信息。
[0242]当第二设备120是注册的设备时，第一设备110在操作51904中检测第二设备120的先前定义的暂时控制授权等级。对于第一至第η外部设备130_1?130_η中的每一个，先前定义的暂时控制授权等级可能不同。在操作S1905中，根据第二设备120的暂时控制授权等级，第一设备110向第二设备120发送关于第一至第η外部设备130_1?130_η的控制Π信息。在操作S1905中，第一设备110可向第二设备120发送从第一至第η外部设备130_1?130_η中选择的至少一个外部设备的控制UI信息。
[0243]图20是根据本公开另一实施例的外部设备控制方法的流程图。
[0244]参照图20，当紧急情况发生时，由第二设备120请求暂时控制第一至第η外部设备130_1?130_11的授权。如上所述，紧急情况可包括火灾、入室盗窃、紧急医疗、地震等等，但不限于此。
[0245]在操作S2001中，当由于紧急情况的发生而输入对第一至第η外部设备130_1?130_η的暂时控制授权请求命令时，第二设备120在操作S2002中向具有控制授权的主体发送暂时控制授权请求信号。
[0246]图21图示根据本公开一实施例的在由于紧急情况的发生而请求暂时控制授权时在第二设备120上显示的屏幕2110、2120和2130。也就是说，当第二设备120的用户输入指示紧急情况已经发生的命令时，第二设备120显示包括紧急情况项的菜单屏幕。图21的屏幕2110在窗口插件中显示包括紧急情况项的菜单屏幕。
[0247]图21的屏幕2110的紧急情况窗口插件2111包括指示紧急情况的图标。指示紧急情况的图标例如可包括指示紧急医疗已经发生的图标2112、指示存在火灾的图标2113、指示入室盗窃已经发生的图标2114、指示地震已经发生的图标(未示出)等，但不限于此。紧急情况窗口插件2111可以以列表显示指示紧急情况的图标，但不限于此。
[0248]当基于图21的屏幕2110的紧急情况窗口插件2111选择指示一种紧急情况已经发生的图标时，第二设备120向关于所选择的图标的先前注册的控制授权管理主体发送暂时控制授权请求信号。因此，可在第二设备120的屏幕上输出消息“正在请求验证”，但不限于此。例如，可在第二设备120的屏幕上输出消息“正在请求暂时控制验证”。控制授权管理主体可包括被授权控制第一至第η外部设备130_1?130_η的设备、服务器或网关。
[0249]先前注册的控制授权管理主体可以是第一设备110、网关150和服务器160中的一个，但不限于此。可由用户或由第二设备120先前设置关于每个紧急情况的控制授权管理主体。用户可改变先前被设置为默认主体的控制授权管理主体。例如，当先前被设置为默认主体的控制授权管理主体可能是第一设备110时，用户可将先前被设置为默认主体的控制授权管理主体改变成网关150。
[0250]当先前设置了多个控制授权管理主体时，用户可从所述多个控制授权管理主体中选择控制授权管理主体。例如，当第一设备110、网关150和服务器160被注册为在紧急医疗发生时的控制授权管理主体时，用户可选择第一设备110、网关150和服务器160中的一个。第二设备120可显示菜单屏幕，以这种方式，用户可从多个控制授权管理主体中选择一个。
[0251]当从图21的屏幕2110选择指示紧急医疗发生的图标2112时，暂时控制授权请求信号被发送到针对紧急医疗发生情况注册的控制授权管理主体(例如第一设备110、网关150和服务器160中的一个)。为了便于描述，第一设备110将被描述为控制授权管理主体。然而，控制授权管理主体不限于第一设备110。
[0252]当接收到暂时控制授权请求信号时，第一设备110在操作S2003中确定第二设备120是否是注册的设备。如上所述，所述注册的设备是对其授权暂时控制的设备。先前可在第一设备110中注册可被授权暂时控制第一至第η外部设备130_1?130_η的设备。先前可在第一设备110中注册多个可被授权暂时控制第一至第η外部设备130_1?130_η的设备。
[0253]作为在操作S2003中的确定的结果，如果第二设备120是注册的设备，第一设备110在操作S2004中检测到第二设备120的先前设置的控制授权等级。在这点上，所检测到的控制授权等级可以是暂时控制授权等级。在操作S2005，根据先前设置的控制授权等级，第一设备110向第二设备120发送关于第一至第η外部设备130_1?130_η的信息。
[0254]因此，第二设备120在操作S2006中显示所接收的关于第一至第η外部设备130_1?130_η的信息。第二设备120可以列表显示所接收的关于第一至第η外部设备130_1?130_η的信息。然而，第二设备120可向第一至第η外部设备130_1?130_η中的每一个分配一页，并在如图21的屏幕2120的符号图像中显示所接收的关于第一至第η外部设备130_1?130_η的信息。可从图21的屏幕2120选择智能TV。
[0255]当第二设备120的用户不想选择智能TV而是想选择另一个外部设备时，可显示关于可控制的外部设备的信息，同时根据用户手势移动页面，以将页面向左或向右或向上或向下移动。如果有一个可选的外部设备，则第二设备120可忽略移动页面的用户手势，或者可显示指示不存在关于可选的外部设备的信息的指引消息。
[0256]当在操作S2007中根据用户手势选择第一至第η外部设备130_1?130_11之一时，第二设备120在操作S2008中向第一设备110发送关于选择的外部设备的信息。因此，第一设备110在操作S2009中向第二设备120发送关于选择的外部设备的控制UI信息。由于在图21中选择的外部设备是机器人清洁器，所以可在操作S2009中发送关于机器人清洁器的控制Π信息。
[0257]第二设备120在操作S2010中显示接收的控制UI信息。当在操作S2011中基于显示的控制UI信息输入控制命令时，第二设备120在操作S2012和S2013中通过第一设备110向第一至第η外部设备130_1?130_η当中的选择的外部设备发送控制命令。图21的屏幕2130是自在其中选择的外部设备是机器人清洁器并且机器人清洁器的相机、麦克风和扬声器用于根据发送到机器人清洁器的控制命令而搜索并向患者说话的情况下发送控制命令之后在第二设备120上显示的示例性屏幕。
[0258]作为操作S2003中的确定的结果，如果第二设备120不是注册的设备，则第一设备110可向第二设备120发送通知第二设备120不是注册的设备的消息，并且可能不授权第二设备120暂时控制第一至第η外部设备130_1?130_η。可替代地，如果第二设备120不是注册的设备，则第一设备110可根据验证过程向第二设备120发送关于注册处理的信息。
[0259]可修改图20的流程图，使得第一设备110可直接或者经由网关150或服务器160而从第二设备120向第一至第η外部设备130 j?130_n发送控制命令。
[0260]图22是根据本公开另一实施例的外部设备控制方法的流程图。
[0261]参照图22，当第一至第η外部设备130_1?130_η的控制授权管理主体识别出紧急情况已经发生时，通过确定将被授权暂时控制第一至第η外部设备130_1?130_η的设备而控制第一至第η外部设备130_1?130_η。
[0262]图22的第一至第η外部设备130_1?130_η的控制授权管理主体包括第一设备110、网关150和服务器160中的至少一个。然而，为了便于描述，下面第一设备110将被描述为图22的第一至第η外部设备130_1?130_η的控制授权管理主体。
[0263]在操作S2201中，第一设备110识别出紧急情况已经发生。根据第一设备110的指示紧急情况已经发生的用户输入，第一设备110可识别出紧急情况已经发生。然而，根据基于第一设备110中包括的传感器和/或计算机视觉装置(例如相机)的环境感知，可识另拙紧急情况已经发生，但识别出紧急情况已经发生不限于此。
[0264]在操作S2202中，第一设备110可选择在识别出已发生紧急情况的区域中布置的第二设备120。在这种情况下，识 别出已发生紧急情况的区域是离第一设备110的当前位置的物理上的较长距离，而第二设备120的当前位置是离识别出已发生紧急情况的区域的较短距离。例如，当第一设备110是火灾管理服务器并且识别出在离其长距离的区域A中有火灾时，第二设备120被布置在区域A中。基于全球定位系统(GPS)信息或AP联系设备的信息，可检测到第二设备120被布置在A区域中，但检测到第二设备120被布置在A区域中的第二设备120中不限于此。
[0265]当第一设备110识别出已经发生紧急情况时，第一设备110可选择先前在操作S2202中定义的第二设备120。例如，当第一设备110的用户是患者，第二设备120的用户是患者的医生，并且根据第一设备110的用户输入识别出已经发生紧急医疗时，第一设备110可选择先前定义的第二设备120。
[0266]当选择第二设备120时，第一设备110在操作S2203中确定选择的第二设备120被授权暂时控制第一至第η外部设备130_1?130_η。在这点上，第一设备110可确定第二设备120的暂时控制授权等级。当确定选择的第二设备120被授权暂时控制第一至第η外部设备130_1?130_η时，第一设备110在操作S2204中向第二设备120发送紧急情况通知和关于是暂时控制目标的第一至第η外部设备130_1?130_η的信息。
[0267]因此，第二设备120在操作S2205中显示接收的紧急情况通知和关于作为暂时控制目标的第一至第η外部设备130_1?130_η的信息。当在操作S2206中基于显示的关于第一至第η外部设备130_1?130_η的信息而在第二设备120中输入对于第一至第η外部设备130_1?130_η的选择信号时，第二设备120在操作S2207中向第一设备110发送关于选择的外部设备的信息。
[0268]第一设备110在操作S2208中向第二设备120发送关于所选择的外部设备的控制UI信息。在这点上，可根据第二设备120的暂时控制授权等级来确定控制UI信息。
[0269]第二设备120在操作S2209中显示接收的控制UI信息。当在操作S2210中基于显示的控制UI信息而在第二设备120中输入控制命令时，在操作S2211和S2212中，第二设备120向第一设备110发送控制命令并且第一设备110向选择的外部设备发送接收的控制命令。
[0270]可修改图22的流程图，使得第二设备120的用户直接向选择的外部设备发送输入的控制命令。
[0271]图23图示根据本公开一实施例的在执行图22的外部设备控制方法时在第二设备120上显示的屏幕2310,2320和2330。
[0272]参照屏幕2310，当第一设备110识别出已经发生紧急情况时，第二设备120在后台中执行紧急状况通知接收。当基于在第二设备120的作业托盘2311上显示的信息而识别出紧急状况通知并且第二设备120的用户输入用于选择紧急状况通知的信息时，可在第二设备120上显示紧急情况窗口插件2312。
[0273]当紧急情况窗口插件2312包括多个图标时，如图21的紧急情况窗口插件2111，对应于当前紧急状况通知的图标的显示状态可能不同于对应于和当前紧急状况不相关的另一个紧急状况通知的图标的显示状态。因此，第二设备120的用户可直观地知道当前紧急状况通知中包括的当前紧急情况。也就是说，根据紧急状况窗口插件2312中包括的图标的显示状态，第二设备120的用户可直观地知道当前紧急状况通知是否指示紧急患者、火灾或入室盗窃已经发生。
[0274]在第二设备120上显示的紧急情况窗口插件2312可包括指示当前情况的消息。当接收到关于可控制的外部设备的信息时，第二设备120显示关于所述可控制的外部设备的信息，如图23的屏幕2320。然而，可在列表中显示所述关于所述可控制的外部设备的信息。
[0275]当基于所显示的关于所述可控制的外部设备的信息而由第二设备120选择可被控制的外部设备，并且输入所选择的外部设备的控制命令时，可如图21的屏幕2130显示图23的屏幕2330。然而，根据控制命令而在第二设备120上显示的屏幕不限于图23的屏幕2330ο
[0276]图24是根据本公开另一实施例的外部设备控制方法的流程图。
[0277]参照图24，当第二设备120进入特定域时，向第一至第η外部设备130_1?130_η的控制授权管理主体请求暂时控制在特定域中包括的第一至第η外部设备130_1?130_η的授权。第一至第η外部设备130_1?130_η的控制授权管理主体可以与参考图20所述的相同。为了便于描述，将描述第一至第η外部设备130_1?130_η的控制授权管理主体是第一设备110。然而，第一至第η外部设备130_1?130_η的控制授权管理主体不限于第一设备110。
[0278]在操作S2401中，当第二设备120被识别为已经进入特定域时，第二设备120在操作S2402中向第一设备110发送关于在特定域中包括的第一至第η外部设备130_1?130_η的暂时控制授权请求信号。该特定域可以是物理域或以上参考图1所述的逻辑域。通过使用第二设备120的GPS信息、连接到第二设备120的接入点的SSID或MAC地址、由第二设备120接收的接入点和信号强度的列表等等，第二设备120可被识别为已经进入特定域。
[0279]在操作S2403中，根据第二设备120的控制授权请求，第一设备110确定第二设备120是否是注册的设备。注册的设备与以上参考图22所述的相同。
[0280]如果第二设备120是注册的设备，则第一设备110在操作S2404中确定第二设备的先前定义的暂时控制授权等级，并且在操作S2405中基于确定的暂时控制授权等级而向第二设备120发送关于第一至第η外部设备130_1?130_η的信息及其控制UI信息。第二设备120显示接收的关于第一至第η外部设备130_1?130_η的信息。当基于所显示的关于第一至第η外部设备130_1?130_η的信息选择外部设备时，第二设备120可在操作S2406中显示所选择的外部设备的控制UI信息。
[0281]操作S2405和S2406可被修改成如图22的流程图中图示的发送和接收关于第一至第η外部设备130_1?130_η的信息并发送和接收选择的外部设备的控制UI信息的操作。
[0282]当在操作S2407中输入控制命令时，第二设备120在操作S2408中直接向选择的外部设备发送控制命令。
[0283]可修改图24的流程图，使得当第一设备110识别出第二设备120进入特定域时，第二设备120被授权暂时控制第一至第η外部设备130_1?130_η。
[0284]图25图不根据本公开一实施例的在第二设备120被授权暂时控制第一至第η外部设备130_1?130_η时在第二设备120上显示的屏幕2510、2520和2530，其中第二设备120被识别为已经进入办公区域，第一至第η外部设备130_1?130_η被布置在办公区域中，如图24的流程图。
[0285]当第二设备120被识别为进入办公区域时，屏幕2510在第二设备120上显示外部设备控制窗口插件2511。第二设备120可显示外部设备控制列表，而不是外部设备控制窗口插件2511。在屏幕2510上显示的消息“正在请求验证”指示:第二设备120正被验证是否第二设备120可被授权暂时控制在办公区域中布置的第一至第η外部设备130_1?130_η0
[0286]当完全验证第二设备120时，关于可控制的外部设备的信息被显示在第二设备120上，如图25中的屏幕2520。屏幕2520与图23的屏幕2320相同。当第二设备120的用户选择空调时，可如图25的2530显示空调的控制Π信息。选择的外部设备的控制Π信息不限于在屏幕2530上显示的信息。
[0287]图26是根据本公开一实施例的图1的第一设备110的框图。
[0288]参照图26，第一设备110包括信息输入单元2601、感测单元2602、触摸屏2603、相机2604、音频输入单元2605、音频输出单元2606、存储单元2607、无线通信单元2608、有线通信单元2609、处理器2610和电源2611。然而，第一设备110的元件不限于图26中图示的那些。也就是说，第一设备110可包括比图26中图示的那些更多或更少的构成元件。
[0289]信息输入单元2601可输入控制第一设备110的操作的数据、根据一实施例的基于关于至少一个外部设备的信息的外部设备选择命令、关于所选择的外部设备的控制命令以及暂时控制授权请求命令，但输入信息不限于此。信息输入单元2601可包括小键盘、圆顶开关(dome switch)、微动轮(jog wheel)、微动开关(jog switch)、硬件按钮、热键、触摸面板中的至少一个。
[0290]感测单元2602感测第一设备110的当前状态，诸如第一设备110的位置，是否有任何用户接触，第一设备110的方位，第一设备110的加速或减速等，并生成用于控制第一设备110的操作的感测信号。感测单元2602可包括接近传感器和上述运动传感器。因此，感测单元2602可生成识别基于传感器的用户手势的信号。
[0291]接近传感器是下述传感器，其用于通过使用电磁场或红外线的力检测对象是否靠近先前设置的检测表面或者对象是否存在于附近，而没有任何实际的物理接触。接近传感器的示例包括透明光电传感器、直接反射光电传感器、镜面反射光电传感器、高频振荡光电传感器、电容式光电传感器、磁光电传感器、红外光电传感器等。
[0292]触摸屏2603可被配置成电阻性(减压)或电容式触摸屏，但不限于此。触摸屏2603可接收用户请求、用户选择或者依赖于上述基于触摸的用户手势的用户命令。基于触摸的用户手势可被定义为触摸频率、触摸图案、触摸区域和触摸强度的各种组合。然而，定义的基于触摸的用户手势不限于此。
[0293]触摸屏2603可包括用于在其上感测触摸或接近触摸的各种传感器。触摸屏2603中包括的传感器可通过感测基于触摸的用户手势或图案而生成信号。触摸屏2603的接近传感器可能与感测单元2602中包括的接近传感器相同。
[0294]用于感测触摸屏2603的触摸的传感器的示例可包括触觉传感器。触觉传感器可感测各种类型的信息，诸如触摸表面的粗糙度、触摸对象的硬度、触摸点处的温度等。
[0295]触摸屏2603的触摸意思是指示器触摸触摸面板。当指示器实际上不触摸触摸面板但靠近触摸面板到预定距离内时，触摸屏2603的接近触摸发生。指示器是用于在触摸屏2603上触摸或接近触摸特定点的工具。指示器的示例可包括触笔或用户的手指等，但不限于此。
[0296]触摸屏2603显示由第一设备110处理的信息。例如，触摸屏2603可显示通过触摸屏2603中包括的传感器感测到的用户手势或触摸图案，通过用户输入单元2601输入的控制数据或用户输入信息，或者响应于通过感测单元2602感测到的信号的屏幕。
[0297]为了执行根据一实施例的外部设备控制方法，触摸屏2603接收对于至少一个外部设备的暂时控制授权请求信号，并显示关于至少一个外部设备的基于AR的信息以及所选择的外部设备的控制UI信息。
[0298]触摸屏2603可被称为输入和输出装置。在触摸屏2603上显示的屏幕包括基于Π的图形UI (⑶I)。
[0299]触摸屏2603可包括液晶显示器(IXD)、薄膜晶体管液晶显示器(TFT-1XD)、有机发光二极管(OLED)、柔性显示器、3D显示器或有源矩阵OLED (AM 0LED)，但不限于此。触摸屏2603可被称为显示器。根据第一设备110的实现形式，可能有两个或更多个触摸屏2603。
[0300]相机2604处理图像帧，诸如由处于视频呼叫模式或拍摄模式中的图像传感器(或光电传感器)获得的静止图像或运动图像。可在触摸屏2603上显示处理的图像帧。因此，基于由相机2604获得的静止图像或运动图像中包括的图像帧，可提供根据一实施例的关于至少一个外部设备的基于AR的信息。
[0301]由相机2604处理的图像帧可被存储到存储单元2607中，或通过无线通信单元2608或有线通信单元2609而被发送到外部。可能有两个或更多个相机2604。例如，相机2604可被配置为第一设备110的前部相机和后部相机。相机2604可被用作用于识别用户空间手势的输入装置。
[0302]音频输入单元2605可在呼叫模式、记录模式或语音识别模式中接收的外部声音信号的输入，将声音信号转换为电语音数据，并向处理器2610发送所述电声音数据。音频输入单元2605例如可被配置为麦克风。音频输入单元2605可被配置成包括多样噪声去除算法，用于去除在接收外部声音信号的输入的过程期间生成的噪声。
[0303]通过使用音频输入单元2605输入的声音信号可包括用户输入信息，诸如对执行外部设备控制方法的请求或根据一实施例的暂时控制授权请求。当声音信号是基于所讲的语言的用户语音信号时，声音信号可以是基于语音识别的用户输入。通过音频输入单元2605输入的外部声音信号可经由处理器2610而被存储到存储单元2607中，或者经由处理器2610和无线通信单元2608或处理器2610和有线通信单元2609而被发送到外部。
[0304]音频输出单元2606在呼叫模式或音频再现模式中输出从外部接收或从存储单元2607读取的声音信号或音频信号。音频输出单元2606可被配置为扬声器。当在再现内容时音频信号被包括在内容中时，音频输出单元2606输出再现的内容中包括的音频信号。可在头戴式耳机内集成地形成音频输入单元2605和音频输出单元2606。
[0305]存储单元2607存储将在以后描述的被配置成在处理器2610中执行的至少一个程序和/或命令集和资源。所述至少一个程序包括:用于根据一实施例执行外部设备控制方法必需的至少一个程序、第一设备110的操作系统程序、与由第一设备110执行的多样功能(或服务)相关的应用程序、用于驱动第一设备110中包括的硬件组件的程序、以及交互服务执行程序，但不限于此。
[0306]资源可包括:与第一至第η外部设备130_1?130_η相关的应用信息、第一至第η外部设备130_1?130_η的连接信息、关于可被授权暂时控制第一至第η外部设备130_1?130_η的设备的信息、关于第一设备110的用户的信息、用于管理在第一设备110中设置的应用程序必需的信息、以及用于驱动第一设备110中包括的硬件组件的程序的信息，但不限于此。
[0307]存储单元2607可包括存储介质中的至少一种类型，诸如闪存型、硬盘型、多媒体卡微类型、卡型存储器(例如SD、XD存储器等)、只读存储器(R0M)、电可擦除可编程ROM (EEPROM)、可编程ROM (PROM)磁存储器以及光盘。
[0308]根据功能，可将存储单元2607中存储的至少一个程序和/或命令集分类为多个模块。
[0309]图27图示根据本公开一实施例的在存储单元2607中存储的和/或根据模块分类的程序命令集的示例。
[0310]参照图27，存储单元2607包括操作系统2701、无线通信模块2702、有线通信模块2703、图形模块2704、GPS模块2705、UI模块2706、感测模块2707、接触和运动模块2708、电源模块2709和应用模块2510，但不限于此。
[0311]应用模块2710包括图像再现模块2711、信息搜索模块2712、相机模块2713、交互服务模块2714和外部设备控制模块2715，但不限于此。例如，应用模块2710可进一步包括第一至第n外部设备控制模块。第一至第η外部设备控制模块可针对第一至第η外部设备中的每一个独立操作。交互服务模块2714可包括多个服务模块。多个服务模块例如可包括视频呼叫服务模块、语音呼叫服务模块和聊天服务模块。多个服务模块可独立操作。应用模块2710可包括以上参考图1所述的集成的应用模块。应用模块2710可进一步包括各种模块，诸如电子邮件模块、社交联网服务(SNS)模块、视频会议模块、图像管理模块、浏览模块、日历模块、窗口插件模块、搜索模块和字处理模块。
[0312]操作系统2701控制和管理第一设备110的一般功能，并且包括用于使能第一设备110中包括的硬件和软件组件之间的通信的软件组件。
[0313]无线通信模块2702可使能通过无线通信单元2608的与至少一个外部设备(未示出)的通信，并且包括用于处理通过无线通信单元2608而从至少一个外部设备接收以及向至少一个外部设备发送的数据的软件组件。所述至少一个外部设备可包括服务器160、第二设备120和第一至第η外部设备130_1?130_η，但不限于此。
[0314]根据一实施例的无线通信模块2702可向第二设备120发送关于第一至第η外部设备130_1?130_η的信息以及第一至第η外部设备130_1?130_η的控制UI信息，并且从第二设备120接收关于第一至第η外部设备130_1?130_η的暂时控制授权请求。
[0315]有线通信模块2703使能与有线通信单元2609和第一至第η外部设备130_1?130_η的通信，并且包括下述软件组件，其中，所述有线通信单元2609被配置为诸如通用串行总线(USB)端口之类的元件，所述软件组件用于处理通过有线通信单元2609而从第一至第η外部设备130_1?130_η接收以及向第一至第η外部设备130_1?130_η发送的数据。
[0316]图形模块2704包括:用于在触摸屏2603上显示的图形的亮度调整和再现的软件组件，以及用于提供用于在应用模块2710中输入文本的虚拟键盘(或软键盘)的软件组件。
[0317]GPS模块2705包括用于确定第一设备110的位置并向提供基于位置的服务的应用提供所确定的位置的软件组件。Π模块2706包括用于提供下述应用必需的Π的软件组件，该应用基于UI信息提供触摸屏2703。
[0318]感测模块2707包括:软件组件，用于基于感测单元2602而确定感测信息并向下述应用模块2710提供所确定的感测信息，其中，所述应用模块2710基于所确定的感测信息而提供服务。接触和运动模块2708包括:软件组件，用于检测基于触摸屏2603的触摸接触、跟踪基于接触的运动并向需要跟踪的运动的应用模块2710提供跟踪的运动。
[0319]电源模块2709包括:软件组件，用于与操作系统2701链接、控制向第一设备110中包括的硬件组件供电的电源、并控制关于供应给触摸屏2603的电力的睡眠模式。
[0320]应用模块2710中包括的模块的功能可由本领域技术人员从它们的标题中直观地推断出，并且因此现在将仅仅描述与实施例相关的应用模块2710。
[0321]例如，当第一设备110通过执行交互服务模块2714而执行与第二设备130的交互服务，并且请求授权第二设备120暂时控制第一至第n外部设备130_1?130_η时，交互服务模块2714可通过执行外部设备控制模块2715而根据上述各种实施例在执行交互服务时执行外部设备控制方法之一。
[0322]当交互服务模块2714包括如参考图1所述的外部设备控制功能时，在应用模块2710中可能不包括外部设备控制模块2715。然而，即使交互服务模块2714包括外部设备控制功能，外部设备控制模块2715也可独立于交互服务模块2714而被包括在应用模块2710中。当关于第一至第η外部设备130_1?130_η的信息被提供为基于AR的信息时，相机模块2713可通过被交互服务模块2714调用而如以上参考图1所述地操作。
[0323]存储单元2607可能不存储在图27的程序和/或命令集当中的在应用模块2710中包括的模块，或者可以仅存储诸如应用模块2710的URL之类的位置信息以及指示应用模块2710的显示信息。当在存储单元2607中没有存储应用模块2710中包括的模块时，处理器2610可通过无线通信单元2608或有线通信单元2609连接到外部设备，并使用在外部设备中存储的对应于应用模块2710的程序和/或命令集。所述外部设备包括云服务器或具有应用模块2710中包括的模块的设备，但不限于此。
[0324]当只有应用模块2710的位置信息和指示应用模块2710的显示信息存储在存储单元2607中时，处理器2610可通过无线通信单元2608或有线通信单元2609、通过使用应用模块2710的位置信息而搜索外部设备中存储的信息。基于在触摸屏2603上显示的指示应用模块2710的显示信息，可选择应用模块2710的位置信息。
[0325]通过包括无线因特网、无线内联网、无线电话网络、无线局域网(LAN)、W1-Fi网络、W1-Fi直接(WFD)网络、3G网络、4G长期演进(LTE)网络、蓝牙网络、红外数据协会(IrDA)网络、RFID网络、超宽带(UWB)网络和Zigbee网络的无线网络，无线通信单元2608可向外部设备发送数据以及从外部设备接收数据。
[0326]无线通信单元2608可包括广播接收模块、移动通信模块、无线因特网模块、短距离通信 模块和位置信息模块中的至少一个，但不限于此。
[0327]有线通信单元2609可通过诸如有线因特网之类的有线网络而向外部设备发送数据并从外部设备接收数据。通过使用诸如USB端口(未示出)之类的即插即用接口，有线通信单元2609可向外部设备(未示出)发送数据以及从该外部设备接收数据。有线通信单元2609可能不包括在第一设备110的元件中。
[0328]电源2611向第一设备110中包括的硬件组件供电。电源2611包括一个或多个电源，诸如电池和交流(AC)电源。第一设备110可不包括电源2611，而是可包括可连接到外部电源(未示出)的连接单元(未示出)。
[0329]处理器2610可被称为控制第一设备110的一般操作的一个或多个处理器。通过使用存储单元2607中包括的操作系统2701和模块2702至2715，处理器2610 —般可控制信息输入单元2601、感测单元2602、触摸屏2603、相机2604、声音输入单元2605、音频输出单元2606、存储单元2607、无线通信单元2608、有线通信单元2609和电源2611。因此，处理器2610可被称为控制器、微处理器或数字信号处理器。
[0330]通过使用操作系统2701和UI模块2706，处理器2610还可通过信息输入单元2601、感测单元2602、触摸屏2603、相机2604和音频输入单元2605提供U10
[0331]处理器2610可执行与根据一实施例的外部设备控制方法相关的至少一个程序，并执行如图8、11至17、19、20、22和24的流程图中所示的方法之一。通过从存储单元2607读取或从通过无线通信单元2608或有线通信单元2609连接的外部设备下载程序，处理器2610可执行程序。在这点上，外部设备可被称为应用提供服务器或应用市场服务器。外部设备包括第一设备110附近的云服务器或通信设备。处理器2610可包括在第一设备110中包括的各种硬件组件和处理器2610之间的接口功能单元。
[0332]也可如图26中图示地配置图1的第二设备120的框图。然而，当图26的框图是第二设备120的框图时，每个块的一些功能可能不同于上述的第一设备110的功能。
[0333]例如，如果存储单元2607包括在第一设备110和第二设备120中的每一个中，则存储单元2607可存储不同类型的信息。每个块的操作标准可能不同。例如，在第一设备110和第二设备120的每一个中包括的相机2604可具有不同的像素数。
[0334]图28是根据本公开一实施例的图1的第一至第η外部设备130_1?130_η的框图。第一至第η外部设备130_1?130_11的框图不限于图28中图示的框图。为了便于描述，图28的框图是以下第一外部设备130_1的框图。
[0335]参照图28，第一外部设备130_1可包括信息输入和输出单元2801、包括外部设备的软件2803的存储单元2802、外部设备的硬件2804、通信单元2805、端口 2806和处理器2807，但不限于此。例如，第一外部设备130_1可不包括端口 2806，或者可包括电源(未示出)。第一外部设备块130_1中包括的块在规范和功能中的至少一个方面上可能不同于第二至第η外部设备130_2?130_η中包括的块。
[0336]可通过信息输入和输出单元2801接收用于选择以上参考图4至7所述的第一短距离通信和第二短距离通信的用户输入信息。可输入用户输入信息，以选择NFC模块和BLE模块之一作为第一短距离通信，并选择无线LAN通信模块和蓝牙通信模块之一作为第二短距离通信，但不限于此。可根据通信单元2805的配置来确定第一短距离通信和第二短距离通信，使得可根据通信单元2805的配置来确定用于选择第一短距离通信和第二短距离通信的用户输入信息。
[0337]信息输入和输出单元2801接收用户输入信息，并在具有控制授权(包括暂时控制授权)的设备执行应用时输出从第一外部设备130_1输出的信息。用户输入信息可基于:基于触摸的输入信息、基于物理按钮控制的输入信息、基于用户手势的输入信息、基于用户语音识别的输入信息、基于面部识别的输入信息以及基于遥控器(未示出)的输入信息中的至少一个，但不限于此。
[0338]可根据可被输入的输入信息来配置信息输入和输出单元2801。例如，当由具有控制授权的第一设备110执行应用时，在其中没有任何基于第一外部设备130_1的用户信息输入的情况下，信息输入和输出单元2801可包括物理按钮和信息输出功能块，并且用户输入信息对请求在第一外部设备130_1和第一设备100之间的第二短距离通信连接是必需的。物理按钮可用于请求第二短距离通信连接。在第一外部设备130_1和第一设备110之间建立第二短距离通信连接之后，基于根据由第一设备100执行的应用而接收的控制命令，信息输出功能块输出必需的信息。然而，信息输入和输出单元2801的元件不限于此。
[0339]存储单元2802可存储用于通过使用处理器2807控制第一外部设备130_1的一般操作必需的程序和资源。所述程序可包括用于执行第一外部设备130_1的功能的程序。例如，当第一外部设备130_1是智能TV时，所述程序可包括用于控制智能TV的功能的程序。用于控制智能TV的功能的程序可包括用于在第一设备110执行与智能TV相关的应用时控制第一外部设备130_1的硬件的程序。存储单元2802中存储的程序可进一步包括第一设备110和第一外部设备130_1之间的通信程序。
[0340]存储单元2802可存储用于根据每一个通信类型控制第一外部设备130_1的硬件的程序。因此，可根据由处理器2807确定的通信类型来执行用于控制第一外部设备130_1的硬件的程序。例如，如果处理器2807确定蓝牙通信，可基于蓝牙通信执行用于控制第一外部设备130_1的硬件的程序。
[0341]存储单元2802可包括至少一种类型的存储介质，诸如闪存型、硬盘型、多媒体卡微类型、卡型存储器(例如SD、XD存储器等)、ROM、EEPROM、PROM磁存储器和光盘。
[0342]存储单元2802中存储的资源可包括用于第二短距离通信连接的信息、关于第一外部设备130_1的应用信息、关于以上参考图4至7所述的第一外部设备130_1的信息以及第一外部设备130_1的验证信息，但不限于此。
[0343]可根据第一外部设备130_1的功能来定义外部设备的硬件2804。例如，如果第一外部设备130_1是根据在第一设备110中设置的应用操作的智能手表，则外部设备的硬件2804可包括用于执行智能手表的功能必需的物理功能单元(例如GPS模块、麦克风、扬声器等，但不限于此)，所述智能手表与由第一设备110执行的应用链接。
[0344]如果第一外部设备U0J是根据由第一设备110执行的胰岛素监测应用操作的胰岛素电阻率和灵敏度测量器，则外部设备的硬件2804可包括胰岛素电阻率和灵敏度测量器，但不限于此。外部设备的硬件2804可包括根据第一外部设备130_1的功能的各种传感器。
[0345]如果由第一设备110执行的应用是乐器演奏应用，并且第一外部设备130_1是键盘或吉他，则外部设备的硬件2804可包括用于根据第一设备110的控制信号演奏键盘或吉他的硬件。
[0346]当由第一设备110执行的应用是卡拉OK应用时，如果第一外部设备130_1是麦克风，则外部设备的硬件2804可包括用于控制麦克风的开/关或音量的硬件元件，并且如果第一外部设备130_1是扬声器，则外部设备的硬件2804可包括用于控制声音输出环境的硬件元件，但硬件元件不限于此。
[0347]第一外部设备130_1可以以软件方式实现由外部设备的硬件2804执行的功能，并且可最小化或可不包括外部设备的硬件2804。在这种情况下，软件可被存储为外部设备的软件2803，并且可由处理器2807根据从第一设备110接收的控制命令来执行。
[0348]通信单元2805包括第一短距离通信单元(未示出)和第二短距离通信单元(未示出)，其中第一短距离通信单元包括NFC模块和BLE模块，第二短距离通信单元包括无线通信模块和蓝牙通信模块。也就是说，通信单元2805可进一步包括可通过网络140连接到第二设备120或服务器160的通信单元。
[0349]通信单元2805中包括的NF模块可被配置为可被读取/写入的NFC标签或芯片。当在第一设备110中安装NFC模块时，通信单元2805中包括的NFC模块可被配置成与处于P2P模式的第一设备110中安装的NFC模块执行双向数据通信。
[0350]如上参考图5或7所述，通信单元2805中包括的BLE模块可广播用于连接第二短距离通信的信息和相关的应用信息，可进一步广播第一外部设备130_1的验证信息和关于第一外部设备130_1的信息，并且可从第一设备110接收网关150的连接信息。然而，从BLE模块广播的信息可不包括相关的应用信息。
[0351]通信单元2805中包括的无线LAN通信模块可被配置成:选择性地执行直接通信以及执行在第一设备110和第一外部设备130_1之间的经由网关150的通信、仅仅在第一设备110和第一外部设备130_1之间的直接通信或和仅仅经由网关150的通信。
[0352]端口单元2806可包括USB端口和UART端口中的至少一种，但不限于此。第一外部设备130_1可不包括端口单元2806。如果第一设备110和第一外部设备130_1经由端口单元2806彼此连接，则第一设备110和第一外部设备130_1可经由有线通信信道彼此链接。
[0353]通过执行存储单元2802中存储的外部设备的软件2803，处理器2807控制第一外部设备130_1的一般操作。因此，处理器2807可被称为控制单元。特别地，处理器2807可执行通过通信单元2805连接第一设备110和第一外部设备130_1的操作，以执行根据一实施例的外部设备控制方法。
[0354]图29图不根据本公开一实施例的其中在执行第一设备110和第二设备120之间的交互服务时，其控制被授权给第一设备110的第一至第三外部设备130_1?130_3分别是智能TV、平板电脑和机器人清洁器的示例。
[0355]参照图29，当在操作2902中由第一设备110的用户请求暂时控制授权时，第一设备110将第一至第三外部设备130_1?130_3的暂时控制自动授权给在操作2901中执行与第一设备110的交互服务的第二设备120，并在操作2903、2904和2905中发送关于第一至第三外部设备130_1?130_3的信息。如果第二设备120的用户基于在第一至第三外部设备130_1?130_3当中的选择的外部设备的控制UI信息而输入控制命令，则第二设备120在操作2906-1和2907-1中通过第一设备110而向选择的外部设备发送输入的控制命令。然而，在操作2906-2和2907中可经由网关150发送控制命令。
[0356]图30图示根据本公开一实施例的其中紧急情况如参考图20所述地发生的示例。
[0357]参照图30，当第二设备120的用户输入指示紧急情况已经发生的信息时，第二设备120执行外部设备控制窗口插件。由于感测到选择了指示有火灾的图标，所以第二设备120在操作3001中向与火灾的发生相关的外部设备控制授权管理主体(服务器160、第一设备110或网关150)发送暂时控制授权请求信号。
[0358]外部设备控制授权管理主体在操作3003中确定第二设备120是否被注册为可被授权暂时控制至少一个外部设备的设备。如果第二设备120被注册为可被授权暂时控制至少一个外部设备的设备，则外部设备控制授权管理主体在操作3002中向第二设备120发送关于至少一个外部设备的信息以及至少一个外部设备的控制UI信息。第二设备120在操作3004中向外部设备中的130-3和130-5发送控制命令。
[0359]所述关于至少一个外部设备的信息包括关于基于在其中第二设备120请求暂时控制授权的位置的本地域中布置的外部设备的信息。所述至少一个外部设备的控制Π信息可包括在本地域中布置的外部设备的控制Π信息。
[0360]图30的外部设备包括窗口打开/关闭装置130_4和供气断路器130_5，但不限于此。
[0361]图31图示根据本公开一实施例的在其中第二设备120执行外部设备控制窗口插件以根据火灾的发生向如图30中图示的外部设备控制授权管理主体请求暂时控制至少一个外部设备的授权的示例。
[0362]参照图31，操作3101、3102-1、3103-1分别类似于图30的操作3001、3003和3004。外部设备控制授权管理主体识别出第三设备3121存在于在其中布置第二设备120的本地域中。因此，外部设备控制授权管理主体在操作3102-2和3103-2中可授权第二设备120控制窗口打开/关闭装置130_6和130_7，并授权第三设备3121控制供气断路器130_5。
[0363]外部设备控制授权管理主体可向第二设备120发送关于窗口打开/关闭装置130_6和130_7的信息以及窗口打开/关闭装置130_6和130_7的控制UI信息，并且可向第三设备3121发送关于供气断路器130_5的信息以及关于供气断路器130_5的控制UI信息。
[0364]虽然窗口打开/关闭装置130_6和130_7以及供气断路器130_5是图31中的至少一个外部设备的示例，但是所述至少一个外部设备不限于此。也就是说，所述至少一个外部设备可不同于图31中图示的外部设备，或者可添加另一个外部设备。
[0365]图32图示根据本公开一实施例的其中作为外部设备控制授权管理主体的服务器160、网关150和第一设备110授权未被授权控制至少一个外部设备的第二设备120暂时控制至少一个外部设备，并向第二设备120提供关于至少一个外部设备的信息以及至少一个外部设备的控制UI信息示例。
[0366]参照图32，在操作3201-3205中被授权暂时控制至少一个外部设备130_8和130_9的第二设备120具有请求紧急中心服务器3130获得紧急医疗工作者的功能。虽然血压自动测量器130_8和血液自动测量器130_9是图32中的所述至少一个外部设备的示例，但所述至少一个外部设备不限于此。也就是说，所述至少一个外部设备可以不同于图32中图示的外部设备，或者可添加另一个外部设备。
[0367]图33图示根据本公开一实施例的其中作为第二设备120的车辆中的导航设备在服务器160、网关150或第一设备110识别出车辆进入工作室区域时被授权暂时控制至少一个外部设备，并且关于至少一个外部设备的信息以及至少一个外部设备的控制Π信息被发送给导航设备的示例。
[0368]参照图33，导航设备显示关于至少一个外部设备的信息以及至少一个外部设备的控制Π信息。如果基于在导航设备上显示的关于至少一个外部设备的信息而输入外部设备选择信号，并且基于在导航设备上显示的控制UI信息而输入用于至少一个外部设备的控制命令时，导航设备可在操作3301-3304中向所述至少一个外部设备直接发送控制命令以控制所选择的外部设备。
[0369]虽然与外部设备控制授权管理主体相关的工作室中的特定的台式PC130_10、与工作室相关的电梯130_11以及工作室中的灯130_12是图33中所述至少一个外部设备的示例，但所述至少一个外部设备不限于此。
[0370]根据本公开各种实施例的外部设备控制方法还可被体现为计算机可读记录介质上的计算机可读代码。所述计算机可读介质可以是能够存储由计算机系统读取的数据的任何记录装置，例如，只读存储器(ROM)、随机存取存储器(RAM)、光盘(CD)-ROM、磁带、软盘、光数据存储设备等等。计算机可读介质可分布在通过网络互连的计算机系统中，并且本公开可以以分布式的方式被存储和实现为计算机可读代码。
[0371]虽然已经参考本公开各种实施例示出和描述了本公开，但是本领域技术人员将理解的是:可在此进行形式和细节上的各种变化而不会脱离由所附权利要求及其等同限定的本公开的精神和范围。
【主权项】
1.一种外部设备控制方法，包括: 向第二设备发送关于至少一个外部设备的信息，同时在第一设备和所述第二设备之间执行交互服务； 基于关于至少一个外部设备的信息，从所述第二设备接收关于选择的外部设备的信息；并且 基于关于选择的外部设备的信息，向所述第二设备发送关于选择的外部设备的控制用户界面(UI)信息。2.如权利要求1所述的外部设备控制方法，其中，所述交互服务包括与所述至少一个外部设备相关的应用的功能。3.如权利要求1所述的外部设备控制方法，其中，向所述第二设备发送关于至少一个外部设备的信息包括:授权所述第二设备暂时控制所述至少一个外部设备。4.如权利要求1所述的外部设备控制方法，其中，根据所述第二设备的对于选择的外部设备或所述至少一个外部设备的控制授权等级，确定关于选择的外部设备的控制UI信息。5.如权利要求1所述的外部设备控制方法，其中，向所述第二设备发送关于所述至少一个外部设备的信息包括: 基于所述第二设备的用户信息，确定所述第二设备的控制授权等级；并且 根据所确定的控制授权等级，确定关于所述至少一个外部设备的被发送到所述第二设备的信息。6.如权利要求1所述的外部设备控制方法，其中，向所述第二设备发送关于至少一个外部设备的信息包括: 设置所述第二设备的对于所述至少一个外部设备的暂时控制授权时段。7.如权利要求1所述的外部设备控制方法，其中，关于至少一个外部设备的被发送到第二设备的信息包括基于增强现实(AR)的信息。8.如权利要求1所述的外部设备控制方法，其中，关于至少一个外部设备的被发送到第二设备的信息包括所述至少一个外部设备的基于物理位置的平面布局信息。9.如权利要求1所述的外部设备控制方法，还包括: 基于选择的外部设备的控制Π信息，从所述第二设备接收控制命令；以及 向所述至少一个外部设备发送所接收的控制命令。10.如权利要求1所述的外部设备控制方法，还包括: 当接收到关于选择的外部设备的信息时，执行与选择的外部设备相关的应用， 其中，通过使用与选择的外部设备相关的应用而向所述第二设备发送关于选择的外部设备的控制UI信息。11.一种用于控制外部设备的设备，所述设备包括: 存储单元，被配置成存储关于至少一个外部设备的信息和至少一个程序； 通信单元，被配置成与所述至少一个外部设备和另一个设备通信； 触摸屏，被配置成根据执行所述至少一个程序而接收用户输入信息以及输出信息；和 处理器，被配置成提供基于触摸屏的Π信息以及通过执行所述至少一个程序而授权其它设备暂时控制所述至少一个外部设备， 其中，所述至少一个程序包括:命令，在执行时: 向所述其它设备发送关于所述至少一个外部设备的信息，同时在所述设备和所述其它设备之间通过所述通信单元执行交互服务； 基于关于所述至少一个外部设备的信息，通过所述通信单元从所述其它设备接收关于选择的外部设备的信息；并且 基于所述关于所述选择的外部设备的信息，通过所述通信单元向所述其它设备发送关于所述选择的外部设备的控制Π信息。12.如权利要求11所述的设备，其中，被发送到所述其它设备的关于所述至少一个外部设备的信息根据关于所述其它设备的对于所述至少一个外部设备的控制授权等级来确定。13.如权利要求11所述的设备，其中，关于所述选择的外部设备的控制Π信息根据所述其它设备的对于选择的外部设备或所述至少一个外部设备的控制授权等级来确定。14.如权利要求11所述的设备，其中，所述至少一个程序还包括命令:用于基于其它设备的用户信息而确定关于其它设备的对所述至少一个外部设备的控制授权等级；以及用于根据确定的控制授权等级确定关于所述至少一个外部设备的将被发送到其它设备的信息。15.一种非临时性计算机可读记录介质，其存储包括命令的一个或多个程序，当由处理器执行时，该命令执行外部设备控制方法，所述外部设备控制方法包括: 向第二设备发送关于至少一个外部设备的信息，同时在第一设备和所述第二设备之间执行交互服务； 基于关于所述至少一个外部设备的信息，从所述第二设备接收关于选择的外部设备的信息；并且 基于关于选择的外部设备的信息，向所述第二设备发送关于选择的外部设备的控制UI信息。
【专利摘要】提供一种用于通过授权指定的设备暂时控制外部设备而控制外部设备方法和系统以及存储它的非临时性计算机可读介质。由被授权控制外部设备的第一设备执行的外部设备控制方法包括：向第二设备发送关于至少一个外部设备的信息，同时在第一设备和第二设备之间执行交互服务，基于关于至少一个外部设备的信息，从第二设备接收关于选择的外部设备的信息，并且基于关于选择的外部设备的信息，向第二设备发送关于选择的外部设备的控制用户界面(UI)信息。
【IPC分类】H04L12/12
【公开号】CN104904158
【申请号】CN201480003771
【发明人】林勋, 李相昊
【申请人】三星电子株式会社
【公开日】2015年9月9日
【申请日】2014年2月10日
【公告号】WO2014171620A1
【技术领域】
[0001]本公开涉及一种用于通过使用设备而控制外部设备的方法和系统。
【背景技术】
[0002]随着通信技术的发展，设备已经变得智能化和无处不在，并且与这些设备一起使用的外部设备已经在分布方面增加。因此，为了控制外部设备，设备能够执行与不同数量的外部设备相关的应用。
[0003]以上信息被提供作为背景信息，仅仅用于帮助对本公开的理解。关于上述的任何内容是否可被用作本公开的现有技术，没有进行任何确定，并且没有进行任何断言。
【发明内容】
[0004]技术问题
[0005]然而，当未指定的设备控制外部设备时，意想不到的问题将会发生。例如，当通过使用不是家庭成员的人的设备控制家庭设备时，其可能导致家庭设备的故障，或者可能泄漏在家庭设备中存储的信息。因此，需要其中可防止未指定的设备控制外部设备并且可根据环境情况自适应地选择用于控制外部设备的设备的环境。
[0006]据此，需要用于通过授权指定的设备暂时控制外部设备而控制所述外部设备的方法和系统。
[0007]技术方案
[0008]本公开的各方面至少解决上面提到的问题和/或缺点，并至少提供下述优点。因此，本公开一方面提供一种用于通过授权指定的设备暂时控制外部设备而控制所述外部设备的方法和系统以及存储它的非临时性计算机可读介质。
[0009]本公开另一个方面提供一种用于通过授权远程设备暂时控制外部设备而控制所述外部设备的方法和系统以及存储它的非临时性计算机可读介质。
[0010]本公开另一方面提供一种用于在设备之间执行交互服务时通过授权设备的对方设备暂时控制外部设备而控制设备的外部设备的方法和系统以及存储它的非临时性计算机可读介质。
[0011]附加方面将在随后的描述中被部分地阐述，并且将部分地从该描述中清楚，或者可通过提供的各种实施例的实践而被获知。
[0012]有益技术效果
[0013]根据以上实施例，可以防止由未指定的设备控制外部设备。
【附图说明】
[0014]本公开的某些实施例的以上和其它方面、特征和优点将从下面结合附图进行的描述中更加清楚，在附图中:
[0015]图1是根据本公开一实施例的外部设备控制系统的框图；
[0016]图2图示根据本公开一实施例的定义根据分配给外部设备的控制授权等级而提供的控制用户界面(UI)信息的表格；
[0017]图3图示根据本公开一实施例的基于用户信息定义分配给外部设备的控制授权等级的表格；
[0018]图4、5、6和7是根据本公开各种实施例的打开在第一设备和外部设备之间的通信会话的过程的流程图；
[0019]图8是根据本公开一实施例的外部设备控制方法的流程图；
[0020]图9图示根据本公开一实施例的在执行视频呼叫服务时在第二设备上显示的屏蒂;
[0021]图10图示根据本公开另一实施例的在执行视频呼叫服务时在第二设备上显示的屏幕；
[0022]图11是根据本公开另一实施例的外部设备控制方法的流程图；
[0023]图12是根据本公开另一实施例的外部设备控制方法的流程图；
[0024]图13是根据本公开另一实施例的外部设备控制方法的流程图；
[0025]图14是根据本公开另一实施例的外部设备控制方法的流程图；
[0026]图15是根据本公开另一实施例的外部设备控制方法的流程图；
[0027]图16是根据本公开另一实施例的外部设备控制方法的流程图；
[0028]图17是根据本公开另一实施例的外部设备控制方法的流程图；
[0029]图18图示根据本公开一实施例的在基于图17的流程图控制外部设备时在第一设备上显示的屏幕；
[0030]图19是根据本公开另一实施例的外部设备控制方法的流程图；
[0031]图20是根据本公开另一实施例的外部设备控制方法的流程图；
[0032]图21图示根据本公开一实施例的在由于紧急情况的发生而请求暂时控制授权时在第二设备上显示的屏幕；
[0033]图22是根据本公开另一实施例的外部设备控制方法的流程图；
[0034]图23图示根据本公开一实施例的在执行图22的外部设备控制方法时在第二设备上显示的屏幕；
[0035]图24是根据本公开另一实施例的外部设备控制方法的流程图；
[0036]图25图示根据本公开一实施例的基于图24的流程图而在第二设备上显示的屏蒂;
[0037]图26是根据本公开一实施例的图1的第一设备的框图；
[0038]图27图示根据本公开一实施例的在图26的存储单元中存储的程序和/或命令集的示例；
[0039]图28是根据本公开一实施例的图1的第一至第η外部设备的框图；以及
[0040]图29、30、31、32和33图示根据本公开各种实施例实现的示例。
[0041]贯穿附图，应当注意的是:相同的附图标记用来描绘相同或相似的元件、特征和结构。
【具体实施方式】
[0042]根据本公开一方面，提供一种外部设备控制方法。所述外部设备控制方法包括:向第二设备发送关于至少一个外部设备的信息，同时在第一设备和所述第二设备之间执行交互服务，基于关于所述至少一个外部设备的信息，从所述第二设备接收关于选择的外部设备的信息，并且基于所述关于选择的外部设备的信息，向所述第二设备发送关于所述选择的外部设备的控制用户界面(UI)信息。
[0043]根据本公开另一方面，提供一种用于控制外部设备的设备。所述设备包括:被配置成存储关于至少一个外部设备的信息和至少一个程序的存储单元、被配置成与所述至少一个外部设备和另一个设备通信的通信单元、被配置成根据执行所述至少一个程序而接收用户输入信息以及输出信息的触摸屏、以及被配置成提供基于触摸屏的UI信息并通过执行所述至少一个程序而授权所述其它设备暂时控制所述至少一个外部设备的处理器，其中，所述至少一个程序包括:命令，在被执行时，向所述其它设备发送关于所述至少一个外部设备的信息，同时在所述设备和所述其它设备之间通过通信单元执行交互服务，基于所述关于至少一个外部设备的信息，从所述其它设备通过通信单元接收关于选择的外部设备的信息，并基于所述关于选择的外部设备的信息，通过所述通信单元向所述其它设备发送关于所述选择的外部设备的控制UI信息。
[0044]根据本公开另一方面，提供一种非临时性计算机可读记录介质，其存储包括命令的一个或多个程序，当由处理器执行时，执行外部设备控制方法。所述外部设备控制方法包括:向第二设备发送关于至少一个外部设备的信息，同时在第一设备和所述第二设备之间执行交互服务，基于所述关于至少一个外部设备的信息，从所述第二设备接收关于选择的外部设备的信息，并且基于所述关于选择的外部设备的信息，向所述第二设备发送关于所述选择的外部设备的控制UI信息。
[0045]根据本公开另一方面，提供一种外部设备控制方法。所述外部设备控制方法包括:从第一设备接收并显示关于至少一个外部设备的信息，同时在所述第一设备和第二设备之间执行交互服务，基于所显示的关于至少一个外部设备的信息，向所述第一设备发送关于选择的外部设备的信息，基于所述关于选择的外部设备的信息，从所述第一设备接收并显示关于所述选择的外部设备的控制Π信息，并且基于所显示的控制Π信息，向所述选择的外部设备发送控制命令。
[0046]根据本公开另一方面，提供一种用于控制外部设备的设备。所述设备包括:被配置成存储至少一个程序的存储单元、被配置成通过执行所述至少一个程序而接收用户输入信息以及显示信息的触摸屏、被配置成与另一个设备以及其控制被授权给其它设备的至少一个外部设备通信的通信单元、以及被配置成提供基于触摸屏的UI并通过执行所述至少一个程序而被授权暂时控制至少其它设备的处理器，其中，所述至少一个程序包括:命令，在被执行时:从所述其它设备接收并显示关于所述至少一个外部设备的信息，同时在所述设备和所述其它设备之间执行交互服务，基于所显示的关于至少一个外部设备的信息，向所述其它设备发送关于选择的外部设备的信息，基于所述关于选择的外部设备的信息，从所述其它设备接收并显示关于所述选择的外部设备的控制Π信息，并基于所显示的控制Π信息，向所述选择的外部设备发送控制命令。
[0047]根据本公开另一方面，提供一种非临时性计算机可读记录介质，其存储包括命令的一个或多个程序，当由处理器执行时，执行外部设备控制方法。所述外部设备控制方法包括:从第一设备接收并显示关于至少一个外部设备的信息，同时在所述第一设备和第二设备之间执行交互服务，基于所显示的关于至少一个外部设备的信息，向所述第一设备发送关于选择的外部设备的信息，基于所述关于选择的外部设备的信息，从所述第一设备接收并显示关于所述选择的外部设备的控制Π信息，并且基于所显示的控制Π信息，向所述选择的外部设备发送控制命令。
[0048]从下面结合附图进行的公开了本公开的各种实施例的详细描述中，本公开的其它方面、优点和显著特征对于本领域技术人员来说将变得清楚。
[0049]执行本发明的最佳方式
[0050]提供下列参考附图的描述以帮助对由权利要求及其等同限定的本公开的各种实施例的全面理解。它包括各种特定细节以帮助该理解，但是这些将被认为仅仅是示范性的。因此，本领域技术人员将认识到:可做出对在此描述的各种实施例的各种变化和修改而不会脱离本公开的范围和精神。另外，为了清楚和简明，可能省略对公知功能和结构的描述。
[0051]在下列描述和权利要求中使用的术语和词语不限于字面含义，而是仅仅由发明人用来使得能够清楚和一致地理解本公开。因此，对本领域技术人员应当清楚的是:提供下列对本公开各种实施例的描述仅仅出于说明的目的，而不是出于限制由所附权利要求及其等同限定的本公开的目的。
[0052]应该理解的是:单数形式“一”、“一个”和“该”包括复数指代，除非上下文另有明确说明。因此，例如，提及“一个组件表面”包括提及一个或多个这样的表面。
[0053]贯穿说明书，情况基于指定的条件。也就是说，所述情况例如可包括:在其中执行诸如设备之间的交互服务之类的服务的情况、在其中发生火灾、入室盗窃、紧急医疗或地震的紧急情况、在其中设备进入指定的域的情况等等，但不限于此。因此，所述指定的条件例如可包括:用于提供设备之间的交互服务的条件、被确定为紧急情况的条件、用于确定设备进入指定的域的条件等等，但不限于此。
[0054]贯穿说明书，设备可控制外部设备，同时该设备可执行与外部设备相关的应用。贯穿说明书，外部设备被配置为硬件和软件，所述硬件和软件可与和外部设备相关的由所述设备执行的应用一起操作。因此，所述设备可以是主机设备，而所述外部设备可以是设备的附件(accessory)。
[0055]然而，根据各种实施例，设备可能不执行与外部设备相关的应用，并且可通过使用另一个执行与外部设备相关的应用的设备而控制外部设备。在这种情况下，可能在设备中没有安装与外部设备相关的应用，或者虽然在设备中安装了与外部设备相关的应用，但可能没有执行在所述设备中安装的应用。
[0056]贯穿说明书，应用是指基于设备和外部设备之间或设备之间的连接而被设计成执行指定的操作的计算机程序。
[0057]基于设备和外部设备之间的连接的应用例如可包括:游戏应用、乐器演奏应用、运动图像再现应用、地图应用、广播应用、锻炼支持应用、医疗应用、支付应用、交通工具模式(例如汽车、公交、飞机或船等)自动导航应用、外围设备控制应用(例如诸如智能TV、空调、机器人清洁器、空气净化器、打印机等之类的家庭设备的控制应用)等等，但不限于此。
[0058]基于设备之间的连接的应用例如可包括基于设备之间的交互服务的应用，但不限于此。交互服务例如可包括实时双向通信服务，诸如视频呼叫服务、语音呼叫服务、聊天服务等等，但不限于此。
[0059]基于设备之间的交互服务的应用可包括基于设备和外部设备之间的连接的应用。例如，当外部设备是智能TV，该设备是智能电话机并且设备之间的交互服务是视频呼叫服务时，提供视频呼叫服务的应用可包括与智能TV相关的应用(或者用于控制智能TV的操作的应用)。
[0060]当执行包括如上所述的与智能TV相关的应用的与视频呼叫服务相关的应用时，所述设备可控制智能TV，同时所述设备可执行视频呼叫服务。在提供视频呼叫服务的应用中包括的与智能TV相关的应用可被称为智能TV控制功能或提供视频呼叫服务的应用的子应用，但不限于此。
[0061]基于设备和外部设备之间的连接，设备之间的交互服务可包括调用应用的功能。例如，设备之间的交互服务可通过调用与外部设备相关的应用(例如与智能TV相关的应用)而执行能够控制外部设备的多任务分配，同时在设备之间的交互服务可执行如上所述的设备之间的视频呼叫服务。
[0062]贯穿说明书，输入信息是用户的输入信息，并且是基于触摸的输入信息。所述基于触摸的输入信息可包括用户请求、用户选择(例如显示的外部设备的标识信息(例如，包括空调、智能TV等的外部设备的名称)的选择)或用户命令(例如，基于外部设备的控制用户界面(UI)信息的与外部设备相关的控制命令)，但不限于此。
[0063]所述基于触摸的输入信息可取决于用户手势。基于触摸的用户手势例如可包括轻击(或触摸)、长轻击(或长触摸)、触摸并按住、触摸和拖动、双轻击、拖动、平移、轻弹、拖放、扫描等等，但不限于此。
[0064]所述输入信息不限于基于触摸的用户手势。例如，所述输入信息可以是基于运动的输入信息或基于视觉的输入信息。所述基于运动的输入信息可基于根据设备运动(例如设备摇动、设备轻击等)的用户手势。所述基于视觉的输入信息可基于通过分析由相机拍摄的输入图像而识别的用户手势，而无需接触设备。
[0065]图1是根据本公开一实施例的外部设备控制系统100的框图。
[0066]参照图1，外部设备控制系统100包括第一设备110、第二设备120、第一至第η外部设备130_1?130_η、网络140、网关150和服务器160，但不限于此。
[0067]也就是说，外部设备控制系统100可以不包括网关150和服务器160。外部设备控制系统100可包括多个设备，诸如第二设备120。第一设备110被授权控制第一至第η外部设备130_1?130_η。第二设备120可被授权暂时控制第一至第η外部设备130_1?130_no因此，由于外部设备控制系统100包括诸如第二设备120之类的多个设备，所述多个设备可被授权暂时控制第一至第η外部设备130 j?130_n。
[0068]外部设备控制系统100可包括至少一个外部设备，诸如基于第二设备120的家庭网络或基于第二设备120的本地域内的第一至第η外部设备130_1?130_η。第二设备120可被授权控制本地域或家庭网络内的至少一个外部设备。在这种情况下，第一设备110可被授权暂时控制家庭网络或本地域内的至少一个外部设备。
[0069]第一设备110、第一至第η外部设备130_1?130_η以及网关150可被称为处于物理本地域中。物理本地域例如可以是基于地点的物理区域，其中该地点可由名称(诸如家庭、办公室、餐馆、停车场等)来标识，但不限于此。在这种情况下，第一设备110可以是主机设备。
[0070]第一至第η外部设备130_1至130_η可以是本地设备或者第一设备110的配件。网关150可以是家庭网关或家庭服务器。网关150可包括中继功能，诸如接入点。网关150可被授权控制在本地域中包括的第一至第η外部设备130_1?130_η或者第一至第η外部设备130_1?130_η和第一设备110。
[0071]包括第一设备110、第一至第η外部设备130_1?130_η以及网关150的本地域可以是基于IP子网络的逻辑区域。
[0072]第一设备110例如可包括智能电话机、智能TV、个人计算机(PC)、台式PC、笔记本电脑、智能板、平板PC、平板手机、导航设备、移动设备、手持设备或手持PC、媒体播放器、电子书终端、个人数字助理(PDA)、具有输入基于触摸的用户手势的功能的数码相机以及数字消费电子(CE)设备(例如图像显示器或具有输入基于触摸的用户手势的功能的设备)中的至少一种，但不限于此。
[0073]第一设备110被授权控制第一至第η外部设备130_1?130_η。可在第一设备110中安装与第一至第η外部设备130_1?130_η相关的应用。当未在第一设备110中安装与第一至第η外部设备130_1?130_η中的至少一个相关的应用时，第一设备110可从服务器160下载并安装与至少一个外部设备相关的应用。
[0074]与在第一设备110中安装的第一至第η外部设备130_1?130_η相关的应用分别与第一至第η外部设备130_1?130_η相关。例如，当第一外部设备130_1是智能TV，第二外部设备130_2是机器人清洁器，并且第η外部设备130_η是空调时，可在第一设备110中安装智能TV应用、机器人清洁器应用和空调应用。
[0075]然而，可在第一设备110中安装与第一至第η外部设备130_1?130_η相关的集成的应用。集成的应用是通过将能够控制第一至第η外部设备130_1?130_η的功能的应用集成为一个应用而配置的应用。例如，当第一外部设备130_1是智能TV，第二外部设备130_2是机器人清洁器，并且第η外部设备130_η是空调时，集成的应用程序可包括智能TV功能、机器人清洁器功能和空调功能中的所有功能。第一至第η外部设备130_1?130_η的功能可以是控制第一至第η外部设备130_1?130_η的功能。集成的应用可具有能够添加新的外部设备的功能的功能。例如，当将空调添加到本地域时，集成的应用可具有能够添加关于空调应用的信息的功能。
[0076]集成的应用可被配置成根据情况分别调用与第一至第η外部设备130_1?130_η相关的应用。例如，集成的应用可被配置成根据需要分别调用智能TV应用和机器人清洁器应用。在这种情况下，智能TV应用和机器人清洁器应用可以是集成的应用的外部应用。
[0077]当在第一设备110中安装集成的应用时，第一设备110可执行集成的应用以分别控制第一至第η外部设备130_1?130_η的功能。也就是说，当通过使用第一设备110执行集成的应用时，在第一设备110上显示关于第一至第η外部设备130_1?130_η的信息。关于第一至第η外部设备130_1?130_η的信息可包括第一至第η外部设备130_1?130_η的标识信息。标识信息例如可包括第一至第η外部设备130_1?130_η的名称。在第一设备110上显示的关于第一至第η外部设备130_1?130_η的信息可以是基于列表的信息或基于增强现实的信息(augmented reality based informat1n)。
[0078]当基于在第一设备110上显示的关于第一至第η外部设备130_1?130_η的信息而选择一个外部设备时，第一设备110显示用于控制选择的外部设备的功能的控制Π信息。用户可基于在第一设备110上显示的控制Π信息来控制期望的功能。
[0079]当在第一设备110中安装了与第一至第η外部设备130_1?130_11相关的应用时，第一设备110可被配置成:显示可通过使用外部设备控制窗口插件控制的第一至第η外部设备130_1?130_η的列表，并基于显示的第一至第η外部设备130_1?130_η的列表而选择和控制期望的外部设备。
[0080]用于执行在第一设备110和第二设备120之间的交互服务的应用可包括与集成的应用相关的功能。例如，当交互服务是视频呼叫服务时，视频呼叫服务应用可包括与集成的应用相关的功能。在这种情况下，当执行在第一设备I1和第二设备120之间的交互服务时，第一设备110不执行与第一至第η外部设备130_1?130_η相关的应用，但可根据第一设备110的用户的外部设备控制请求而向第二设备120发送关于第一至第η外部设备130_1?130_η的信息以及控制UI信息。因此，第二设备120可远程控制第一至第η外部设备 130_1 ?130_η。
[0081]用于执行诸如视频呼叫服务之类的交互服务的应用可不包括与集成的应用相关的功能。在这种情况下，第一设备110可执行与第一至第η外部设备130_1?130_η中的至少一个相关的应用，该应用独立于用于执行视频呼叫服务以向第二设备120发送控制UI信息的应用。在这点上，与第一至第η外部设备130_1?130_η中的至少一个相关的应用可由用于执行视频呼叫服务的应用调用。
[0082]控制UI信息可包括基于图2所示的表格的信息。图2图示根据本公开一实施例的定义控制UI信息的表格，该控制UI信息是根据关于第一至第η外部设备130_1?130_η的控制授权等级而被提供的。
[0083]参照图2，第一至第η外部设备130_1?130_η的示例包括被实例化 为图2的表格中的行的数字TV(DTV)、蓝光光盘播放器(BDP)和PC。关于第一至第n外部设备130_1?130_η的控制授权等级包括被实例化为图2的表格中的列的整体、部分、一和用户设置项目。第一至第η外部设备130_1?130_η和关于第一至第η外部设备130_1?130_η的控制授权等级不限于图2所示的那些。
[0084]例如，图2的部分项目可被设置为多个部分项目。也就是说，图2的部分项目可被设置为部分项目1、部分项目2和部分项目3。部分项目1、部分项目2和部分项目3中包括的功能可被不同地设置，或者可被设置为逐渐增加或逐渐减少。
[0085]例如，TV基本功能(例如频道控制功能、音量控制功能和功率控制功能)被设置为DTV的部分项目。然而，当DTV的部分项目被设置为部分项目1、2和3时，TV基本功能可被设置为项目1，内容共享功能可被设置为部分项目2，而其它功能可被设置为部分项目3。可替代地，TV基本功能和内容共享功能可被设置为部分项目1，TV基本功能和其它功能可被设置为部分项目2，而内容共享功能和其它功能可被设置为部分项目3。可替代地，TV基本功能和内容共享功能可被设置为部分项目1，而TV基本功能可被设置为部分项目2。然而，作为上述部分项目的第一至第η外部设备130_1?130_η的功能的设置不限于上述的那些。
[0086]关于第一至第η外部设备130_1?130_η的控制UI信息可被配置为如图2中图示的分层定义的控制功能项目。也就是说，参照图2，DTV的基本功能、内容共享功能和其它功能被设置为相同的层。频道控制功能、音量控制功能和功率控制功能被设置为基本功能的从属层。在数字媒体服务器(DMS)和DTV之间共享内容的功能以及在数字媒体再现器(DMR)和DTV之间共享内容的功能被设置为内容共享功能的从属层。相机功能被设置为其它功能的从属层。然而，控制UI信息的分层结构不限于此。
[0087]当关于第一至第n外部设备130_1?130_η的第一设备110的控制授权等级是整体，并且第一至第η外部设备130_1?130_η是包括在图2的表格中的DTV、BDP和PC时，控制UI信息可包括在图2的DTV、BDP和PC项目中包括的整体功能信息。
[0088]当关于第一至第η外部设备130_1?130_η的第一设备110的控制授权等级是部分，并且第一至第η外部设备130_1?130_η是包括在图2的表格中的DTV、BDP和PC时，控制UI信息可包括在图2的DTV、BDP和PC项目中包括的部分功能信息。
[0089]当关于第一至第η外部设备130_1?130_η的第一设备110的控制授权等级是一，并且第一至第η外部设备130_1?130_η是包括在图2的表格中的DTV、BDP和PC时，控制UI信息可包括在图2的DTV、BDP和PC项目中包括的一条功能信息(例如电源开/关控制功能信息)。
[0090]可根据关于第一至第n外部设备130_1?130_η的第一设备110的控制授权等级而不同地提供控制UI信息。因此，当第二设备120被授权暂时控制第一至第η外部设备130_1?130_η时，暂时控制授权范围可被限制为关于第一至第η外部设备130_1?130_η的第一设备110的控制授权范围。例如，当关于第一至第η外部设备130_1?130_η的第一设备110的控制授权等级是图2中定义的项目“部分”时，关于第一至第η外部设备130_1?130_η的第二设备120的控制授权等级可能不是项目“整体”。
[0091]为了便于描述，下面将描述其中关于第一至第η外部设备130_1?130_η的第一设备110的控制授权等级在各种实施例中是项目“整体”的情况。
[0092]关于图2的用户设置项目，第一设备110的用户手动选择并向第二设备120发送控制UI信息。
[0093]可基于第一设备110的用户信息确定关于第一至第η外部设备130_1?130_η的第一设备110的控制授权等级。因此，当第一设备110的用户信息包括指示用户1(例如父亲)和用户2 (例如儿子)的信息时，基于用户I的关于第一至第η外部设备130_1?130_η的第一设备110的控制授权等级可能不同于基于用户2的关于第一至第η外部设备130_1?130_η的第一设备110的控制授权等级。根据用户区分关于第一至第η外部设备130_1?130_η的第一设备110的控制授权等级可能意味着根据用户区分关于第一至第η外部设备130_1?130_η的第一设备110的控制范围。
[0094]图3图示根据本公开一实施例的基于第一设备110的用户信息定义关于第一至第η外部设备130_1?130_η的控制授权等级的表格。
[0095]参照图3，当第一设备110的用户是用户I时，关于第一至第η外部设备130_1?130_η的第一设备110的控制授权等级被分配为能够控制第一至第η外部设备130_1?130_η的整体功能的授权。当第一设备110的用户是用户2时，第一设备110的控制授权等级被分配为能够控制第一至第η外部设备130_1?130_η之间的DTV的整体功能、BDP的部分功能以及PC的一个功能的授权。当第一设备110的用户是未注册的用户时，可通过使用被授权控制第一至第η外部设备130_1?130_η中的每一个的其它设备来确定第一设备110的控制授权等级。在这种情况下，第一设备110的控制授权等级可能不同于提供给第二设备120的暂时控制授权等级。
[0096]可根据控制授权等级提供的关于第一至第η外部设备130_1?130_η中的每一个的控制授权等级和用户控制接口信息可应用到第二设备120的暂时控制授权等级。也就是说，基于第一设备110的用户信息来确定第二设备120的暂时控制授权等级，并且根据确定的暂时控制授权等级来确定关于第一至第η外部设备130_1?130_η的用户控制接口信息。根据暂时控制授权等级确定的关于第一至第η外部设备130_1?130_η的用户控制接口信息可被称为第一至第η外部设备130_1?130_η的控制UI信息范围。
[0097]提供给第二设备120的控制UI信息包括:关于第一至第η外部设备130_1?130_η的信息以及在图2的表格中定义的第一至第η外部设备130_1?130_η的可控制功能信息，但不限于此。关于第一至第η外部设备130_1?130_η的信息可包括基于列表的信息或基于增强现实的信息。
[0098]当第一设备110向第二设备120发送控制Π信息时，第一设备110可确定关于第一至第η外部设备130_1?130_η的第二设备120的暂时控制授权等级，并根据确定的暂时控制授权等级而向第二设备120发送控制UI信息。
[0099]例如，当第一至第η外部设备130_1?130_η是如图2中图示的DTV、BDP和PC，并且由第一设备110确定的第二设备120的暂时控制授权等级是部分时，从第一设备110发送到第二设备120的控制Π信息可包括关于第一至第η外部设备130_1?130_η的信息以及在图2的部分项目中包括的功能信息。
[0100]根据关于第一至第η外部设备130_1?130_η的暂时控制授权等级确定的控制UI信息不限于图2中所图示的。例如，当关于第一至第η外部设备130_1?130_η的第二设备120的暂时控制授权等级是最高等级时，可向第二设备120发送用于控制第一至第η外部设备130_1?130_η的整体功能的控制UI信息。当关于第一至第η外部设备130_1?130_η的第二设备120的暂时控制授权等级是中等等级时，可向第二设备120发送用于控制第一至第η外部设备130_1?130_η的电源开/关功能的控制UI信息。当关于第一至第η外部设备130_1?130_η的第二设备120的暂时控制授权等级是最低等级时，可向第二设备120发送用于控制第一至第η外部设备130_1?130_η之一(例如第一外部设备130_1)的基本功能的控制Π信息。
[0101]可针对第一至第η外部设备130_1?130_η中的每一个确定第二设备120的暂时控制授权等级。第二设备120的暂时控制授权等级可以是能够控制由第二设备120选择的外部设备的暂时控制授权等级。
[0102]当第二设备120的用户是未注册的用户时，向第二设备120发送的第一至第η外部设备130_1?130_η的用户控制接口信息可包括由第一设备110的用户设置或指定的控制UI {目息。
[0103]当由第一设备110和第二设备120提供的第一至第η外部设备130_1?130_η的控制UI信息是增强现实(AR)信息时，可通过使用第一设备110中包括的相机来获得AR信息。
[0104]也就是说，当通过使用第一设备110中包括的相机来获得第一至第η外部设备130_1?130_11的图像时，通过将对象识别技术应用到获得的图像来识别关于第一至第η外部设备130_1?130_n的信息(例如标识信息)。对象识别技术可使用提取对象的图像的特征、比较提取的特征与存储的对象的特征并识别对象的方法，但不限于此。
[0105]通过使用关于第一至第η外部设备130_1?130_η的识别出的信息，第一设备110在外部设备信息数据库中搜索关于识别出的第一至第η外部设备130_1?130_η的附加信息。外部设备信息数据库可包括在第一设备110中，或者可包括在第一设备110外部的数据库服务器中。该外部数据库服务器可以是服务器160。外部设备信息数据库可包括在网关150中。
[0106]由第一设备110发现的附加信息可包括第一至第η外部设备130_1?130_η的类型、其名称、其网络地址、其控制命令列表及其状态信息，但不限于此。第一设备110生成图像，该图像包括:通过基于附加信息而使用对象跟踪技术的基于AR的信息，以及第一至第η外部设备130_1?130_η的标识信息。可基于第一设备110中包括的传感器和/或基于计算机视觉来执行对象跟踪技术，但不限于此。包括基于AR的信息的图像可包括在控制Π信息中，并且被发送到第二设备120。
[0107]基于第一至第η外部设备130_1?130_η的物理位置，由第一设备110和第二设备120提供的第一至第η外部设备130_1?130_η的控制UI信息可被提供为2维(2D)或3D平面布局(或设备布局或家庭平面图)。
[0108]控制UI信息可包括关于第一至第η外部设备130_1?130_η的第二设备120的暂时控制授权时段信息。例如，当通过使用第一设备110而将交互服务时段设置为暂时控制授权时段时，暂时控制授权时段被设置为离授权暂时控制的时间起的I小时，或者以指定的时间周期授权暂时控制，第一设备110可向第二设备120发送包括设置的暂时控制授权时段信息的控制UI信息，或者连同控制UI信息发送设置的暂时控制授权时段信息。
[0109]可设置特定的时间周期以根据年/月/周/日重复，但不限于此。例如，该特定的时间周期可被设置以每天上午8点控制父亲房子中的热水器，或者可被设置以从孩子回家的时间到父母回家的时间控制房子的门。当关于第二设备120授权暂时控制时，可设置第二设备120的暂时控制授权时段，但不限于此。
[0110]当暂时控制被授权给第二设备120时，第一设备110可显示提供给第二设备120的暂时控制授权等级，或者可显示针对其向第二设备120授权了暂时控制的第一至第η外部设备130_1?130_η的列表和可控制的功能的列表。
[0111]第二设备120未被授权控制第一至第η外部设备130_1?130_η。然而，由于第二设备120被授权暂时控制第一至第η外部设备130_1?130_η，所以第二设备120可控制第一至第η外部设备130_1?130_η。根据第一设备110的用户的请求、第二设备120的用户的请求、第一至第η外部设备130_1?130_η的请求、网关150的请求或服务器160的请求中的至少一个，第二设备120可被授权暂时控制第一至第η外部设备130_1?130_η。
[0112]第二设备120例如可包括智能电话机、智能TV、PC、台式PC、笔记本电脑、智能板、平板PC、平板手机、导航设备、移动设备、手持设备或手持PC、媒体播放器、电子书终端、PDA、输入基于触摸的用户手势的数码相机以及数字CE设备(例如图像显示器或具有输入基于触摸的用户手势的功能的设备)，但不限于此。
[0113]可通过诸如第一设备110的电话簿或地址簿之类的联系信息管理应用或者调用或与联系信息管理应用同步的应用来选择第二设备120。用于选择第二设备120的应用不限于此。
[0114]当第一设备110和第二设备120在其间执行交互服务时，可省略选择第二设备120的操作，并且可提供对于第一至第η外部设备130_1?130_η的暂时控制授权。当执行交互服务时，当请求对于第一至第η外部设备130_1?130_η的暂时控制授权时，向对应设备自动提供对于第一至第η外部设备130_1?130_η的暂时控制授权，但并不是限于此。
[0115]第一至第η外部设备130_1?130_η可能连接或可能不连接到第一设备110。当第一至第η外部设备130_1?130_η不连接到第一设备110时，第一设备110可存储关于第一至第η外部设备130_1?130_η的信息。关于第一至第η外部设备130_1?130_η的信息可包括相关的应用信息和网络连接信息，但不限于此。也就是说，关于第一至第η外部设备130_1?130_η的信息可包括如上所述的第一至第η外部设备130_1?130_η的类型、其名称、其网络地址、其控制命令列表及其状态信息，但不限于此。
[0116]第一设备110可通过第一短距离通信获得关于第一至第η外部设备130_1?130_η的信息，并基于获得的信息、通过如图4至7中图示的第二短距离通信而打开(或建立或连接(或配对))与第一至第η外部设备130_1?130_η的通信会话。
[0117]第一短距离通信是在第一设备110和第一至第η外部设备130_1?130_η之间执行的通信，以打开用于控制第一至第η外部设备130_1?130_η的通信会话。第二短距离通信是在第一设备110打开用于控制第一至第η外部设备130_1?130_η的通信会话之后而在第一设备110和第一至第η外部设备130 j?130_n之间执行的通信。
[0118]图4是根据本公开一实施例的打开在第一设备110和第一至第η外部设备130_1?130_η之间的通信会话的过程的流程图。
[0119]参照图4，通过近场通信(NFC)执行第一短距离通信，并通过使用网关150的中继功能执行第二短距离通信。当在网关150中独立地建立执行中继功能的接入点(AP)时，可通过AP执行第二短距离通信。
[0120]在操作S401中，当第一设备110和第一至第η外部设备130_1?130_η之间的距离在NFC通信范围内时，在操作S402中，第一设备110和第一至第η外部设备130_1?130_η识别第一短距离通信发生。
[0121]在操作S403中，第一至第η外部设备130_1?130_η通过NFC向第一设备110发送关于第二短距离通信连接的信息以及与第一至第η外部设备130_1?130_η相关的应用信息。
[0122]在操作S404中，第一设备110验证第一至第η外部设备130_1?130_η。可通过验证从第一至第η外部设备130_1?130_η接收的先前同意的验证信息而验证第一至第η外部设备130_1?130_η。因此，在操作S403中，第一设备110可从第一至第η外部设备130_1?130_η接收验证信息。如果在操作S403中第一设备110不从第一至第η外部设备130_1?130_η接收验证信息并且不对第一至第η外部设备130_1?130_η执行验证操作，则可省略操作S404。
[0123]在其中验证第一至第η外部设备130_1?130_η的实施例中，如果第一设备110没有从第一至第η外部设备130_1?130_η接收到验证信息或从其中接收到错误的验证信息，则第一设备110可停止打开与第一至第η外部设备130_1?130_η的通信会话的过程。
[0124]在操作S405中，基于关于第二短距离通信连接的接收的信息，第一设备110确定与第一至第η外部设备130_1?130_η的第二短距离通信。可基于从第一至第η外部设备130_1?130_η接收的指示通信方法的信息来确定第二短距离通信。
[0125]例如，如果从第一至第η外部设备130_1?130_η接收的指示通信方法的信息包括指示蓝牙通信的信息，则第一设备110将与第一至第η外部设备130_1?130_η的第二短距离通信确定为蓝牙通信。如果从第一至第η外部设备130 j?130_n接收的指示通信方法的信息包括指示基础设施模式无线局域网(LAN)通信的信息，则第一设备110将与第一至第η外部设备130_1?130_η的第二短距离通信确定为基础设施模式无线LAN通信。
[0126]在当前的过程中，第一至第η外部设备130_1?130_η的第二短距离通信使用网关150。因此，在操作S406中，第一设备110向第一至第η外部设备130_1?130_η发送网关150的连接信息。
[0127]在当前的过程中，第一设备110未连接到网关150，并在其中存储与网关150相关的连接信息。与网关150相关的连接信息对于连接到网关150是必需的。例如，与网关150相关的连接信息可包括服务集标识符(SSID)、信道信息、安全和验证密钥信息、加密密钥信息、因特网协议(IP)地址、媒体访问控制(MAC)地址等，但不限于此。
[0128]在操作S407中，通过使用与网关150相关的接收的连接信息，第一至第η外部设备130_1?130_11请求网关150连接。在操作S408中，当第一至第η外部设备130_1?130_η从网关150接收到连接接受信号时，在操作S409中，第一至第η外部设备130_1?130_η向第一设备110发送连接通知信号，该连接通知信号指示第一至第η外部设备130_1?130_η连接到网关150。
[0129]在操作S410中，通过使用网关150的连接信息，第一设备110向网关150发送连接请求信号。在操作S411中，当第一设备110从网关150接收连接接受信号时，第一设备110可经由网关150打开与第一至第η外部设备130_1?130_η的通信会话。当打开通信会话时，第一设备110可执行与第一至第η外部设备130_1?130_η相关的应用。
[0130]图5是根据本公开一实施例的在第一短距离通信使用BLE通信并且第二短距离通信使用中继时打开第一设备110和第一至第η外部设备130_1?130_η之间的通信会话的过程的流程图。
[0131]在操作S501，第一设备110接收从第一至第η外部设备130_1?130_η广播的关于第二短距离通信连接的信息和与第一至第η外部设备130_1?130_η相关的应用信息，并且在操作S502中识别第一短距离通信发生。
[0132]在操作S503中，第一设备110验证第一至第η外部设备130_1?130_η。可通过验证从第一至第η外部设备130_1?130_η接收的先前同意的验证信息来验证第一至第η外部设备130_1?130_η。因此，在操作S501中，第一设备110可从第一至第η外部设备130_1?130_11接收验证信息。在其中第一设备110在操作S501中不从第一至第η外部设备130_1?130_η接收验证信息并且不对第一至第η外部设备130_1?130_η执行验证操作的实施例中，可省略操作S503。
[0133]在其中验证第一至第η外部设备130_1?130_η的实施例中，当第一设备110没有从第一至第η外部设备130_1?130_η接收到验证信息或从其中接收到错误的验证信息时，第一设备110可停止打开与第一至第η外部设备130_1?130_η的通信会话的过程。
[0134]在操作S504中，第一设备110显示关于第一至第η外部设备130_1?130_η的信息。为此，在操作S501中，第一至第η外部设备130_1?130_η可向第一设备110发送关于第一至第η外部设备130_1?130_η的信息。
[0135]然而，在操作S502中，在第一设备110识别出第一短距离通信发生之后，第一设备110可被配置成根据从第一设备110到第一至第η外部设备130_1?130_η的信息请求的传输而接收验证信息和关于第一至第η外部设备130_1?130_η的信息。
[0136]在操作S505中，当基于关于第一至第η外部设备130_1?130_η的显示的信息而输入关于连接到第一至第η外部设备130_1?130_η的选择的用户信息时，在操作S506中，基于关于第二短距离通信连接的信息，第一设备110确定与第一至第η外部设备130_1?130_η的第二短距离通信。可如以上在操作S405中所述地确定第二短距离通信。
[0137]在当前的过程中，第一至第η外部设备130_1?130_η的第二短距离通信使用网关150。因此，在操作S507中，第一设备110向 第一至第η外部设备130_1?130_η发送与网关150相关的连接信息。
[0138]在当前的过程中，第一设备110未连接到网关150，并在其中存储与网关150相关的连接信息。
[0139]在操作S508中，通过使用与网关150相关的接收的连接信息，第一至第η外部设备130_1?130_η向网关150发送连接请求信号。在操作S509中，当第一至第η外部设备130_1?130_η从网关150接收到连接接受信号时，在操作S510中，第一至第η外部设备130_1?130_η向第一设备110发送连接通知信号，该连接通知信号指示第一至第η外部设备130_1?130_η连接到网关150。
[0140]在操作S511中，通过使用网关150的连接信息，第一设备110向网关150发送连接请求信号。在操作S512中，当第一设备110从网关150接收到连接接受信号时，第一设备110可经由网关150打开与第一至第η外部设备130_1?130_η的通信会话。
[0141]图6是根据本公开一实施例的过程的流程图，该过程是在第一短距离通信使用NFC并且第二短距离通信不使用网关150而是使用设备之间的直接通信时打开第一设备110和第一至第η外部设备130_1?130_η之间的通信会话的过程。
[0142]在操作S601中，当第一设备110和第一至第η外部设备130_1?130_η之间的距离在第一短距离通信范围内时，在操作S602中，第一设备HO和第一至第η外部设备130_1?130_η识别第一短距离通信发生。
[0143]在操作S603中，第一至第η外部设备130_1?130_η向第一设备110发送关于第二短距离通信连接的信息以及与第一至第η外部设备130_1?130_η相关的应用信息。
[0144]在操作S604中，第一设备110验证第一至第η外部设备130_1?130_η。可通过验证从第一至第η外部设备130_1?130_η接收的先前同意的验证信息而验证第一至第η外部设备130_1?130_η。因此，在操作S603中，第一设备110可从第一至第η外部设备130_1?130_η接收验证信息。当第一设备110在操作S603中不从第一至第η外部设备130_1?130_η接收验证信息并且不对第一至第η外部设备130_1?130_η执行验证操作时，可省略操作S604。
[0145]在其中验证第一至第η外部设备130_1?130_η的实施例中，当第一设备110没有从第一至第η外部设备130_1?130_η接收到验证信息或从其中接收到错误的验证信息时，第一设备110可停止打开与第一至第η外部设备130_1?130_η的通信会话的过程。
[0146]在操作S605中，基于关于第二短距离通信连接的接收的信息，第一设备110确定与第一至第η外部设备130 j?130_n的第二短距离通信。可如上所述地确定第二短距离通信。
[0147]在当前的过程中，第一至第η外部设备130_1?130_η的第二短距离通信不使用网关150，而是使用设备之间的直接通信。因此，在操作S606中，第一设备110可通过使用NFC而向第一至第η外部设备130_1?130_η发送请求设备之间的直接通信所需的第一设备110的信息。因此，通过使用第一设备110的信息，第一至第η外部设备130_1?130_η可预先尝试与第一设备110的设备之间的直接通信。
[0148]图6的流程图可被修改为不包括操作S606，使得第一设备110仅可尝试设备之间的直接通信。在操作S607中，基于关于第一至第η外部设备130_1?130_η的第二短距离通信连接的信息，第一设备110向第一至第η外部设备130_1?130_η发送连接请求信号。在操作S608中，当第一设备110从第一至第η外部设备130_1?130_η接收到连接接受信号时，第一设备110可打开与第一至第η外部设备130_1?130_η的通信会话。
[0149]图7是根据本公开一实施例的过程的流程图，该过程是在第一短距离通信使用BLE通信并且第二短距离通信不使用网关150而是使用设备之间的直接通信时打开第一设备110和第一至第η外部设备130_1?130_η之间的通信会话的过程。
[0150]在操作S701中，第一设备110接收从第一至第η外部设备130_1?130_η广播的关于第二短距离通信连接的信息以及与第一至第η外部设备130_1?130_η有关的应用信息，并且在操作S702中识别第一短距离通信发生。在操作S701中，第一至第η外部设备130_1?130_η可能不发送应用信息。
[0151]在操作S703中，第一设备110验证第一至第η外部设备130_1?130_η。可通过验证从第一至第η外部设备130_1?130_η接收的先前同意的验证信息而验证第一至第η外部设备130_1?130_η。因此，在操作S701中，第一设备110可从第一至第η外部设备130_1?130_η接收验证信息。当第一设备110在操作S701中不从第一至第η外部设备130_1?130_η接收验证信息并且不对第一至第η外部设备130_1?130_η执行验证操作时，可省略操作S703。
[0152]在其中验证第一至第η外部设备130_1?130_η的实施例中，当第一设备110没有从第一至第η外部设备130_1?130_η接收到验证信息或从其中接收到错误的验证信息时，第一设备110可停止打开与第一至第η外部设备130_1?130_η的通信会话的过程。
[0153]在操作S704中，第一设备110显示关于第一至第η外部设备130_1?130_η的信息。为此，在操作S701中，第一至第η外部设备130_1?130_η可向第一设备110发送关于第一至第η外部设备130_1?130_η的信息。
[0154]然而，在操作S702中，在第一设备110识别出第一短距离通信发生之后，第一设备110可被配置成:根据从第一设备110到第一至第η外部设备130_1?130_η的对于第一至第η外部设备130_1?130_η的信息请求的传输，接收验证信息和关于第一至第η外部设备130_1?130_η的信息。
[0155]在操作S705中，当基于关于第一至第η外部设备130_1?130_η的显示的信息而输入关于连接到第一至第η外部设备130_1?130_η的选择的用户信息时，在操作S706中，基于关于第二短距离通信连接的信息，第一设备110确定与第一至第η外部设备130_1?130_n的第二短距离通信。可如以上在操作S405中所述地确定第二短距离通信。
[0156]在当前的过程中，第一至第η外部设备130_1?130_η的第二短距离通信不使用网关150，而是使用设备之间的直接通信。因此，在操作S707中，第一设备110可通过使用BLE通信而向第一至第η外部设备130_1?130_η发送请求设备之间的直接通信所需的第一设备110的信息。因此，通过在未来使用第一设备110的信息，第一至第η外部设备130_1?130_η可预先尝试与第一设备110的设备之间的直接通信。
[0157]图7的流程图可被修改为不包括操作S707，以这样的方式，第一设备110只可尝试设备之间的直接通信。
[0158]在操作S708中，基于关于第一至第η外部设备130_1?130_η的第二短距离通信连接的信息，第一设备110向第一至第η外部设备130_1?130_η发送连接请求信号。在操作S709中，当第一设备110从第一至第η外部设备130_1?130_η接收到连接接受信号时，第一设备110可打开与第一至第η外部设备130_1?130_η的通信会话。
[0159]在图4至7的过程中，在无线通信中打开第一设备110和第一至第η外部设备130_1?130_η之间的通信会话。然而，第一设备110和第一至第η外部设备130_1?130_η之间的通信会话不限于无线通信。例如，可以以有线通信中打开第一设备110和第一至第η外部设备130_1?130_η之间的通信会话。
[0160]网络140可包括:用于通过诸如蓝牙通信、WiFi直接通信等之类的短距离通信打开第一设备110和第二设备120之间的通信会话的网络，以及用于打开诸如聊天、视频呼叫和语音呼叫之类的基于交互服务的通信会话的网络。网络140可进一步包括用于打开第二设备120和网关150之间、第一设备110和服务器160之间以及第二设备120和服务器160之间的通信会话的网络。
[0161]网络140可进一步包括用于打开在机器对机器(Μ2Μ)通信、设备到设备(D2D)通信和点对点(P2P)通信中的至少一个中的第一设备110和第二设备120之间的通信会话的网络。
[0162]网络140可被配置为无线通信网络或有线通信网络。
[0163]无线通信网络可包括下述无线网络中的至少一个，诸如不使用AP的无线局域网(WLAN)(例如WiFi直接或ad-hoc模式无线LAN)、Zigbee网络、蓝牙网络、红外数据协会(IrDA)网络、RFID网络、基于NFC的网络、使用AP的WLAN(例如WiFi或基础设施模式无线LAN)、基于3G/4G长期演进(LTE)的网络、因特网、无线内联网、无线电话网络以及超宽带(UffB)网络，但不限于此。
[0164]有线通信网络可包括电话线方法(例如家庭电话线网络联盟(PNA)、电力线方法(例如HomePlug、Longfforks和HNCP)、以太网方法(例如IEEE 802.3)和结构化布线方法中的至少一个，但不限于此。
[0165]网关150中继如参考图4和5所述的第一设备110和第一至第η外部设备130_1?130_η之间的通信、第二设备120和第一至第η外部设备130_1?130_η之间的通信以及服务器160和第一至第η外部设备130_1?130_η之间的通信。
[0166]当在第一设备110、第一至第η外部设备130_1?130_η以及网关150之间连接的网络是基于家庭的局域网时，网关150可被称为家庭网关。
[0167]网关150可包括无线中继功能。网关150可与WLAN同步。网关150可包括包含因特网共享功能的有线/无线因特网共享功能。网关150可包括具有无线和有线接口连接功能的AP或具有AP和因特网共享功能的无线共享者。
[0168]当在第一设备110和第一至第η外部设备130_1?130_η之间连接的网络是局域网时，网关150可被称为在局域网和网络140之间进行中继的网关。
[0169]服务器160可包括公共云、私有云、验证授权计费(AAA)服务器以及智能家庭业务提供商的验证服务器中的至少一个。服务器160可存储关于可被授权暂时控制第一至第η外部设备130_1?130_η的设备的信息以及在其中的关于第一至第η外部设备130_1?130_η的信息。关于第一至第η外部设备130_1?130_η的信息可包括关于第一至第η外部设备130_1?130_η的参考图4至7所述的信息。可在第一设备110和/或网关150中存储关于可被授权暂时控制第一至第η外部设备130_1?130_η的设备的信息以及关于第一至第η外部设备130_1?130_η的信息。
[0170]当不打开第一设备110和第二设备120之间的通信会话时，通过执行诸如第一设备110的电话簿或地址簿的联系信息管理应用或与联系信息管理应用同步的应用，第一设备110向第二设备120发送关于第一至第η外部设备130_1?130_η的信息，并且因此第二设备120可被授权暂时控制第一至第η外部设备130_1?130_η。
[0171]可替代地，通过使用第二设备120执行联系信息管理应用或与联系信息管理应用同步的应用，第二设备120从第一设备110请求暂时控制第一至第η外部设备130_1?130_η的授权，第二设备120可被授权暂时控制第一至第η外部设备130_1?130_η。
[0172]图8是根据本公开一实施例的外部设备控制方法的流程图。
[0173]参照图8，在第一设备110和第二设备120之间执行交互服务，由第一设备110的用户请求暂时控制至少一个外部设备的授权。
[0174]在操作S801中，当在第一设备110和第二设备120之间执行交互服务时，当在操作S802中由第一设备110的用户输入对暂时控制第一至第η外部设备130_1?130_η的授权的请求时，第一设备110在操作S803中向第二设备120发送关于第一至第η外部设备130_1?130_η的信息。关于第一至第η外部设备130_1?130_η的信息可包括以上参考图1所述的关于第一至第η外部设备130_1?130_η的信息。
[0175]通过控制第一设备110中包括的暂时控制授权请求键，通过基于触摸或运动选择暂时控制授权请求菜单项，或者通过使用第一设备110的用户的语音信号(例如请求暂时控制授权)，可输入对由第一设备110暂时控制第一至第η外部设备130_1?130_η的授权的请求。
[0176]因此，第二设备120在操作S804中显示关于第一至第η外部设备130_1?130_η的信息。图9图示根据本公开一实施例的在执行视频呼叫服务时在第二设备120上显示的屏幕 910,920 和 930。
[0177]参照图9，第二设备120可在操作S804中在屏幕910的区域911上显示关于第一至第η外部设备130_1?130_η的暂时控制授权通知消息，并且可显示包括用于接受和拒绝关于第一至第η外部设备130_1?130_η的暂时控制授权的项的菜单912。
[0178]当从菜单912中选择接受关于第一至第η外部设备130_1?130_η的暂时控制授权的项时，将第二设备120上显示的屏幕910改变为屏幕920，屏幕920图示关于第一至第η外部设备130_1?130_η的信息被提供为基于AR的信息。在屏幕920上进一步显示第一至第η外部设备130_1?130_η的标识信息和状态信息。然而，关于第一至第η外部设备130_1?130_η的信息不限于在屏幕920上显示的信息，也就是说，只有第一至第η外部设备130_1?130_η的标识信息可被显示为关于第一至第η外部设备130_1?130_η的信息。
[0179]在这点上，第一设备110和第二设备120仍处于视频呼叫状态。因此，可通过调用第一设备110的相机应用并捕获期望其控制的设备同时第一设备110的用户处于视频呼口H，向第二设备120发送图9的屏幕920，但不限于此。屏幕910和屏幕920可包括在单个屏幕中。例如，在屏幕920上显示的屏幕可被显示为屏幕910的背景屏幕。在这种情况下，在屏幕920上显示的关于第一至第η外部设备130_1?130_η的信息可被显示为可从最上层选择的区域。
[0180]图10图示根据本公开另一实施例的在执行视频呼叫服务时在第二设备120上显示的屏幕。
[0181]参照图10，关于第一至第η外部设备130_1?130_η的信息被提供为基于物理位置的平面布局。屏幕1010与图9的屏幕910的功能类似。第一至第η外部设备130_1?130_η的2D平面布局可显示在第二设备120上，如屏幕1020。在这点上，2D平面布局可显示在从视频呼叫服务屏幕分割而得到的屏幕1020的区域上。可以以画中画(PIP)的形式显示视频呼叫服务屏幕和2D平面布局，或者只可显示2D平面布局。在这点上，在第一设备110和第二设备120之前保持视频呼叫服务，并且因此连续输出基于视频呼叫的语音信号。
[0182]当在操作S805中接收到下述选择信号时，其中该选择信号基于关于第一至第η外部设备130_1?130_η的基于AR的信息，如图9的菜单920，第二设备120在操作S806中向第一设备110发送关于选择的外部设备的信息。例如可通过在关于第一至第η外部设备130_1?130_η的在第二设备120上显示的屏幕920中包括的信息上长触摸而接收选择信号，该选择信号基于关于第一至第η外部设备130_1?130_η的基于AR的信息。然而，接收关于第一至第η外部设备130_1?130_η的选择信号的方法不限于此。例如，根据用户的语音信号，如“空调”，可接收关于第一至第η外部设备130_1?130_η的选择信号。
[0183]第一设备110在操作S807中向第二设备120发送关于选择的外部设备的控制UI信息。因此，第二设备120在操作S808中显示接收的控制Π信息。也就是说，当在图2的屏幕920上选择空调时，在操作S808中，第二设备120可显示关于空调的控制UI信息，如屏幕930或1030。然而，在操作S808中关于选择的外部设备的显示的控制UI信息不限于图9的屏幕930。
[0184]当在操作S809中基于显示的控制UI信息而将控制命令输入到第二设备120时，在操作S810和S811中，第二设备120通过第一设备110而将控制命令发送到在第一至第η外部设备130_1?130_η中的对应于空调的外部设备。在这点上，第一设备110可在第一至第η外部设备130_1?130_η中的对应于空调的外部设备以及第二设备120之间进行中继。
[0185]可修改图8的流程图，使得第二设备120将控制命令直接输入到第一至第η外部设备130_1?130_η中的对应于空调设备的外部设备。可修改图8的流程图，使得第二设备120经由网关150或服务器160而将控制命令输入到第一至第η外部设备130_1?130_η中的对应于空调设备的外部设备。当控制命令被直接输入到外部设备时，通过使用关于到外部设备的通信会话连接的信息，第二设备120可打开与外部设备的通信会话。当经由网关150或服务器160发送控制命令时，第二设备120可将用于打开与外部设备的通信会话的信息提供给网关150或服务器160。
[0186]可修改图8的流程图，使得当请求暂时控制第一至第η外部设备130_1?130_η的授权时，第一设备110向第二设备120发送暂时控制授权请求信号，并且第二设备120在图9的屏幕910上显示消息911和912，并基于显示的消息911和912而向第一设备110发送暂时控制授权接受信号，使得第一设备110可向第二设备120发送关于第一至第η外部设备130_1?130_η的信息。
[0187]可修改图8的流程图使得关于选择的外部设备的信息被发送到网关150或服务器160，使得第二设备120可从网关150或服务器160接收关于选择的外部设备的控制UI信息。在这种情况下，网关150或服务器160可具有管理关于第一至第η外部设备130_1?130_η中的每一个的控制Π信息的功能。网关150或服务器160可包括关于第二设备120的暂时控制授权等级信息。根据关于第二设备120的暂时控制授权等级信息，网关150或服务器160可提供关于第一至第η外部设备130_1?130_η的控制UI信息。
[0188]图11是根据本公开另一个实施例的外部设备控制方法的流程图。
[0189]参照图11，当在第一设备110和第二设备120之间执行交互服务时，第一设备110确定将被授权暂时控制至少一个外部设备的第二设备120的控制授权等级。
[0190]图11的操作S110US1102和S1104至SlllO类似于图8的操作S801至S809，并且因此这里省略其描述以避免冗长。
[0191]在操作S1103中，第一设备110基于第二设备120的用户信息而确定暂时控制授权等级。暂时控制授权等级的确定与以上参考图1至3所述的控制授权等级的确定相同。因此，在操作S1104中，根据确定的暂时控制授权等级，第一设备110向第二设备120发送关于第一至第η外部设备130_1?130_η的信息。
[0192]可修改图11的流程图，使得可如以上参考图8所述地经由第一设备110或者经由网关150或服务器160而从第二设备120向选择的外部设备发送关于选择的外部设备的控制命令。
[0193]图12是根据本公开另一个实施例的外部设备控制方法的流程图。
[0194]参照图12，当在第一设备110和第二设备120之间执行交互服务时，由第一设备110的用户请求暂时控制至少一个外部设备的授权，并且关于第二设备120的控制授权等级信息显示在第二设备120上。
[0195]图12的操作S1201至S1203以及S1208至S1215类似于图11的操作SllOl至S1111，并且因此这里省略其描述以避免冗长。
[0196]在操作S1204中，第一设备110向第二设备120发送暂时控制授权接受请求信号。在这点上，第一设备110还可向第二设备120发送第二设备120的暂时控制授权等级信息。当第二设备120的用户在操作S1205中接受暂时控制授权接受请求时，第二设备120在操作S1206中显示第二设备120的暂时控制授权等级信息，并在操作1207中向第一设备110发送接受通知信号。因此，在操作S1208中，根据第二设备120的暂时控制授权等级，第一设备110向第二设备120发送关于第一至第η外部设备130_1?130_η的信息。
[0197]可修改图12的流程图，使得当第一设 备110向第二设备120发送暂时控制授权接受请求信号时，第一设备110显示:第二设备120的暂时控制授权等级信息，根据第二设备120的暂时控制授权等级的关于第一至第η外部设备130j?130_n的信息，以及在其上的关于与第一至第η外部设备130_1?130_η有关的信息的可控制功能的信息。
[0198]可修改图12的流程图，使得可经由第一设备110或者经由网关150或服务器160而从第二设备120向选择的外部设备发送关于选择的外部设备的控制命令。
[0199]图13是根据本公开另一实施例的外部设备控制方法的流程图。
[0200]参照图13，当在第一设备110和第二设备120之间执行交互服务时，第一设备110执行与由下述第二设备120选择的外部设备相关的应用，其中，所述第二设备120被授权暂时控制第一至第η外部设备130_1?130_η。
[0201]图13的操作S1301至S1306以及S1308至S1312类似于图8中的操作S801至S811，并且因此这里省略其描述以避免冗长。
[0202]在操作S1306中，当从第二设备120接收到关于选择的外部设备的信息时，第一设备110在操作1307中执行与选择的外部设备相关的应用。在操作S1308中，第一设备110通过使用执行的应用而向第二设备120发送关于选择的外部设备的控制UI信息。
[0203]可修改图13的流程图，使得可直接或者经由网关150或服务器160而从第二设备120向选择的外部设备发送关于选择的外部设备的控制命令。
[0204]图14是根据本公开另一个实施例的外部设备控制方法的流程图。
[0205]参照图14，当在第一设备110和第二设备120之间执行交互服务时，由第二设备120的用户请求暂时控制第一至第η外部设备130_1?130_η中的至少一个的授权。
[0206]图14的操作S1401和S1404至S1412类似于图8的操作S801和S803至S811，并且因此这里省略其描述以避免冗长。
[0207]在操作S1402中，当由第二设备120的用户请求暂时控制其控制被针对第一设备110授权的第一至第η外部设备130_1?130_η的授权时，第二设备120在操作S1403中向第一设备110发送对于第一至第η外部设备130_1?130_η的暂时控制授权请求信号。因此，第一设备110在操作S1404中向第二设备120发送关于第一至第η外部设备130_1?130_η的信息。
[0208]可修改图14的流程图，使得可直接或者经由网关150或服务器160而从第二设备120向选择的外部设备发送对于选择的外部设备的控制命令。
[0209]图15是根据本公开另一个实施例的外部设备控制方法的流程图。
[0210]参照图15，当在第一设备110和第二设备120之间执行交互服务时，由第一设备110的用户请求暂时控制第一至第η外部设备130_1?130_η中的至少一个的授权，并且第二设备120执行选择的外部设备的应用。
[0211]图15的操作S1501至S1505以及S1507至S1509类似于图8的操作S801至S805、S808以及S809，并且因此这里省略其描述以避免冗长。
[0212]在操作S1506中，第二设备120执行与由用户选择的外部设备相关的应用。在操作S1507中，第二设备120显示关于选择的外部设备的控制Π信息。可从由第二设备120执行的选择的外部设备的应用中提供关于选择的外部设备的显示的控制Π信息。
[0213]第二设备120在操作S1509中向选择的外部设备直接发送在操作S1508中输入的控制命令。
[0214]可修改图15的流程图，使得可经由第一设备110或者经由网关150或服务器160而从第二设备120向选择的外部设备发送对于选择的外部设备的控制命令。
[0215]图16是根据本公开另一个实施例的外部设备控制方法的流程图。
[0216]参照图16，当在第一设备110和第二设备120之间执行交互服务时，由第一设备110的用户请求暂时控制第一至第η外部设备130_1?130_η的授权，并且第一设备110和第二设备120执行选择的外部设备的应用。
[0217]图16的操作S1601至S1606以及S1611至S1613类似于图8的操作S801至S806以及S809至S811，并且因此这里省略其描述以避免冗长。
[0218]在操作S1605中，当第二设备120接收到关于由用户选择的外部设备的信息时，第二设备120在操作S1606中向第一设备110发送关于选择的外部设备的信息，并在操作S1607中执行与选择的外部设备相关的应用。第二设备120基于执行的应用显示关于选择的外部设备的控制Π信息。
[0219]在操作S1609中，第一设备HO执行与由第二设备120选择的外部设备相关的应用。在操作S1610中，由于执行与选择的外部设备相关的应用，所以第一设备110显示关于选择的外部设备的控制Π信息。可同时执行由第一设备110执行的操作S1609和S1610以及由第二设备120执行的操作S1607和S1608。
[0220]第一设备110的用户和第二设备120的用户可同时监测在操作S1611中输入的控制命令，同时查看相同的外部设备的控制UI信息。例如，如果在操作S1611中输入控制命令，则第二设备120在操作S1612中向第一设备110发送输入的控制命令，同时根据输入的控制命令改变显示的控制UI信息。因此，第一设备110根据接收的控制命令改变显示的控制UI信息。根据输入的控制命令而在第二设备120上显示的控制UI信息可与在第一设备110上显示的控制UI信息同步。
[0221]可修改图16的流程图，使得第一设备110可直接或者经由网关150或服务器160向选择的外部设备发送输入的控制命令。在这点上，第二设备120可向第一设备110发送控制命令，以便同步在第一设备110上显示的控制Π信息和在第二设备120上显示的控制
UI信息。
[0222]图17是根据本公开另一实施例的外部设备控制方法的流程图。
[0223]参照图17，通过执行能够调用联系人列表的应用，第一设备110设置下述对象，该对象被授权暂时控制第一至第η外部设备130 j?130_n中的至少一个。
[0224]在操作S1701中，第一设备110执行能够调用联系人列表的应用。在操作S1701中执行的应用例如可包括诸如聊天服务、视频呼叫服务和语音呼叫服务之类的应用，但不限于此。当在操作S1701中执行的应用是提供聊天服务、视频呼叫服务和语音呼叫服务的应用时，在尝试连接到会话对方之前可在操作S1701中执行该应用，但执行应用的操作S1701不限于此。
[0225]在操作S1701中执行的应用是与第一至第η外部设备130_1?130_η相关的可包括调用联系人列表的功能的应用之一。
[0226]联系人列表可基于诸如电话簿或地址簿之类的信息，但不限于此。
[0227]在操作S1702中，当输入用于调用联系人列表的用户命令时，第一设备110在操作S1703中显不该联系人列表。可如图18的屏蒂1810显不联系人列表。图18图不根据图17的流程图的在第一设备110上显示的屏幕1810、1820和1830，但在第一设备110上显示的屏幕1810、1820和1830不限于此。
[0228]当在操作S1704中基于显示的联系人列表选择一个联系人项时，在操作S1705中根据用户输入信息，第一设备110为关于选择的联系人项的第一至第η外部设备130_1?130_η中的至少一个设置和注册暂时控制授权。
[0229]也就是说，当基于联系人列表选择一个联系人项时，第一设备110可显示如图18的屏幕1820的屏幕，该屏幕能够为关于选择的联系人项的第一至第η外部设备130_1?130_η中的至少一个设置和注册暂时控制授权。
[0230]基于图18的屏幕1820，第一设备110的用户可设置:目标设备(例如第一至第η外部设备130_1?130_η中的至少一个)，其中对于所述目标设备，设置关于所选择联系人项的暂时控制授权；目标功能(例如，在与所选择的目标设备相关的功能中的暂时控制授权功能)；和暂时控制授权允许时间(或暂时控制授权允许时段)。然而，可关于所选择联系人项设置的暂时控制授权项不限于此。例如，可关于所选择联系人项设置的暂时控制授权项可被设置为仅针对目标设备。
[0231]当关于所选择联系人项完全设置了暂时控制授权时，第一设备110存储在所选择联系人项和所设置的暂时控制授权项之间的映射信息。存储在所选择联系人项和所设置的暂时控制授权项之间的映射信息的操作可以是注册关于所选择联系人项的暂时控制授权的操作。为了存储或注册映射信息，在图18的屏幕1820中包括的暂时控制授权控制窗口可包括用于选择或控制用于映射信息的存储操作或注册操作的子窗口(例如包括诸如存储、注册、复选等之类的命令的子窗口)或子屏幕。
[0232]根据在操作S1705中注册所选择联系人项的操作，第一设备110可显示图18的屏幕1830。可在图18的屏幕1830上显示与下述至少一个外部设备相关的应用信息，其中，针对所述至少一个外部设备，关于多个联系人项设置了暂时控制授权。所述至少一个外部设备包括第一至第η外部设备130_1?130_η。
[0233]图18的屏幕1830指示:第一设备110在操作S1701中执行与第一至第η外部设备130_1?130_11之一相关的应用，并且在操作S1705中针对其关于所选择联系人项设置了暂时控制授权的目标设备是与在操作S1701中执行的应用相关的外部设备。关于每个联系人项的针对第一至第η外部设备130_1?130_η的暂时控制授权范围可能相同或不同。例如，对于每个联系人项，当为相同的外部设备设置不同的暂时控制授权等级时，所述暂时控制授权范围可能不同。
[0234]在图18的屏幕1830上显示的应用信息App是指示设置暂时控制授权的信息。在屏幕1830上显示的应用信息App可被改变为与下述目标设备相关的信息，其中，对于所选择的联系人项中的每一个，针对该目标设备设置暂时控制授权。在这种情况下，对于第一设备110的用户来说，与下述目标设备相关的信息可能是已知的，其中，针对所述目标设备，关于所选择联系人项中的每一个设置了暂时控制授权。
[0235]当第一设备110显示包括应用信息App的联系人列表时，其中该应用信息App指示设置的暂时控制授权，如图18的屏幕1830，在操作S1706中，当接收到对第一至第η外部设备130_1?130_η中的至少一个的、关于对应于第二设备120的联系人项的暂时控制授权请求时，第一设备110在操作S1707中基于关于注册的外部设备的暂时控制授权范围而向第二设备120发送控制Π信息。
[0236]第二设备120在操作S1708中显示接收的控制UI信息。当在操作S1709中基于所显示的控制UI信息而输入控制命令时，第二设备120在操作S1710中向第一设备110发送控制命令。第一设备110在操作S1711中向相应的外部设备发送接收到的控制命令并控制外部设备。
[0237]图17的流程图可包括在操作S1706中当接收到暂时控制授权请求时从第二设备120接收暂时控制授权接受的操作。可修改图17的流程图，使得第一设备110可直接或者经由网关150或服务器160而向外部设备发送由第二设备120输入的控制命令。可修改图17的流程图，使得省略操作S1701，并且调用联系人列表的操作S1702开始。
[0238]图19是根据本公开另一实施例的外部设备控制方法的流程图。
[0239]参照图19，当在第一设备110和第二设备120之间执行交互服务时，第一设备110确定将被授权暂时控制第一至第η外部设备130_1?130_η的第二设备120是否是注册的设备。图19的操作S1905至S1909类似于图17的操作S1707至S1711，并且因此这里省略其描述以避免冗长。
[0240]当在操作S1901中在第一设备110和第二设备120之间执行交互服务时，当在操作S1902中基于第一设备110的UI信息而选择关于第一至第η外部设备130_1?130_η中的至少一个的暂时控制授权请求时，第一设备110在操作S1903中确定第二设备120是否是注册的设备。
[0241]注册的设备是可被授权暂时控制的预先指定的设备。通过检查关于设备的先前存储在第一设备110中并且可向其授权暂时控制的信息是否包括关于第二设备120的信息，可确定第二设备120是否是注册的设备。通过使用第二设备120的标识信息或用户信息，可检查关于设备的先前存储在第一设备110中并且可向其授权暂时控制的信息是否包括关于第二设备120的信息。
[0242]当第二设备120是注册的设备时，第一设备110在操作51904中检测第二设备120的先前定义的暂时控制授权等级。对于第一至第η外部设备130_1?130_η中的每一个，先前定义的暂时控制授权等级可能不同。在操作S1905中，根据第二设备120的暂时控制授权等级，第一设备110向第二设备120发送关于第一至第η外部设备130_1?130_η的控制Π信息。在操作S1905中，第一设备110可向第二设备120发送从第一至第η外部设备130_1?130_η中选择的至少一个外部设备的控制UI信息。
[0243]图20是根据本公开另一实施例的外部设备控制方法的流程图。
[0244]参照图20，当紧急情况发生时，由第二设备120请求暂时控制第一至第η外部设备130_1?130_11的授权。如上所述，紧急情况可包括火灾、入室盗窃、紧急医疗、地震等等，但不限于此。
[0245]在操作S2001中，当由于紧急情况的发生而输入对第一至第η外部设备130_1?130_η的暂时控制授权请求命令时，第二设备120在操作S2002中向具有控制授权的主体发送暂时控制授权请求信号。
[0246]图21图示根据本公开一实施例的在由于紧急情况的发生而请求暂时控制授权时在第二设备120上显示的屏幕2110、2120和2130。也就是说，当第二设备120的用户输入指示紧急情况已经发生的命令时，第二设备120显示包括紧急情况项的菜单屏幕。图21的屏幕2110在窗口插件中显示包括紧急情况项的菜单屏幕。
[0247]图21的屏幕2110的紧急情况窗口插件2111包括指示紧急情况的图标。指示紧急情况的图标例如可包括指示紧急医疗已经发生的图标2112、指示存在火灾的图标2113、指示入室盗窃已经发生的图标2114、指示地震已经发生的图标(未示出)等，但不限于此。紧急情况窗口插件2111可以以列表显示指示紧急情况的图标，但不限于此。
[0248]当基于图21的屏幕2110的紧急情况窗口插件2111选择指示一种紧急情况已经发生的图标时，第二设备120向关于所选择的图标的先前注册的控制授权管理主体发送暂时控制授权请求信号。因此，可在第二设备120的屏幕上输出消息“正在请求验证”，但不限于此。例如，可在第二设备120的屏幕上输出消息“正在请求暂时控制验证”。控制授权管理主体可包括被授权控制第一至第η外部设备130_1?130_η的设备、服务器或网关。
[0249]先前注册的控制授权管理主体可以是第一设备110、网关150和服务器160中的一个，但不限于此。可由用户或由第二设备120先前设置关于每个紧急情况的控制授权管理主体。用户可改变先前被设置为默认主体的控制授权管理主体。例如，当先前被设置为默认主体的控制授权管理主体可能是第一设备110时，用户可将先前被设置为默认主体的控制授权管理主体改变成网关150。
[0250]当先前设置了多个控制授权管理主体时，用户可从所述多个控制授权管理主体中选择控制授权管理主体。例如，当第一设备110、网关150和服务器160被注册为在紧急医疗发生时的控制授权管理主体时，用户可选择第一设备110、网关150和服务器160中的一个。第二设备120可显示菜单屏幕，以这种方式，用户可从多个控制授权管理主体中选择一个。
[0251]当从图21的屏幕2110选择指示紧急医疗发生的图标2112时，暂时控制授权请求信号被发送到针对紧急医疗发生情况注册的控制授权管理主体(例如第一设备110、网关150和服务器160中的一个)。为了便于描述，第一设备110将被描述为控制授权管理主体。然而，控制授权管理主体不限于第一设备110。
[0252]当接收到暂时控制授权请求信号时，第一设备110在操作S2003中确定第二设备120是否是注册的设备。如上所述，所述注册的设备是对其授权暂时控制的设备。先前可在第一设备110中注册可被授权暂时控制第一至第η外部设备130_1?130_η的设备。先前可在第一设备110中注册多个可被授权暂时控制第一至第η外部设备130_1?130_η的设备。
[0253]作为在操作S2003中的确定的结果，如果第二设备120是注册的设备，第一设备110在操作S2004中检测到第二设备120的先前设置的控制授权等级。在这点上，所检测到的控制授权等级可以是暂时控制授权等级。在操作S2005，根据先前设置的控制授权等级，第一设备110向第二设备120发送关于第一至第η外部设备130_1?130_η的信息。
[0254]因此，第二设备120在操作S2006中显示所接收的关于第一至第η外部设备130_1?130_η的信息。第二设备120可以列表显示所接收的关于第一至第η外部设备130_1?130_η的信息。然而，第二设备120可向第一至第η外部设备130_1?130_η中的每一个分配一页，并在如图21的屏幕2120的符号图像中显示所接收的关于第一至第η外部设备130_1?130_η的信息。可从图21的屏幕2120选择智能TV。
[0255]当第二设备120的用户不想选择智能TV而是想选择另一个外部设备时，可显示关于可控制的外部设备的信息，同时根据用户手势移动页面，以将页面向左或向右或向上或向下移动。如果有一个可选的外部设备，则第二设备120可忽略移动页面的用户手势，或者可显示指示不存在关于可选的外部设备的信息的指引消息。
[0256]当在操作S2007中根据用户手势选择第一至第η外部设备130_1?130_11之一时，第二设备120在操作S2008中向第一设备110发送关于选择的外部设备的信息。因此，第一设备110在操作S2009中向第二设备120发送关于选择的外部设备的控制UI信息。由于在图21中选择的外部设备是机器人清洁器，所以可在操作S2009中发送关于机器人清洁器的控制Π信息。
[0257]第二设备120在操作S2010中显示接收的控制UI信息。当在操作S2011中基于显示的控制UI信息输入控制命令时，第二设备120在操作S2012和S2013中通过第一设备110向第一至第η外部设备130_1?130_η当中的选择的外部设备发送控制命令。图21的屏幕2130是自在其中选择的外部设备是机器人清洁器并且机器人清洁器的相机、麦克风和扬声器用于根据发送到机器人清洁器的控制命令而搜索并向患者说话的情况下发送控制命令之后在第二设备120上显示的示例性屏幕。
[0258]作为操作S2003中的确定的结果，如果第二设备120不是注册的设备，则第一设备110可向第二设备120发送通知第二设备120不是注册的设备的消息，并且可能不授权第二设备120暂时控制第一至第η外部设备130_1?130_η。可替代地，如果第二设备120不是注册的设备，则第一设备110可根据验证过程向第二设备120发送关于注册处理的信息。
[0259]可修改图20的流程图，使得第一设备110可直接或者经由网关150或服务器160而从第二设备120向第一至第η外部设备130 j?130_n发送控制命令。
[0260]图22是根据本公开另一实施例的外部设备控制方法的流程图。
[0261]参照图22，当第一至第η外部设备130_1?130_η的控制授权管理主体识别出紧急情况已经发生时，通过确定将被授权暂时控制第一至第η外部设备130_1?130_η的设备而控制第一至第η外部设备130_1?130_η。
[0262]图22的第一至第η外部设备130_1?130_η的控制授权管理主体包括第一设备110、网关150和服务器160中的至少一个。然而，为了便于描述，下面第一设备110将被描述为图22的第一至第η外部设备130_1?130_η的控制授权管理主体。
[0263]在操作S2201中，第一设备110识别出紧急情况已经发生。根据第一设备110的指示紧急情况已经发生的用户输入，第一设备110可识别出紧急情况已经发生。然而，根据基于第一设备110中包括的传感器和/或计算机视觉装置(例如相机)的环境感知，可识另拙紧急情况已经发生，但识别出紧急情况已经发生不限于此。
[0264]在操作S2202中，第一设备110可选择在识别出已发生紧急情况的区域中布置的第二设备120。在这种情况下，识 别出已发生紧急情况的区域是离第一设备110的当前位置的物理上的较长距离，而第二设备120的当前位置是离识别出已发生紧急情况的区域的较短距离。例如，当第一设备110是火灾管理服务器并且识别出在离其长距离的区域A中有火灾时，第二设备120被布置在区域A中。基于全球定位系统(GPS)信息或AP联系设备的信息，可检测到第二设备120被布置在A区域中，但检测到第二设备120被布置在A区域中的第二设备120中不限于此。
[0265]当第一设备110识别出已经发生紧急情况时，第一设备110可选择先前在操作S2202中定义的第二设备120。例如，当第一设备110的用户是患者，第二设备120的用户是患者的医生，并且根据第一设备110的用户输入识别出已经发生紧急医疗时，第一设备110可选择先前定义的第二设备120。
[0266]当选择第二设备120时，第一设备110在操作S2203中确定选择的第二设备120被授权暂时控制第一至第η外部设备130_1?130_η。在这点上，第一设备110可确定第二设备120的暂时控制授权等级。当确定选择的第二设备120被授权暂时控制第一至第η外部设备130_1?130_η时，第一设备110在操作S2204中向第二设备120发送紧急情况通知和关于是暂时控制目标的第一至第η外部设备130_1?130_η的信息。
[0267]因此，第二设备120在操作S2205中显示接收的紧急情况通知和关于作为暂时控制目标的第一至第η外部设备130_1?130_η的信息。当在操作S2206中基于显示的关于第一至第η外部设备130_1?130_η的信息而在第二设备120中输入对于第一至第η外部设备130_1?130_η的选择信号时，第二设备120在操作S2207中向第一设备110发送关于选择的外部设备的信息。
[0268]第一设备110在操作S2208中向第二设备120发送关于所选择的外部设备的控制UI信息。在这点上，可根据第二设备120的暂时控制授权等级来确定控制UI信息。
[0269]第二设备120在操作S2209中显示接收的控制UI信息。当在操作S2210中基于显示的控制UI信息而在第二设备120中输入控制命令时，在操作S2211和S2212中，第二设备120向第一设备110发送控制命令并且第一设备110向选择的外部设备发送接收的控制命令。
[0270]可修改图22的流程图，使得第二设备120的用户直接向选择的外部设备发送输入的控制命令。
[0271]图23图示根据本公开一实施例的在执行图22的外部设备控制方法时在第二设备120上显示的屏幕2310,2320和2330。
[0272]参照屏幕2310，当第一设备110识别出已经发生紧急情况时，第二设备120在后台中执行紧急状况通知接收。当基于在第二设备120的作业托盘2311上显示的信息而识别出紧急状况通知并且第二设备120的用户输入用于选择紧急状况通知的信息时，可在第二设备120上显示紧急情况窗口插件2312。
[0273]当紧急情况窗口插件2312包括多个图标时，如图21的紧急情况窗口插件2111，对应于当前紧急状况通知的图标的显示状态可能不同于对应于和当前紧急状况不相关的另一个紧急状况通知的图标的显示状态。因此，第二设备120的用户可直观地知道当前紧急状况通知中包括的当前紧急情况。也就是说，根据紧急状况窗口插件2312中包括的图标的显示状态，第二设备120的用户可直观地知道当前紧急状况通知是否指示紧急患者、火灾或入室盗窃已经发生。
[0274]在第二设备120上显示的紧急情况窗口插件2312可包括指示当前情况的消息。当接收到关于可控制的外部设备的信息时，第二设备120显示关于所述可控制的外部设备的信息，如图23的屏幕2320。然而，可在列表中显示所述关于所述可控制的外部设备的信息。
[0275]当基于所显示的关于所述可控制的外部设备的信息而由第二设备120选择可被控制的外部设备，并且输入所选择的外部设备的控制命令时，可如图21的屏幕2130显示图23的屏幕2330。然而，根据控制命令而在第二设备120上显示的屏幕不限于图23的屏幕2330ο
[0276]图24是根据本公开另一实施例的外部设备控制方法的流程图。
[0277]参照图24，当第二设备120进入特定域时，向第一至第η外部设备130_1?130_η的控制授权管理主体请求暂时控制在特定域中包括的第一至第η外部设备130_1?130_η的授权。第一至第η外部设备130_1?130_η的控制授权管理主体可以与参考图20所述的相同。为了便于描述，将描述第一至第η外部设备130_1?130_η的控制授权管理主体是第一设备110。然而，第一至第η外部设备130_1?130_η的控制授权管理主体不限于第一设备110。
[0278]在操作S2401中，当第二设备120被识别为已经进入特定域时，第二设备120在操作S2402中向第一设备110发送关于在特定域中包括的第一至第η外部设备130_1?130_η的暂时控制授权请求信号。该特定域可以是物理域或以上参考图1所述的逻辑域。通过使用第二设备120的GPS信息、连接到第二设备120的接入点的SSID或MAC地址、由第二设备120接收的接入点和信号强度的列表等等，第二设备120可被识别为已经进入特定域。
[0279]在操作S2403中，根据第二设备120的控制授权请求，第一设备110确定第二设备120是否是注册的设备。注册的设备与以上参考图22所述的相同。
[0280]如果第二设备120是注册的设备，则第一设备110在操作S2404中确定第二设备的先前定义的暂时控制授权等级，并且在操作S2405中基于确定的暂时控制授权等级而向第二设备120发送关于第一至第η外部设备130_1?130_η的信息及其控制UI信息。第二设备120显示接收的关于第一至第η外部设备130_1?130_η的信息。当基于所显示的关于第一至第η外部设备130_1?130_η的信息选择外部设备时，第二设备120可在操作S2406中显示所选择的外部设备的控制UI信息。
[0281]操作S2405和S2406可被修改成如图22的流程图中图示的发送和接收关于第一至第η外部设备130_1?130_η的信息并发送和接收选择的外部设备的控制UI信息的操作。
[0282]当在操作S2407中输入控制命令时，第二设备120在操作S2408中直接向选择的外部设备发送控制命令。
[0283]可修改图24的流程图，使得当第一设备110识别出第二设备120进入特定域时，第二设备120被授权暂时控制第一至第η外部设备130_1?130_η。
[0284]图25图不根据本公开一实施例的在第二设备120被授权暂时控制第一至第η外部设备130_1?130_η时在第二设备120上显示的屏幕2510、2520和2530，其中第二设备120被识别为已经进入办公区域，第一至第η外部设备130_1?130_η被布置在办公区域中，如图24的流程图。
[0285]当第二设备120被识别为进入办公区域时，屏幕2510在第二设备120上显示外部设备控制窗口插件2511。第二设备120可显示外部设备控制列表，而不是外部设备控制窗口插件2511。在屏幕2510上显示的消息“正在请求验证”指示:第二设备120正被验证是否第二设备120可被授权暂时控制在办公区域中布置的第一至第η外部设备130_1?130_η0
[0286]当完全验证第二设备120时，关于可控制的外部设备的信息被显示在第二设备120上，如图25中的屏幕2520。屏幕2520与图23的屏幕2320相同。当第二设备120的用户选择空调时，可如图25的2530显示空调的控制Π信息。选择的外部设备的控制Π信息不限于在屏幕2530上显示的信息。
[0287]图26是根据本公开一实施例的图1的第一设备110的框图。
[0288]参照图26，第一设备110包括信息输入单元2601、感测单元2602、触摸屏2603、相机2604、音频输入单元2605、音频输出单元2606、存储单元2607、无线通信单元2608、有线通信单元2609、处理器2610和电源2611。然而，第一设备110的元件不限于图26中图示的那些。也就是说，第一设备110可包括比图26中图示的那些更多或更少的构成元件。
[0289]信息输入单元2601可输入控制第一设备110的操作的数据、根据一实施例的基于关于至少一个外部设备的信息的外部设备选择命令、关于所选择的外部设备的控制命令以及暂时控制授权请求命令，但输入信息不限于此。信息输入单元2601可包括小键盘、圆顶开关(dome switch)、微动轮(jog wheel)、微动开关(jog switch)、硬件按钮、热键、触摸面板中的至少一个。
[0290]感测单元2602感测第一设备110的当前状态，诸如第一设备110的位置，是否有任何用户接触，第一设备110的方位，第一设备110的加速或减速等，并生成用于控制第一设备110的操作的感测信号。感测单元2602可包括接近传感器和上述运动传感器。因此，感测单元2602可生成识别基于传感器的用户手势的信号。
[0291]接近传感器是下述传感器，其用于通过使用电磁场或红外线的力检测对象是否靠近先前设置的检测表面或者对象是否存在于附近，而没有任何实际的物理接触。接近传感器的示例包括透明光电传感器、直接反射光电传感器、镜面反射光电传感器、高频振荡光电传感器、电容式光电传感器、磁光电传感器、红外光电传感器等。
[0292]触摸屏2603可被配置成电阻性(减压)或电容式触摸屏，但不限于此。触摸屏2603可接收用户请求、用户选择或者依赖于上述基于触摸的用户手势的用户命令。基于触摸的用户手势可被定义为触摸频率、触摸图案、触摸区域和触摸强度的各种组合。然而，定义的基于触摸的用户手势不限于此。
[0293]触摸屏2603可包括用于在其上感测触摸或接近触摸的各种传感器。触摸屏2603中包括的传感器可通过感测基于触摸的用户手势或图案而生成信号。触摸屏2603的接近传感器可能与感测单元2602中包括的接近传感器相同。
[0294]用于感测触摸屏2603的触摸的传感器的示例可包括触觉传感器。触觉传感器可感测各种类型的信息，诸如触摸表面的粗糙度、触摸对象的硬度、触摸点处的温度等。
[0295]触摸屏2603的触摸意思是指示器触摸触摸面板。当指示器实际上不触摸触摸面板但靠近触摸面板到预定距离内时，触摸屏2603的接近触摸发生。指示器是用于在触摸屏2603上触摸或接近触摸特定点的工具。指示器的示例可包括触笔或用户的手指等，但不限于此。
[0296]触摸屏2603显示由第一设备110处理的信息。例如，触摸屏2603可显示通过触摸屏2603中包括的传感器感测到的用户手势或触摸图案，通过用户输入单元2601输入的控制数据或用户输入信息，或者响应于通过感测单元2602感测到的信号的屏幕。
[0297]为了执行根据一实施例的外部设备控制方法，触摸屏2603接收对于至少一个外部设备的暂时控制授权请求信号，并显示关于至少一个外部设备的基于AR的信息以及所选择的外部设备的控制UI信息。
[0298]触摸屏2603可被称为输入和输出装置。在触摸屏2603上显示的屏幕包括基于Π的图形UI (⑶I)。
[0299]触摸屏2603可包括液晶显示器(IXD)、薄膜晶体管液晶显示器(TFT-1XD)、有机发光二极管(OLED)、柔性显示器、3D显示器或有源矩阵OLED (AM 0LED)，但不限于此。触摸屏2603可被称为显示器。根据第一设备110的实现形式，可能有两个或更多个触摸屏2603。
[0300]相机2604处理图像帧，诸如由处于视频呼叫模式或拍摄模式中的图像传感器(或光电传感器)获得的静止图像或运动图像。可在触摸屏2603上显示处理的图像帧。因此，基于由相机2604获得的静止图像或运动图像中包括的图像帧，可提供根据一实施例的关于至少一个外部设备的基于AR的信息。
[0301]由相机2604处理的图像帧可被存储到存储单元2607中，或通过无线通信单元2608或有线通信单元2609而被发送到外部。可能有两个或更多个相机2604。例如，相机2604可被配置为第一设备110的前部相机和后部相机。相机2604可被用作用于识别用户空间手势的输入装置。
[0302]音频输入单元2605可在呼叫模式、记录模式或语音识别模式中接收的外部声音信号的输入，将声音信号转换为电语音数据，并向处理器2610发送所述电声音数据。音频输入单元2605例如可被配置为麦克风。音频输入单元2605可被配置成包括多样噪声去除算法，用于去除在接收外部声音信号的输入的过程期间生成的噪声。
[0303]通过使用音频输入单元2605输入的声音信号可包括用户输入信息，诸如对执行外部设备控制方法的请求或根据一实施例的暂时控制授权请求。当声音信号是基于所讲的语言的用户语音信号时，声音信号可以是基于语音识别的用户输入。通过音频输入单元2605输入的外部声音信号可经由处理器2610而被存储到存储单元2607中，或者经由处理器2610和无线通信单元2608或处理器2610和有线通信单元2609而被发送到外部。
[0304]音频输出单元2606在呼叫模式或音频再现模式中输出从外部接收或从存储单元2607读取的声音信号或音频信号。音频输出单元2606可被配置为扬声器。当在再现内容时音频信号被包括在内容中时，音频输出单元2606输出再现的内容中包括的音频信号。可在头戴式耳机内集成地形成音频输入单元2605和音频输出单元2606。
[0305]存储单元2607存储将在以后描述的被配置成在处理器2610中执行的至少一个程序和/或命令集和资源。所述至少一个程序包括:用于根据一实施例执行外部设备控制方法必需的至少一个程序、第一设备110的操作系统程序、与由第一设备110执行的多样功能(或服务)相关的应用程序、用于驱动第一设备110中包括的硬件组件的程序、以及交互服务执行程序，但不限于此。
[0306]资源可包括:与第一至第η外部设备130_1?130_η相关的应用信息、第一至第η外部设备130_1?130_η的连接信息、关于可被授权暂时控制第一至第η外部设备130_1?130_η的设备的信息、关于第一设备110的用户的信息、用于管理在第一设备110中设置的应用程序必需的信息、以及用于驱动第一设备110中包括的硬件组件的程序的信息，但不限于此。
[0307]存储单元2607可包括存储介质中的至少一种类型，诸如闪存型、硬盘型、多媒体卡微类型、卡型存储器(例如SD、XD存储器等)、只读存储器(R0M)、电可擦除可编程ROM (EEPROM)、可编程ROM (PROM)磁存储器以及光盘。
[0308]根据功能，可将存储单元2607中存储的至少一个程序和/或命令集分类为多个模块。
[0309]图27图示根据本公开一实施例的在存储单元2607中存储的和/或根据模块分类的程序命令集的示例。
[0310]参照图27，存储单元2607包括操作系统2701、无线通信模块2702、有线通信模块2703、图形模块2704、GPS模块2705、UI模块2706、感测模块2707、接触和运动模块2708、电源模块2709和应用模块2510，但不限于此。
[0311]应用模块2710包括图像再现模块2711、信息搜索模块2712、相机模块2713、交互服务模块2714和外部设备控制模块2715，但不限于此。例如，应用模块2710可进一步包括第一至第n外部设备控制模块。第一至第η外部设备控制模块可针对第一至第η外部设备中的每一个独立操作。交互服务模块2714可包括多个服务模块。多个服务模块例如可包括视频呼叫服务模块、语音呼叫服务模块和聊天服务模块。多个服务模块可独立操作。应用模块2710可包括以上参考图1所述的集成的应用模块。应用模块2710可进一步包括各种模块，诸如电子邮件模块、社交联网服务(SNS)模块、视频会议模块、图像管理模块、浏览模块、日历模块、窗口插件模块、搜索模块和字处理模块。
[0312]操作系统2701控制和管理第一设备110的一般功能，并且包括用于使能第一设备110中包括的硬件和软件组件之间的通信的软件组件。
[0313]无线通信模块2702可使能通过无线通信单元2608的与至少一个外部设备(未示出)的通信，并且包括用于处理通过无线通信单元2608而从至少一个外部设备接收以及向至少一个外部设备发送的数据的软件组件。所述至少一个外部设备可包括服务器160、第二设备120和第一至第η外部设备130_1?130_η，但不限于此。
[0314]根据一实施例的无线通信模块2702可向第二设备120发送关于第一至第η外部设备130_1?130_η的信息以及第一至第η外部设备130_1?130_η的控制UI信息，并且从第二设备120接收关于第一至第η外部设备130_1?130_η的暂时控制授权请求。
[0315]有线通信模块2703使能与有线通信单元2609和第一至第η外部设备130_1?130_η的通信，并且包括下述软件组件，其中，所述有线通信单元2609被配置为诸如通用串行总线(USB)端口之类的元件，所述软件组件用于处理通过有线通信单元2609而从第一至第η外部设备130_1?130_η接收以及向第一至第η外部设备130_1?130_η发送的数据。
[0316]图形模块2704包括:用于在触摸屏2603上显示的图形的亮度调整和再现的软件组件，以及用于提供用于在应用模块2710中输入文本的虚拟键盘(或软键盘)的软件组件。
[0317]GPS模块2705包括用于确定第一设备110的位置并向提供基于位置的服务的应用提供所确定的位置的软件组件。Π模块2706包括用于提供下述应用必需的Π的软件组件，该应用基于UI信息提供触摸屏2703。
[0318]感测模块2707包括:软件组件，用于基于感测单元2602而确定感测信息并向下述应用模块2710提供所确定的感测信息，其中，所述应用模块2710基于所确定的感测信息而提供服务。接触和运动模块2708包括:软件组件，用于检测基于触摸屏2603的触摸接触、跟踪基于接触的运动并向需要跟踪的运动的应用模块2710提供跟踪的运动。
[0319]电源模块2709包括:软件组件，用于与操作系统2701链接、控制向第一设备110中包括的硬件组件供电的电源、并控制关于供应给触摸屏2603的电力的睡眠模式。
[0320]应用模块2710中包括的模块的功能可由本领域技术人员从它们的标题中直观地推断出，并且因此现在将仅仅描述与实施例相关的应用模块2710。
[0321]例如，当第一设备110通过执行交互服务模块2714而执行与第二设备130的交互服务，并且请求授权第二设备120暂时控制第一至第n外部设备130_1?130_η时，交互服务模块2714可通过执行外部设备控制模块2715而根据上述各种实施例在执行交互服务时执行外部设备控制方法之一。
[0322]当交互服务模块2714包括如参考图1所述的外部设备控制功能时，在应用模块2710中可能不包括外部设备控制模块2715。然而，即使交互服务模块2714包括外部设备控制功能，外部设备控制模块2715也可独立于交互服务模块2714而被包括在应用模块2710中。当关于第一至第η外部设备130_1?130_η的信息被提供为基于AR的信息时，相机模块2713可通过被交互服务模块2714调用而如以上参考图1所述地操作。
[0323]存储单元2607可能不存储在图27的程序和/或命令集当中的在应用模块2710中包括的模块，或者可以仅存储诸如应用模块2710的URL之类的位置信息以及指示应用模块2710的显示信息。当在存储单元2607中没有存储应用模块2710中包括的模块时，处理器2610可通过无线通信单元2608或有线通信单元2609连接到外部设备，并使用在外部设备中存储的对应于应用模块2710的程序和/或命令集。所述外部设备包括云服务器或具有应用模块2710中包括的模块的设备，但不限于此。
[0324]当只有应用模块2710的位置信息和指示应用模块2710的显示信息存储在存储单元2607中时，处理器2610可通过无线通信单元2608或有线通信单元2609、通过使用应用模块2710的位置信息而搜索外部设备中存储的信息。基于在触摸屏2603上显示的指示应用模块2710的显示信息，可选择应用模块2710的位置信息。
[0325]通过包括无线因特网、无线内联网、无线电话网络、无线局域网(LAN)、W1-Fi网络、W1-Fi直接(WFD)网络、3G网络、4G长期演进(LTE)网络、蓝牙网络、红外数据协会(IrDA)网络、RFID网络、超宽带(UWB)网络和Zigbee网络的无线网络，无线通信单元2608可向外部设备发送数据以及从外部设备接收数据。
[0326]无线通信单元2608可包括广播接收模块、移动通信模块、无线因特网模块、短距离通信 模块和位置信息模块中的至少一个，但不限于此。
[0327]有线通信单元2609可通过诸如有线因特网之类的有线网络而向外部设备发送数据并从外部设备接收数据。通过使用诸如USB端口(未示出)之类的即插即用接口，有线通信单元2609可向外部设备(未示出)发送数据以及从该外部设备接收数据。有线通信单元2609可能不包括在第一设备110的元件中。
[0328]电源2611向第一设备110中包括的硬件组件供电。电源2611包括一个或多个电源，诸如电池和交流(AC)电源。第一设备110可不包括电源2611，而是可包括可连接到外部电源(未示出)的连接单元(未示出)。
[0329]处理器2610可被称为控制第一设备110的一般操作的一个或多个处理器。通过使用存储单元2607中包括的操作系统2701和模块2702至2715，处理器2610 —般可控制信息输入单元2601、感测单元2602、触摸屏2603、相机2604、声音输入单元2605、音频输出单元2606、存储单元2607、无线通信单元2608、有线通信单元2609和电源2611。因此，处理器2610可被称为控制器、微处理器或数字信号处理器。
[0330]通过使用操作系统2701和UI模块2706，处理器2610还可通过信息输入单元2601、感测单元2602、触摸屏2603、相机2604和音频输入单元2605提供U10
[0331]处理器2610可执行与根据一实施例的外部设备控制方法相关的至少一个程序，并执行如图8、11至17、19、20、22和24的流程图中所示的方法之一。通过从存储单元2607读取或从通过无线通信单元2608或有线通信单元2609连接的外部设备下载程序，处理器2610可执行程序。在这点上，外部设备可被称为应用提供服务器或应用市场服务器。外部设备包括第一设备110附近的云服务器或通信设备。处理器2610可包括在第一设备110中包括的各种硬件组件和处理器2610之间的接口功能单元。
[0332]也可如图26中图示地配置图1的第二设备120的框图。然而，当图26的框图是第二设备120的框图时，每个块的一些功能可能不同于上述的第一设备110的功能。
[0333]例如，如果存储单元2607包括在第一设备110和第二设备120中的每一个中，则存储单元2607可存储不同类型的信息。每个块的操作标准可能不同。例如，在第一设备110和第二设备120的每一个中包括的相机2604可具有不同的像素数。
[0334]图28是根据本公开一实施例的图1的第一至第η外部设备130_1?130_η的框图。第一至第η外部设备130_1?130_11的框图不限于图28中图示的框图。为了便于描述，图28的框图是以下第一外部设备130_1的框图。
[0335]参照图28，第一外部设备130_1可包括信息输入和输出单元2801、包括外部设备的软件2803的存储单元2802、外部设备的硬件2804、通信单元2805、端口 2806和处理器2807，但不限于此。例如，第一外部设备130_1可不包括端口 2806，或者可包括电源(未示出)。第一外部设备块130_1中包括的块在规范和功能中的至少一个方面上可能不同于第二至第η外部设备130_2?130_η中包括的块。
[0336]可通过信息输入和输出单元2801接收用于选择以上参考图4至7所述的第一短距离通信和第二短距离通信的用户输入信息。可输入用户输入信息，以选择NFC模块和BLE模块之一作为第一短距离通信，并选择无线LAN通信模块和蓝牙通信模块之一作为第二短距离通信，但不限于此。可根据通信单元2805的配置来确定第一短距离通信和第二短距离通信，使得可根据通信单元2805的配置来确定用于选择第一短距离通信和第二短距离通信的用户输入信息。
[0337]信息输入和输出单元2801接收用户输入信息，并在具有控制授权(包括暂时控制授权)的设备执行应用时输出从第一外部设备130_1输出的信息。用户输入信息可基于:基于触摸的输入信息、基于物理按钮控制的输入信息、基于用户手势的输入信息、基于用户语音识别的输入信息、基于面部识别的输入信息以及基于遥控器(未示出)的输入信息中的至少一个，但不限于此。
[0338]可根据可被输入的输入信息来配置信息输入和输出单元2801。例如，当由具有控制授权的第一设备110执行应用时，在其中没有任何基于第一外部设备130_1的用户信息输入的情况下，信息输入和输出单元2801可包括物理按钮和信息输出功能块，并且用户输入信息对请求在第一外部设备130_1和第一设备100之间的第二短距离通信连接是必需的。物理按钮可用于请求第二短距离通信连接。在第一外部设备130_1和第一设备110之间建立第二短距离通信连接之后，基于根据由第一设备100执行的应用而接收的控制命令，信息输出功能块输出必需的信息。然而，信息输入和输出单元2801的元件不限于此。
[0339]存储单元2802可存储用于通过使用处理器2807控制第一外部设备130_1的一般操作必需的程序和资源。所述程序可包括用于执行第一外部设备130_1的功能的程序。例如，当第一外部设备130_1是智能TV时，所述程序可包括用于控制智能TV的功能的程序。用于控制智能TV的功能的程序可包括用于在第一设备110执行与智能TV相关的应用时控制第一外部设备130_1的硬件的程序。存储单元2802中存储的程序可进一步包括第一设备110和第一外部设备130_1之间的通信程序。
[0340]存储单元2802可存储用于根据每一个通信类型控制第一外部设备130_1的硬件的程序。因此，可根据由处理器2807确定的通信类型来执行用于控制第一外部设备130_1的硬件的程序。例如，如果处理器2807确定蓝牙通信，可基于蓝牙通信执行用于控制第一外部设备130_1的硬件的程序。
[0341]存储单元2802可包括至少一种类型的存储介质，诸如闪存型、硬盘型、多媒体卡微类型、卡型存储器(例如SD、XD存储器等)、ROM、EEPROM、PROM磁存储器和光盘。
[0342]存储单元2802中存储的资源可包括用于第二短距离通信连接的信息、关于第一外部设备130_1的应用信息、关于以上参考图4至7所述的第一外部设备130_1的信息以及第一外部设备130_1的验证信息，但不限于此。
[0343]可根据第一外部设备130_1的功能来定义外部设备的硬件2804。例如，如果第一外部设备130_1是根据在第一设备110中设置的应用操作的智能手表，则外部设备的硬件2804可包括用于执行智能手表的功能必需的物理功能单元(例如GPS模块、麦克风、扬声器等，但不限于此)，所述智能手表与由第一设备110执行的应用链接。
[0344]如果第一外部设备U0J是根据由第一设备110执行的胰岛素监测应用操作的胰岛素电阻率和灵敏度测量器，则外部设备的硬件2804可包括胰岛素电阻率和灵敏度测量器，但不限于此。外部设备的硬件2804可包括根据第一外部设备130_1的功能的各种传感器。
[0345]如果由第一设备110执行的应用是乐器演奏应用，并且第一外部设备130_1是键盘或吉他，则外部设备的硬件2804可包括用于根据第一设备110的控制信号演奏键盘或吉他的硬件。
[0346]当由第一设备110执行的应用是卡拉OK应用时，如果第一外部设备130_1是麦克风，则外部设备的硬件2804可包括用于控制麦克风的开/关或音量的硬件元件，并且如果第一外部设备130_1是扬声器，则外部设备的硬件2804可包括用于控制声音输出环境的硬件元件，但硬件元件不限于此。
[0347]第一外部设备130_1可以以软件方式实现由外部设备的硬件2804执行的功能，并且可最小化或可不包括外部设备的硬件2804。在这种情况下，软件可被存储为外部设备的软件2803，并且可由处理器2807根据从第一设备110接收的控制命令来执行。
[0348]通信单元2805包括第一短距离通信单元(未示出)和第二短距离通信单元(未示出)，其中第一短距离通信单元包括NFC模块和BLE模块，第二短距离通信单元包括无线通信模块和蓝牙通信模块。也就是说，通信单元2805可进一步包括可通过网络140连接到第二设备120或服务器160的通信单元。
[0349]通信单元2805中包括的NF模块可被配置为可被读取/写入的NFC标签或芯片。当在第一设备110中安装NFC模块时，通信单元2805中包括的NFC模块可被配置成与处于P2P模式的第一设备110中安装的NFC模块执行双向数据通信。
[0350]如上参考图5或7所述，通信单元2805中包括的BLE模块可广播用于连接第二短距离通信的信息和相关的应用信息，可进一步广播第一外部设备130_1的验证信息和关于第一外部设备130_1的信息，并且可从第一设备110接收网关150的连接信息。然而，从BLE模块广播的信息可不包括相关的应用信息。
[0351]通信单元2805中包括的无线LAN通信模块可被配置成:选择性地执行直接通信以及执行在第一设备110和第一外部设备130_1之间的经由网关150的通信、仅仅在第一设备110和第一外部设备130_1之间的直接通信或和仅仅经由网关150的通信。
[0352]端口单元2806可包括USB端口和UART端口中的至少一种，但不限于此。第一外部设备130_1可不包括端口单元2806。如果第一设备110和第一外部设备130_1经由端口单元2806彼此连接，则第一设备110和第一外部设备130_1可经由有线通信信道彼此链接。
[0353]通过执行存储单元2802中存储的外部设备的软件2803，处理器2807控制第一外部设备130_1的一般操作。因此，处理器2807可被称为控制单元。特别地，处理器2807可执行通过通信单元2805连接第一设备110和第一外部设备130_1的操作，以执行根据一实施例的外部设备控制方法。
[0354]图29图不根据本公开一实施例的其中在执行第一设备110和第二设备120之间的交互服务时，其控制被授权给第一设备110的第一至第三外部设备130_1?130_3分别是智能TV、平板电脑和机器人清洁器的示例。
[0355]参照图29，当在操作2902中由第一设备110的用户请求暂时控制授权时，第一设备110将第一至第三外部设备130_1?130_3的暂时控制自动授权给在操作2901中执行与第一设备110的交互服务的第二设备120，并在操作2903、2904和2905中发送关于第一至第三外部设备130_1?130_3的信息。如果第二设备120的用户基于在第一至第三外部设备130_1?130_3当中的选择的外部设备的控制UI信息而输入控制命令，则第二设备120在操作2906-1和2907-1中通过第一设备110而向选择的外部设备发送输入的控制命令。然而，在操作2906-2和2907中可经由网关150发送控制命令。
[0356]图30图示根据本公开一实施例的其中紧急情况如参考图20所述地发生的示例。
[0357]参照图30，当第二设备120的用户输入指示紧急情况已经发生的信息时，第二设备120执行外部设备控制窗口插件。由于感测到选择了指示有火灾的图标，所以第二设备120在操作3001中向与火灾的发生相关的外部设备控制授权管理主体(服务器160、第一设备110或网关150)发送暂时控制授权请求信号。
[0358]外部设备控制授权管理主体在操作3003中确定第二设备120是否被注册为可被授权暂时控制至少一个外部设备的设备。如果第二设备120被注册为可被授权暂时控制至少一个外部设备的设备，则外部设备控制授权管理主体在操作3002中向第二设备120发送关于至少一个外部设备的信息以及至少一个外部设备的控制UI信息。第二设备120在操作3004中向外部设备中的130-3和130-5发送控制命令。
[0359]所述关于至少一个外部设备的信息包括关于基于在其中第二设备120请求暂时控制授权的位置的本地域中布置的外部设备的信息。所述至少一个外部设备的控制Π信息可包括在本地域中布置的外部设备的控制Π信息。
[0360]图30的外部设备包括窗口打开/关闭装置130_4和供气断路器130_5，但不限于此。
[0361]图31图示根据本公开一实施例的在其中第二设备120执行外部设备控制窗口插件以根据火灾的发生向如图30中图示的外部设备控制授权管理主体请求暂时控制至少一个外部设备的授权的示例。
[0362]参照图31，操作3101、3102-1、3103-1分别类似于图30的操作3001、3003和3004。外部设备控制授权管理主体识别出第三设备3121存在于在其中布置第二设备120的本地域中。因此，外部设备控制授权管理主体在操作3102-2和3103-2中可授权第二设备120控制窗口打开/关闭装置130_6和130_7，并授权第三设备3121控制供气断路器130_5。
[0363]外部设备控制授权管理主体可向第二设备120发送关于窗口打开/关闭装置130_6和130_7的信息以及窗口打开/关闭装置130_6和130_7的控制UI信息，并且可向第三设备3121发送关于供气断路器130_5的信息以及关于供气断路器130_5的控制UI信息。
[0364]虽然窗口打开/关闭装置130_6和130_7以及供气断路器130_5是图31中的至少一个外部设备的示例，但是所述至少一个外部设备不限于此。也就是说，所述至少一个外部设备可不同于图31中图示的外部设备，或者可添加另一个外部设备。
[0365]图32图示根据本公开一实施例的其中作为外部设备控制授权管理主体的服务器160、网关150和第一设备110授权未被授权控制至少一个外部设备的第二设备120暂时控制至少一个外部设备，并向第二设备120提供关于至少一个外部设备的信息以及至少一个外部设备的控制UI信息示例。
[0366]参照图32，在操作3201-3205中被授权暂时控制至少一个外部设备130_8和130_9的第二设备120具有请求紧急中心服务器3130获得紧急医疗工作者的功能。虽然血压自动测量器130_8和血液自动测量器130_9是图32中的所述至少一个外部设备的示例，但所述至少一个外部设备不限于此。也就是说，所述至少一个外部设备可以不同于图32中图示的外部设备，或者可添加另一个外部设备。
[0367]图33图示根据本公开一实施例的其中作为第二设备120的车辆中的导航设备在服务器160、网关150或第一设备110识别出车辆进入工作室区域时被授权暂时控制至少一个外部设备，并且关于至少一个外部设备的信息以及至少一个外部设备的控制Π信息被发送给导航设备的示例。
[0368]参照图33，导航设备显示关于至少一个外部设备的信息以及至少一个外部设备的控制Π信息。如果基于在导航设备上显示的关于至少一个外部设备的信息而输入外部设备选择信号，并且基于在导航设备上显示的控制UI信息而输入用于至少一个外部设备的控制命令时，导航设备可在操作3301-3304中向所述至少一个外部设备直接发送控制命令以控制所选择的外部设备。
[0369]虽然与外部设备控制授权管理主体相关的工作室中的特定的台式PC130_10、与工作室相关的电梯130_11以及工作室中的灯130_12是图33中所述至少一个外部设备的示例，但所述至少一个外部设备不限于此。
[0370]根据本公开各种实施例的外部设备控制方法还可被体现为计算机可读记录介质上的计算机可读代码。所述计算机可读介质可以是能够存储由计算机系统读取的数据的任何记录装置，例如，只读存储器(ROM)、随机存取存储器(RAM)、光盘(CD)-ROM、磁带、软盘、光数据存储设备等等。计算机可读介质可分布在通过网络互连的计算机系统中，并且本公开可以以分布式的方式被存储和实现为计算机可读代码。
[0371]虽然已经参考本公开各种实施例示出和描述了本公开，但是本领域技术人员将理解的是:可在此进行形式和细节上的各种变化而不会脱离由所附权利要求及其等同限定的本公开的精神和范围。
【主权项】
1.一种外部设备控制方法，包括: 向第二设备发送关于至少一个外部设备的信息，同时在第一设备和所述第二设备之间执行交互服务； 基于关于至少一个外部设备的信息，从所述第二设备接收关于选择的外部设备的信息；并且 基于关于选择的外部设备的信息，向所述第二设备发送关于选择的外部设备的控制用户界面(UI)信息。2.如权利要求1所述的外部设备控制方法，其中，所述交互服务包括与所述至少一个外部设备相关的应用的功能。3.如权利要求1所述的外部设备控制方法，其中，向所述第二设备发送关于至少一个外部设备的信息包括:授权所述第二设备暂时控制所述至少一个外部设备。4.如权利要求1所述的外部设备控制方法，其中，根据所述第二设备的对于选择的外部设备或所述至少一个外部设备的控制授权等级，确定关于选择的外部设备的控制UI信息。5.如权利要求1所述的外部设备控制方法，其中，向所述第二设备发送关于所述至少一个外部设备的信息包括: 基于所述第二设备的用户信息，确定所述第二设备的控制授权等级；并且 根据所确定的控制授权等级，确定关于所述至少一个外部设备的被发送到所述第二设备的信息。6.如权利要求1所述的外部设备控制方法，其中，向所述第二设备发送关于至少一个外部设备的信息包括: 设置所述第二设备的对于所述至少一个外部设备的暂时控制授权时段。7.如权利要求1所述的外部设备控制方法，其中，关于至少一个外部设备的被发送到第二设备的信息包括基于增强现实(AR)的信息。8.如权利要求1所述的外部设备控制方法，其中，关于至少一个外部设备的被发送到第二设备的信息包括所述至少一个外部设备的基于物理位置的平面布局信息。9.如权利要求1所述的外部设备控制方法，还包括: 基于选择的外部设备的控制Π信息，从所述第二设备接收控制命令；以及 向所述至少一个外部设备发送所接收的控制命令。10.如权利要求1所述的外部设备控制方法，还包括: 当接收到关于选择的外部设备的信息时，执行与选择的外部设备相关的应用， 其中，通过使用与选择的外部设备相关的应用而向所述第二设备发送关于选择的外部设备的控制UI信息。11.一种用于控制外部设备的设备，所述设备包括: 存储单元，被配置成存储关于至少一个外部设备的信息和至少一个程序； 通信单元，被配置成与所述至少一个外部设备和另一个设备通信； 触摸屏，被配置成根据执行所述至少一个程序而接收用户输入信息以及输出信息；和 处理器，被配置成提供基于触摸屏的Π信息以及通过执行所述至少一个程序而授权其它设备暂时控制所述至少一个外部设备， 其中，所述至少一个程序包括:命令，在执行时: 向所述其它设备发送关于所述至少一个外部设备的信息，同时在所述设备和所述其它设备之间通过所述通信单元执行交互服务； 基于关于所述至少一个外部设备的信息，通过所述通信单元从所述其它设备接收关于选择的外部设备的信息；并且 基于所述关于所述选择的外部设备的信息，通过所述通信单元向所述其它设备发送关于所述选择的外部设备的控制Π信息。12.如权利要求11所述的设备，其中，被发送到所述其它设备的关于所述至少一个外部设备的信息根据关于所述其它设备的对于所述至少一个外部设备的控制授权等级来确定。13.如权利要求11所述的设备，其中，关于所述选择的外部设备的控制Π信息根据所述其它设备的对于选择的外部设备或所述至少一个外部设备的控制授权等级来确定。14.如权利要求11所述的设备，其中，所述至少一个程序还包括命令:用于基于其它设备的用户信息而确定关于其它设备的对所述至少一个外部设备的控制授权等级；以及用于根据确定的控制授权等级确定关于所述至少一个外部设备的将被发送到其它设备的信息。15.一种非临时性计算机可读记录介质，其存储包括命令的一个或多个程序，当由处理器执行时，该命令执行外部设备控制方法，所述外部设备控制方法包括: 向第二设备发送关于至少一个外部设备的信息，同时在第一设备和所述第二设备之间执行交互服务； 基于关于所述至少一个外部设备的信息，从所述第二设备接收关于选择的外部设备的信息；并且 基于关于选择的外部设备的信息，向所述第二设备发送关于选择的外部设备的控制UI信息。
【专利摘要】提供一种用于通过授权指定的设备暂时控制外部设备而控制外部设备方法和系统以及存储它的非临时性计算机可读介质。由被授权控制外部设备的第一设备执行的外部设备控制方法包括：向第二设备发送关于至少一个外部设备的信息，同时在第一设备和第二设备之间执行交互服务，基于关于至少一个外部设备的信息，从第二设备接收关于选择的外部设备的信息，并且基于关于选择的外部设备的信息，向第二设备发送关于选择的外部设备的控制用户界面(UI)信息。
【IPC分类】H04L12/12
【公开号】CN104904158
【申请号】CN201480003771
【发明人】林勋, 李相昊
【申请人】三星电子株式会社
【公开日】2015年9月9日
【申请日】2014年2月10日
【公告号】WO2014171620A1
最新回复(0)