多设备模型增强的制作方法

本公开一般涉及使得外部设备传感器数据能够增强可穿戴设备传感器数据以便更新模型的系统、方法和设备。

背景技术：

1、当用户在使用诸如头戴式设备(hmd)的设备时，可能期望生成或修改用户的表示，例如3d用户模型。然而，现有系统可能没有利用可能从外部来源获得的数据来生成或修改这种表示。

技术实现思路

1、本文公开的各种实施方式包括使用来自外部设备(例如，独立于手表的相机、头戴式扬声器设备、hmd或者用户佩戴的其他设备)的数据来改进可穿戴设备上生成的用户数据(例如，3d用户模型)的系统、方法和设备。外部设备提供的数据可以包括与用户的身体部分(例如，躯干、背、腿部、脚等)相关的视觉数据和/或与用户的特征(例如(尤其)身体尺寸、身形、皮肤纹理、衣服质感/材料、用户姿势等)相关联的信息，该视觉数据和/或该信息可能不可见或无法以其他方式通过用户佩戴的设备的传感器(例如，相机)捕获。例如，hmd的传感器可以只从有限的视角提供用户(佩戴hmd)的有限部分的视图以便为生成用户的身体模型提供数据，而外部设备可以提供可包括用户的一个或多个不同部分的不同视角的视图。可将通过外部设备获取的数据集(与外部设备的用户视图相关联)传输到hmd，从而可以更准确、完整、高效或以其他方式更理想地生成或更新用户的3d模型。

2、在一些实施方式中，来自外部设备的数据对应于相同的时间段，例如，当前外部设备数据用于补充当前可穿戴设备数据。在其他实施方式中，来自外部设备的数据对应于不同的时间段，例如，先前捕获的外部设备数据用于补充当前可穿戴设备数据。例如，存储的传感器数据(例如，先前从诸如安全相机的设备检索的用户的图像)可额外用于更新用户的身体模型。

3、在一些实施方式中，基于匹配过程或标准对用于生成或更新模型的来自不同设备的数据进行匹配(例如，标识为对应于相同的人/用户)。在一些实施方式中，可基于确定从外部设备检索的数据和从hmd检索的数据之间的相似性而从来自外部设备的数据中标识用户(用于数据匹配或其他目的)。在一些实施方式中，可通过在用户的图像或其他传感器数据中标识的相似特征点、通过图像或其他传感器数据识别的匹配衣服、在用户的图像或其他传感器数据内识别的面部相似性、在图像或其他传感器数据中识别的身体部位相似性等来标识用户。在一些实施方式中，可基于确定外部设备和hmd两者均连接到相同网络和/或两者均与相同用户账户相关联而标识用户。在一些实施方式中，可通过确定用户是设备所在房间或其他环境中唯一的人来标识用户。

4、在一些实施方式中，从外部设备检索的数据可用于更新用户的3d模型(例如，点云模型、参数表示模型、骨架模型(例如，骨长度等))。

5、在一些实施方式中，从外部设备检索的数据可用于更新由hmd用来解释自身传感器数据的预测模型(例如，神经网络)。例如，从外部设备检索的数据可用作额外训练数据以更新预测模型或用作预测模型的输入。在一些实施方式中，可共享(例如，直接地或作为梯度)从外部设备检索的数据以支持联邦学习。

6、在一些实施方式中，可穿戴电子设备具有处理器(例如，一个或多个处理器)，该处理器执行存储在非暂态计算机可读介质中的指令以执行方法。该方法执行一个或多个步骤或过程。在一些实施方式中，可穿戴电子设备从该可穿戴电子设备的传感器接收描述该可穿戴电子设备的用户的第一传感器数据。从独立于该可穿戴电子设备的第二设备接收描述该用户的第二传感器数据。该第二传感器数据中描述的该用户的至少一部分未被描述在该第一传感器数据中。该方法基于标识该第一传感器数据和该第二传感器数据之间的相似性而确定该第二传感器数据的一部分描述该用户，并且基于该第二传感器数据更新用户模型。

7、根据一些实施方式，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述的方法中的任一种方法的指令。根据一些实施方式，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些实施方式，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。

技术特征：

1.一种方法，包括：

2.根据权利要求1所述的方法，其中所述更新所述用户模型包括生成描述所述用户的下半身部分的表示。

3.根据权利要求2所述的方法，其中所述用户的所述下半身部分包括身体部分，所述身体部分选自由以下项组成的组：所述用户的髋部、所述用户的大腿、所述用户的膝盖、所述用户的小腿、所述用户的脚踝和所述用户的脚。

4.根据权利要求1所述的方法，其中所述第二传感器数据包括描述所述用户的当前数据。

5.根据权利要求1所述的方法，其中所述第二传感器数据包括描述所述用户的历史数据。

6.根据权利要求1所述的方法，其中基于检测用户属性来标识所述第一传感器数据和所述第二传感器数据之间的所述相似性，所述用户属性选自由以下项组成的组：所述用户的衣服、所述用户的图像中的相似点、所述用户的所述图像中的人脸、所述用户的所述图像中的身体部位。

7.根据权利要求1所述的方法，其中标识所述第一传感器数据和所述第二传感器数据之间的所述相似性包括基于所述可穿戴设备和所述第二设备连接到相同网络确定所述可穿戴电子设备与所述第二设备相关联。

8.根据权利要求1所述的方法，其中标识所述第一传感器数据和所述第二传感器数据之间的所述相似性包括基于所述可穿戴设备和所述第二设备与相同用户账户相关联确定所述可穿戴电子设备与所述第二设备相关联。

9.根据权利要求1所述的方法，其中所述第二传感器数据包括信息，所述信息选自由以下项组成的组：所述用户的身体尺寸、所述用户的身形、所述用户的肤色、所述用户的衣服的质地和材料和与所述用户相关联的姿势信息。

10.根据权利要求1所述的方法，其中所述更新所述用户模型包括基于所述第一传感器数据和所述第二传感器数据更新所述用户的三维(3d)模型。

11.根据权利要求10所述的方法，其中所述用户的所述3d模型包括模型，所述模型选自由以下项组成的组：点云、参数表示、骨架表示。

12.根据权利要求1所述的方法，其中所述更新所述用户模型包括更新能够由所述可穿戴设备执行的预测模型，以解释来自所述可穿戴电子设备的所述传感器的数据。

13.根据权利要求12所述的方法，还包括使用所述第二传感器数据作为额外训练数据来执行所述更新所述预测模型。

14.根据权利要求12所述的方法，还包括使用所述第二传感器数据作为所述预测模型的输入。

15.根据权利要求12所述的方法，还包括与联邦学习系统共享所述预测模型。

16.根据权利要求1所述的方法，还包括通过所述可穿戴电子设备向所述用户呈现所更新的用户身体模型。

17.一种可穿戴电子设备，包括：

18.根据权利要求17所述的可穿戴电子设备，其中所述更新所述用户模型包括生成描述所述用户的下半身部分的表示。

19.根据权利要求18所述的可穿戴电子设备，其中所述用户的所述下半身部分包括身体部分，所述身体部分选自由以下项组成的组：所述用户的髋部、所述用户的大腿、所述用户的膝盖、所述用户的小腿、所述用户的脚踝和所述用户的脚。

20.根据权利要求17所述的可穿戴电子设备，其中所述第二传感器数据包括描述所述用户的当前数据。

21.根据权利要求17所述的可穿戴电子设备，其中所述第二传感器数据包括描述所述用户的历史数据。

22.根据权利要求17所述的可穿戴电子设备，其中基于检测用户属性来标识所述第一传感器数据和所述第二传感器数据之间的所述相似性，所述用户属性选自由以下项组成的组：所述用户的衣服、所述用户的图像中的相似点、所述用户的所述图像中的人脸、所述用户的所述图像中的身体部位。

23.根据权利要求17所述的可穿戴电子设备，其中标识所述第一传感器数据和所述第二传感器数据之间的所述相似性包括基于所述可穿戴设备和所述第二设备连接到相同网络确定所述可穿戴电子设备与所述第二设备相关联。

24.根据权利要求17所述的可穿戴电子设备，其中标识所述第一传感器数据和所述第二传感器数据之间的所述相似性包括基于所述可穿戴设备和所述第二设备与相同用户账户相关联确定所述可穿戴电子设备与所述第二设备相关联。

25.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序指令，所述程序指令能够由一个或多个处理器执行以执行包括以下项的操作：

技术总结
本公开涉及多设备模型增强。本文公开的各种实施方式包括使用外部设备数据来改进可穿戴设备上用户数据的设备、系统和方法。例如，示例性过程可以包括从可穿戴电子设备的传感器接收描述该可穿戴电子设备的用户的第一传感器数据。该过程还可以包括从独立于该可穿戴电子设备的第二设备接收描述该用户的第二传感器数据。该第二传感器数据中描述的该用户的至少一部分不存在于该第一传感器数据中。该过程还可以包括基于该第一传感器数据和该第二传感器数据之间的相似性确定该第二传感器数据的一部分描述该用户。该过程还可以包括基于该第二传感器数据更新用户模型。

技术研发人员：D·库尔茨
受保护的技术使用者：苹果公司
技术研发日：
技术公布日：2024/9/23