一种地毯检测方法、装置、电子设备及存储介质与流程

本技术涉及移动机器人，特别是涉及一种地毯检测方法、装置、电子设备及存储介质。

背景技术：

1、扫地机器人能够代替人工清扫的方式，自动对目标场景进行清扫。针对目标场景中不同的区域，扫地机器人可以采用不同的清扫策略。例如，针对未铺设地毯的区域和铺设地毯的区域，采用不同的清扫策略。因此，扫地机器人需要检测目标场景中的地毯。

2、相关技术中，扫地机器人中配置有超声波传感器。超声波传感器向地面区域发射超声波信号，扫地机器人根据接收到的该地面区域反射的回波信号，检测该地面区域中是否有地毯。

3、然而，回波信号的强度受扫地机器人与地面之间的距离，以及扫地机器人相对地面的倾角影响较大，当扫地机器人在凹凸不平的地面或扫地机器人发生倾斜时，扫地机器人与地面之间的距离，以及扫地机器人相对地面的倾角会发生变化，导致接收到的回波信号的强度发生变化，进而降低地毯检测的准确性。

技术实现思路

1、本技术实施例的目的在于提供一种地毯检测方法、装置、电子设备及存储介质，以提高地毯检测的准确性。具体技术方案如下：

2、第一方面，为了达到上述目的，本技术实施例提供了一种地毯检测方法，所述方法应用于移动机器人，所述移动机器人包括相机和超声波传感器，所述方法包括：

3、对所述相机采集的目标场景的待处理图像进行识别，得到所述目标场景中的地毯在所述待处理图像中所占图像区域，作为候选地毯区域；

4、基于所述候选地毯区域在所述待处理图像中的位置，确定所述候选地毯区域在所述目标场景中的位置，作为目标位置；

5、在基于所述目标位置检测到所述移动机器人与所述候选地毯区域之间的距离大于预设距离阈值时，降低所述移动机器人的检测灵敏度；

6、在基于所述目标位置检测到所述移动机器人与所述候选地毯区域之间的距离不大于所述预设距离阈值时，提高所述移动机器人的检测灵敏度；

7、基于所述移动机器人接收到的回波信号的强度，以及调整后的检测灵敏度，确定所述候选地毯区域是否为目标地毯区域；其中，所述回波信号为所述超声波传感器发射的超声波信号到达所述候选地毯区域反射的。

8、可选的，所述对所述相机采集的目标场景的待处理图像进行识别，得到所述目标场景中的地毯在所述待处理图像中所占图像区域，作为候选地毯区域，包括：

9、对所述相机采集的目标场景的待处理图像进行识别，得到所述目标场景中的地毯在所述待处理图像中所占的候选地毯区域，以及所述候选地毯区域中的地毯的第一类别；

10、在所述基于所述移动机器人接收到的回波信号的强度，以及调整后的检测灵敏度，确定所述候选地毯区域是否为目标地毯区域之后，所述方法还包括：

11、在确定所述候选地毯区域为目标地毯区域后，根据所述移动机器人接收到的回波信号的强度，确定所述目标地毯区域中的地毯的第二类别；

12、基于所述第一类别和所述第二类别，确定所述目标地毯区域中的地毯的目标类别。

13、可选的，所述基于所述第一类别和所述第二类别，确定所述目标地毯区域中的地毯的目标类别，包括：

14、在所述第一类别和所述第二类别相同时，确定所述第一类别为所述目标地毯区域中的地毯的目标类别；

15、在所述基于所述移动机器人接收到的回波信号的强度，以及调整后的检测灵敏度，确定所述候选地毯区域是否为目标地毯区域之后，所述方法还包括：

16、在所述移动机器人位于所述目标地毯区域内时，按照所述目标类别对应的清扫策略，在所述目标地毯区域内进行清扫；其中，所述移动机器人为扫地机器人。

17、可选的，所述基于所述候选地毯区域在所述待处理图像中的位置，确定所述候选地毯区域在所述目标场景中的位置，作为目标位置，包括：

18、基于所述候选地毯区域中的指定点在所述待处理图像的图像坐标系中的二维坐标，确定所述候选地毯区域的指定点在相机坐标系中的三维坐标；

19、基于所述候选地毯区域的指定点在相机坐标系中的三维坐标，以及相机坐标系与世界坐标系之间的转换关系，确定所述候选地毯区域的指定点在世界坐标系中的三维坐标，得到所述候选地毯区域在所述目标场景中的位置，作为目标位置。

20、可选的，所述指定点为所述候选地毯区域的下边缘中的指定点。

21、可选的，所述基于所述候选地毯区域的指定点在相机坐标系中的三维坐标，以及相机坐标系与世界坐标系之间的转换关系，确定所述候选地毯区域的指定点在世界坐标系中的三维坐标，得到所述候选地毯区域在所述目标场景中的位置，作为目标位置，包括：

22、基于所述候选地毯区域的指定点在相机坐标系中的三维坐标，以及相机坐标系与世界坐标系之间的转换关系，确定所述候选地毯区域的指定点在世界坐标系中的三维坐标，作为初始位置；

23、按照预设调整比例，对所述候选地毯区域的指定点在世界坐标系中的三维坐标进行调整，得到所述候选地毯区域在所述目标场景中的位置，作为目标位置。

24、可选的，所述基于所述候选地毯区域中的指定点在待处理图像的图像坐标系中的二维坐标，确定所述候选地毯区域的指定点在相机坐标系中的三维坐标，包括：

25、基于所述候选地毯区域中的指定点在待处理图像的图像坐标系中的二维坐标和预设公式，确定所述候选地毯区域的指定点在相机坐标系中的三维坐标；其中，所述预设公式为：

26、

27、(xc，yc，zc)表示所述候选地毯区域的指定点在相机坐标系中的三维坐标；(u，v)表示所述候选地毯区域中的指定点在所述待处理图像的图像坐标系中的二维坐标；f表示所述移动机器人中的相机的焦距；(dx，dy)表示相机坐标系与图像坐标系之间的尺度变换；(u0，v0)表示所述待处理图像的中心点与左上角的顶点之间的偏移。

28、可选的，在所述基于所述候选地毯区域在所述待处理图像中的位置，确定所述候选地毯区域在所述目标场景中的位置，作为目标位置之后，所述方法还包括：

29、在所述目标场景的目标地图中记录所述候选地毯区域的目标位置；

30、基于所述目标地图中记录的所述候选地毯区域的目标位置，以及所述移动机器人所处的位置，确定所述移动机器人与所述候选地毯区域之间的距离。

31、可选的，所述在基于所述目标位置检测到所述移动机器人与所述候选地毯区域之间的距离大于预设距离阈值时，降低所述移动机器人的检测灵敏度，包括：

32、在基于所述目标位置检测到所述移动机器人与所述候选地毯区域之间的距离大于预设距离阈值时，将预设强度阈值调整为第一数值，以降低所述移动机器人的检测灵敏度；其中，所述移动机器人的检测灵敏度为所述超声波传感器的检测灵敏度；

33、所述在基于所述目标位置检测到所述移动机器人与所述候选地毯区域之间的距离不大于所述预设距离阈值时，提高所述移动机器人的检测灵敏度，包括：

34、在基于所述目标位置检测到所述移动机器人与所述候选地毯区域之间的距离不大于所述预设距离阈值时，将所述预设强度阈值调整为第二数值，以提高所述移动机器人的检测灵敏度；其中，所述第二数值大于所述第一数值；

35、所述基于所述移动机器人接收到的回波信号的强度，以及调整后的检测灵敏度，确定所述候选地毯区域是否为目标地毯区域，包括：

36、在所述移动机器人接收到的回波信号的强度不大于调整后的预设强度阈值时，确定所述候选地毯区域为目标地毯区域。

37、可选的，所述相机和所述超声波传感器不存在共视区域；所述相机为单目标相机。

38、第二方面，为了达到上述目的，本技术实施例提供了一种地毯检测装置，所述装置应用于移动机器人，所述移动机器人包括相机和超声波传感器，所述装置包括：

39、图像识别模块，用于对所述相机采集的目标场景的待处理图像进行识别，得到所述目标场景中的地毯在所述待处理图像中所占图像区域，作为候选地毯区域；

40、位置确定模块，用于基于所述候选地毯区域在所述待处理图像中的位置，确定所述候选地毯区域在所述目标场景中的位置，作为目标位置；

41、第一灵敏度调整模块，用于在基于所述目标位置检测到所述移动机器人与所述候选地毯区域之间的距离大于预设距离阈值时，降低所述移动机器人的检测灵敏度；

42、第二灵敏度调整模块，用于在基于所述目标位置检测到所述移动机器人与所述候选地毯区域之间的距离不大于所述预设距离阈值时，提高所述移动机器人的检测灵敏度；

43、目标地毯区域确定模块，用于基于所述移动机器人接收到的回波信号的强度，以及调整后的检测灵敏度，确定所述候选地毯区域是否为目标地毯区域；其中，所述回波信号为所述超声波传感器发射的超声波信号到达所述候选地毯区域反射的。

44、可选的，所述图像识别模块，具体用于对所述相机采集的目标场景的待处理图像进行识别，得到所述目标场景中的地毯在所述待处理图像中所占的候选地毯区域，以及所述候选地毯区域中的地毯的第一类别；

45、所述装置还包括：

46、类别确定模块，用于在所述目标地毯区域确定模块执行基于所述移动机器人接收到的回波信号的强度，以及调整后的检测灵敏度，确定所述候选地毯区域是否为目标地毯区域之后，执行在确定所述候选地毯区域为目标地毯区域后，根据所述移动机器人接收到的回波信号的强度，确定所述目标地毯区域中的地毯的第二类别；基于所述第一类别和所述第二类别，确定所述目标地毯区域中的地毯的目标类别。

47、可选的，所述类别确定模块，具体用于在所述第一类别和所述第二类别相同时，确定所述第一类别为所述目标地毯区域中的地毯的目标类别；

48、所述装置还包括：

49、清扫模块，用于在所述目标地毯区域确定模块执行基于所述移动机器人接收到的回波信号的强度，以及调整后的检测灵敏度，确定所述候选地毯区域是否为目标地毯区域之后，执行在所述移动机器人位于所述目标地毯区域内时，按照所述目标类别对应的清扫策略，在所述目标地毯区域内进行清扫；其中，所述移动机器人为扫地机器人。

50、可选的，所述位置确定模块，具体用于基于所述候选地毯区域中的指定点在所述待处理图像的图像坐标系中的二维坐标，确定所述候选地毯区域的指定点在相机坐标系中的三维坐标；

51、基于所述候选地毯区域的指定点在相机坐标系中的三维坐标，以及相机坐标系与世界坐标系之间的转换关系，确定所述候选地毯区域的指定点在世界坐标系中的三维坐标，得到所述候选地毯区域在所述目标场景中的位置，作为目标位置。

52、可选的，所述指定点为所述候选地毯区域的下边缘中的指定点。

53、可选的，所述位置确定模块，具体用于基于所述候选地毯区域的指定点在相机坐标系中的三维坐标，以及相机坐标系与世界坐标系之间的转换关系，确定所述候选地毯区域的指定点在世界坐标系中的三维坐标，作为初始位置；

54、按照预设调整比例，对所述候选地毯区域的指定点在世界坐标系中的三维坐标进行调整，得到所述候选地毯区域在所述目标场景中的位置，作为目标位置。

55、可选的，所述位置确定模块，具体用于基于所述候选地毯区域中的指定点在待处理图像的图像坐标系中的二维坐标和预设公式，确定所述候选地毯区域的指定点在相机坐标系中的三维坐标；其中，所述预设公式为：

56、

57、(xc，yc，zc)表示所述候选地毯区域的指定点在相机坐标系中的三维坐标；(u，v)表示所述候选地毯区域中的指定点在所述待处理图像的图像坐标系中的二维坐标；f表示所述移动机器人中的相机的焦距；(dx，dy)表示相机坐标系与图像坐标系之间的尺度变换；(u0，v0)表示所述待处理图像的中心点与左上角的顶点之间的偏移。

58、可选的，所述装置还包括：

59、位置记录模块，用于在所述位置确定模块执行基于所述候选地毯区域在所述待处理图像中的位置，确定所述候选地毯区域在所述目标场景中的位置，作为目标位置之后，执行在所述目标场景的目标地图中记录所述候选地毯区域的目标位置；

60、距离确定模块，用于基于所述目标地图中记录的所述候选地毯区域的目标位置，以及所述移动机器人所处的位置，确定所述移动机器人与所述候选地毯区域之间的距离。

61、可选的，所述第一灵敏度调整模块，具体用于在基于所述目标位置检测到所述移动机器人与所述候选地毯区域之间的距离大于预设距离阈值时，将预设强度阈值调整为第一数值，以降低所述移动机器人的检测灵敏度；其中，所述移动机器人的检测灵敏度为所述超声波传感器的检测灵敏度；

62、所述第二灵敏度调整模块，具体用于在基于所述目标位置检测到所述移动机器人与所述候选地毯区域之间的距离不大于所述预设距离阈值时，将所述预设强度阈值调整为第二数值，以提高所述移动机器人的检测灵敏度；其中，所述第二数值大于所述第一数值；

63、所述目标地毯区域确定模块，具体用于在所述移动机器人接收到的回波信号的强度不大于调整后的预设强度阈值时，确定所述候选地毯区域为目标地毯区域。

64、可选的，所述相机和所述超声波传感器不存在共视区域；所述相机为单目标相机。

65、本技术实施例还提供了一种电子设备，包括：

66、存储器，用于存放计算机程序；

67、处理器，用于执行存储器上所存放的程序时，实现上述任一所述的地毯检测方法。

68、本技术实施例还提供了一种移动机器人系统，包括数据采集模块和处理器；所述数据采集模块包括相机和超声波传感器；

69、所述数据采集模块，用于通过所述相机采集目标场景的待处理图像，以及通过所述超声波传感器接收所述目标场景中的地面反射的回波信号；

70、所述处理器，用于执行上述任一所述的地毯检测方法。

71、本技术实施例还提供了一种移动机器人系统，包括处理器、相机和超声波传感器；

72、所述相机，用于采集目标场景的待处理图像，

73、以及所述超声波传感器，用于向所述目标场景中的地面发射超声波信号，以及接收反射的回波信号；

74、所述处理器，用于执行上述任一所述的地毯检测方法。

75、本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的地毯检测方法。

76、本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的地毯检测方法。

77、本技术实施例有益效果：

78、本技术实施例提供的一种地毯检测方法，应用于移动机器人，移动机器人包括相机和超声波传感器，方法包括：对相机采集的目标场景的待处理图像进行识别，得到目标场景中的地毯在待处理图像中所占图像区域，作为候选地毯区域。基于候选地毯区域在待处理图像中的位置，确定候选地毯区域在目标场景中的位置，作为目标位置。在基于目标位置检测到移动机器人与候选地毯区域之间的距离大于预设距离阈值时，降低移动机器人的检测灵敏度。在基于目标位置检测到移动机器人与候选地毯区域之间的距离不大于预设距离阈值时，提高移动机器人的检测灵敏度。基于移动机器人接收到的回波信号的强度，以及调整后的检测灵敏度，确定候选地毯区域是否为目标地毯区域。回波信号为超声波传感器发射的超声波信号到达候选地毯区域反射的。

79、基于上述处理，确定出目标场景中的候选地毯区域后，在移动机器人与候选地毯区域之间的距离较大时，移动机器人还未到达目标地毯区域，为了避免将其他区域误检为目标地毯区域，降低移动机器人的检测灵敏度。在移动机器人与候选地毯区域之间的距离较小时，移动机器人可能即将达到目标地毯区域，为了检测出目标地毯区域，提高移动机器人的检测灵敏度，也就是基于移动机器人与候选地毯区域之间的距离，动态调整移动机器人的检测灵敏度，进而提高地毯检测的准确性。

80、当然，实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。

技术特征：

1.一种地毯检测方法，其特征在于，所述方法应用于移动机器人，所述移动机器人包括相机和超声波传感器，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述相机采集的目标场景的待处理图像进行识别，得到所述目标场景中的地毯在所述待处理图像中所占图像区域，作为候选地毯区域，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一类别和所述第二类别，确定所述目标地毯区域中的地毯的目标类别，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于所述候选地毯区域在所述待处理图像中的位置，确定所述候选地毯区域在所述目标场景中的位置，作为目标位置，包括：

5.根据权利要求4所述的方法，其特征在于，所述指定点为所述候选地毯区域的下边缘中的指定点。

6.根据权利要求4所述的方法，其特征在于，所述基于所述候选地毯区域的指定点在相机坐标系中的三维坐标，以及相机坐标系与世界坐标系之间的转换关系，确定所述候选地毯区域的指定点在世界坐标系中的三维坐标，得到所述候选地毯区域在所述目标场景中的位置，作为目标位置，包括：

7.根据权利要求4所述的方法，其特征在于，所述基于所述候选地毯区域中的指定点在待处理图像的图像坐标系中的二维坐标，确定所述候选地毯区域的指定点在相机坐标系中的三维坐标，包括：

8.根据权利要求1所述的方法，其特征在于，在所述基于所述候选地毯区域在所述待处理图像中的位置，确定所述候选地毯区域在所述目标场景中的位置，作为目标位置之后，所述方法还包括：

9.根据权利要求1所述的方法，其特征在于，所述在基于所述目标位置检测到所述移动机器人与所述候选地毯区域之间的距离大于预设距离阈值时，降低所述移动机器人的检测灵敏度，包括：

10.根据权利要求1至9任一项所述的方法，其特征在于，所述相机和所述超声波传感器不存在共视区域；所述相机为单目标相机。

11.一种地毯检测装置，其特征在于，所述装置应用于移动机器人，所述移动机器人包括相机和超声波传感器，所述装置包括：

12.根据权利要求11所述的装置，其特征在于，所述图像识别模块，具体用于对所述相机采集的目标场景的待处理图像进行识别，得到所述目标场景中的地毯在所述待处理图像中所占的候选地毯区域，以及所述候选地毯区域中的地毯的第一类别；

13.一种电子设备，其特征在于，包括：

14.一种移动机器人系统，其特征在于，包括处理器、相机和超声波传感器；

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-10任一所述的方法。

技术总结
本申请实施例提供了一种地毯检测方法、装置、电子设备及存储介质，涉及移动机器人技术领域，方法包括：对相机采集的目标场景的待处理图像进行识别，得到地毯在待处理图像中的候选地毯区域。基于候选地毯区域在待处理图像中的位置，确定候选地毯区域在目标场景中的目标位置。在基于目标位置检测到移动机器人与候选地毯区域的距离大于预设距离阈值时，降低移动机器人的检测灵敏度。在基于目标位置检测到移动机器人与候选地毯区域的距离不大于预设距离阈值时，提高移动机器人的检测灵敏度。基于移动机器人接收到的回波信号的强度，以及调整后的检测灵敏度，确定候选地毯区域是否为目标地毯区域，可以提高地毯检测的准确性。

技术研发人员：李源源
受保护的技术使用者：杭州萤石软件有限公司
技术研发日：
技术公布日：2024/9/23