本发明涉及语音控制领域,尤其涉及一种基于物联网实现智能产品的语音控制方法及系统。
背景技术:
1、智能产品的语音控制是指使用语音识别技术和自然语言处理技术来控制智能设备的能力。用户通过语音指令与智能产品交互,而不需要物理接触或使用传统的输入设备,如键盘或触摸屏。这种交互方式允许用户以更自然、直观的方式与设备进行沟通,提高了便利性和用户体验。
2、目前智能产品的语音控制主要通过设备麦克风采集语音,并将语音转化为控制指令,这种方法容易受到噪声、地域口音等因素的影响方法,导致语音识别存在一定偏差,从而使得智能产品的语音控制不够准确。
技术实现思路
1、本发明提供一种基于物联网实现智能产品的语音控制方法及系统,其主要目的在于提高对智能产品语音控制的准确性。
2、为实现上述目的,本发明提供的一种基于物联网实现智能产品的语音控制方法,包括:
3、获取待控制产品对应语音用户的历史语音,对所述历史语音进行增强处理,基于所述增强历史语音,对预设的声学模型和语言模型进行联合优化,得到所述待控制产品的语音识别模型;
4、识别所述待控制产品的产品特征,基于所述产品特征,构建所述待控制产品的多麦克风阵列,基于所述多麦克风阵列采集所述待控制产品的目标语音;
5、评估所述目标语音的语音方向,基于所述语音方向,构建所述多麦克风阵列的语音波束,基于所述语音波束,对所述目标语音进行噪声约束,得到约束目标语音;
6、提取所述约束目标语音的声学特征,基于所述声学特征,利用所述语音识别模型将所述约束目标语音转化为语音文本;
7、对所述语音文本进行解析,得到解析语音文本,基于所述解析语音文本,识别所述语音用户的用户意图,基于所述用户意图,构建所述语音用户的控制指令,基于所述控制指令,执行对所述待控制产品的语音控制。
8、可选地,所述对所述历史语音进行增强处理,得到增强历史语音,包括:
9、识别所述历史语音的语音增强因子;
10、确定所述历史语音的音频处理组件;
11、基于所述音频处理组件和所述语音增强因子,编写所述历史语音的语音增强脚本;
12、基于所述语音增强脚本,对所述历史语音进行增强处理,得到所述增强历史语音。
13、可选地,所述基于所述增强历史语音,对预设的声学模型和语言模型进行联合优化,得到所述待控制产品的语音识别模型,包括:
14、对所述增强历史语音进行预训练标注,得到标注增强历史语音;
15、基于所述标注增强历史语音,对所述声学模型和所述语言模型进行同步训练,得到训练声学模型和训练语言模型;
16、计算所述训练声学模型和所述训练语言模型的声学模型性能和语言模型性能;
17、当所述声学模型性能和所述语言模型性能符合预设的声学模型标准性能和语言模型标准性能,对所述训练声学模型和所述训练语言模型进行并行式融合,得到所述待控制产品的语音识别模型。
18、可选地,所述基于所述产品特征,构建所述待控制产品的多麦克风阵列,包括:
19、确定所述待控制产品的麦克风类型;
20、基于所述麦克风类型和所述产品特征,分析所述待控制产品的麦克风阵列几何结构;
21、基于所述麦克风阵列几何结构,配置所述待控制产品的阵列处理器;
22、基于所述阵列处理器,构建所述待控制产品的多麦克风阵列。
23、可选地,所述评估所述目标语音的语音方向,包括:
24、提取所述目标语音的目标语音特征;
25、基于所述目标语音特征,构建所述目标语音的信号协方差矩阵和噪声协方差矩阵;
26、对所述信号协方差矩阵和所述噪声协方差矩阵进行特征值分解,得到信号矩阵特征值、信号矩阵特征向量、噪声矩阵特征值以及噪声矩阵特征向量;
27、基于所述信号矩阵特征值、所述信号矩阵特征向量、所述噪声矩阵特征值以及所述噪声矩阵特征向量,评估所述目标语音的语音方向。
28、可选地,所述基于所述信号矩阵特征值、所述信号矩阵特征向量、所述噪声矩阵特征值以及所述噪声矩阵特征向量,评估所述目标语音的语音方向,包括:
29、基于所述信号矩阵特征值和所述信号矩阵特征向量,构建所述目标语音的信号子空间;
30、基于所述噪声矩阵特征值和所述噪声矩阵特征向量,构建所述目标语音的噪声子空间;
31、利用下述公式计算所述信号子空间和所述噪声子空间的正交系数:
32、
33、其中,表示信号子空间和噪声子空间的正交系数,表示噪声子空间第个噪声矩阵特征向量,表示转置,表示噪声子空间第个噪声矩阵特征向量对应的噪声矩阵特征值,表示信号子空间第个信号矩阵特征向量,表示信号子空间第个信号矩阵特征向量对应的信号矩阵特征值,表示噪声矩阵特征向量的数量,表示信号矩阵特征向量的数量;
34、基于所述正交系数,评估所述目标语音的语音方向。
35、可选地,所述基于所述语音方向,构建所述多麦克风阵列的语音波束,包括:
36、基于所述语音方向,利用下述公式计算所述多麦克风阵列的权重矩阵:
37、
38、其中,表示多麦克风阵列的权重矩阵,表示语音方向对应目标语音的信号协方差矩阵,表示语音方向对应目标语音的噪声协方差矩阵,表示信号协方差矩阵的逆矩阵乘以噪声协方差矩阵的2范数;
39、利用所述权重矩阵应用于所述多麦克风阵列对应麦克风,得到所述多麦克风阵列的语音波束。
40、可选地,所述基于所述声学特征,利用所述语音识别模型将所述约束目标语音转化为语音文本,包括:
41、识别所述声学特征的特征向量;
42、构建所述特征向量的特征向量矩阵;
43、基于所述特征向量矩阵,利用所述语音识别模型计算所述约束目标语音的词序列概率;
44、基于所述词序列概率,分析所述约束目标语音转化为语音文本。
45、可选地,所述对所述语音文本进行解析,得到解析语音文本,包括:
46、对所述语音文本进行分词,得到分词文本;
47、标记所述分词文本的分词词性;
48、识别所述分词文本的分词文本实体;
49、基于所述分词词性和所述分词文本实体,分析所述分词文本的分词依存关系;
50、基于所述分词词性、所述分词文本实体以及所述分词依存关系,构建所述语音文本的解析语音文本。
51、为了解决上述问题,本发明还提供一种基于物联网实现智能产品的语音控制系统,所述系统包括:
52、语音识别模型构建模块,用于获取待控制产品对应语音用户的历史语音,对所述历史语音进行增强处理,基于所述增强历史语音,对预设的声学模型和语言模型进行联合优化,得到所述待控制产品的语音识别模型;
53、目标语音采集模块,用于识别所述待控制产品的产品特征,基于所述产品特征,构建所述待控制产品的多麦克风阵列,基于所述多麦克风阵列采集所述待控制产品的目标语音;
54、目标语音去噪模块,用于评估所述目标语音的语音方向,基于所述语音方向,构建所述多麦克风阵列的语音波束,基于所述语音波束,对所述目标语音进行噪声约束,得到约束目标语音;
55、语音转化文本模块,用于提取所述约束目标语音的声学特征,基于所述声学特征,利用所述语音识别模型将所述约束目标语音转化为语音文本;
56、产品语音控制模块,用于对所述语音文本进行解析,得到解析语音文本,基于所述解析语音文本,识别所述语音用户的用户意图,基于所述用户意图,构建所述语音用户的控制指令,基于所述控制指令,执行对所述待控制产品的语音控制。
57、本发明实施例通过对所述历史语音进行增强处理,得到增强历史语音可以大大增加训练数据的多样性,提高模型在真实世界条件下的鲁棒性和泛化能力;进一步地,本发明实施例基于所述增强历史语音,对预设的声学模型和语言模型进行联合优化,得到所述待控制产品的语音识别模型可以可以充分利用声学模型和语言模型的优势,提高语音识别系统的整体性能;本发明实施例基于所述产品特征,构建所述待控制产品的多麦克风阵列可以更高效的采集语音,本发明实施例通过评估所述目标语音的语音方向可以为后期的波束成形和噪声抑制提供数据基础;进一步地,本发明实施例基于所述语音波束,对所述目标语音进行噪声约束,得到约束目标语音可以获取质量更高的语音,本发明实施例基于所述声学特征,利用所述语音识别模型将所述约束目标语音转化为语音文本可以实现语音的精准识别,本发明实施例通过对所述语音文本进行解析,得到解析语音文本可以为后期的用户意图分析提供数据依据,最后,本发明实施例基于所述解析语音文本,识别所述语音用户的用户意图可以精准理解用户的意图并基于所述控制指令,执行对所述待控制产品的语音控制实现了对待控制产品的精准控制。因此本发明提出的基于物联网实现智能产品的语音控制方法及系统,可以提高对智能产品语音控制的准确性。
1.一种基于物联网实现智能产品的语音控制方法,其特征在于,所述方法包括:
2.如权利要求1所述的基于物联网实现智能产品的语音控制方法,其特征在于,所述对所述历史语音进行增强处理,得到增强历史语音,包括:
3.如权利要求1所述的基于物联网实现智能产品的语音控制方法,其特征在于,所述基于所述增强历史语音,对预设的声学模型和语言模型进行联合优化,得到所述待控制产品的语音识别模型,包括:
4.如权利要求1所述的基于物联网实现智能产品的语音控制方法,其特征在于,所述基于所述产品特征,构建所述待控制产品的多麦克风阵列,包括:
5.如权利要求1所述的基于物联网实现智能产品的语音控制方法,其特征在于,所述评估所述目标语音的语音方向,包括:
6.如权利要求5所述的基于物联网实现智能产品的语音控制方法,其特征在于,所述基于所述信号矩阵特征值、所述信号矩阵特征向量、所述噪声矩阵特征值以及所述噪声矩阵特征向量,评估所述目标语音的语音方向,包括:
7.如权利要求1所述的基于物联网实现智能产品的语音控制方法,其特征在于,所述基于所述语音方向,构建所述多麦克风阵列的语音波束,包括:
8.如权利要求1所述的基于物联网实现智能产品的语音控制方法,其特征在于,所述基于所述声学特征,利用所述语音识别模型将所述约束目标语音转化为语音文本,包括:
9.如权利要求1所述的基于物联网实现智能产品的语音控制方法,其特征在于,所述对所述语音文本进行解析,得到解析语音文本,包括:
10.一种基于物联网实现智能产品的语音控制系统,其特征在于,用于执行如权利要求1-9中任意一项所述的基于物联网实现智能产品的语音控制方法,所述系统包括:
