一种基于视觉感知的兽用药材分拣除杂设备及其方法与流程

本发明属于兽用药材检测，特别是涉及到一种基于视觉感知的兽用药材分拣除杂设备及其方法。

背景技术：

1、兽用药材是配制兽用中药制剂的原料，其质量优劣直接关系到动物用药的安全性和有效性。兽用药材不得含有霉烂变质、虫蛀、杂质等有害成分，并对不同兽用药材的色泽、杂质含量等质量属性提出了定量或定性的检测要求。例如，黄芪兽用药材应为类圆柱形，表面灰黄色或淡棕色，质硬而韧，断面纤维性；而牛蒡子兽用药材须呈卵圆形或长圆形，表面黑褐色或黑色，有网状皱纹，断面色白。然而，在实际的兽用药材生产和流通过程中，受自然环境、采收加工、运输储存等因素的影响，兽用药材往往难以完全达到质量标准，常见的问题包括：

2、（1）外观形状缺陷：如兽用药材破碎、畸形、表面裂纹等，影响兽用药材的完整性和外观质量。

3、（2）色泽气味异常：如兽用药材发黑、变色、霉变，可能失去应有的疗效。

4、（3）夹杂掺伪：如混入石头、泥沙、金属等异物，或以次充好、以伪乱真。

5、（4）虫蛀鼠咬：虫鼠啃噬兽用药材，造成内部损伤和营养成分流失。

6、（5）水分超标：如兽用药材受潮、发霉，含水量超出限定值，易滋生细菌。

7、传统的兽用药材分拣除杂主要依靠人工挑选，工人需要凭借一定的兽用药材鉴别知识和经验，逐片检视兽用药材，识别其外观缺陷，剔除变质或夹杂的兽用药材。但人工分拣除杂存在诸多局限：首先，兽用药材的质量判定标准模糊，很大程度上依赖个人经验，检测结果因人而异、缺乏客观性；其次，人眼难以察觉兽用药材细微的色泽、纹理差异，容易漏检某些隐蔽缺陷；再者，人工挑拣的效率低下，难以适应兽用药材供应链的快速发展。为提升兽用药材的质量控制水平，有必要引入自动化视觉检测系统，通过图像处理和模式识别技术，实现兽用药材外观质量的快速、准确、可追溯评估。

技术实现思路

1、首先是兽用药材图像数据的获取和标注。我们采集《中华人民共和国兽药典》（2020版）二部记载的中兽用药材图像，由多位专家对图像的质量缺陷类型和程度进行标注，并采用多数投票法确定最终标签。每张兽用药材图片被标注为完好、色泽异常、夹杂掺伪、虫蛀霉变四种缺陷类型之一。专家还参考兽药质量分级标准，从色泽、杂质含量、粉碎程度等方面对样本进行综合评分，分值在0到5之间，分值越高表示品质越好。

2、接下来是兽用药材图像数据的预处理。我们将图像等比例缩放，使短边不小于224像素，再裁剪出包含兽用药材主体区域的最大正方形图像。为了提升模型的泛化性，我们采用随机水平翻转、随机旋转（-10°到10°）、随机裁剪（0.8-1.0倍）等方式扩充样本。同时，对图像rgb三个通道分别进行均值为0、方差为1的标准化，加速模型收敛。

3、为了进一步扩充样本，我们参照兽用药材鉴别检验规程，人工合成反映不同缺陷特征的兽用药材图像。对完好样本施加不同程度褐变、发灰滤镜，获得色泽异常样本；随机掺入砂石杂质，模拟夹杂掺伪；在局部添加虫眼状斑点，生成虫蛀样本。

4、经过上述图像数据的采集标注、预处理、增强后，我们得到了用于训练和测试模型的兽用药材图像数据集。接下来，基于该数据集构建并训练一个兽用药材视觉感知模型。

5、将无缝集成到的中，从而增强捕捉兽用药材质量长程依赖的能力。在解码端，通过多任务学习，同时完成对兽用药材缺陷类型和质量评分的预测。

6、具体来说，首先对输入的兽用药材图像构建多尺度表示，充分利用不同尺度上的视觉信息。将原始图像在三个尺度上进行下采样，得到三种分辨率的图像，分别用于提取整体形状、局部纹理和细节特征。

7、每个尺度上，将图像划分为固定大小的网格，并展平为向量。除了三个尺度上的图像特征之外，为了引入兽用药材的质量知识，我们基于兽用药材标准和药典定义了形状词典和颜色词典，包含描述兽用药材形状和色泽的词语及其嵌入向量。将词嵌入与图像的多尺度网格特征拼接，得到融合先验知识的多尺度兽用药材表示，从兽用药材的图像和先验知识两个角度得到了语义更加丰富的兽用药材表示。

8、接下来，模型的将多尺度网格特征输入的，学习局部区域间的相关性。的输出再依次交替通过n个和捕捉兽用药材质量的长程序列依赖。

9、的输出经过汇聚为一个全局的兽用药材表示向量。解码器接收这个向量，通过两个独立的，分别预测兽用药材所属的缺陷类别和质量评分。

10、采用了多任务学习策略，联合优化缺陷类型和质量评分这两个任务。

11、最后，缺陷类型任务的损失和质量评分任务的损失被加权求和，得到多任务学习的总体损失。通过联合优化该总体损失，模型同时提升在兽用药材缺陷分类和质量评分两个任务上的性能。

12、此外，我们还提出了一种基于视觉感知的兽用药材分拣除杂设备，包括：所述基于视觉感知的兽用药材分拣除杂设备包括电子存储装置、多核心电子计算处理装置，所述存储装置上存储有用来执行上述基于视觉感知的兽用药材分拣除杂方法的计算机运行程序，所述多核心电子计算处理装置可用来并行计算所述存储装置中存有的基于视觉感知的兽用药材分拣除杂方法的计算机运行程序。

13、本发明提出的基于视觉感知的兽用药材分拣除杂设备及其方法，具有以下有益技术效果：

14、第一，本发明构建了一个融合先验知识的兽用药材图像数据集，采集了《中华人民共和国兽药典》记载的各类中兽用药材图像，由多位专家对图像进行缺陷和质量标注。数据集覆盖完好、色泽异常、夹杂掺伪、虫蛀霉变等多种缺陷情况，并引入了描述兽用药材形状、色泽的专业术语及其词嵌入。通过图像预处理、数据增强等操作，进一步提升了数据的丰富性和分布均衡性。高质量的数据集为训练鲁棒、泛化的兽用药材质量评估模型奠定了基础。

15、第二，本发明创新性地提出了模型用于兽用药材视觉感知。该模型在的中引入了增强型变体，解决了纯在兽用药材特征捕捉中长程序列依赖能力不足的问题，使模型能够充分挖掘不同区域、尺度间的关联特征，形成对兽用药材的全局理解。在端，模型通过多尺度表示学习，融合了不同粒度的视觉信息；在端，采用多任务策略同时预测缺陷类别和质量评分。全方位、细粒度地刻画了兽用药材的外观质量，大幅提升了分拣除杂的准确性。与传统人工分拣和单一视觉特征的方法相比，本发明实现了兽用药材质量的快速、客观、可追溯评估。

技术特征：

1.一种基于视觉感知的兽用药材分拣除杂方法，其特征在于，所述方法包括获取并标注兽用药材图像数据集，兽用药材图像数据预处理，兽用药材图像数据增强，构建并训练一个兽用药材视觉感知模型。

2.如权利要求1所述的一种基于视觉感知的兽用药材分拣除杂方法，其特征在于，所述获取并标注兽用药材图像数据集包括：采集《中华人民共和国兽药典》2020版二部记载的中兽用药材图像，由多位专家对图像的质量缺陷类型和程度进行标注，并采用多数投票法确定最终标签，每张兽用药材图片被标注为完好、色泽异常、夹杂掺伪、虫蛀霉变四种缺陷类型之一，专家依据参考兽药质量分级标准，从色泽、杂质含量、粉碎程度对样本进行综合评分，分值在0到5之间。

3.如权利要求1所述的一种基于视觉感知的兽用药材分拣除杂方法，其特征在于，所述兽用药材图像数据预处理包括：将兽用药材图像等比例缩放，使短边不小于224像素，再裁剪出包含兽用药材主体区域的最大正方形图像，采用随机水平翻转、随机旋转-10°到10°、随机裁剪0.8-1.0倍扩充样本，对图像rgb三个通道分别进行均值为0、方差为1的标准化。

4.如权利要求1所述的一种基于视觉感知的兽用药材分拣除杂方法，其特征在于，所述构建并训练一个兽用药材视觉感知模型包括：将模型无缝集成到模型的编码器中，在解码端，通过多任务学习，同时完成对兽用药材缺陷类型和质量评分的预测；

5.如权利要求4所述的一种基于视觉感知的兽用药材分拣除杂方法，其特征在于，所述融合先验知识的多尺度兽用药材表示具体为：基于兽用药材标准和药典定义一个形状词典和一个颜色词典，分别包含描述兽用药材形状和色泽的词语，以及对应的嵌入向量、，为药材兽用药材形状的个数，为兽用药材色泽的个数；将词嵌入向量与兽用药材图像的多尺度网格特征在通道维度上拼接，即可得到融合了先验知识的多尺度兽用药材表示：

6.一种基于视觉感知的兽用药材分拣除杂设备，其特征在于，所述基于视觉感知的兽用药材分拣除杂设备包括电子存储装置、多核心电子计算处理装置，所述存储装置上存储有计算机运行程序，所述多核心电子计算处理装置可用来并行计算所述存储装置中存有的计算机运行程序以实现权利要求1-5任一项所述的方法。

技术总结
本发明属于兽用药材检测技术领域，特别是涉及到一种基于视觉感知的兽用药材分拣除杂设备及其方法，该方法首先构建了兽用药材图像数据集，包括采集、标注、预处理和数据增强，然后利用基于的视觉感知模型，该模型将融入的中，将融合了领域知识的词嵌入与图像的多尺度网格特征拼接，得到融合先验知识的多尺度兽用药材表示，采用多任务解码策略，同时进行兽用药材缺陷分类和质量评分。这种方法旨在提高兽用药材质量控制的自动化和准确性，克服传统人工分拣的局限性。

技术研发人员：张俊,金文,张严丰
受保护的技术使用者：四川新辉煌动物药业有限公司
技术研发日：
技术公布日：2024/9/23