一种基于正交视觉系统的鱼类生物量无损测算方法和装置

本发明属于工业化水产智能养殖领域，涉及一种基于正交视觉系统的鱼类生物量无损测算方法和装置，准确地说是一种集养殖对象表型数据无损采集，基于外形参数的指标评估，以及根据养殖育种需求自动筛选鱼群功能于一体的方法和装置。

背景技术：

1、我国是鱼类养殖大国，而鱼类表型及生物量是鱼类育种、鱼类种群库的重要数据，且对生产养殖中饲料投喂估算、养殖密度控制以及分级分塘、捕捞出售都有重要的参考意义。

2、鱼类表型和生物量数据采集最常使用的方法是将鱼体捕捞上来进行人工测量。这种传统的鱼体测量方式属于接触式测量，是侵入性的、且费时费力的方法，会对养殖鱼体带来不良影响，甚至造成死亡。如何高效获取鱼类表型数据并避免对鱼产生应激、损伤等不良影响是亟待解决的问题.

3、在上述背景的基础上，本发明提出了一种基于正交视觉系统的鱼类生物量无损测算方法和装置，利用机器视觉和人工智能算法对鱼体图像进行表型测算和生物量估算，并对肥满度、体型长宽比等参数结合模块设定筛选标准，由吸鱼器对不符合标准的鱼进行分池。本发明的装置结构简单，对目标鱼群测量方法快速且准确，可实现对鱼群的固定外形指标进行筛选，从而提高养殖生产效率、帮助育种培育。

技术实现思路

1、本发明的目的在于针对鱼类表型和生物量测算中现有技术的不足，提供一种基于正交视觉系统的的鱼类生物量无损测算方法和装置。该系统可实现：1.鱼体表型和生物量生长数据采集；2.基于养殖鱼类外形的指标评估；3.基于外形指标的的养殖鱼类多元快速筛选。

2、本发明采用的技术方案如下：

3、一种正交视觉鱼类表型自动获取装置，该装置包括通道采集装置，所述通道采集装置设有一过鱼通道，在过鱼通道的顶部及侧面分别设有摄像机构成正交摄像机，即顶部及侧面摄像机位置处于过鱼通道同一通道截面且两摄像机角度为90°；通道采集装置中摄像机所在图像采集面使用透明有机玻璃，通道外部采用防水金属材质，通道采集装置配重以抵消水体浮力，装置内部采用人工光源照明使摄像机获取图像无投影干扰。

4、进一步的，所述装置还包括pit信号接收器、服务器、控制器、吸鱼泵；pit信号接收器与吸鱼泵通道入口位于通道采集装置入口处，正交摄像机与服务器相连，pit信号接收器与控制器的输入端相连，控制器与吸鱼泵相连，服务器与控制器连接。

5、一种鱼类表型提取及生物量无损测算方法，将如上所述的正交视觉鱼类表型自动获取装置进行布置，通道采集装置没于水体内，采用pit鱼类无线射频标记鱼体并首次称重，有鱼体通过通道采集装置时，pit信号接收器接收到鱼体的无线射频标记并解码，将鱼体的唯一标识编码传输到控制器，触发正交摄像机对鱼体进行高分辨率图像采集，服务器对图像分析后得到表型数据和体重数据，将数据保存至对应鱼体编码目录下。

6、具体可包括以下步骤：

7、步骤1、获取鱼体俯视图与侧视图

8、目标鱼体通过通道，pit信号接收器接收到鱼体的无线射频标记并解码，将鱼体的唯一标识编码传输到控制器，服务器控制运行正交摄像系统，开始读取实时视频帧，获得包含侧视图和俯视图的一组实时图像{p1,p2}，其中p1为侧视图对应视频帧，p2为俯视图对应视频帧；

9、步骤2：目标与关键点检测

10、服务器接收到实时视频帧p1，使用预先构建并训练的目标检测模型对每帧p1进行目标检测，检测结果分为两类，一类“无目标”即不包含鱼体或鱼体不完整，一类是“目标鱼体”即包含完整鱼体目标；根据相机输入的实时帧逐帧得到目标检测结果，如果检测到“目标鱼体”，则以该帧为目标帧进行下一步处理，在检测到目标的位置绘制矩形框，将检测后的帧显示到屏幕上，该帧时间戳对应的侧视图、俯视图为符合表型提取要求的一组{p1,p2}，作为一组待处理图像进入关键点检测处理；利用已训练好的特定鱼种的关键点检测模型，分别识别p1,p2图像中的关键点，转换成主图上的全局坐标信息。

11、步骤3：表型提取与体重估算

12、根据所述关键点计算待提取表型鱼类的全局表型参数；得到鱼体全长、体长、体厚数据；并使用公式进行体重估算。

13、进一步的，所述的目标检测模型及特定鱼种的关键点检测模型，其构建具体包括：

14、通过装置采集包含完整鱼体、不完整鱼体即鱼体一部分超出摄像头范围以及不包含鱼体的图片数据集；将其中包含完整鱼体的图片，采用边界框标记完整鱼体位置并标签类别为“目标鱼体”，其余图片标注为“无目标”；使用标注后的训练集进行目标检测训练并采用测试集评估后，得到所述目标检测模型；

15、将针对特定鱼种的包含完整鱼体的侧视图、俯视图分别进行人工标注关键点，使用标注后的训练集进行关键点检测训练并采用测试集评估后，得到所述关键点检测模型。

16、进一步的，所述的关键点包括如下：对于一组{p1,p2}图像组，侧视图p1中关键点有：鱼头位置点为s1，背鳍与鱼身的拐点为s2，腹鳍与鱼身的拐点为s3，尾鳍与鱼身上拐点为s4，尾鳍与鱼身下拐点为s5，s4和s5中点为s6，尾鳍最长处上方点为s7，尾鳍最长处下方点为s8，s7和s8中点为s9，线段s2s3和线段s1s6上的交点为s10；俯视图p2中关键点有：鱼头位置点为d1，鱼身左侧第一个鱼鳍与鱼身的拐角点为d2，鱼身右侧第一个鱼鳍与鱼身的拐角点为d3，鱼体背鳍与鱼身的拐点为d4，尾鳍起点d5，尾鳍最长结束点d6。

17、进一步的，匹配俯视图和侧视图骨架的点对{s1,s10,s6,s9}和{d1,d4,d5,d6}，在主图中，以{s1,d1}点对所在位置为三维坐标原点(0，0，0)，{s6,d5}点对所在位置为(x0，y0，z0)，{s9,d6}点对所在位置为(x1，y1，z1)；

18、鱼体骨架拟合得到三维空间曲线段，曲线段上任一点对应向量参数方程为：

19、在侧视图p1中进行二维曲线拟合，得到z＝f(y)

20、在俯视图p2中进行二维曲线拟合，得到x＝g(y)

21、则从鱼嘴到鱼尾鳍最长处为鱼体全长l′：

22、全长从鱼嘴到鱼尾鳍起点处为鱼体体长l：

23、体长体厚b＝|d2d3|

24、体宽h＝|s2s3|。

25、进一步的，所述的体重估算具体如下：对于一组{p1,p2}图像组，前一次测量时间为t0，测得表型数据体长l0，体宽h0，体厚b0，在t时刻测得表型数据体长lt，体宽ht，体厚bt；

26、记绝对生长速度生长时间拐点为t时刻预估体重wt：

27、t<ttp时，

28、t≥ttp时，

29、肥满度

30、

31、一种鱼体生长周期跟踪与筛选的方法，基于如上任一项所述的方法得到鱼体的表型数据和体重数据，根据需求设定表型和/或体重数据筛选标准，将需要保留的鱼群的射频信号标为r类，需要移除的鱼群的射频信号标为m类；当pit信号接收器收到r类射频信号并将编码发送至控制器，控制器不启动吸鱼泵；当pit信号接收器收到一个或多个m类射频信号，且不包括r类射频信号时，控制器启动吸鱼泵，间隔设定时长后停下。

32、上述方案中，设定筛选标准时可选参数有绝对生长速度k，肥满度k，体长，体宽，体厚，鱼体长宽比，体重中的一种或多种。

33、本发明的有益效果是：

34、本发明通过采集鱼体侧面及顶部图像，利用算法提取图像中鱼体轮廓，计算鱼类全长、体长、体高、体厚、体重等特征信息，此外还可设定筛选特征，结合吸鱼泵实现目标鱼群筛选。所述装置和方法可用于不同阶段的鱼体图像采集，基于深度学习算法实现表型测量及体重估算。相比于传统的将待检测的鱼个体捞起及行人工测量的方法，本发明具有高效、准确率高等优点，能在保证不用逐一捕捞的条件下，进行鱼群的特定筛选，从而为育种等需求服务。

技术特征：

1.一种正交视觉鱼类表型自动获取装置，其特征在于，该装置包括通道采集装置，所述通道采集装置设有一过鱼通道，在过鱼通道的顶部及侧面分别设有摄像机构成正交摄像机，即顶部及侧面摄像机位置处于过鱼通道同一通道截面且两摄像机角度为90°；通道采集装置中摄像机所在图像采集面使用透明有机玻璃，通道外部采用防水金属材质，通道采集装置配重以抵消水体浮力，装置内部采用人工光源照明使摄像机获取图像无投影干扰。

2.如权利要求1所述的正交视觉鱼类表型自动获取装置，其特征在于，所述装置还包括pit信号接收器、服务器、控制器、吸鱼泵；pit信号接收器与吸鱼泵通道入口位于通道采集装置入口处，正交摄像机与服务器相连，pit信号接收器与控制器的输入端相连，控制器与吸鱼泵相连，服务器与控制器连接。

3.一种鱼类表型提取及生物量无损测算方法，其特征在于，将如权利要求2所述的正交视觉鱼类表型自动获取装置进行布置，通道采集装置没于水体内，采用pit鱼类无线射频标记鱼体并首次称重，有鱼体通过通道采集装置时，pit信号接收器接收到鱼体的无线射频标记并解码，将鱼体的唯一标识编码传输到控制器，触发正交摄像机对鱼体进行高分辨率图像采集，服务器对图像分析后得到表型数据和体重数据，将数据保存至对应鱼体编码目录下。

4.根据权利要求3所述的鱼类表型提取及生物量无损测算方法，其特征在于，包括以下步骤：步骤1、获取鱼体俯视图与侧视图

5.根据权利要求4所述的鱼类表型提取及生物量无损测算方法，其特征在于，所述的目标检测模型及特定鱼种的关键点检测模型，其构建具体为：

6.根据权利要求4所述的鱼类表型提取及生物量无损测算方法，其特征在于，所述的关键点包括如下：对于一组{p1,p2}图像组，侧视图p1中关键点有：鱼头位置点为s1，背鳍与鱼身的拐点为s2，腹鳍与鱼身的拐点为s3，尾鳍与鱼身上拐点为s4，尾鳍与鱼身下拐点为s5，s4和s5中点为s6，尾鳍最长处上方点为s7，尾鳍最长处下方点为s8，s7和s8中点为s9，线段s2s3和线段s1s6上的交点为s10；俯视图p2中关键点有：鱼头位置点为d1，鱼身左侧第一个鱼鳍与鱼身的拐角点为d2，鱼身右侧第一个鱼鳍与鱼身的拐角点为d3，鱼体背鳍与鱼身的拐点为d4，尾鳍起点d5，尾鳍最长结束点d6。

7.根据权利要求6所述的鱼类表型提取及生物量无损测算方法，其特征在于，匹配俯视图和侧视图骨架的点对{s1,s10,s6,s9}和{d1,d4,d5,d6}，在主图中，以{s1,d1}点对所在位置为三维坐标原点(0，0，0)，{s6,d5}点对所在位置为(x0，y0，z0)，{s9,d6}点对所在位置为(x1，y1，z1)；

8.根据权利要求4所述的鱼类表型提取及生物量无损测算方法，其特征在于，所述的体重估算具体如下：对于一组{p1,p2}图像组，前一次测量时间为t0，测得表型数据体长l0，体宽h0，体厚b0，在t时刻测得表型数据体长lt，体宽ht，体厚bt；

9.一种鱼体生长周期跟踪与筛选的方法，其特征在于：基于如权利要求3-8任一项所述的方法得到鱼体的表型数据和体重数据，根据需求设定表型和/或体重数据筛选标准，将需要保留的鱼群的射频信号标为r类，需要移除的鱼群的射频信号标为m类；当pit信号接收器收到r类射频信号并将编码发送至控制器，控制器不启动吸鱼泵；当pit信号接收器收到一个或多个m类射频信号，且不包括r类射频信号时，控制器启动吸鱼泵，间隔设定时长后停下。

10.根据权利要求9所述的鱼体生长周期跟踪与筛选的方法，其特征在于：设定筛选标准时可选参数有绝对生长速度k，肥满度k，体长，体宽，体厚，鱼体长宽比，体重中的一种或多种。

技术总结
本发明公开了一种基于正交视觉系统的鱼类生物量无损测算方法和装置。装置包括通道采集装置，通道采集装置设有一过鱼通道，在过鱼通道内设有正交摄像机，所述装置还包括PIT信号接收器、服务器、控制器、吸鱼泵；所述方法包括：采集鱼体侧面及顶部图像，利用算法提取图像中鱼体轮廓，计算鱼类全长、体长、体高、体厚、体重等特征信息，还可设定筛选特征，结合吸鱼泵实现目标鱼群筛选。所述装置和方法可用于不同阶段的鱼体图像采集，基于深度学习算法实现表型测量及体重估算。相比于传统的将待检测的鱼个体捞起及行人工测量的方法，本发明具有高效、准确率高等优点，能在保证不用逐一捕捞的条件下，进行鱼群的特定筛选，从而为育种等需求服务。

技术研发人员：叶章颖,王智颖,朋泽群,赵建,周佳龙,张意晴,朱松明
受保护的技术使用者：浙江大学
技术研发日：
技术公布日：2024/9/23