一种AR眼镜的图像获取方法及系统与流程
本发明涉及ar眼镜图像处理，特别是一种ar眼镜的图像获取方法及系统。
背景技术：
1、增强现实（augmented reality, ar）技术自20世纪90年代初提出以来，已成为科技领域的重要研究方向之一，ar眼镜作为增强现实技术的重要应用载体，旨在通过叠加计算机生成的信息在现实世界中，为用户提供更为丰富的视觉体验，近年来，ar眼镜在消费电子、医疗、教育、工业等领域展现出了广阔的应用前景，现有的ar眼镜大多采用摄像头和传感器获取外部环境的图像，并通过内置的处理单元实时处理这些图像数据，将增强信息叠加在用户的视野中，现有技术在处理用户个性化需求方面存在明显的不足，无法根据用户的视觉偏好进行个性化调整，且图像处理展示效果不佳，对于用户交互方面的灵活性和智能化程度也有待提升。
技术实现思路
1、鉴于上述现有的ar眼镜的图像获取方法及系统中存在的问题，提出了本发明。
2、因此，本发明所要解决的问题在于现有技术在处理用户个性化需求方面存在明显的不足，无法根据用户的视觉偏好进行个性化调整，且图像处理展示效果不佳，对于用户交互方面的灵活性和智能化程度也有待提升。
3、为解决上述技术问题，本发明提供如下技术方案：一种ar眼镜的图像获取方法，其包括，ar眼镜在用户首次佩戴时展示纯色图像，收集用户瞳孔数据，获取用户颜色反应模式，并调整颜色形成用户颜色展示方案；
4、ar眼镜收集图像数据和环境数据上传至云服务器，云服务器进行图像数据识别分类并构建3d图像模型传输至ar眼镜，ar眼镜根据用户颜色展示方案进行3d图像模型色彩调整；
5、通过云服务器检测用户手势信号和视点信号控制ar眼镜进行3d图像模型展示；
6、ar眼镜将控制数据记录为日志，并定期上传至云服务器存储。
7、作为本发明所述ar眼镜的图像获取方法的一种优选方案，其中：所述ar眼镜在用户首次佩戴时展示纯色图像，收集用户瞳孔数据，获取用户颜色反应模式，并调整颜色形成用户颜色展示方案指在用户首次佩戴ar眼镜时，注册用户信息作为用户识别标签，向用户依次展示纯色图像，通过内置摄像头拍摄用户对于每个纯色图像的瞳孔反应图像；
8、构建支持向量机模型，获取正常用户和色彩障碍用户对于纯色图像的瞳孔反应图像作为训练集，使用训练集训练支持向量机模型并调整模型参数；
9、将用户的瞳孔反应图像输入支持向量机模型中得到用户对每种颜色的反应综合形成用户颜色反应模式；
10、根据用户颜色反应模式调整对应颜色并记录颜色调整数据，重新向用户进行展示并收集调整后的用户瞳孔反应图像输入至支持向量机模型中，若支持向量机模型输出用户对每种颜色反应与正常用户一致，则将颜色调整数据作为用户颜色展示方案输出。
11、作为本发明所述ar眼镜的图像获取方法的一种优选方案，其中：所述ar眼镜收集图像数据和环境数据上传至云服务器，云服务器进行图像数据识别分类并构建3d图像模型传输至ar眼镜，ar眼镜根据用户颜色展示方案进行3d图像模型色彩调整包括，
12、ar眼镜通过摄像头与传感器收集360度图像数据和环境数据按照时间戳数据顺序上传至云服务器，云服务器对360度图像数据进行拼接处理形成完整图像；
13、构建卷积神经网络，通过图像分类数据集对卷积神经网络进行训练并更新神经网络参数形成图像分类模型：
14、
15、其中f（x）为分类结果，w2和w1为卷积神经网络的权重矩阵，b1和b2为卷积神经网络的偏置，relu为激活函数；
16、云服务器将完整图像输入图像分类模型中进行物体识别分类，并根据识别物体创建分类标签进行分类信息标注；
17、云服务器根据360度图像数据计算每个像素的视差d，通过视差d计算每个像素的深度d，综合所有像素深度形成深度图，并根据深度图生成点云数据：
18、
19、其中pij为点云数据的坐标，i和j为像素坐标，cx和cy为摄像头的光心坐标，fx和fy为摄像头的焦距，d(i，j)为坐标的(i，j)的深度；
20、根据点云数据使用delaunay三角化算法生成三角网格，将所有三角网格进行连接形成完整的3d图像模型并进行平滑处理；
21、云服务器根据360度图像数据和环境数据对3d图像模型进行实时渲染后存储至模型库，同步将分类标签与3d图像模型中物体进行绑定，云服务器将渲染后的3d图像模型发送至ar眼镜中；
22、ar眼镜接收到3d图像模型根据360度图像数据进行几何校准和比例校准，并根据用户颜色展示方案对3d图像模型进行颜色调整，ar眼镜将校准和调整后的3d图像模型向用户展示。
23、作为本发明所述ar眼镜的图像获取方法的一种优选方案，其中：所述通过云服务器检测用户手势信号和视点信号指云服务器通过图像分类模型进行物体识别分类后得到物体分类信息，将其中所有包含用户手势的图像进行提取，并按照时间戳顺序进行排序，选择时间戳连续的图像作为手势识别图像并去除其余图像；
24、构建yolo识别算法，定义手势识别目标为手背状态下的大拇指与食指，使用手势识别训练集训练yolo识别算法；
25、将手势识别图像输入yolo识别算法进行手势状态识别得到手势信号；
26、ar眼镜在进行3d图像模型展示时实时通过内置摄像头拍摄用户眼球运动数据，通过眼球追踪技术获取用户视点信号。
27、作为本发明所述ar眼镜的图像获取方法的一种优选方案，其中：所述控制ar眼镜进行3d图像模型展示指云服务器通过手势信号和视点信号控制ar眼镜进行3d图像模型展示，并实时监测手势信号和视点信号位置，若手势信号和视点信号位置相同，则执行手势信号，若手势信号和视点信号位置不同，则忽略手势信号；
28、所述手势信号包括：
29、若手势信号识别为单食指且在时间戳连续的图像中手势信号未变化，则识别为点击信号，ar眼镜根据点击信号在3d图像模型上所处位置展示该位置的物体分类信息；
30、若手势信号识别为大拇指和食指且在时间戳连续的图像中二者靠近，则识别为缩小信号，ar眼镜将3d图像模型进行缩小展示；
31、若手势信号识别为大拇指和食指且在时间戳连续的图像中二者远离，则识别为放大信号，ar眼镜将3d图像模型进行放大展示；
32、若手势信号识别单大拇指且在时间戳连续的图像中手势信号未变化，则识别为退出信号，ar眼镜从3d图像模型展示中退出。
33、作为本发明所述ar眼镜的图像获取方法的一种优选方案，其中：所述ar眼镜在云服务器中具备唯一id，并通过唯一id与云服务器连接，允许ar眼镜通过访问云服务器模型库下载其他3d图像模型进行展示。
34、作为本发明所述ar眼镜的图像获取方法的一种优选方案，其中：所述ar眼镜将控制数据记录为日志，并定期上传至云服务器存储指ar眼镜将手势信号和视点信号对3d图像模型展示的控制数据形成日志，并定期将日志上传至云服务器进行存储，云服务器根据ar眼镜唯一id对日志进行分类和备份。
35、本发明的另外一个目的是提供一种ar眼镜的图像获取系统，其包括，
36、个性化调整模块，用于向用户进行颜色测试，并根据用户对颜色的反应形成用户颜色调整方案；
37、图像处理模块，用于对收集的360度图像数据和环境数据进行处理生成3d图像模型进行展示；
38、信号识别控制模块，用于对360度图像数据中的手势信号进行识别，并获取视点信号配合手势信号进行3d图像模型展示控制；
39、存储模块，用于将ar眼镜控制数据形成日志并定期将日志上传至云服务器进行存储。
40、一种计算机设备，包括：存储器和处理器；所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述ar眼镜的图像获取方法的步骤。
41、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述ar眼镜的图像获取方法的步骤。
42、本发明有益效果为：本发明通过测试用户颜色反应形成用户颜色展示方案，接着将收集的图像数据和环境数据上传至云服务器生成3d图像模型，并根据用户颜色展示方案进行个性化调整，有效提升了用户体验和满意度，提升了图像展示效果，同时通过识别用户手势信号和视点信号进行ar眼镜控制，降低了操作难度，提高了用户交互的灵活性和智能化程度。
技术特征：
1.一种ar眼镜的图像获取方法，其特征在于：包括，
2.如权利要求1所述的一种ar眼镜的图像获取方法，其特征在于：所述ar眼镜在用户首次佩戴时展示纯色图像，收集用户瞳孔数据，获取用户颜色反应模式，并调整颜色形成用户颜色展示方案指在用户首次佩戴ar眼镜时，注册用户信息作为用户识别标签，向用户依次展示纯色图像，通过内置摄像头拍摄用户对于每个纯色图像的瞳孔反应图像；
3.如权利要求2所述的一种ar眼镜的图像获取方法，其特征在于：所述ar眼镜收集图像数据和环境数据上传至云服务器，云服务器进行图像数据识别分类并构建3d图像模型传输至ar眼镜，ar眼镜根据用户颜色展示方案进行3d图像模型色彩调整包括，
4.如权利要求3所述的一种ar眼镜的图像获取方法，其特征在于：所述通过云服务器检测用户手势信号和视点信号指云服务器通过图像分类模型进行物体识别分类后得到物体分类信息，将其中所有包含用户手势的图像进行提取，并按照时间戳顺序进行排序，选择时间戳连续的图像作为手势识别图像并去除其余图像；
5.如权利要求4所述的一种ar眼镜的图像获取方法，其特征在于：所述控制ar眼镜进行3d图像模型展示指云服务器通过手势信号和视点信号控制ar眼镜进行3d图像模型展示，并实时监测手势信号和视点信号位置，若手势信号和视点信号位置相同，则执行手势信号，若手势信号和视点信号位置不同，则忽略手势信号；
6.如权利要求5所述的ar眼镜的图像获取方法，其特征在于：所述ar眼镜在云服务器中具备唯一id，并通过唯一id与云服务器连接，允许ar眼镜通过访问云服务器模型库下载其他3d图像模型进行展示。
7.如权利要求6所述的一种ar眼镜的图像获取方法，其特征在于：所述ar眼镜将控制数据记录为日志，并定期上传至云服务器存储指ar眼镜将手势信号和视点信号对3d图像模型展示的控制数据形成日志，并定期将日志上传至云服务器进行存储，云服务器根据ar眼镜唯一id对日志进行分类和备份。
8.一种如权利要求1-7任一所述的一种ar眼镜的图像获取方法的ar眼镜的图像获取系统，其特征在于：包括，
9.一种计算机设备，包括：存储器和处理器；所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的ar眼镜的图像获取方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的ar眼镜的图像获取方法的步骤。
技术总结
本发明公开了一种AR眼镜的图像获取方法及系统，涉及AR眼镜图像处理技术领域，包括AR眼镜在用户首次佩戴时展示纯色图像，收集用户瞳孔数据，获取用户颜色反应模式，并调整颜色形成用户颜色展示方案；AR眼镜收集图像数据和环境数据上传至云服务器，云服务器进行图像数据识别分类并构建3D图像模型传输至AR眼镜，AR眼镜根据用户颜色展示方案进行3D图像模型色彩调整。本发明通过测试用户颜色反应形成用户颜色展示方案，接着将收集的图像数据和环境数据上传至云服务器生成3D图像模型，并根据用户颜色展示方案进行个性化调整，有效提升了用户体验和满意度，提升了图像展示效果，同时通过识别用户手势信号和视点信号进行AR眼镜控制，降低了操作难度。
技术研发人员：徐力,何松青,汪谦益,汪佳俊
受保护的技术使用者：东莞市三奕电子科技股份有限公司
技术研发日：
技术公布日：2024/9/23