本发明属于智能健康管理，具体涉及一种基于多模态模型的病人离院饮食依从性监测方法和系统。
背景技术：
1、随着医疗技术的不断发展和患者管理需求的提升，如何有效监测和评估病人在离院后的医嘱依从性，尤其是饮食依从性，成为医疗领域的重要研究课题。良好的饮食依从性是保证病人康复的关键因素之一，然而病人离院医嘱饮食依从性监测常常面临主观性强、数据获取难度大和分析复杂度高等诸多挑战，使得监测结果难以保证准确性、全面性和可靠性。
2、传统的监测方法多依赖于患者的自我报告或医生的直接观察，这些方法存在主观性强、难以持续跟踪等局限性。随着计算机视觉和神经网络的发展，传统的应用通常使用卷积神经网络（cnn）可以作为图像识别模型，如公开号为cn114360690a的中国专利申请提供了一种慢病患者的饮食营养管理方法和系统，通过对饮食图片中的多菜进行识别定位和食材分割，进而对食材分割图进行透视还原，计算得出食材营养元素和提供个性化饮食建议。但这类方法仅能识别图像内容，输出图像物体的类别标签，无法同时理解输入的病历文字内容，这种方式存在明显的局限性，因为评估病人的饮食依从性需要综合考虑包括图像和文字的多种信息。
3、此外，传统的类似应用在使用cnn识别饮食品名类别标签后，往往采用简单的规则来判定该类饮食是否有害病人的身体情况。如公开号为cn113948188a的中国专利申请提供了一种饮食和运动智能监测系统，根据饮食照片得到饮食评估意见并结合饮食配方进行依从性分析。这类方法存在两个主要问题：一是简单规则的召回率较低，无法处理复杂的情况；二是机械式的匹配方法容易出错，特别是当病人同时患有多种疾病时，不同疾病对饮食的要求可能存在冲突，简单的规则很难兼顾。
4、近年来，随着多模态技术的兴起，结合图像、生理传感器数据、文本等多种数据源进行综合分析，为进一步提高病人离院医嘱依从性监测的准确性、全面性和可靠性提供了新的思路。
技术实现思路
1、鉴于上述，本发明的目的是提供一种基于多模态模型的病人离院饮食依从性监测方法和系统，通过基于transformer的多模态模型的训练和基于纠错机制的微调，能够提高病人离院医嘱依从性识别的准确性、全面性和可靠性，有助于提升医疗质量、优化患者健康持续监测管理以及促进医疗资源的高效利用。
2、为实现上述发明目的，本发明提供的技术方案如下：
3、本发明实施例提供的一种基于多模态模型的病人离院饮食依从性监测方法，包括以下步骤：
4、将包括饮食图像和脱敏离院医嘱文本的二元组以及对二元组进行饮食是否遵循医嘱饮食建议的标注得到的标注结果输入预训练的基于transformer的多模态模型进行饮食依从性识别任务的训练；
5、提取脱敏离院医嘱文本中的有害饮食名称生成有害饮食图像，计算饮食图像和有害饮食图像的图像相似度，根据图像相似度对标注结果进行纠错并根据纠错结果为对应二元组的损失函数赋予权重，利用权重修正后的损失函数对训练后的基于transformer的多模态模型进行微调；
6、将病人饮食照片及病人离院医嘱文本输入微调后的基于transformer的多模态模型进行饮食依从性识别得到饮食依从性报告。
7、优选地，所述将包括饮食图像和脱敏离院医嘱文本的二元组以及对二元组进行饮食是否遵循医嘱饮食建议的标注得到的标注结果输入预训练的基于transformer的多模态模型进行饮食依从性识别任务的训练，包括：
8、对能够同时处理图像和文字的基于transformer的多模态模型进行基于大规模医疗数据语料库的预训练；
9、构建包括饮食图像和脱敏离院医嘱文本的若干二元组，并对二元组进行饮食是否遵循医嘱饮食建议的标注得到的标注结果；
10、将二元组和第一提示词输入预训练的基于transformer的多模态模型中进行饮食依从性识别，判断饮食图像是否遵循脱敏离院医嘱文本中的饮食建议，并以标注结果作为标签进行监督训练，最终生成饮食依从性报告。
11、优选地，基于transformer的多模态模型包括采用llava多模态模型作为基础模型。
12、优选地，所述对二元组进行饮食是否遵循医嘱饮食建议的标注得到标注结果，包括：
13、将每组饮食图像和脱敏离院医嘱文本输入qwen-vl-max模型，通过设计第二提示词使qwen-vl-max模型对饮食是否遵循医嘱饮食建议进行标注，根据标注结果为每个二元组生成是否遵循医嘱的标签。
14、优选地，所述提取脱敏离院医嘱文本中的有害饮食名称生成有害饮食图像，包括：
15、从脱敏离院医嘱文本中提取对病人健康有影响的有害饮食名称，将有害饮食名称输入文生图扩散模型中，使用第三提示词生成相应的有害饮食图像。
16、优选地，所述计算饮食图像和有害饮食图像的图像相似度，包括：
17、使用clip模型计算饮食图像和有害饮食图像的余弦相似度作为图像相似度。
18、优选地，所述根据图像相似度对标注结果进行纠错并根据纠错结果为对应二元组的损失函数赋予权重，包括：
19、对于被判定为遵循医嘱的标注结果，若判定时对应的图像相似度 s高于阈值，则判定遵循医嘱的标注结果是错误的，将对应二元组的损失函数的权重降低为1- s；对于被判定为未遵循医嘱的标注结果，若判定时对应的图像相似度 s高于阈值，则判定未遵循医嘱的标注结果是正确的，将对应二元组的损失函数的权重提高为1+ s。
20、优选地，所述利用权重修正后的损失函数对训练后的基于transformer的多模态模型进行微调，包括：
21、在模型微调过程中，将待修正的第个二元组的损失函数乘以相应的权重，计算公式如下：
22、，
23、其中，为第个二元组的权重修正后的损失函数；
24、基于每个二元组的权重修正后的损失函数进行模型微调，最终得到微调后的基于transformer的多模态模型。
25、优选地，饮食依从性报告的内容包括：
26、饮食是否遵守医嘱、判断依据、饮食健康分析和改进建议。
27、为实现上述发明目的，本发明实施例还提供了一种基于多模态模型的病人离院饮食依从性监测系统，包括：多模态模型训练模块、多模态模型微调模块和饮食依从性识别模块；
28、所述多模态模型训练模块用于将包括饮食图像和脱敏离院医嘱文本的二元组以及对二元组进行饮食是否遵循医嘱饮食建议的标注得到的标注结果输入预训练的基于transformer的多模态模型进行饮食依从性识别任务的训练；
29、所述多模态模型微调模块用于提取脱敏离院医嘱文本中的有害饮食名称生成有害饮食图像，计算饮食图像和有害饮食图像的图像相似度，根据图像相似度对标注结果进行纠错并根据纠错结果为对应二元组的损失函数赋予权重，利用权重修正后的损失函数对训练后的基于transformer的多模态模型进行微调；
30、所述饮食依从性识别模块用于将病人饮食照片及病人离院医嘱文本输入微调后的基于transformer的多模态模型进行饮食依从性识别得到饮食依从性报告。
31、与现有技术相比，本发明具有的有益效果至少包括：
32、（1）本发明采用基于transformer的多模态模型实现了自动化、智能化的方式进行饮食依从性监测，能够大幅提升患者管理效率，医疗机构能够远程监测病人的饮食依从性，从而减少不必要的复诊和再住院，有效节约医疗资源，降低医疗成本。
33、（2）本发明采用基于transformer的多模态模型得到饮食依从性报告，能够帮助医疗机构及时发现病人的饮食依从性问题，并提供具体的原因分析，从而采取有针对性的干预措施，提高病人预后质量，降低并发症风险。
34、（3）本发明通过设计基于图像相似度和标注结果进行纠错的机制，根据纠错结果为对应二元组的损失函数赋予权重，利用权重修正后的损失函数对训练后的基于transformer的多模态模型进行微调，能够有效提高病人离院医嘱依从性识别的准确性、全面性和可靠性。
1.一种基于多模态模型的病人离院饮食依从性监测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多模态模型的病人离院饮食依从性监测方法，其特征在于，所述将包括饮食图像和脱敏离院医嘱文本的二元组以及对二元组进行饮食是否遵循医嘱饮食建议的标注得到的标注结果输入预训练的基于transformer的多模态模型进行饮食依从性识别任务的训练，包括：
3.根据权利要求1或2所述的基于多模态模型的病人离院饮食依从性监测方法，其特征在于，基于transformer的多模态模型包括采用llava多模态模型作为基础模型。
4.根据权利要求1或2所述的基于多模态模型的病人离院饮食依从性监测方法，其特征在于，所述对二元组进行饮食是否遵循医嘱饮食建议的标注得到标注结果，包括：
5.根据权利要求1所述的基于多模态模型的病人离院饮食依从性监测方法，其特征在于，所述提取脱敏离院医嘱文本中的有害饮食名称生成有害饮食图像，包括：
6.根据权利要求1所述的基于多模态模型的病人离院饮食依从性监测方法，其特征在于，所述计算饮食图像和有害饮食图像的图像相似度，包括：
7.根据权利要求1所述的基于多模态模型的病人离院饮食依从性监测方法，其特征在于，所述根据图像相似度对标注结果进行纠错并根据纠错结果为对应二元组的损失函数赋予权重，包括：
8.根据权利要求7所述的基于多模态模型的病人离院饮食依从性监测方法，其特征在于，所述利用权重修正后的损失函数对训练后的基于transformer的多模态模型进行微调，包括：
9.根据权利要求1或2所述的基于多模态模型的病人离院饮食依从性监测方法，其特征在于，饮食依从性报告的内容包括：
10.一种基于多模态模型的病人离院饮食依从性监测系统，其特征在于，包括：多模态模型训练模块、多模态模型微调模块和饮食依从性识别模块；
