基于大语言模型的SSVEP-眼动中文联想输入方法

本发明涉及脑机接口拼写，特别涉及一种基于大语言模型的ssvep-眼动中文联想输入方法。

背景技术：

1、脑机接口技术(brain-computer-interface,bci)建立了一种直接连接人脑与外部设备或计算机系统的通信路径，而无需经过传统的运动输出如手的动作或语音。bci技术的核心在于能够捕捉和解析脑电活动，将其转换为具体的命令或操作，从而实现人与机器之间的交互。脑机接口技术在信号采集方面通常可以分为侵入式，非侵入式和半侵入式。与侵入式bci相比，非侵入式bci不需要通过手术将传感器植入大脑内部，而是通过头皮表面的电极捕捉脑电波。这种方法的显著优势在于其相对的安全性、便捷性以及较低的使用成本，使得bci技术更加适合日常使用和广泛应用。由于信号来源较浅且需穿透头皮和头骨，这使得捕获到的脑电信号的质量远不如侵入式bci，信噪比较低，解析度也相对较差。其次，非侵入式bci系统往往受到外界环境噪声的干扰，以及受试者头发的电阻影响，这些因素都会降低系统的准确性和稳定性。尽管存在上述挑战，非侵入式bci技术由于其非侵入性质，仍然是当前研究和应用的热点。

2、常见的字符拼写bci范式主要包括基于p300事件相关电位以及稳态视觉诱发电位(ssvep)的拼写范式。ssvep利用大脑对特定频率视觉刺激的稳态响应，通过让用户注视不同频率闪烁的字符或指令，实现对特定字符或命令的选择。ssvep因其较高的信噪比和信息传输率，往往能够取得较好的解码性能，并且部分解码算法无需训练即可直接使用，但其主要局限在于需要用户直视闪烁的刺激，在刺激频率过高或强度过大时容易导致视觉疲劳，甚至诱发癫痫样脑电活动，另一方面由于在实际应用中，ssvep范式的刺激呈现方式主要通过程序设置完成，因此其拼写的自由性较差，用户难以实现拼写的节奏。

3、传统的基于eeg信号的中文拼写技术，特别是在使用p300和ssvep拼写范式时，用户往往处于一种被动接受状态。在这些系统中，刺激(如闪烁的字符或图形)由系统按照预定的程序和时间间隔呈现，用户需要集中注意力于特定的刺激以完成拼写任务。这种方式的一个主要局限性在于，拼写器无法实时调整刺激的呈现以适应用户的实际需要或偏好，从而可能影响拼写效率和用户体验。眼动仪技术，作为一种高级的人机交互手段，通过跟踪和记录用户的眼动情况，即用户的视线注视点、眨眼和瞳孔大小等信息，来理解用户的意图和兴趣。眼动仪通常包括一种或多种摄像头，配合光源，用于捕捉眼睛及其运动的细节，通过特定算法处理这些数据，实时地确定用户的注视点位置。具体而言，利用眼动仪提供的眼动注视位置信息，可以为用户提供一个主动控制刺激的途径。

4、随着人工智能技术的快速发展，大语言模型如gpt和bert在自然语言处理(nlp)领域展示出了惊人的能力。这些模型通过深层神经网络学习大量文本数据，能够理解和生成连贯的文本内容。在bci解码中，这种能力预示着巨大的潜力，尤其是在优化中文拼写过程中。通过结合大语言模型，可以更准确地预测用户的拼写意图，实现更高效和准确的文字生成。此外，大语言模型在处理复杂的语境和语义信息方面的能力，为提高bci拼写范式的性能提供了新的思路和方法。

技术实现思路

1、本发明提供了一种基于大语言模型的ssvep-眼动中文联想输入方法，以解决背景技术所提到的技术问题。

2、为达到上述目的，本发明的技术方案是这样实现的：

3、本发明提供了一种基于大语言模型的ssvep-眼动中文联想输入方法，包括如下步骤：

4、s1、利用ssvep中文拼写范式对用户进行视觉刺激，并获取实时脑电数据；

5、s2、采用基于tcp通信连接的ssvep中文拼写范式后台的眼动信息采集模块实时获取眼动数据，并在ssvep中文拼写范式后台中对眼动数据进行分析和解码；

6、s3、通过ssvep解码模块对脑电数据进行解码，当s2中眼动解码结果和s3中脑电解码结果一致时，在ssvep-眼动中文拼写界面中给予用户相应的反馈，在屏幕上显示所选字符，从而完成单个字符的输入；当结果不一致时，则代表解码不成功，并重新进入s2中；

7、循环s1至s3，完成单个汉字的输入；

8、s4、对用户输入的文本进行预处理，并将预处理后的文本输入到预训练好的文本生成模型中，文本生成模型根据输入文本的上下文信息，预测用户可能想要输入的下一个词或短语；并基于用户历史选择和反馈动态调整文本生成模型中参数；

9、s5、循环s1至s4，用户持续输入下一个词或短语，直至用户输入完成。

10、进一步地，所述s1具体包括如下步骤：

11、s11、首先佩戴脑电帽，根据国际10-20导联标准将多个活动电极安装在脑电帽的卡槽内，并把参考电极粘贴在左耳耳后乳突处；

12、s12、利用基于bci2000脑机接口框架设计的ssvep中文拼写范式对用户进行视觉刺激，用户注视不同频率的刺激，从而在大脑中诱发ssvep信号，并利用脑电采集分析设备进行脑电信号采集。

13、进一步地，所述s2具体包括如下步骤：

14、s21、采用tcp网络通信技术将眼动信息采集模块与ssvep中文拼写范式后台进行连接，使得ssvep中文拼写范式后台中的眼动数据分析模块可以通过眼动信息采集模块实时获取眼动信息采集模块数据；

15、s22、眼动数据分析模块接收到眼动仪发送的实时眼动位置信息后，分析判断眼睛为凝视状态或者快速扫视状态；

16、对于凝视状态的检测，当眼动数据在前一时刻和后一时刻差异小于第一阈值时，将持续向缓冲区中填入眼动数据，当缓冲区中眼动数据数目大于第二阈值时，认为检测到凝视状态；当眼动数据在前一时刻和后一时刻差异大于第三阈值时为快速扫视状态，此时清空缓冲区中的数据；

17、s23、ssvep刺激呈现过程中，分析刺激期间所有眼动位置采样点(x,y)，统计这些采样点分布在不同待选方格中的数量，通过比较各方格中采样点的密集程度，确定目标方格的眼动解码结果。

18、进一步地，所述s22中的凝视状态通过以下公式进行确认：

19、

20、其中，δd表示眼动数据在前一时刻和后一时刻的差异；(xt-1,gt-1)和(xt,gy)分别为前一时刻和后一时刻的眼动位置信息；

21、如果δd<δ时，向缓冲区中加入当前时刻位置坐标，δ为第一阈值，当缓冲区中位置坐标数目大于n时，认为检测到凝视状态，n为第二阈值；

22、对于扫视状态，通过以下公式进行确认：

23、

24、其中，v为扫视速度，δt为扫视时间；当v大于第三阈值时，则认为是快速扫视状态并清空眼动缓冲区。

25、进一步地，所述s3具体包括如下步骤：

26、s31、通过带通滤波器组将采集的脑电数据s(t)进行滤波处理，将脑电数据s(t)分解为多个子频带信号si(t)；

27、s32、随后对于每一个目标刺激频率fi，构建一系列的参考信号rj(t)，其中j＝1,2……n，以模拟预期的ssvep响应；

28、s33、应用典型相关分析计算每一个子频段信号si(t)与第j个参考信号rj(t)的相关度系数；随后将由脑电信号分解得到的所有的子频段信号si(t)与第j个参考信号rj(t)的相关度系数做加权平方和，得到脑电数据s(t)与第j个参考信号rj(t)的相关度系数；

29、s34、循环s33一共m次，计算脑电数据s(t)与每个参考信号rj(t)的相关度系数；本步骤一共得到与参考信号rj(t)数量相同的m个相关度系数；

30、s35、从m个相关度系数选取最大的相关度系数，最大的相关度系数对应的参考信号频率即为目标刺激频率fi；由此确定基于脑电数据s(t)的字符拼写结果，当眼动数据的解码结果和脑电数据的解码结果一致时，ssvep-眼动中文拼写界面给予相应的反馈，在屏幕上显示所选字符，从而完成单个字符的输入；当结果不一致时，则代表解码不成功，ssvep-眼动中文拼写界面不会输出字符，并重新进入s2中；

31、s36、循环s1至s3，完成单个汉字的输入。

32、进一步地，所述s31中的子频带信号si(t)采用公式表示，具体如下：

33、si(t)＝fi*s(t)

34、其中，*表示卷积操作，fi表示第i个频带的带通滤波器。

35、进一步地，所述s32中的参考信号rj(t)采用公式表示，具体如下：

36、rj(t)＝sin(2πfit+φj)

37、其中，φj为不同参考信号rj(t)的相位偏移，t表示时间。

38、进一步地，所述s33具体包括如下步骤：

39、s331、对于子频带信号si(t)和参考信号rj(t)，分别通过矩阵ws和wr将两者投影成一维向量，故而第i个子频带信号si(t)与第j个参考信号rj(t)的相关度系数表示为：

40、

41、其中，wsij，wrij分别表示子频带信号si(t)和参考信号rj(t)的投影矩阵，上标t表示转置，e(·)表示·的数学期望；si表示子频带信号si(t)；rj表示参考信号rj(t)；

42、s332、将所有的子频段信号si(t)与第j个参考信号rj(t)的相关度系数做加权平方和，得到脑电数据s(t)与第j个参考信号rj(t)的相关度系数。

43、进一步地，所述s332中的脑电数据s(t)与j个参考信号rj(t)的相关度系数为：

44、

45、式中，w(i)为第i个子频带对应的加权系数，加权系数通过如下公式确认：

46、w(i)＝i-a+b,(i＝1...n)

47、其中，a、b为待确定的超参数，通过离线实验确定。

48、进一步地，所述s4具体包括如下步骤：

49、s41、将用户通过ssvep-眼动拼写范式输入的文本序列进行预处理；

50、s42、将经过预处理的文本输入到一个预训练好的文本生成模型中，预训练好的文本生成模型能够捕捉文本中的长距离依赖关系，分析输入文本的上下文，预测用户接下来可能想输入的词或短语；

51、s43、预测生成的联想词或短语将被筛选和排序，通过部分ssvep可选字符格呈现给用户，用户浏览并选择最符合其意图的词或短语，以此来完成词或短语输入过程；在预测联想词或短语的过程中，文本生成模型根据收集到的用户反馈，动态调整的权重参数，以实现文本生成模型的在线学习与个性化调整；

52、同时，在预测过程中ssvep中文拼写范式后台会实时记录用户在ssvep-眼动拼写范式中的选择历史，主要包括用户选定字符的频率，通过分析用户选定字符的频率，ssvep中文拼写范式后台能够识别出用户预设时间下多次选定的声母-韵母组合；然后，对于预设时间未被用户选择的字符，ssvep中文拼写范式后台自动降低其对应的ssvep刺激强度。

53、本发明的有益效果：

54、1、用户体验上，本发明通过动态调整刺激强度的策略，显著减少了视觉疲劳和认知负担。相较于传统的ssvep拼写器，通常以固定的刺激强度和频率呈现，长时间使用可能导致用户的视觉疲劳，甚至出现不适。同时，本发明通过实时监测用户的交互历史和反应时间，智能调整文本生成模型参数，为用户提供了更加舒适的交互体验。

55、2、本发明中眼动数据不仅用于直接的字符或命令的解码，还参与到异步控制拼写节奏的机制中。异步控制拼写节奏的机制主要体现在可以通过眼动数据的分析模块进行异步控制；主要通过检测用户的凝视状态，当缓冲区中的数据量多于某阈值时，才触发ssvep-眼动中文拼写界面中的刺激呈现，从而开始拼写。

56、现有的ssvep中文拼写范式是一个被动式的拼写方法，用户只能根据程序预设的时间进行拼写，无法自己控制何时拼写，何时不拼写，本发明中通过缓冲区中数据量阈值检测凝视状态，从而触发ssvep信号来进行拼写；

57、通过分析眼动速度和凝视状态，ssvep中文拼写范式后台可以更精准地理解用户的操作意图，比如何时开始输入、何时暂停等，从而提供了更符合用户需求的交互体验；

58、其次集成的自然语言处理技术使得文本输入过程更为高效。与仅依赖用户逐字选择的传统拼写器相比，本发明能够根据已输入的文本内容，智能联想下一可能的词汇或短语，显著提升了拼写速度。此外，预测结果的筛选和排序机制确保了用户能够迅速从推荐列表中找到所需内容，进一步优化输入流程。

59、3、本发明不仅注重提升用户界面的互动性和效率，而且通过集成先进的自然语言处理技术进行文本联想，进一步优化了文本输入过程。采用预训练的文本生成模型，能够基于用户已输入的文本内容，智能预测并联想接下来的词汇短语，大大提高了拼写速度和准确性。此外，根据用户的输入习惯动态调整模型参数的在线学习机制，进一步个性化了用户体验，使得每位用户都能享受到更加符合自身习惯和偏好的拼写辅助。

60、4、本发明通过结合ssvep技术、眼动仪和自然语言处理技术，实现了高效、低负担、个性化的脑机拼写，不仅为运动障碍人士提供了一种有效的交流工具，同时也为脑机接口技术的应用开辟了新的可能。

技术特征：

1.一种基于大语言模型的ssvep-眼动中文联想输入方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的ssvep-眼动中文联想输入方法，其特征在于，所述s1具体包括如下步骤：

3.根据权利要求1所述的ssvep-眼动中文联想输入方法，其特征在于，所述s2具体包括如下步骤：

4.根据权利要求3所述的ssvep-眼动中文联想输入方法，其特征在于，所述s22中的凝视状态通过以下公式进行确认：

5.根据权利要求1所述的ssvep-眼动中文联想输入方法，其特征在于，所述s3具体包括如下步骤：

6.根据权利要求5所述的ssvep-眼动中文联想输入方法，其特征在于，所述s31中的子频带信号si(t)采用公式表示，具体如下：

7.根据权利要求5所述的ssvep-眼动中文联想输入方法，其特征在于，所述s32中的参考信号rj(t)采用公式表示，具体如下：

8.根据权利要求5所述的ssvep-眼动中文联想输入方法，其特征在于，所述s33具体包括如下步骤：

9.根据权利要求8所述的ssvep-眼动中文联想输入方法，其特征在于，所述s332中的脑电数据s(t)与第j个参考信号rj(t)的相关度系数为：

10.根据权利要求1所述的ssvep-眼动中文联想输入方法，其特征在于，所述s4具体包括如下步骤：

技术总结
一种基于大语言模型的SSVEP‑眼动中文联想输入方法，包括：1、利用SSVEP中文拼写范式对用户进行视觉刺激，获取实时脑电数据；2、采用眼动信息采集模块实时获取眼动数据，并利用后台对眼动数据进行分析和解码；3、对脑电数据进行解码，脑电和眼动解码结果一致时，完成单个字符的输入；循环1至3，完成单个汉字的输入；4、文本生成模型根据输入文本的上下文信息，预测用户输入的下一个词或短语；5、循环1至4，用户持续输入下一个词或短语，直至用户输入完成。本发明结合眼动仪和自然语言处理等技术，实现了高效、低负担、异步的脑机拼写，不仅为运动障碍人士提供了一种有效的交流工具，同时也为脑机接口技术的应用开辟了新的可能。

技术研发人员：于扬,李浩,曾令李,张壹帆,胡德文
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：
技术公布日：2024/9/23