一种集成视觉监控的多模式无线脑机交互装置的制作方法
专利名称：一种集成视觉监控的多模式无线脑机交互装置的制作方法
技术领域：
本发明属于医学技术领域的一种装置，特别涉及一种集成视觉监控的多模式无线脑机交互(BCI)装置，该装置采用无线连接方式，能同时对实验动物的行为进行视频记录。尤其适用于对自由活动状态的动物进行不同模式的刺激，对其行为进行训练控制。
背景技术：
BCI是一种基于脑电信号实现大脑与计算机或其他电子设备通讯和控制的系统，是一种新的人机交互方式。近年来，BCI的研究逐渐兴起，并取得了一些实用性的进展。如1、人工耳蜗及人工眼由体外信号处理器、传输电路、体内刺激产生电路以及电极组成，实现听觉或视觉编码刺激，是外界与听觉或视觉皮层的信息交流。2、外部信号遥控动物是外刺激信号与动物大脑的交流。3、脑电波控制机器利用电极探测大脑活动时产生的电信号，通过计算机对这些信号进行分析从而控制机器装置，如轮椅等，这是人脑与外界的交流。BCI研究说明，人工脑与生物脑在信息处理上机理相近，经过合适的中介即可交流，这一点给申请人带来如下的启发。
第一，生物脑的解读对电脑的发展将会有重大影响，因此，一个可能的研究方向，就是应重视生物脑的解读对电脑发展的作用。第二，应当看到，生物脑与人工脑有重大区别，由于载体不同，两者在模式、速度、逻辑与形象等方面有较大区别，故两者可以互补。因此，另一可能的研究方向，是生物脑与人工脑的结合，这将是一个全新的领域。第三，因为生物脑是生物进化的结果，如果将人工脑与人工生命结合，是否可得出人工脑也可由进化机理而发展？这就引出了第三个研究方向对人工脑进化机理的研究。目前，人脑与人工脑最大的差别仍在创造性、概念的抽象、形象思维等方面。这可能与复杂系统、非线性出现的“突现”性质有关，即生物脑具有复杂系统的“突现”性质，而人工脑尚未达到。由此，可得到第四个研究方向人工脑的复杂系统性质的研究。这样，我们就深入到智能的“本质”——信息、复杂系统的本质。可以发现从生命本质到智能本质，都与信息的本质有关。人工生命、人工智能将会有一个更活跃的时期。其特点是不再只持黑箱的观点，而是持信息机理一致的观点，即人工脑与生物脑将不只是功能模仿，而是具有相同的特性。这两者的结合将开辟一个全新的领域，开辟很多新的研究方向。
电刺激是神经电生理学研究中一种常用的方法，并用于各种神经及精神疾病治疗，目前已有较多的研究成果及相关专利[CN86100247，CN90106839.X，CN99800901.6，CN99803675.7]。近来，神经电生理学与行为科学的结合——“动物机器人”及人工智能的研究兴趣日增，如日本“蟑螂机器人”[Proc IEEE/RSJ Inter Conf 1997；31514-1519]及美国“大鼠机器人”[Nature，2002；41737-38]等。然而，其大脑神经与外部之间的通讯仍然为单向方式，即动物神经仅接收外部的电信息，而其本身的相关神经信息无法传递出来。其刺激模式单一，不具有灵活性。而目前文献报道的神经信息采集系统仍然局限于有线方式，即大脑电信号通过电缆连接，从而限制动物的自由活动，动物只能处于在非常狭小的实验空间，许多实验的结果只能反映动物在特殊条件下的生理及行为特性，难以探讨自由运动动物行为的神经基础，而在开放环境中自由活动的动物是否与在这种限定条件下的结果相一致还存在很大的疑问。尽管目前也有通过无线方式传递神经信息的系统报道，然而其方式是通过模拟的方式进行，且也是仅能单向传递。研究人员一直希望能利用无线通讯装置来控制BCI，以摆脱导线的困扰。现在，他们已经初步做到了这一点。如在猴子大脑里植入了一块集成电路芯片。这块芯片可以完成对神经元电活动的监测和分析工作，并且能将分析结果无线发送到几米远的一台笔记本电脑上。不过，到目前为止，BCI还仅限于脑电信号的获取和分析，而不能模拟产生出输入给大脑的电信号。
总之，目前的神经电信息与外部的电子信息之间的连接要么是有线的连接方式，要么是单向的通讯方式，还没有无线双向的传输方式，而这也正是目前的研究方向。更为重要的一点是，动物在实验过程中的行为特性无法进行定量的分析，而传统的方法仅靠人工的记录分析，或者首先录像记录然后再进行离线分析，而这种方法由于无法保证不同系统间的同步，其可靠性也存在很大问题，因此，使得这些研究缺少完整性。
发明内容
为了克服现有的脑机交互装置用于自由活动小动物的困难及现有实验方法的局限性。本发明的目的在于，提供一种新型的，可远距离无线遥控的集成视觉监控的多模式无线脑机交互装置。
已有实验结果表明，对神经直接刺激所需的电流比对肌肉的刺激电流小100多倍，因此可以用数字电路直接产生用于神经直接刺激的脉冲。微电子技术及片上系统(SoC)技术的发展为申请人提供了良好的平台。
为了实现上述任务，本发明采用如下的解决技术方案一种集成视觉监控的微型多模式无线双向脑机交互装置，其特征在于，该装置包括一个CCD数字摄像机，用于图像的采集，CCD摄像机固定在观测区域的上方，并将采集的图像信息送入图像采集卡中；图像采集卡是基于PCI总线，采用PAL制式，分辨率为768×576×24位，采集速率为30帧/秒；它位于计算机测控及分析系统中；一微推电极，用于外部电信号与脑电信号之间的转换；一采集放大及无线传输电路，用于微推电极产生刺激信号及对采集的脑电活动信号进行放大，并实现与计算机测控及分析系统之间的交互，它包括信号滤波放大电路及位于采集端的无线数字通讯处理模块，其中无线数字通讯处理模块中嵌入有控制器，控制器上有串口、数据端口、PWM端口及模数转换端口；一计算机测控及分析系统，用于与采集放大电路进行交互并对CCD摄像机采集的图像信息分析与处理，该系统包括图像采集卡、微型计算机和基于串口的无线传输模块，其中微型计算机内设有支持神经电信息的采集、外部刺激参数、图像跟踪及分析它们相互之间关系的计算机软件，基于串口的无线传输模块中同样嵌入有控制器，控制器上有串口。
各种刺激模式或参数及通讯控制均通过微型计算机上人机界面软件设定，经与微型计算机相连的基于串口的无线传输模块发送到远端电路；远端电路上的控制器对命令正确解码后，依据指令驱动数字端口产生刺激脉冲作用于微推电极或由PWM端口驱动扬声器发出不同频率特性的声音，并通过数据端口驱动不同的LED发光管进行同步指示；同时动物的脑电信息由微推电极采集，经放大、滤波及数模转换后以无线方式传输到微型计算机中，动物的行为也同时由视觉图像采集部分采集并同步记录到微型计算机中。神经电信息的处理模式，外部刺激参数及行为表现之间的关系由计算机软件完成，从而实现对行为及神经电信息之间的无线双向同步记录分析。
本发明装置采用SoC芯片设计出基于无线双向传输的神经信息采集及刺激系统，同时和基于机器视觉的图像处理系统集成在一起，并通过LED发光管发光指示来保证刺激、记录及行为之间的同步；符合机体生理要求、且具有体积小、重量轻、可遥控、多刺激模式等特点。
图1是本发明的装置原理框图。
图2是微推电极的结构图。
图3是信号滤波放大电路图。
图4是无线数字传输电路图。
图5是信号采集的程序流程图。
下面结合附图和实施对本发明进一步说明。
具体实施例方式
本发明由CCD摄像机、微推电极、采集放大及无线传输电路，计算机测控及分析系统构成，原理框图如图1所示。
计算机测控及分析系统包括图像采集卡、微型计算机和基于串口的无线传输模块，其中微型计算机内设有支持神经电信息的采集、外部刺激参数、图像跟踪及分析相互之间关系的计算机软件；基于串口的无线传输模块中同样嵌入有控制器，控制器上有串口；计算机测控及分析系统用于完成如下功能1)施加给动物的外部刺激模式的设置及控制；2)脑电信息的采集及动物行为图像的采集控制及结果记录；3)外部刺激，动物行为及脑电记录等系统间的同步控制及通讯控制；4)外部刺激，动物脑电信息及行为特性的结果分析；实验所需的各种刺激模式及通讯参数等在PC机上设定，经PC串口相连的无线数字通讯处理模块发送到动物背负的采集放大及无线传输电路中，采集放大电路中有信号滤波放大电路(图3)，及无线数字通讯处理模块(图4)，前端电路上控制器对命令正确解码后，依据指令产生刺激脉冲作用于图2中的微电极，或由PWM端口驱动扬声器(图4)发出不同频率特性的声音，并可通过数据端口驱动不同的LED发光管(图4)同步显示；而动物的神经电信息，经过图2中微推电极采集，被放大，滤波及模数(A/D)转换后从采集端的无线数字通讯处理模块传输到微型计算机(PC)中，而动物的行则由基于视觉的监控系统(图1中CCD摄像机)采集并同步记录到PC机中；外部刺激特性，神经电信息模式及行为表现之间的关系由PC机软件完成，从而实现对行为及神经电信息之间的无线双向同步记录及分析。
微推电极结构如图2所示，它包括微电极1，定位套管2，接插件3，柔性屏蔽线4，滚珠笔头5，注射器6，螺母7，螺杆8；定位套管2采用外径为50um的不锈钢套管，注射器6选用医用1ml注射器，上端固定一螺距为1mm的螺母7，螺母7上有推进的螺杆8，螺杆8每旋转一圈微电极1向下推进300um，为了克服在微电极及推进器在旋转过程中的电极旋转，在螺杆8的下部安装一滚珠笔头5。微电极1通过柔性屏蔽线4连接到一个标准接插件3上，定位套管2及微电极1的长度应保持在微电极1的长度应保持在能到达的部位2mm左右。微电极1采用外径10um的外涂特富龙的金属丝的外涂特富龙的金属丝微电极作为记录微电极，为了能使其具有较好的韧性，在其外部套入外径50um不锈钢制成的定位套管2内，微电极1的尖端实验前镀金，以增加电极的稳定性，记录电极连同动物脑组织的阻抗通过示波器测量为2.0～2.5MΩ。
采集放大及无线传输电路，用于产生刺激信号及采集放大脑电信号，并实现与微型计算机之间的交互，它包括图3所示的电子元件构成的滤波放大电路，及图4中所示的无线数字通讯处理模块(模块有一片nRF24E1芯片及辅助电子元件构成，nRF24E1作为无线通讯控制芯片的依据具有较宽的工作电压范围，低功耗，有效距离可达400-500米，波特率最高可达1Mbps，且具有较高的灵敏度；系统嵌入有微控制器，控制器上有串口、数据端口、PWM端口及模数转换端口；具有较小的封装尺寸)；所选用电路的电子元件均采用表面贴封装，因此具有体积小，重量轻；刺激模式可以任意设置(物理刺激声音频率及幅度可调；电刺激脉冲串个数，宽度，频率，个数，幅度，极性等可调)。由于刺激脉冲的波形及极性对神经冲动的发放有直接的影响，且电荷的积累将使机体组织产生永久性损伤，因此，刺激脉冲应采用双极脉冲。本发明通过对控制器nRF24E1的PO口的口线(U4的10，11脚)，进行对称配置，通过使这对口线的两根电极轮流出现高低电平形成双极刺激脉冲，避免了双电源对电路所带来的复杂性及刺激器体积和重量的增加，方便实用。另外，也提供单极刺激脉冲输出。微推电极与信号滤波放大电路的连接采用柔性连接线及可拆卸接头，具有简单，稳定和可靠等特点。图3所示为前端滤波放大电路，为了克服动物运动所带来的肌电干扰，前置放大器采用高输入阻抗，高共模抑制比的差分仪表放大器U1(INA118)，放大倍数由U1的1，8脚之间电阻R1调节，设置为10倍；为了降低直流共模电压的变化，引入交流耦合(图3中U2/A，R2，C1构成，放大器U2采用宽带低功耗的OPA4227芯片)，前置放大器的输出信号首先经过一高通滤波(图3中U2/B，C2，C3，R3，R4构成2阶Sallen-Key高通滤波器，R5，R6用于调节增益，设定为10倍)；然后，再经过一低通滤波(图3中U2/C，C4，C5，R7，R8构成2阶Sallen-Key低通滤波器，R9，R10用于调节增益，设定为10倍)；系统的通带范围为100-10,000Hz，为了降低市电(50Hz)的干扰，再经过50Hz陷波滤波(图3中U2/D，C6，C7，C8，C9，R11，R12，R13构成)，从而，得到较为稳定的增益1000倍的神经电信号；对其进行模数(图4中U3的24脚)转换，然后进行数字滤波及检测，并把结果通过射频的方式(图4中U3的C21-C25，L1，L2构成射频天线)发送到计算机分析处理系统中。图5中，25A320为程序存储器，存储用于控制、处理及通讯的程序；C12，C13，X1及R15为系统时钟产生模块；其它电容起到滤波作用。为了能对刺激信号进行直观显示以便可以进一步与监控记录系统同步，在不同刺激时进行不同的LED显示(图4中U3的LED1，LED2)，图像采集可以以此为同步信号。另外，PWM端口(图4中U3的13脚)驱动扬声器发出不同特性的声音。为了能够尽可能减前端接口部分的重量及体积对动物行为的影响，所选电子元器件尽可能采用表面贴封装。空闲的口线都置为低电平，以降低控制器空闲口线处于悬浮状态时的噪声干扰并降低吸收功耗。
CCD摄像机采用TL-402S(Sony Com.)，其分辨率为480线，观察视角390，具有很高的灵敏度，最低照度0.05Lux，即使在非常昏暗的光线下也能拍摄到高品质的图像。图像采集卡选用DH-CG300(DaHeng Image Com.)，它是基于PCI总线，采用PAL制式，分辨率为768×576×24位，采集速率为30帧/秒。CCD摄像机固定于观测区域的上方2.5m，能有效的观察直径3m的圆形实验场地。运行于PC机上的视觉监控及人机界面软件采用VC++6.0进行编写，完成刺激参数设置及结果分析控制等。视觉跟踪算法采用基于颜色的方法，即首先通过把背景涂成与动物颜色有明显区分的色彩；在图像界面上设定及编辑不同迷宫或感兴趣区域，设定实验参数；首先对被跟踪动物图像的颜色灰度信息进行分析，以得到上下阈值(Tlow，Thigh)；然后对图像内感兴趣区域(跟踪窗)的象素进行分割(即Tlow≤I(i，j)≤Thigh)，虑去干扰噪声之后，对物体的质心进行实时跟踪；然后进一步计算出其动物运动的速度，加速度，运动距离，运动时间长度，进入感兴趣区域的次数及停留的时间，以及处于不同区域时的动作电位的放电频率，放电时间等特性并对其进行分析。
基于串口的无线传输模块参见图4所示，PC机串口经过电压调节芯片(图4中Max202，C26-C30)与无线数字通讯模块的串口(U3的7，8脚)相连，转换电路的电源由PC机的USB端口经过3.0V稳压芯片输出。PC机收发数据的数据包由数据头，指令串(或数据)及校验和构成(64bits)，如表1，在波特率设定为19200Baud时其的传输延迟小于3.5ms，能够满足实验要求。为了能完成双向的无线数字通讯，需要对双方的nRF24E1进行配置，数据报协议格式如表2。
表1串口通讯协议
表2无线通讯协议
装置使用过程的手术埋置及连接方式在脑立体定位仪上参考脑图谱完成微推电极的埋置。刺激电极通过柔性细导线直接和微推电极相连，记录电极的引线通过短的柔性屏蔽细导线连接到前置放大器的输入端，再电极周围颅骨上固定三到四个螺钉(连接参考电极引线)。刺激模式(声音或电刺激)及其参数(声音频率及强度；脉冲个数，脉冲串长度，频率，强度，极性等)由PC机设置。微推电极埋置前经过消毒及短路测试，在脑立体定位仪下进行微推电极的定位，并采用牙科水泥固定于颅骨；负责电刺激脉冲转换及神经电信号的采集，通过柔性细导线及接插件连接到采集放大电路上。
系统工作程序首先，在PC机上设置刺激模式，参数等。由于nRF24E1仅能采用单工方式进行通讯，因此，必须为收发双方分配不同的时隙，各自在接收及发送时隙内完成收发。在计算机分析处理系统的基于串口的无线传输模块设为主站，初始化为发送状态，而在采集放大电路的无线数字通讯模块初始化为同步接收状态。采集的程序流程如图5所示。初始化阶段完成芯片系统的无线通讯配置及与主站的同步接收状态；双方同步后，接收PC的命令数据包，如果数据包有效，解码数据包的命令并产生相应的刺激脉冲或声音，并给出发光指示，以便用于视频采集的同步；同时，对来自电极的神经放电信号进行放大滤波后送入采集前端的无线数字通讯模块的模数转换端口(图4中U3的34脚)；在数字滤波后进行幅度阈值检测，如果幅值高于某一设定的阈值及认为是一动作电位并记录结果，然后在其发送时隙内将其发送到计算机内。同时，基于机器视觉的图像采集系统，采集并记录动物的运动行为(速度，时间，位置等)。最后，通过分析软件来对刺激参数，动物的行为及神经放电特性进行分析。
权利要求
1.一种集成视觉监控的微型多模式无线双向脑机交互装置，其特征在于，该装置包括一个CCD摄像机，用于图像的采集，CCD摄像机固定在观测区域的上方，并将采集的图像信息送入图像采集卡中；图像采集卡是基于PCI总线，采用PAL制式，分辨率为768×576×24位，采集速率为30帧/秒；它位于计算机测控及分析系统中；一微推电极，用于外部电信号与脑电信号之间的转换；一采集放大及无线传输电路，用于微推电极产生刺激信号及对采集的脑电活动信号进行放大，并实现与计算机测控及分析系统之间的交互，它包括信号滤波放大电路及采集前端的无线数字通讯处理模块，其中无线数字通讯处理模块中嵌入有控制器，控制器上有串口、数据端口、PWM端口及模数转换端口；一计算机测控及分析系统，用于和采集放大电路进行交互并对CCD摄像机采集的图像进行分析与处理，该系统包括图像采集卡、微型计算机和基于串口的无线传输模块，其中微型计算机内设有支持神经电信息的采集、外部刺激参数、图像跟踪及分析相互之间关系的微型计算机软件，基于串口的无线传输模块中同样嵌入有控制器，控制器上有串口。
2.如权利要求1所述的装置，其特征在于，所述的CCD摄像机的分辨率为480线，观察视角390。
3.如权利要求1所述的装置，其特征在于，所述的微推电极包括微电极(1)，定位套管(2)，接插件(3)，柔性屏蔽线(4)，滚珠笔头(5)，注射器(6)，螺母(7)，螺杆(8)；微电极(1)安装在定位套管2内，并设置注射器(6)的最下端，接插件(3)通过微电极(1)上连接的柔性屏蔽线(4)从注射器(6)的侧壁上引出，注射器(6)上端固定有螺母(7)，螺母(7)上有螺杆(8)，螺杆的下部安装有滚珠笔头(5)，由螺杆(8)推进螺杆(7)旋转带动微电极(1)向下推进。
4.如权利要求1所述的装置，其特征在于，所述的无线数字通讯处理模块和基于串口的无线传输模块均选用nRF24E1芯片。
5.如权利要求1所述的装置，其特征在于，所述的微推电极进行外部电刺激及脑电信号的采集为埋置式。
6.如权利要求1所述的装置，其特征在于，所述的外部刺激参数包括可调的声音及电子刺激模式，即多模式刺激、电刺激强度、刺激频率、刺激脉冲宽度、串内脉冲个数、刺激串个数、刺激极性可任意设置；声音频率强弱可调。
7.如权利要求3所述的装置，其特征在于，所述的微电极(1)的尖端镀金。
全文摘要
本发明涉及一种集成视觉监控的微型多模式无线双向脑机交互装置，包括CCD摄像机，微推电极，采集放大及无线传输电路，计算机测控及分析系统，各种刺激模式或参数及通讯控制在测控及分析的微型计算机上设定，经与微型计算机相连的基于串口的无线传输模块发送到远端电路；同时动物的神经电信息由微推电极采集，经放大、滤波及数模转换后以无线方式传输到微型计算机中，动物的行为也同时由CCD摄像机采集并同步记录到微型计算机中。尤其适用于对自由活动状态的动物的神经进行不同模式的刺激，并对其行为进行训练控制，符合机体生理要求、且具有体积小、重量轻、可遥控、多刺激模式等特点；并通过发光管发光指示来保证刺激、记录及行为之间的同步。
文档编号A01K15/00GK1848951SQ20061004190
公开日2006年10月18日 申请日期2006年3月9日 优先权日2006年3月9日
发明者宋卫国, 王莹 申请人:西安交通大学
技术领域：
本发明属于医学技术领域的一种装置，特别涉及一种集成视觉监控的多模式无线脑机交互(BCI)装置，该装置采用无线连接方式，能同时对实验动物的行为进行视频记录。尤其适用于对自由活动状态的动物进行不同模式的刺激，对其行为进行训练控制。
背景技术：
BCI是一种基于脑电信号实现大脑与计算机或其他电子设备通讯和控制的系统，是一种新的人机交互方式。近年来，BCI的研究逐渐兴起，并取得了一些实用性的进展。如1、人工耳蜗及人工眼由体外信号处理器、传输电路、体内刺激产生电路以及电极组成，实现听觉或视觉编码刺激，是外界与听觉或视觉皮层的信息交流。2、外部信号遥控动物是外刺激信号与动物大脑的交流。3、脑电波控制机器利用电极探测大脑活动时产生的电信号，通过计算机对这些信号进行分析从而控制机器装置，如轮椅等，这是人脑与外界的交流。BCI研究说明，人工脑与生物脑在信息处理上机理相近，经过合适的中介即可交流，这一点给申请人带来如下的启发。
第一，生物脑的解读对电脑的发展将会有重大影响，因此，一个可能的研究方向，就是应重视生物脑的解读对电脑发展的作用。第二，应当看到，生物脑与人工脑有重大区别，由于载体不同，两者在模式、速度、逻辑与形象等方面有较大区别，故两者可以互补。因此，另一可能的研究方向，是生物脑与人工脑的结合，这将是一个全新的领域。第三，因为生物脑是生物进化的结果，如果将人工脑与人工生命结合，是否可得出人工脑也可由进化机理而发展？这就引出了第三个研究方向对人工脑进化机理的研究。目前，人脑与人工脑最大的差别仍在创造性、概念的抽象、形象思维等方面。这可能与复杂系统、非线性出现的“突现”性质有关，即生物脑具有复杂系统的“突现”性质，而人工脑尚未达到。由此，可得到第四个研究方向人工脑的复杂系统性质的研究。这样，我们就深入到智能的“本质”——信息、复杂系统的本质。可以发现从生命本质到智能本质，都与信息的本质有关。人工生命、人工智能将会有一个更活跃的时期。其特点是不再只持黑箱的观点，而是持信息机理一致的观点，即人工脑与生物脑将不只是功能模仿，而是具有相同的特性。这两者的结合将开辟一个全新的领域，开辟很多新的研究方向。
电刺激是神经电生理学研究中一种常用的方法，并用于各种神经及精神疾病治疗，目前已有较多的研究成果及相关专利[CN86100247，CN90106839.X，CN99800901.6，CN99803675.7]。近来，神经电生理学与行为科学的结合——“动物机器人”及人工智能的研究兴趣日增，如日本“蟑螂机器人”[Proc IEEE/RSJ Inter Conf 1997；31514-1519]及美国“大鼠机器人”[Nature，2002；41737-38]等。然而，其大脑神经与外部之间的通讯仍然为单向方式，即动物神经仅接收外部的电信息，而其本身的相关神经信息无法传递出来。其刺激模式单一，不具有灵活性。而目前文献报道的神经信息采集系统仍然局限于有线方式，即大脑电信号通过电缆连接，从而限制动物的自由活动，动物只能处于在非常狭小的实验空间，许多实验的结果只能反映动物在特殊条件下的生理及行为特性，难以探讨自由运动动物行为的神经基础，而在开放环境中自由活动的动物是否与在这种限定条件下的结果相一致还存在很大的疑问。尽管目前也有通过无线方式传递神经信息的系统报道，然而其方式是通过模拟的方式进行，且也是仅能单向传递。研究人员一直希望能利用无线通讯装置来控制BCI，以摆脱导线的困扰。现在，他们已经初步做到了这一点。如在猴子大脑里植入了一块集成电路芯片。这块芯片可以完成对神经元电活动的监测和分析工作，并且能将分析结果无线发送到几米远的一台笔记本电脑上。不过，到目前为止，BCI还仅限于脑电信号的获取和分析，而不能模拟产生出输入给大脑的电信号。
总之，目前的神经电信息与外部的电子信息之间的连接要么是有线的连接方式，要么是单向的通讯方式，还没有无线双向的传输方式，而这也正是目前的研究方向。更为重要的一点是，动物在实验过程中的行为特性无法进行定量的分析，而传统的方法仅靠人工的记录分析，或者首先录像记录然后再进行离线分析，而这种方法由于无法保证不同系统间的同步，其可靠性也存在很大问题，因此，使得这些研究缺少完整性。
发明内容
为了克服现有的脑机交互装置用于自由活动小动物的困难及现有实验方法的局限性。本发明的目的在于，提供一种新型的，可远距离无线遥控的集成视觉监控的多模式无线脑机交互装置。
已有实验结果表明，对神经直接刺激所需的电流比对肌肉的刺激电流小100多倍，因此可以用数字电路直接产生用于神经直接刺激的脉冲。微电子技术及片上系统(SoC)技术的发展为申请人提供了良好的平台。
为了实现上述任务，本发明采用如下的解决技术方案一种集成视觉监控的微型多模式无线双向脑机交互装置，其特征在于，该装置包括一个CCD数字摄像机，用于图像的采集，CCD摄像机固定在观测区域的上方，并将采集的图像信息送入图像采集卡中；图像采集卡是基于PCI总线，采用PAL制式，分辨率为768×576×24位，采集速率为30帧/秒；它位于计算机测控及分析系统中；一微推电极，用于外部电信号与脑电信号之间的转换；一采集放大及无线传输电路，用于微推电极产生刺激信号及对采集的脑电活动信号进行放大，并实现与计算机测控及分析系统之间的交互，它包括信号滤波放大电路及位于采集端的无线数字通讯处理模块，其中无线数字通讯处理模块中嵌入有控制器，控制器上有串口、数据端口、PWM端口及模数转换端口；一计算机测控及分析系统，用于与采集放大电路进行交互并对CCD摄像机采集的图像信息分析与处理，该系统包括图像采集卡、微型计算机和基于串口的无线传输模块，其中微型计算机内设有支持神经电信息的采集、外部刺激参数、图像跟踪及分析它们相互之间关系的计算机软件，基于串口的无线传输模块中同样嵌入有控制器，控制器上有串口。
各种刺激模式或参数及通讯控制均通过微型计算机上人机界面软件设定，经与微型计算机相连的基于串口的无线传输模块发送到远端电路；远端电路上的控制器对命令正确解码后，依据指令驱动数字端口产生刺激脉冲作用于微推电极或由PWM端口驱动扬声器发出不同频率特性的声音，并通过数据端口驱动不同的LED发光管进行同步指示；同时动物的脑电信息由微推电极采集，经放大、滤波及数模转换后以无线方式传输到微型计算机中，动物的行为也同时由视觉图像采集部分采集并同步记录到微型计算机中。神经电信息的处理模式，外部刺激参数及行为表现之间的关系由计算机软件完成，从而实现对行为及神经电信息之间的无线双向同步记录分析。
本发明装置采用SoC芯片设计出基于无线双向传输的神经信息采集及刺激系统，同时和基于机器视觉的图像处理系统集成在一起，并通过LED发光管发光指示来保证刺激、记录及行为之间的同步；符合机体生理要求、且具有体积小、重量轻、可遥控、多刺激模式等特点。
图1是本发明的装置原理框图。
图2是微推电极的结构图。
图3是信号滤波放大电路图。
图4是无线数字传输电路图。
图5是信号采集的程序流程图。
下面结合附图和实施对本发明进一步说明。
具体实施例方式
本发明由CCD摄像机、微推电极、采集放大及无线传输电路，计算机测控及分析系统构成，原理框图如图1所示。
计算机测控及分析系统包括图像采集卡、微型计算机和基于串口的无线传输模块，其中微型计算机内设有支持神经电信息的采集、外部刺激参数、图像跟踪及分析相互之间关系的计算机软件；基于串口的无线传输模块中同样嵌入有控制器，控制器上有串口；计算机测控及分析系统用于完成如下功能1)施加给动物的外部刺激模式的设置及控制；2)脑电信息的采集及动物行为图像的采集控制及结果记录；3)外部刺激，动物行为及脑电记录等系统间的同步控制及通讯控制；4)外部刺激，动物脑电信息及行为特性的结果分析；实验所需的各种刺激模式及通讯参数等在PC机上设定，经PC串口相连的无线数字通讯处理模块发送到动物背负的采集放大及无线传输电路中，采集放大电路中有信号滤波放大电路(图3)，及无线数字通讯处理模块(图4)，前端电路上控制器对命令正确解码后，依据指令产生刺激脉冲作用于图2中的微电极，或由PWM端口驱动扬声器(图4)发出不同频率特性的声音，并可通过数据端口驱动不同的LED发光管(图4)同步显示；而动物的神经电信息，经过图2中微推电极采集，被放大，滤波及模数(A/D)转换后从采集端的无线数字通讯处理模块传输到微型计算机(PC)中，而动物的行则由基于视觉的监控系统(图1中CCD摄像机)采集并同步记录到PC机中；外部刺激特性，神经电信息模式及行为表现之间的关系由PC机软件完成，从而实现对行为及神经电信息之间的无线双向同步记录及分析。
微推电极结构如图2所示，它包括微电极1，定位套管2，接插件3，柔性屏蔽线4，滚珠笔头5，注射器6，螺母7，螺杆8；定位套管2采用外径为50um的不锈钢套管，注射器6选用医用1ml注射器，上端固定一螺距为1mm的螺母7，螺母7上有推进的螺杆8，螺杆8每旋转一圈微电极1向下推进300um，为了克服在微电极及推进器在旋转过程中的电极旋转，在螺杆8的下部安装一滚珠笔头5。微电极1通过柔性屏蔽线4连接到一个标准接插件3上，定位套管2及微电极1的长度应保持在微电极1的长度应保持在能到达的部位2mm左右。微电极1采用外径10um的外涂特富龙的金属丝的外涂特富龙的金属丝微电极作为记录微电极，为了能使其具有较好的韧性，在其外部套入外径50um不锈钢制成的定位套管2内，微电极1的尖端实验前镀金，以增加电极的稳定性，记录电极连同动物脑组织的阻抗通过示波器测量为2.0～2.5MΩ。
采集放大及无线传输电路，用于产生刺激信号及采集放大脑电信号，并实现与微型计算机之间的交互，它包括图3所示的电子元件构成的滤波放大电路，及图4中所示的无线数字通讯处理模块(模块有一片nRF24E1芯片及辅助电子元件构成，nRF24E1作为无线通讯控制芯片的依据具有较宽的工作电压范围，低功耗，有效距离可达400-500米，波特率最高可达1Mbps，且具有较高的灵敏度；系统嵌入有微控制器，控制器上有串口、数据端口、PWM端口及模数转换端口；具有较小的封装尺寸)；所选用电路的电子元件均采用表面贴封装，因此具有体积小，重量轻；刺激模式可以任意设置(物理刺激声音频率及幅度可调；电刺激脉冲串个数，宽度，频率，个数，幅度，极性等可调)。由于刺激脉冲的波形及极性对神经冲动的发放有直接的影响，且电荷的积累将使机体组织产生永久性损伤，因此，刺激脉冲应采用双极脉冲。本发明通过对控制器nRF24E1的PO口的口线(U4的10，11脚)，进行对称配置，通过使这对口线的两根电极轮流出现高低电平形成双极刺激脉冲，避免了双电源对电路所带来的复杂性及刺激器体积和重量的增加，方便实用。另外，也提供单极刺激脉冲输出。微推电极与信号滤波放大电路的连接采用柔性连接线及可拆卸接头，具有简单，稳定和可靠等特点。图3所示为前端滤波放大电路，为了克服动物运动所带来的肌电干扰，前置放大器采用高输入阻抗，高共模抑制比的差分仪表放大器U1(INA118)，放大倍数由U1的1，8脚之间电阻R1调节，设置为10倍；为了降低直流共模电压的变化，引入交流耦合(图3中U2/A，R2，C1构成，放大器U2采用宽带低功耗的OPA4227芯片)，前置放大器的输出信号首先经过一高通滤波(图3中U2/B，C2，C3，R3，R4构成2阶Sallen-Key高通滤波器，R5，R6用于调节增益，设定为10倍)；然后，再经过一低通滤波(图3中U2/C，C4，C5，R7，R8构成2阶Sallen-Key低通滤波器，R9，R10用于调节增益，设定为10倍)；系统的通带范围为100-10,000Hz，为了降低市电(50Hz)的干扰，再经过50Hz陷波滤波(图3中U2/D，C6，C7，C8，C9，R11，R12，R13构成)，从而，得到较为稳定的增益1000倍的神经电信号；对其进行模数(图4中U3的24脚)转换，然后进行数字滤波及检测，并把结果通过射频的方式(图4中U3的C21-C25，L1，L2构成射频天线)发送到计算机分析处理系统中。图5中，25A320为程序存储器，存储用于控制、处理及通讯的程序；C12，C13，X1及R15为系统时钟产生模块；其它电容起到滤波作用。为了能对刺激信号进行直观显示以便可以进一步与监控记录系统同步，在不同刺激时进行不同的LED显示(图4中U3的LED1，LED2)，图像采集可以以此为同步信号。另外，PWM端口(图4中U3的13脚)驱动扬声器发出不同特性的声音。为了能够尽可能减前端接口部分的重量及体积对动物行为的影响，所选电子元器件尽可能采用表面贴封装。空闲的口线都置为低电平，以降低控制器空闲口线处于悬浮状态时的噪声干扰并降低吸收功耗。
CCD摄像机采用TL-402S(Sony Com.)，其分辨率为480线，观察视角390，具有很高的灵敏度，最低照度0.05Lux，即使在非常昏暗的光线下也能拍摄到高品质的图像。图像采集卡选用DH-CG300(DaHeng Image Com.)，它是基于PCI总线，采用PAL制式，分辨率为768×576×24位，采集速率为30帧/秒。CCD摄像机固定于观测区域的上方2.5m，能有效的观察直径3m的圆形实验场地。运行于PC机上的视觉监控及人机界面软件采用VC++6.0进行编写，完成刺激参数设置及结果分析控制等。视觉跟踪算法采用基于颜色的方法，即首先通过把背景涂成与动物颜色有明显区分的色彩；在图像界面上设定及编辑不同迷宫或感兴趣区域，设定实验参数；首先对被跟踪动物图像的颜色灰度信息进行分析，以得到上下阈值(Tlow，Thigh)；然后对图像内感兴趣区域(跟踪窗)的象素进行分割(即Tlow≤I(i，j)≤Thigh)，虑去干扰噪声之后，对物体的质心进行实时跟踪；然后进一步计算出其动物运动的速度，加速度，运动距离，运动时间长度，进入感兴趣区域的次数及停留的时间，以及处于不同区域时的动作电位的放电频率，放电时间等特性并对其进行分析。
基于串口的无线传输模块参见图4所示，PC机串口经过电压调节芯片(图4中Max202，C26-C30)与无线数字通讯模块的串口(U3的7，8脚)相连，转换电路的电源由PC机的USB端口经过3.0V稳压芯片输出。PC机收发数据的数据包由数据头，指令串(或数据)及校验和构成(64bits)，如表1，在波特率设定为19200Baud时其的传输延迟小于3.5ms，能够满足实验要求。为了能完成双向的无线数字通讯，需要对双方的nRF24E1进行配置，数据报协议格式如表2。
表1串口通讯协议
表2无线通讯协议
装置使用过程的手术埋置及连接方式在脑立体定位仪上参考脑图谱完成微推电极的埋置。刺激电极通过柔性细导线直接和微推电极相连，记录电极的引线通过短的柔性屏蔽细导线连接到前置放大器的输入端，再电极周围颅骨上固定三到四个螺钉(连接参考电极引线)。刺激模式(声音或电刺激)及其参数(声音频率及强度；脉冲个数，脉冲串长度，频率，强度，极性等)由PC机设置。微推电极埋置前经过消毒及短路测试，在脑立体定位仪下进行微推电极的定位，并采用牙科水泥固定于颅骨；负责电刺激脉冲转换及神经电信号的采集，通过柔性细导线及接插件连接到采集放大电路上。
系统工作程序首先，在PC机上设置刺激模式，参数等。由于nRF24E1仅能采用单工方式进行通讯，因此，必须为收发双方分配不同的时隙，各自在接收及发送时隙内完成收发。在计算机分析处理系统的基于串口的无线传输模块设为主站，初始化为发送状态，而在采集放大电路的无线数字通讯模块初始化为同步接收状态。采集的程序流程如图5所示。初始化阶段完成芯片系统的无线通讯配置及与主站的同步接收状态；双方同步后，接收PC的命令数据包，如果数据包有效，解码数据包的命令并产生相应的刺激脉冲或声音，并给出发光指示，以便用于视频采集的同步；同时，对来自电极的神经放电信号进行放大滤波后送入采集前端的无线数字通讯模块的模数转换端口(图4中U3的34脚)；在数字滤波后进行幅度阈值检测，如果幅值高于某一设定的阈值及认为是一动作电位并记录结果，然后在其发送时隙内将其发送到计算机内。同时，基于机器视觉的图像采集系统，采集并记录动物的运动行为(速度，时间，位置等)。最后，通过分析软件来对刺激参数，动物的行为及神经放电特性进行分析。
权利要求
1.一种集成视觉监控的微型多模式无线双向脑机交互装置，其特征在于，该装置包括一个CCD摄像机，用于图像的采集，CCD摄像机固定在观测区域的上方，并将采集的图像信息送入图像采集卡中；图像采集卡是基于PCI总线，采用PAL制式，分辨率为768×576×24位，采集速率为30帧/秒；它位于计算机测控及分析系统中；一微推电极，用于外部电信号与脑电信号之间的转换；一采集放大及无线传输电路，用于微推电极产生刺激信号及对采集的脑电活动信号进行放大，并实现与计算机测控及分析系统之间的交互，它包括信号滤波放大电路及采集前端的无线数字通讯处理模块，其中无线数字通讯处理模块中嵌入有控制器，控制器上有串口、数据端口、PWM端口及模数转换端口；一计算机测控及分析系统，用于和采集放大电路进行交互并对CCD摄像机采集的图像进行分析与处理，该系统包括图像采集卡、微型计算机和基于串口的无线传输模块，其中微型计算机内设有支持神经电信息的采集、外部刺激参数、图像跟踪及分析相互之间关系的微型计算机软件，基于串口的无线传输模块中同样嵌入有控制器，控制器上有串口。
2.如权利要求1所述的装置，其特征在于，所述的CCD摄像机的分辨率为480线，观察视角390。
3.如权利要求1所述的装置，其特征在于，所述的微推电极包括微电极(1)，定位套管(2)，接插件(3)，柔性屏蔽线(4)，滚珠笔头(5)，注射器(6)，螺母(7)，螺杆(8)；微电极(1)安装在定位套管2内，并设置注射器(6)的最下端，接插件(3)通过微电极(1)上连接的柔性屏蔽线(4)从注射器(6)的侧壁上引出，注射器(6)上端固定有螺母(7)，螺母(7)上有螺杆(8)，螺杆的下部安装有滚珠笔头(5)，由螺杆(8)推进螺杆(7)旋转带动微电极(1)向下推进。
4.如权利要求1所述的装置，其特征在于，所述的无线数字通讯处理模块和基于串口的无线传输模块均选用nRF24E1芯片。
5.如权利要求1所述的装置，其特征在于，所述的微推电极进行外部电刺激及脑电信号的采集为埋置式。
6.如权利要求1所述的装置，其特征在于，所述的外部刺激参数包括可调的声音及电子刺激模式，即多模式刺激、电刺激强度、刺激频率、刺激脉冲宽度、串内脉冲个数、刺激串个数、刺激极性可任意设置；声音频率强弱可调。
7.如权利要求3所述的装置，其特征在于，所述的微电极(1)的尖端镀金。
全文摘要
本发明涉及一种集成视觉监控的微型多模式无线双向脑机交互装置，包括CCD摄像机，微推电极，采集放大及无线传输电路，计算机测控及分析系统，各种刺激模式或参数及通讯控制在测控及分析的微型计算机上设定，经与微型计算机相连的基于串口的无线传输模块发送到远端电路；同时动物的神经电信息由微推电极采集，经放大、滤波及数模转换后以无线方式传输到微型计算机中，动物的行为也同时由CCD摄像机采集并同步记录到微型计算机中。尤其适用于对自由活动状态的动物的神经进行不同模式的刺激，并对其行为进行训练控制，符合机体生理要求、且具有体积小、重量轻、可遥控、多刺激模式等特点；并通过发光管发光指示来保证刺激、记录及行为之间的同步。
文档编号A01K15/00GK1848951SQ20061004190
公开日2006年10月18日 申请日期2006年3月9日 优先权日2006年3月9日
发明者宋卫国, 王莹 申请人:西安交通大学
最新回复(0)