视频图像实时处理器的制作方法

xiaoxiao2020-7-23  6

专利名称:视频图像实时处理器的制作方法
技术领域
本实用新型涉及利用DSP(Digital Signal Processing,即数字信号处理)和CPLD(复杂可编程逻辑器件)技术、图像处理技术、以及视频解码技术而设计的一种视频图像实时处理器,可以用于交通信息实时采集、智能小区实时监控及其它无人值守的安防领域。
本实用新型解决其技术问题所采用的技术方案是构造一种视频图像实时处理器,包括用于连接外部摄像装置并对输入的模拟视频信号进行解码的视频解码器,用于对解码后的初始图像数据进行处理以得到所需交通信息的中央处理器,与所述中央处理器连接用于存储其外部数据的数据存储器,以及所述中央处理器连接用于输出所需交通信息的输出接口,其特征在于所述中央处理器采用高速的数字信号处理器,所述视频图像实时处理器中还包括用于存储所述图像解码器输出的初始图像数据的数字图像缓冲存储器,并采用一个由复杂可编程逻辑器件组成的地址译码、控制逻辑及数字视频存储控制逻辑电路作为接口与控制逻辑的执行器件,所述复杂可编程逻辑器件连接所述图像解码器、数字图像缓冲存储器及数据存储器,将所述高速的DSP中央处理器与相对低速的所述图像解码器及数字图像缓冲存储器在控制时序上分开,使系统在存储当前图像时,不占用DSP的地址和数据总线,以免对图像处理的实时性造成影响在本实用新型所述的视频图像实时处理器中,所述复杂可编程逻辑器件的内部包括抽样控制器、地址复位逻辑、地址生成器、时序匹配电路、地址总线切换开关以及数据总线切换开关,这些内部器件在所述视频解码器的控制下,可自动将捕获的初始图像数据存储到所述数字图像缓冲存储器中,然后在所述中央处理器的控制下将所述初始图像数据快速传送到所述数据存储器中。上述自动捕获过程不需要所述中央处理器的干预,使图像处理过程与图像捕获过程独立进行,保证本实用新型的视频图像实时处理器可实现实时处理。
在本实用新型所述的视频图像实时处理器中,所述复杂可编程逻辑器件连接了一个用于对所述中央处理器的数据空间可寻址范围进行扩展的存储器地址扩展逻辑,还利用所述存储器地址扩展逻辑生成一个扩展程序存储器。
在本实用新型所述的视频图像实时处理器中,所述输出接口是高速同步串行总线接口,可用于连接高速同步串行总线以输出所采集的交通信息以及数字视频图像,并实现对所述高速同步串行总线的驱动以及负载匹配。
本实用新型的视频图像实时处理器中,图像的处理过程与图像的捕获过程独立运行,并采用同步串行数据总线实现与其他主控制设备的数据通信,可利用该总线在处理多路图像时,构成模块化、结构化、分布式多通道图像处理系统。这种视频图像实时处理器可用于交通信息实时采集、智能小区实时监控等领域。
图3是本实用新型中视频图像实时处理器的组成结构图;图4是本实用新型中数字视频存储控制逻辑电路图;图5是四通道图像实时处理系统的示意图;图6是本实用新型视频图像实时处理器主要功能部件的电路连接关系图。
为了满足图像实时处理的要求,本实用新型中的DSP中央处理器301采用指令周期为10纳秒的数字信号处理器,型号为TMS320VC5409,由于其大部分指令是单周期的,而且具有适合于对大量数据进行运算的指令集和与之相适应的寻址方式,所以能够满足实时图像处理的要求。它的运算速度能够达到100MIPS,而且它所具有的独特的寻址方式使得它非常适合于承担大数据量的图像处理任务,它对输入的视频图像进行处理,得出车流量、车辆速度、车辆长度、车道占有率、排队、延误、违章停车、超速、越线等交通数据信息。
本实用新型中,DSP中央处理器301的外围器件的接口及其控制由复杂可编程逻辑器件302实现,可采用美国Xilinx公司的XC95xx系列芯片。其主要任务是为视频图像实时处理器的各个单元分配访问地址;并实现数字图像缓冲存储器的时分复用,将高速运行的中央处理器与相对低速的其他逻辑部分分割,使整个视频处理器能协调工作,具体工作原理将在后面详细介绍。
本实用新型中,数据存储器303是DSP中央处理器的外部数据存储空间。对于图像处理而言,由于所处理的数据量很大,需要比较大的数据存储空间,但是DSP中央处理器301外部可寻址的地址范围有限,所以在本实用新型中采用了存储器地址扩展逻辑306对DSP中央处理器的数据空间可寻址范围进行扩展。同时也利用该地址扩展逻辑扩展了部分程序存储空间。
本实用新型中,外部程序存储器304和扩展程序存储器305用于存储和运行DSP中央处理器301的某些外部处理子程序,这部分子程序没有严格的实时处理速度要求。外部程序存储器304中所运行的程序主要是视频图像实时处理器的初始化、自检、低速I/O访问等子程序,对实时性的要求较低;扩展程序存储器305中存储使用频率不高的某些特殊子程序,如远程通讯控制程序等,扩展程序存储器305中程序的运行速度低于外部程序存储器304中程序的运行速度,当调用扩展程序存储器305的程序时,需要使用远调用指令。
本实用新型中,视频解码器308采用BT835芯片,每个像素点的灰度用8位数字量表示,在输出某一点数字图像的同时,将输出该点的同步脉冲信号,利用这个同步脉冲可以控制数字图像缓冲存储器307的访问地址,从而在没有DSP中央处理器301干预的情况下将图像存储到数字图像缓冲存储器307中。
本实用新型中,状态指示单元309由几个LED组成。当视频图像实时处理器进行初始自检时,可以指示自检的结果;在正常工作时,根据管理模块的命令指示工作状态及命令运行结果。
本实用新型中,高速同步串行总线接口310用于实现对总线的驱动以及负载匹配。同步串行总线使能控制逻辑319在主控制器104的控制下,按照设定的时序开通同步总线驱动器,以实现总线的时分复用。
利用本实用新型的视频图像实时处理器所组成的多通道视频图像实时处理系统如

图1所示,为了使本实用新型的视频图像实时处理器能适用于这种系统,上述视频图像实时处理器的高速同步串行总线接口310通过高速同步串行总线103与主控制器104连接,多个视频图像实时处理器102在主控制器104的指令下时分复用该总线。此总线用于传输图像处理的结果(例如车流量、车辆速度、车辆长度等交通信息)以及来自主控制器的视频实时处理器控制命令,并不用于实时传输数字图像。该总线的最大传输速率可以达到20Mbps。该总线兼容5V和3.3V工作电压,其总线驱动器的驱动能力至少可以达到12个标准TTL(Transistor-Transistor Logic,即晶体管-晶体管逻辑)负载。由于采用时分复用方式,该总线实际可以构成的规模还取决于主控制器104与视频图像实时处理器102之间所传递的数据块的长度和数据块的传输频度(每秒钟所传送数据包的数量)。对于总线而言,主控制器是一个时分复用控制器。典型系统是图1所示的一个实现8通道视频图像实时处理的结构。由此可以建立一个分布式的、主从结构的视频图像实时处理系统。采用多个主控制器还能够组建更大规模的多点分布式视频图像实时处理系统。
本实用新型中,高速同步串行总线由6个信号线组成,其标识和定义如表1。基本时序关系如图2所示。高速同步串行总线控制逻辑以数据帧方式批量传输数据,启动总线操作之后,能够自动完成数据包的发送或接收,总线传输过程中不干扰中央处理器的工作。
表1-高速同步串行总线的标识和定义

图1中所示系统要解决的一个关键问题是在保证实时图像存储的同时能够完成对图像的实时运算与处理。本设计的解决方案是基于以下的事实和要求(1)、以30帧/秒(NTSC制)或25帧/秒(PAL制)的速率捕捉图像以满足系统检测精度所要求的时间分辨率;(2)、同一帧图像的奇场和偶场图像之间具有很强的时间相关性和空间相关性;(3)、尽可能减轻图像存储给中央处理器带来的负担。
为此,本实用新型中设计了数字图像缓冲存储器307,将图像存储任务交给视频解码器308所驱动的杂可编程逻辑器件302来完成,在图像进行存储操作时,不影响中央处理器对已经捕获的图像进行运算。图4给出了这种设计的逻辑框图,其中虚线框内的抽样控制器311、地址复位逻辑312、地址生成器313、时序匹配电路314、地址总线切换开关315以及数据总线切换开关316是复杂可编程逻辑器件302中的不同功能单元。
在图4中,视频解码器308输出的行同步信号、场同步信号、像素同步时钟信号被送到抽样控制器311,抽样控制器选择有效的像素同步时钟并将其馈送到地址生成器313,地址生成器产生有效图像点在数字图像缓冲存储器307中的地址,该地址通过地址总线切换开关315连接到数字图像缓冲存储器。同时,行同步信号、场同步信号、像素同步时钟信号经过适当的逻辑产生数字图像缓冲存储器的写信号和片选信号,将所选择的有效初始图像数据存储到数字图像缓冲存储器中。当一个图像采样周期结束时,行同步信号、场同步信号经过地址复位逻辑312产生复位信号将地址生成器313复位,同时产生中断信号通知DSP中央处理器301。中央处理器响应中断后,将切换地址总线切换开关315和数据总线选择开关316,接管数字图像缓冲存储器的访问权,将其中捕获的图像快速地传输到数据存储器303中,当传输结束时,中央处理器释放数字图像缓冲存储器,将控制权交还给视频解码器308。视频解码器开始进行下一个采样周期。在进行下一个图像采样周期的同时,中央处理器将对上一次采集的图像进行分析处理,从而获得所需要的信息。可见,本实用新型的视频图像实时处理器中,图像的处理过程与图像的捕获过程是独立的,图像的捕获过程给DSP中央处理器301带来的负担非常小。图中的时序匹配电路314用于补偿控制信号和数据信号的时延。
图6表示了本实用新型视频图像实时处理器主要功能部件的电路连接关系图。其中,IC1是视频图像解码器BT835,它所产生的数字图像经过复杂可编程逻辑器件IC2的控制存储到视频缓冲存储器IC4中,当图像存储完毕后,CPLD控制逻辑产生中断信号通知DSP中央处理器IC3(即图3中的301),DSP中央处理器响应中断后,将接管对IC4的访问权限,并将所存储的数字图像传输到数据存储器IC5中,存储完毕后,将IC4的访问控制权重新交给IC1。此后,DSP将对存储在IC5中的初始图像数据进行运算和处理,并将所得到的结果通过串行高速总线驱动器IC8发送给外部控制单元。图6中,程序存储器IC6存储低速运行的程序,而高速运行的图像处理程序存储在DSP内部的程序存储器中;扩展程序存储器IC7存储使用频率不高的特殊处理程序,当需要运行其中的程序时,DSP将使用远程调用指令执行这些程序。
本实用新型的视频图像实时处理器可以用于交通信息实时采集、智能小区实时监控及其它无人值守的安防领域。当应用于道路的交通信息采集时,可以根据需要配置摄像机的数量,将应用软件加载到视频图像实时处理器中,就可以由各个视频图像实时处理器的DSP中央处理器对视频图像进行处理,得出车流量、车辆速度、车辆长度、车道占有率、排队、延误、违章停车、超速、越线等交通信息,而且在安装和使用时,本系统不破坏路面,安装简便,能够实现大区域检测,维护费用低。同样,该视频图像实时处理器也可以应用于智能住宅小区的监控等其他领域。
对于交通信息动态采集应用,以一个典型的十字路口为例,可以安装4台摄像机。这时可以配置成由一个主控制器和四个视频图像实时处理器组成的应用系统,如图5所示。其中,每台摄像机101对应连接到一个视频图像实时处理器102上,系统的RS232接口与笔记本电脑106连接,系统的视频输出端口也通过视频接口设备105连接到笔记本电脑上,使用者可以通过笔记本电脑对系统的每个摄像机的检测功能、检测参数进行设置,当所有的摄像机被设置完毕后,可以通过笔记本电脑发送的指令启动采集系统工作。断开RS232接口,系统便独立运行,所检测的数据存储到主控制器104的FLASH存储器中。
权利要求1.一种视频图像实时处理器,包括用于连接外部摄像装置并对输入的模拟视频信号进行解码的视频解码器(308),用于对解码后的初始图像数据进行处理以得到所需交通信息的中央处理器(301),与所述中央处理器连接用于存储其外部数据的数据存储器(303),以及与所述中央处理器连接用于输出所需交通信息的输出接口(310),其特征在于所述中央处理器采用高速的数字信号处理器,所述视频图像实时处理器中还包括用于存储所述图像解码器(308)输出的初始图像数据的数字图像缓冲存储器(307),并采用一个由复杂可编程逻辑器件组成的地址译码、控制逻辑及数字视频存储控制逻辑电路(302)作为接口与控制逻辑的执行器件,所述复杂可编程逻辑器件(302)连接所述图像解码器(308)、数字图像缓冲存储器(307)及数据存储器(303),将所述高速的DSP中央处理器(301)与相对低速的所述图像解码器(308)及数字图像缓冲存储器(307)在控制时序上分开。
2.根据权利要求1所述的视频图像实时处理器,其特征在于,所述复杂可编程逻辑器件(302)的内部包括抽样控制器(311)、地址复位逻辑(312)、地址生成器(313)、时序匹配电路(314)、地址总线切换开关(315)以及数据总线切换开关(316),这些内部器件在所述视频解码器(308)的控制下,可自动将捕获的初始图像数据存储到所述数字图像缓冲存储器(307)中,然后在所述中央处理器(301)的控制下将所述初始图像数据快速传送到所述数据存储器(303)中。
3.根据权利要求2所述的视频图像实时处理器,其特征在于,所述复杂可编程逻辑器件(302)连接了一个用于对所述中央处理器(301)的数据空间可寻址范围进行扩展的存储器地址扩展逻辑(306),还利用所述存储器地址扩展逻辑(306)生成一个扩展程序存储器(305)。
4.根据权利要求3所述的视频图像实时处理器,其特征在于,所述输出接口(310)是高速同步串行总线接口,可用于连接高速同步串行总线以输出所采集的交通信息,并实现对所述高速同步串行总线的驱动以及负载匹配。
5.根据权利要求3所述的视频图像实时处理器,其特征在于,所述复杂可编程逻辑器件(302)还连接了一个状态指示单元(309),所述状态指示单元包括多个用于指示整个处理器的工作状态的LED指示灯。
专利摘要本实用新型涉及一种视频图像实时处理器,其中以高速的数字信号处理器作为中央处理器,即DSP中央处理器(301),并采用一个由复杂可编程逻辑器件组成的地址译码、控制逻辑及数字视频存储控制逻辑电路(302)作为接口与控制逻辑的执行器件,将数字图像缓冲存储器(307)与DSP中央处理器(301)的数据存储器(303)隔离,使DSP中央处理器在进行图像处理时,数字图像缓冲存储器(307)能够在视频解码器(308)的控制下独立地完成图像捕获功能,以保证本实用新型的视频图像实时处理器可实现实时处理。其中还采用高速同步串行数据总线接口(310)实现与其他主控制设备的数据通信,可构成模块化、结构化、分布式多通道图像处理系统。这种视频图像实时处理器可用于交通信息实时采集、智能小区实时监控等领域。
文档编号G06F13/14GK2549543SQ02271589
公开日2003年5月7日 申请日期2002年7月4日 优先权日2002年7月4日
发明者刘建伟, 曹泉, 王钧生, 李峰 申请人:深圳市哈工大交通电子技术有限公司

最新回复(0)