一种对三路高分辨率视频流进行叠加的系统和方法

一种对三路高分辨率视频流进行叠加的系统和方法
【技术领域】
[0001] 本发明涉及数字多媒体信息处理领域，包括飞行器合成视觉系统、影视后期制作、 视频监控、远程医疗等领域，特别是一种在数字多媒体信息处理中需要把高分辨率视频进 行实时叠加处理的系统和方法。
【背景技术】
[0002] 随着信息技术的发展，数字技术已经广泛应用于多媒体处理领域，这些数字多媒 体设备在功能日益强大的同时也在不断提高其易用性，把从至少两个分立系统产生的视频 信号叠加起来，并清晰地显示出来的应用已经成为了一个发展趋势。比如在飞行器合成视 觉系统中，需要把机载摄像头传回的地形实景视频、控制计算机产生的飞行路线视频、状态 信息合成计算机产生的视频实时叠加成一路视频信号显示在主飞行显示器上。在此叠加过 程中需要用到基于系数的叠加技术和颜色嵌位技术。
[0003] 机载摄像头传回的地形实景视频和控制计算机产生的飞行路线视频的叠加就用 到了系数叠加技术，该技术也被称为Alpha-Blending技术。该技术的特点在于背景视频和 前景视频按照"Alpha"系数的值来叠加的。即先将背景视频和前景视频的RGB三个颜色分 量分离，然后把前景视频的三个颜色分量分别乘以"Alpha"的值，并把背景视频的三个颜色 分量分别乘以"1 _Alpha"的值，然后把结果按照对应颜色分量相加，最后把三个颜色分量 重新组合为一个视频输出。
[0004] 机载摄像头传回的地形实景视频和状态信息合成计算机产生的视频的叠加用到 了颜色嵌位叠加技术，该技术也被称为Color-Keying技术。该技术的特点在于透明化前景 视频中落在嵌位颜色范围内的像素点，而其他的像素点则覆盖在背景视频上。即先将背景 视频的RGB三个颜色分量分离，然后分别与嵌位颜色比较，比较的结果做逻辑与操作之后 作为二选一多路选择器的控制输入，如果相等则选择前景像素，否则选择背景像素。
[0005] 中国专利CN85101302 "视频信号叠加装置"是将至少由两个分立系统产生的视频 信号叠加在一起的方法。但其针对的是模拟视频信号的叠加，是一种基于模拟元器件的方 法，不能用在当今基于大规模集成电路的数字多媒体处理领域。
[0006] 中国专利CN200510132415"一种用于在视频信号上叠加多个图形信号的控制装置 及方法"，则是通过逐个像素判断是否需要在视频上叠加图形信号。虽然该方法也给出了上 诉的两种叠加方式，但是其应用范围是在视频上叠加静态图像或者是用户操作界面，而该 专利并未对多路视频信号的实时叠加给出解决方案。
[0007] 另外在中国专利CN200610029649. 1、中国专利CN200610029650. 4、中国专利 CN200810217524. 0,都对在视频中叠加字幕做了说明，但是这些方法都是针对在视频中叠 加静态图片的方法。因此现有的方法都没有提及到几路视频信号实时叠加的方法。

【发明内容】

[0008] 本发明旨在解决现有技术无法实现多路视频信号实时动态叠加的技术难题，提供 了一种能对三路视频信号实现实时动态叠加、并具有处理速度快、体积小巧、使用方便、价 格低廉等特点的一种对三路高分辨率视频流进行叠加的系统和方法。
[0009] 本发明的目的是通过以下技术方案实现的。
[0010] 本发明的一种对三路高分辨率视频流进行叠加的系统，包括输入模块、专用视频 叠加芯片100、输出模块和运算辅助模块，其中专用视频叠加芯片100由主控制器模块1、视 频预处理单元2、前同步单元3、内存控制器模块4、数据处理模块5、发送接口引擎6和高性 能DDR控制器7构成；视频预处理单元2分别与前同步单元3和内存控制器模块4相连接， 前同步单元3和内存控制器模块4通过标准内存访问接口连接数据处理模块5，数据处理模 块5的发送端与发送接口引擎6相连；内存控制器模块4通过片上设备总线0PB与高性能 DDR控制器7相连；主控制器模块1通过配置总线分别与视频预处理模块2、前同步单元3、 内存控制器模块4、数据处理模块5、发送接口引擎6相连。
[0011] 本发明的一种对三路高分辨率视频流进行叠加的系统，其中所述的主控制器模块 1由I2C主控制器、控制状态机和寄存器组构成；视频预处理单元2由分辨率检测单元21、 预处理单元22和有效数据提取单元23构成；前同步单元3由异步FIFO和同步FIFO构成； 内存控制器模块4由接收数据通道41、访问仲裁单元43和发送数据通道42构成；数据处理 模块5由系数混叠处理单元51和颜色嵌位处理单元52构成；发送接口引擎6由异步FIFO 和帧重构模块构成；高性能DDR控制器7由初始化模块71、控制逻辑模块73、数据通道74 和相位校准模块72构成。
[0012] 本发明的一种对三路高分辨率视频流进行叠加的系统，其中所述的输入模块为三 个高带宽AD芯片104~106,输出模块为DA芯片103,运算辅助模块包括外接DDR储存器 101和嵌入式CPU102,其中三个高带宽AD芯片104~106的输出端分别连接专用视频叠加 芯片100的第二输入端、第三输入端和第四输入端D2~D4,高带宽AD芯片的输入端连接外 部VGA信号；外接DDR储存器101连接专用视频叠加芯片100的第一输入输出端D5,嵌入 式CPU102连接专用视频叠加芯片100的第二输入输出端D6,专用视频叠加芯片100的输出 端D7连接DA芯片103的输入端，DA芯片103的输出端连接输出VGA接口。
[0013] 本发明的一种对三路高分辨率视频流进行叠加的方法，其中包括如下步骤： A. 视频预处理模块2通过分辨率检测单元21自动检测输入视频的分辨率，主控制器 模块1根据该检测结果通过I2C主控制器配置输入模块的高带宽AD芯片； B. 主控制器模块1向高性能DDR控制器模块7发出系统配置完成指令，初始化模块71 启动外接DDR储存器101的初始化操作，初始化完成之后相位校准模块72执行相位校准操 作。若所有过程正确完成则通知主控制器模块1初始化完成，如果上述操作出现异常，主控 制器模块1会复位该高性能DDR控制器模块7 ; C. 主控制器模块1启动系统，预处理单元22对视频进行数字降噪和图像稳定处理，然 后送入有效数据提取单元23进行有效数据提取，得到有效的前景数据和背景数据； D.接收数据通道41将由步骤C输入的有效前景数据进行分拆和打包，通过高性能DDR 控制器模块7把有效前景数据缓存入外接DDR储存器101中；缓存完一帧之后通知数据处 理模块5前景数据缓存完成； E. 前同步单元3开始采集、同步和缓存由步骤C输入的有效背景数据；当前同步单元 3中缓存达到设定的饱和值后，通知数据处理模块5背景数据缓存完成； F. 数据处理模块5按一个显示行为单位取出步骤E缓存的背景数据，根据设置的混叠 位置在设定的时间由发送数据通道42取出步骤D缓存的前景数据；处理时首先把背景数据 和需要系数混叠的前景数据输入系数混叠处理单元51进行系数混叠操作，混叠之后的结 果与另一路前景数据一起输入颜色嵌位处理单元52进行颜色嵌位操作； G. 将由步骤F输入的混叠之后的数据经发送到接口引擎6,生成与发送格式相对应的 像素点时钟、行同步和场同步信号，与数据一起送入送入DA芯片103进行数模转换，形成标 准的VGA接口信号进行显示。
[0014] 本发明的一种对三路高分辨率视频流进行叠加的方法，其中步骤c之前首先检测 输入端口是否有视频输入，主控制器模块1根据检测的结果决定预处理单元22的开启或关 闭以及数据处理模块5混叠操作的方式。
[0015] 本发明的一种对三路高分辨率视频流进行叠加的方法，其中步骤F读取前景数据 和背景数据的同时，分离数据上附加的地址信息，然后和数据处理模块5跟踪的处理位置 进行比对，如果一致则进行混叠操作，否则重新发起读取请求。
[0016] 本发明的一种对三路高分辨率视频流进行叠加的系统和方法的有益 效果： 1. 可实现对多路高分辨率视频信号实时动态叠加； 2. 支持两种方式视频叠加，第一：通过任意的混叠系数把前景视频叠加到背景视频 上，称为Alpha-Blending技术；第二：使用颜色嵌位技术把前景视频的某一种颜色透明然 后叠加到背景视频上，称为Color-Keying; 3. 处理速度快、体积小巧、使用方便、价格低廉。
[0017]
【附图说明】
[0018] 图1为本发明系统架构示意图 图2为本发明系统中专用视频叠加芯片功能模块架构示意图 图3为本发明内存控制器模块详细电路设计图 图4为本发明系数混叠处理单元和颜色嵌位处理单元结构图 图5为本发明数据处理模块中位置比特生成电路结构图 图6为本发明发送接口引擎电路结构图 图中标号说明： 1主控制器模块、2预处理模块、3前同步单元、4内存控制器模块、5数据处理模块、 6发送接口引擎、7高性能DDR控制器模块、21分辨率检测单元、22预处理单元、23有效 数据提取单元、41接收数据通道、42发送数据通道、43访问仲裁单元、51混叠处理单元、 52颜色嵌位处理单元、71初始化模块、72相位校准模块、73控制逻辑模块、74命令/数 据通道模块、100专用视频叠加芯片、101外接DDR存储器、102嵌入式CPU、103DA芯片、 104~106AD芯片、D1~D4专用视频叠加芯片的第一至第四输入端、D5~D6专用视频叠 加芯片的第一至第二输入输出端、D7专用视频叠加芯片的输出端
【具体实施方式】
[0019] 本发明详细结构、应用原理、作用与功效，参照附图1-6,通过如下实施方式予以说 明。
[0020] 本发明系统组成架构如图1所示，包括输入模块、专用视频叠加芯片100、输出 模块和运算辅助模块，其中输入模块为三个高带宽AD芯片104~106,输出模块为DA芯 片103,运算辅助模块包括外接DDR储存器101和嵌入式CPU102,其中三个高带宽AD芯片 104~106的输出端分别连接专用视频叠加芯片100的第二输入端、第三输入端和第四输 入端D2~D4,高带宽AD芯片的输入端连接外部VGA信号；外接DDR储存器101连接专用 视频叠加芯片100的第一输入输出端D5,嵌入式CPU102连接专用视频叠加芯片100的第 二输入输出端D6,专用视频叠加芯片100的输出端D7连接DA芯片103的输入端，DA芯片 103的输出端连接输出VGA接口。
[0021] 前述三个高带宽AD芯片104~106使用TI(德州仪器）的TVP7001，DA芯片103 为AD(亚德罗半导体）的ADV7125,外置的DDR存储器101使用三片Sumsung(三星）的 K4H561638F-TCB3,主处理芯片为专用视频叠加芯片100,网络控制器芯片使用DM9000E， 嵌入式CPU102使用三星的S3C2410A。NORFLASH为SST39VF1601，与两片型号为 HY57V561620的SDRAM构成ARM系统，上面运行linux操作系统。在本实施方式中可以使用 PC通过UART或者以太网接口以及使用ARM处理器完成整个系统配置和运行控制。
[0022] 本发明系统中专用视频叠加芯片100的功能模块架构如图2所示，主控制器模块 1由I2C主控制器、控制状态机和寄存器组构成；视频预处理单元2由分辨率检测单元21、 预处理单元22和有效数据提取单元23构成；前同步单元3由异步FIFO和同步FIFO构成； 内存控制器模块4由接收数据通道41、访问仲裁单元43和发送数据通道42构成；数据处理 模块5由系数混叠处理单元51和颜色嵌位处理单元52构成；发送接口引擎6由异步FIFO 和帧重构模块构成；高性能DDR控制器7由初始化模块71、控制逻辑模块73、数据通道74 和相位校准模块72构成。
[0023] 专用视频叠加芯片100的功能模块架构各部分的功能和具体设计方法描述如下： 一、主控制器模块1，用于对整个系统的控制，协调各个功能模块的操作。该模块中包含 了所有系统寄存器、用于配置AD寄存器的I2C主控制器、外部配置接口、异常情况的监控和 恢复电路。
[0024] 主控制器模块1对系统的配置和异常情况监控过程如下： 1) 上电以后状态检测模块会检测各VGA输入的模式； 2) 状态监测模块检测完成以后，设置主控制器模块1中与输入模式相关的参数； 3) 然后读出配置ROM(只读存储器）中的默认参数，并通过I2C主控制器配置AD中相 应参数，然后设置主控制器模块1中的系统初始化完成寄存器启动整个系统； 4) 配置主控制器模块1中复位寄存器，复位整个系统； 5) 主控制器模块1设置各功能模块中的参数，设置完成后系统开始工作； 6) 主控制器模块1中的状态机进入工作状态，接收用户输入的配置信息； 7) -旦状态检测模块发现输入模式有改变或者系统运行出现异常情况，会再次激活整 个配置和恢复电路，重新配置系统。
[0025] 二、视频预处理模块2,用于检测视频分辨率，对视频进行数字降噪和图像稳定处 理，然后提取出有效数据交给后面的功能模块。其中： 1、 分辨率检测单元21，其电路工作原理如下：用AD输入的数据时钟对场同步信号和行 同步信号进行计数，得到其中六个参数，包括：场前肩、场消隐、场后肩、行前肩、行消隐、行 后肩，然后对这几个信号的筛选和比较得到主控制器模块1中配置ROM的读地址； 2、 预处理单元22,负责对视频进行数字降噪和图像稳定处理。该模块的输入输出保持 一致，都是RGB24比特视频。在延时敏感的应用环境中，可通过寄存器旁路掉该处理模块； 3、 有效数据提取单元23,负责提取出视频中有效数据，其后的模块处理的都是有效数 据，减少了处理数据量，并且简化了设计。其电路工作原理如下：用数据时钟对场同步信号 和行同步信号进行计数，起始点为场同步的下降沿。通过计数得到行数和列数，把行数和列 数送入比较器，与场前肩、场消隐、场后肩、行前肩、行消隐、行后肩进行比较，比较的结果就 是数据有效信号（data_enable): if((行数〉场消隐+场后肩and行数〈总行数-场前肩）and (列数〉行消隐+行后肩and列数〈总列数-行前肩）） data_enable= 1; else data_enable=0; 以上是其计算方式。
[0026] 三、前同步单元3,负责背景视频数据串并转换、跨时钟域和流量控制操作。从电 路设计角度来讲，使用移位寄存器进行数据串并转换，转换之后数据宽度为192比特，其中 包含8个像素点的数据，对转换之后的数据附上8个比特的地址信息后送入RAM(随机访问 存储器）中缓存起来。该RAM的深度为256,宽度为200比特，其两个时钟输入分别为AD输 入的数据时钟和系统主时钟，使用该RAM同时完成了数据缓存和跨时钟域的处理。该模块 中还定义了一个数据计数器，数据处理模块5根据该计算器判断是否缓存了足够的背景数 据。
[0027]四、内存控制器模块4,根据视频分辨率大小和外接DDR存储器101 (本实施例中 使用三个SAMSUNGK4H561638FDDR)的规格对视频数据进行分拆和打包，然后把数据在视 频中的位置信息嵌入到数据流中，以DDR-行容量为访问粒度调用高性能DDR内存控制器 模块7完成视频数据的缓存。其详细电路设计图如图3所示，其中： 1、 接收数据通道41，该模块包括三个功能：1)把输入的像素点的数据打包以匹配DDR 的宽度；2)根据数据包在帧内所处的位置加上地址信息；3)从数据时钟到DDR控制器处理 时钟的跨时钟处理； 接收数据通道41的电路工作原理如下：数据裁剪模块送入的数据首先通过8个宽度为 24比特的寄存器组成的移位寄存器。同时移位数据计数器对移位的个数进行计数，当计数 到8的时候，把移位寄存器中的数据加上地址信息送入数据更新寄存器。然后把数据更新 寄存器的内容送入异步FIFO作跨时钟域处理。只要异步FIFO中有数据就把数据读出来放 在同步FIFO中，该同步FIFO作为打包缓冲存储器。在数据缓冲的 同时对同步FIFO中的数 据计数，该计数值与主控制器模块1配置的视频格式参数相比较生成指示信号通知访问仲 裁单元； 2、 发送数据通道42,该模块是接收数据通道41的镜像模块。其包括几个逻辑块，跨时 钟域的异步FIFO;保存数据的同步FIFO和其相应的FIFO中数据个数计数器，该计数器是 为了指示发送接收仲裁模块数据保存FIFO中的数据量小于一个显示线的数据，需要启动 一次读操作；以及作并串转化的移位寄存器； 3、访问总裁单元43,本发明的存储器组是读写复用的，前面已经提到了每次发送接收 的数量都是一个显示线的数据。发送接收通道42中分别有一个做缓存的同步FIFO,每个 FIFO中能够保存的数据量是两个显示线的数据。当接收数据通道41里的FIFO中的数据大 于一个显示线的数据时，请求做一次写操作，同理当发送数据通道42里的FIFO中的数据小 于一个显示线的数据的时候，请求做一次读操作。接收发送仲裁负责当同时收到发送接收 操作指示的时候，仲裁具体做哪个操作。
[0028] 在本发明中访问仲裁单元43采用一个有限状态机实现，各个状态的定义如下： S0 :空闲状态，当写入数据还没准备好或读出的数据还没有被取走的情况下处于该状 态； S1:仲裁状态，在该状态下完成仲裁操作，其优先级为写入优先，这是因为写入不能及 时处理会导致数据丢失，并且发送数据通道有数据预取机制，读取延时是可接受的。在该状 态下，如果收到接受数据通道数据缓存满了一行指示信号就跳到S2状态，如果收到发送数 据通道数据缓存中数据量已经小于一行了就跳到S3状态； S2 :写数据状态，进入该状态之后，启动一次写操作，会把保存在接收数据通道同步FIFO中的数据写入到存储器组中，写操作完成之后跳到S4状态； S3:读数据状态，进入该状态之后，启动一次读操作，会从存储器组中读出一行的数据 保存在发送数据通道的数据保存FIFO中，读操作完成之后跳到S4状态； S4 :等待状态，读写操作完成之后进入该状态等待20个周期，这是因为从读命令被高 性能DDR控制器接收，到读出有效数据会有17个周期的延时，加上该状态以确保操作完成。 等待时间结束之后跳到S0状态执行下一次的仲裁操作。
[0029] 五、数据处理模块5,本模块完成的功能包括：1)根据输入VGA信号的侦测状态，确 定是否将数据通路的输入置零；2)根据输入的视频格式选择分辨率最大的一路作为背景分 辨率；3)以背景分辨率为基础，计算像素点的坐标；4)以各通道的混叠位置信息为基础，计 算当前像素点对应在原始输入图像上的坐标；5)确定当前像素要使用的alpha混叠系数。
[0030] 该模块处理过程包括以下步骤： 步骤1 :当视频预处理模块2完成对输入VGA信号的检测以后，会通知主控制器模块1。 主控制器模块1据此完成对输入检测值的设定，并通过设置请求信号通知数据处理模块5。 此时数据处理模块5根据输入检测结果，进入配置状态，并根据当前通道检测信号和通道 视频格式的值刷新整个系统； 步骤2 :当发送接口引擎6告知数据处理模块5开始工作以后，数据处理模块5开始以 背景分辨率为参照计算当前处理的像素坐标，并根据各通道的混叠位置信息确定三个的信 息：1)是否需要向各通道读取数据；2)要读取的数据的坐标；3)当前像素的alpha混叠系 数； 步骤3 :数据处理模块5负责将从前同步单元3和内存控制器模块4中读出的前景和 背景数据混叠在一起； 步骤4 :对处理之后的数据附上地址信息传给发送接口引擎6发送。
[0031] 具体来讲，整个数据处理模块5由一个状态机控制，各个状态的定义如下： 51 :空闲状态，在主控制器模块1启动操作之前状态机位于该状态； 52 :配置状态，在该状态下，主控制器模块1会通知数据处理模块5当前输入检测的结 果，包括是否存在输入信号，输入信号的格式，数据处理模块5会根据这些信息映射三个输 入通道到三个处理通道，配置完成之后进入S3 ; 53 :处理状态，在该状态下，数据处理模块5会负责处理对应屏幕上的一条线的数据， 处理完成之后进入S4 ; 54 :处理等待状态，当处理完成一行之后状态机进入该状态等待前同步单元3和内存 控制器模块4数据准备好，数据准备好之后状态机跳到S3。
[0032] 在数据处理模块5中，最重要的是混叠模块，其详细结构如图4所示。图中通道B (ChB)和通道C (ChC)的数据会做系数混叠，再将结果与通道A (ChA)输入的数据做颜色嵌 位混叠。当某一个通道没有检测到输入的时候，需要在混叠模块的输入端将这一路的数据 置零。混叠输出端有一个移位寄存器用于补偿数据处理过程中的增益，当只有一路输入信 号的时候，需要左移2位，当有两路输入信号的时候，需要左移1位。当有三路输入信号的 时候，不需要移动。
[0033] 图中位置比特（Loc_Bits)标明了图像混叠的位置。对于ChA和ChB需要根据其混 叠位置信息和正在处理的像素位置信息产生对应位置指示信息。Loc_Bits的生成方法如图 5所示。其电路的处理方式为：在数据处理模块中有列位置寄存器（C〇〇r_X)和行位置寄存 器（C〇〇r_Y)用以跟踪处理位置；把这两个寄存器与混叠位置范围寄存器（Loc_A_X，Loc_ A_Y)进行比较可以判断出像素点是否位于混叠位置内。对需要混叠的两路信号都做同样的 处理之后把结果组合就得到了位置比特。图中用于选择A通道数据的数据选择模块（Data Select)、用于选择通道B混叠系数的Alpha系数选择模块B (Alpha Selector B)和用于 选择通道C混叠系数的Alpha系数选择模块C (Alpha Selector C)使用该位置比特选择 混叠处理的alpha系数和通道A的数据。
[0034] Loc_Bits的含义和选择结果如下表所示：
使用如图4所示的架构，整个数据处理单元使用了 48个9x9的乘法器，这些处理单元 组成三级流水的结构，在资源利用率和处理速度上做到了很好的平衡。
[0035] 六、发送接口引擎6,本模块作用是根据配置的输出参数，生成相应的像素点时钟、 行同步和场同步信号，与视频数据一起送入外置DA芯片103进行数模转换之后形成标准的 VGA接口信号进行显示。其电路结构如图6所示，图中最主要的是控制用于数据缓存的读 写操作，图左边两个信号（dpu2sie_pos_x,dpu2sie_pos_y)来自于数据处理模块5处理之 后的数据附带的位置信息，组合这两个位置生成写地址，图右边两个信号（C〇〇r_X，C〇〇r_Y) 为发送接口引擎6中的发送位置计数器，组合这两个计数器的值生成读地址，读出的数据 经过并串转换模块串行化之后输出到DA芯片103。处理计数器根据配置的输出格式产生行 同步和场同步信号。在发送接口引擎6中处理位置计数器包括处理列计数器和处理行计数 器，其计数的开始位置为场同步信号的下降沿，并且本发明输出的行同步信号和场同步信 号都是低电平有效的： 1) if(处理列计数器〉行前肩and处理列计数器〈=行前肩+行消隐） 行同步信号=〇; else 行同步信号=1; 2) if(处理行计数器>0and处理行计数器〈=场消隐） 场同步信号=〇; else 场同步信号=1; 行同步信号和场同步信号的计算方式如1)、2)所示。
[0036] 七、高性能DDR控制器模块7,本模块完成实际的DDR读写访问。其中： 1、 初始化模块71，该模块完成DDR的初始化操作。包括上电后的空命令、预充电、设置 扩展模式寄存器、设置寄存器、预充电、两个自刷新操作。并且当正常操作过程中，如果出现 DDR访问不正确，主控制器模块1可重启该初始化过程； 2、 相位校准模块72,具体来讲就是对每一种数据采样相位用一组标准的测试向量对 DDR进行读写操作，把读回来的数据与原始数据比较，其中校准的精度可通过寄存器设置， 最小精度为5度。其中标准的测试向量包括：全0,全1，5A5A和A5A5四种数据。并且可同 通过主控制器模块1设置是否在系统正常操作的空隙时 间执行相位校准操作，如果设置了 自动相位校准，该模块会计数DDR空闲的时间，当达到设定的空闲时间之后该模块执行一 次相位校准操作； 3、 控制逻辑模块73，该模块控制了DDR访问过程中所有的状态转换，由状态机、突发控 制、CAS控制、RAS到CAS控制和刷新控制等子模块组成，负责将本地用户端对DDR的访问 请求、操作、控制和地址信号转换成标准DDR请求，即将用户命令转化为控制DDR设备的总 线命令。本地用户端通过读请求、写请求、访问长度等信号对DDR控制逻辑模块发出访问命 令，完成总线仲裁、解释命令、时序分配等任务。本发明中对DDR的读/写访问是突发方式 的，突发长度可以为2、4或8,由突发控制子模块控制。在操作方面，用户只需提供起始地址 和传输数据的长度，控制器内部自动进行地址计算，可以适应不同数据长度的请求，这样的 设计既简化了接口又节省了模块间信息不必要交互造成的时钟浪费。而且出于低功耗的考 虑，设计中利用了DDR的自刷新功能。当内存控制器模块4长时间无读写操作时，而又需 要保持存储器中的数据，主控制器模块可发出命令，就可以使其进入自刷新模式。在这种模 式下，DDR使用存储器内部电路完成刷新工作，而其他电路处于闲置状态，有效地降低了功 耗； 4、 数据通道74,该模块是DDR与芯片的数据接口，其作用是在写操作时完成数据和数 据使能线的生成，读操作时根据数据和数据使能线恢复数据。
[0037] 本实施方式中的专用视频叠加芯片100可采用FPGA(FieldProgrammableGate Array，现场可编程门阵列）、ASIC(Application-SpecificIntegratedCircuit，专用集成 电路)等集成电路设计模式实现，即上述专用视频叠加芯片既可以以FPGA形式实现，也可以 以ASIC形式实现。
[0038] 本实施方式试运行中，二路计算机输出的视频和一路摄像头采集的视频信号 作为系统输入，其分辨率分别为1600x1200, 1280x1024和1024x768,输出分辨率设置为 1600x1200,通过本系统的处理之后，输出视频图像质量优良，无明显的锯齿效应，图像拖尾 和颜色偏移等问题，达到了预期效果。
[0039]本发明的对三路高分辨率视频流进行叠加的系统不同于当前已有的任何系统和 设备，它采用自行设计的专用视频叠加芯片来完成对分立视频源产生的多路视频的叠加操 作，具有处理速度快、体积小巧、使用方便、价格低廉等优点，可广泛应用在飞行器合成视觉 系统、影视制作、视频监控、远程医疗等领域。
【主权项】
1. 一种对三路高分辨率视频流进行叠加的系统，其特征在于：包括输入模块、专用视 频叠加芯片（100)、输出模块和运算辅助模块，其中专用视频叠加芯片（100)由主控制器模 块（1)、视频预处理单元（2)、前同步单元（3)、内存控制器模块（4)、数据处理模块（5)、发送 接口引擎（6)和高性能DDR控制器（7)构成；视频预处理单元（2)分别与前同步单元（3)和 内存控制器模块（4)相连接，前同步单元（3)和内存控制器模块（4)通过标准内存访问接口 连接数据处理模块（5)，数据处理模块（5)的发送端与发送接口引擎（6)相连；内存控制器 模块（4)通过片上设备总线OPB与高性能DDR控制器（7)相连；主控制器模块（1)通过配置 总线分别与视频预处理模块（2)、前同步单元（3)、内存控制器模块（4)、数据处理模块（5)、 发送接口引擎（6)相连。2. 如权利要求1所述的一种对三路高分辨率视频流进行叠加的系统，其特征在于：所 述的主控制器模块（1)由I2C主控制器、控制状态机和寄存器组构成；视频预处理单元（2) 由分辨率检测单元（21)、预处理单元（22)和有效数据提取单元（23)构成；前同步单元（3) 由异步FIFO和同步FIFO构成；内存控制器模块（4)由接收数据通道（41)、访问仲裁单元 (43)和发送数据通道（42)构成；数据处理模块（5)由系数混叠处理单元（51)和颜色嵌位 处理单元（52)构成；发送接口引擎（6)由异步FIFO和帧重构模块构成；高性能DDR控制器 (7 )由初始化模块（71)、相位校准模块（72 )、控制逻辑模块（73 )、数据通道（74 )构成。3. 如权利要求1或2所述的一种对三路高分辨率视频流进行叠加的系统，其特征在于： 所述的输入模块为三个高带宽AD芯片（104~106)，输出模块为DA芯片（103)，运算辅助模 块包括外接DDR储存器（101)和嵌入式CPU (102)，其中三个高带宽AD芯片（104~106)的 输出端分别连接专用视频叠加芯片（100)的第二输入端、第三输入端和第四输入端（D2~ D4)，高带宽AD芯片的输入端连接外部VGA信号；外接DDR储存器（101)连接专用视频叠加 芯片（100)的第一输入输出端（D5)，嵌入式CPU (102)连接专用视频叠加芯片（100)的第 二输入输出端（D6)，专用视频叠加芯片（100)的输出端（D7)连接DA芯片（103)的输入端， DA芯片（103)的输出端连接输出VGA接口。4. 一种对三路高分辨率视频流进行叠加的方法，其特征在于包括如下步骤： A. 视频预处理模块（2)通过分辨率检测单元（21)自动检测输入视频的分辨率，主控制 器模块（1)根据该检测结果通过I2C主控制器配置输入模块的高带宽AD芯片； B. 主控制器模块（1)向高性能DDR控制器模块（7)发出系统配置完成指令，初始化模 块（71)启动外接DDR储存器（101)的初始化操作，初始化完成之后相位校准模块（72 )执行 相位校准操作；若所有过程正确完成则通知主控制器模块（1)外接DDR储存器（101)初始 化完成，如果上述操作出现异常，主控制器模块（1)会复位该高性能DDR控制器模块（7); C. 主控制器模块（1)启动系统正常操作，预处理单元（22)对视频进行数字降噪和图像 稳定处理，然后送入有效数据提取单元（23)进行有效数据提取，得到有效前景数据和有效 背景数据； D. 接收数据通道（41)将由步骤C输入的有效前景数据进行分拆和打包，通过高性能 DDR控制器模块（7 )把有效前景数据缓存入外接DDR储存器（101)中；缓存完一帧之后通知 数据处理模块（5)前景数据缓存完成； E. 前同步单元（3)开始采集、同步和缓存由步骤C输入的有效背景数据；当前同步单元 (3)中缓存达到设定的饱和值后，通知数据处理模块（5)背景数据缓存完成； F. 数据处理模块（5)按照一个显示行为单位取出步骤E缓存的背景数据，根据设置的 混叠位置在设定的时间通过发送数据通道（42)取出步骤D缓存的前景数据；处理时首先 把背景数据和需要系数混叠的一路前景信号输入系数混叠处理单元（51)进行系数混叠操 作，混叠之后的结果与另外一路前景数据一起输入颜色嵌位处理单元（52 )进行颜色嵌位操 作； G. 将由步骤F输入的混叠之后的数据经发送到接口引擎（6)，生成与发送格式相对应 的像素点时钟、行同步和场同步信号，与数据一起送入DA芯片（103)进行数模转换，形成标 准的VGA接口信号进行显示。
【专利摘要】本发明的一种对三路高分辨率视频流进行叠加的系统和方法，涉及数字多媒体信息处理领域，旨在解决现有技术无法实现多路视频信号实时动态叠加等技术问题。本发明包括输入模块、专用视频叠加芯片（100）、输出模块和运算辅助模块，其中专用视频叠加芯片（100）由主控制器模块（1）、视频预处理单元（2）、前同步单元（3）、内存控制器模块（4）、数据处理模块（5）、发送接口引擎（6）和高性能DDR控制器（7）构成，本发明同时包括前述系统的运行方法。
【IPC分类】H04N5/265, H04N7/08, H04N5/272
【公开号】CN104883517
【申请号】CN201410067390
【发明人】龙羽
【申请人】龙羽
【公开日】2015年9月2日
【申请日】2014年2月27日