一种头戴显示器和头戴显示器的视频数据处理方法
一种头戴显示器和头戴显示器的视频数据处理方法
【技术领域】
[0001]本发明涉及可视设备技术领域，尤其涉及一种头戴显示器和头戴显示器的视频数据处理方法。
【背景技术】
[0002]随着科技的发展，头戴式显示器已逐渐民用化，为越来越多的人提供高品质的视觉体验。当头戴显示器显示输出视频时，显示屏发出的光经过透镜组入射到用户的眼睛中，由于光在传播过程中会产生光学畸变，使得用户所看到的图像相比于显示屏所显示的图像是变形的。为了让用户看到正常图像，需要预先对视频数据进行畸变处理，在显示屏上显示畸变处理后的视频，该畸变可以抵消光在透镜组中传播过程中产生的光学畸变，使得用户能够看到正常的2D或3D效果。
[0003]现有技术中，头戴显示器对视频数据的畸变处理是通过对视频中的各图像帧进行畸变处理，具体地，利用FPGA以帧为单位对图像数据进行畸变处理。但由于FPGA的存储空间有限，同时运算能力的限制和传输带宽的限制，单一图像帧的处理需要存储大量数据，因此按照帧为单位处理是行不通的。，同时大量数据处理导致畸变处理带宽利用率低，畸变处理效率低下，无法保证视频播放流畅，不满足用户观看需求。
【发明内容】
[0004]鉴于上述问题，本发明提供了一种头戴显示器和头戴显示器的视频数据处理方法，以解决上述问题或者至少部分地解决上述问题。
[0005]依据本发明的一个方面，提供了一种头戴显示器，该头戴显示器包括:
[0006]视频输入模块，用于接收视频源设备输入的视频数据，将视频数据中的各图像帧数据依次输出给畸变处理模块；
[0007]畸变处理模块，用于根据畸变处理后畸变图像的图形对应关系将输入的每帧图像分为多块具有对称性的图像块；根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据；再根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据；
[0008]视频输出模块，用于将畸变处理后的各图像帧数据按照帧率依次输出给头戴显示器的显示屏。
[0009]可选地，该头戴显示器进一步包括:图形缩放模块；
[0010]视频输入模块，进一步用于将视频数据中的各图像帧数据依次输出给图形缩放模块；
[0011]图形缩放模块，用于将图像帧转成统一格式，并将统一格式的图像帧数据输出给畸变处理模块。
[0012]可选地，畸变处理模块包括:
[0013]DDR读写控制模块，用于控制数据的读写来实现畸变算法，该畸变处理算法指示了同一图像帧畸变处理前后像素点的坐标映射Map关系；以及用于接收输入的图像帧数据；根据所述图形对应关系将每帧图像分为多块具有对称性的图像块，控制图像块数据的写入和读出；
[0014]视频数据缓存模块，用于从DDR读写控制模块获取并缓存图像块数据，将缓存的图像块数据输出给畸变数据获取模块；
[0015]Map数据缓存模块，用于从DDR读写控制模块获取并缓存所述Map关系，将缓存的Map关系输出给畸变数据获取模块；
[0016]畸变数据获取模块，用于根据所述Map关系，将图像块的畸变处理前坐标上的像素点的像素值通过插值算法赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据；再根据所述图形对应关系，通过镜像关系得到当前图像帧畸变处理后的数据。
[0017]可选地，畸变数据获取模块，进一步用于对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值，通过插值计算得到该像素点的最优像素值，将该最优像素值赋值给畸变处理后对应坐标上的像素点，根据畸变处理前图像块上的所有像素点的最优像素值，得到该图像块畸变处理后的数据。
[0018]可选地，畸变数据获取模块，进一步用于将畸变处理前图像块的坐标数据放大一定倍数；将所述Map关系中的坐标数据的相应小数数位舍去，将舍去相应小数数位的坐标数据放大一定倍数后取整，得到整数形式的Map关系；根据该整数形式的Map关系，将放大的图像块的畸变处理前坐标上的像素点的最优像素值赋值给畸变处理后对应坐标上的像素点，得到放大畸变处理后的图像块数据；将放大畸变处理后的图像块的坐标数据通过移位缩小一定倍数，得到该图像块经畸变处理后的数据。
[0019]依据本发明的另一个方面，提供了一种头戴显示器的视频数据处理方法，该方法包括:
[0020]接收视频源设备输入的视频数据；
[0021]根据畸变处理后畸变图像的图形对应关系将输入视频中的每帧图像分为多块具有对称性的图像块；
[0022]根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据；
[0023]根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据；
[0024]将畸变处理后的各图像帧数据按照帧率依次输出给头戴显示器的显示屏。
[0025]可选地，在根据畸变处理后畸变图像的图形对应关系将输入视频中的每帧图像分为多块图像之前，该方法进一步包括:
[0026]将输入视频中的图像帧转成统一格式。
[0027]可选地，根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据包括:根据同一图像帧畸变处理前后像素点的坐标映射Map关系，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据；
[0028]根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据包括:根据所述图形对应关系和所述图像块畸变处理后的数据，通过镜像关系得到当前图像帧畸变处理后的数据。
[0029]可选地，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据包括:
[0030]对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值，通过插值计算得到该像素点的最优像素值，将该最优像素值赋值给畸变处理后对应坐标上的像素点；
[0031]根据畸变处理前图像块上的所有像素点的最优像素值，得到该图像块畸变处理后的数据。
[0032]可选地，在对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值之前，该方法进一步包括:
[0033]将畸变处理前图像块的坐标数据放大一定倍数；
[0034]将所述Map关系中的坐标数据的相应小数数位舍去，将舍去相应小数数位的坐标数据放大一定倍数后取整，得到整数形式的Map关系；
[0035]将最优像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据包括:
[0036]根据所述整数形式的Map关系，将放大的图像块的畸变处理前坐标上的像素点的最优像素值赋值给畸变处理后对应坐标上的像素点，得到放大畸变处理后的图像块数据；
[0037]将放大畸变处理后的图像块的坐标数据缩小一定倍数，得到该图像块畸变处理后的数据。
[0038]由上述可知，本发明提供的技术方案根据畸变处理后图像的图形对应关系将视频数据中的各图像帧分为多块具有对称性的图像块，对多块图像块中的任一图像块进行畸变处理，再根据图形对应关系和该图像块畸变处理后的数据得到了当前图像帧畸变处理后的数据，通过此方案，头戴显示器完成了对于视频中的各图像帧的畸变处理，将畸变处理后的视频在显 示屏上显示输出，使得用户看到正常的2D或3D效果。本方案通过对图像帧的分块，实现了以块为单位进行视频中图像数据的传输和处理，代替了现有技术中以帧为单位的方案，这样可以避免畸变处理模块存储空间的限制；并且对于一个图像帧，只需选取单一图像块即可完成对整个图像帧的畸变处理，大大提高了视频数据的畸变处理效率，保证视频播放流畅，给用户更为完美的视觉体验。
【附图说明】
[0039]图1示出了根据本发明一个实施例的一种头戴显示器的示意图；
[0040]图2示出了根据本发明另一个实施例的一种头戴显示器的示意图；
[0041]图3Ατ]^出了根据本发明一个实施例的畸变处理如的图像帧的不意图；
[0042]图3Β示出了根据本发明一个实施例的畸变处理后的图像帧的示意图；
[0043]图3C示出了根据本发明一个实施例的图像帧进行分块畸变处理的示意图；
[0044]图4示出了根据本发明一个实施例的一种头戴显示器的视频数据处理方法的流程图。
【具体实施方式】
[0045]为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
[0046]图1示出了根据本发明一个实施例的一种头戴显示器的示意图。如图1所示，该头戴显示器100包括:
[0047]视频输入模块110，用于接收视频源设备输入的视频数据，将视频数据中的各图像帧数据依次输出给畸变处理模块。
[0048]畸变处理模块120，用于根据畸变处理后畸变图像的图形对应关系将每帧图像分为多块具有对称性的图像块；根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据；再根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据。
[0049]视频输出模块130，用于将畸变处理后的各图像帧数据按照帧率依次输出给头戴显示器的显示屏。
[0050]本方案中，畸变处理前后，图像帧数据中包括坐标数据和像素值数据，具体表示图像中各个坐标位置上的像素点的像素值，能够反映图像的完整信息。
[0051]可见，图1所示头戴显示器根据畸变处理后图像的图形对应关系将视频数据中的各图像帧分为多块具有对称性的图像块，对多块图像块中的任一图像块进行畸变处理，再根据图形对应关系和该图像块畸变处理后的数据得到了当前图像帧畸变处理后的数据，通过此方案，头戴显示器完成了对于视频中的各图像帧的畸变处理，将畸变处理后的视频在显示屏上显示输出，使得用户看到正常的2D或3D效果。本方案通过对图像帧的分块，实现了以块为单位进行视频中图像数据的传输和处理，代替了现有技术中以帧为单位的处理，避免了畸变处理模块存储空间的不够的问题；并且对于一个图像帧，只需选取单一图像块即可完成对整个图像帧的畸变处理，大大提高了视频数据的畸变处理效率，保证视频播放流畅，给用户更为完美的视觉体验。
[0052]图2示出了根据本发明另一个实施例的一种头戴显示器的示意图。如图2所示，该头戴显示器200包括:视频输入模块210、图形缩放模块220、畸变处理模块230、视频输出模块240和显示屏250。
[0053]如图2所示，在本实施例中，视频输入模块210接收外部视频源设备输入的视频数据，实现对输入视频时序的检测以及视频数据的缓存，并将视频数据中的各图像帧数据依次输出给图形缩放模块220 ;图形缩放模块220将图像帧转成统一格式，并将统一格式的图像帧数据输出给畸变处理模块230，具体地，本实施例中图形缩放模块220将所有图像帧都转成1080P格式；畸变处理模块230对各图像帧进行畸变处理，将各图像帧畸变处理后的数据输出给视频输出模块240 ;视频输出模块240将畸变处理后的各图像帧数据按照帧率依次输出给显示屏250供用户观看。
[0054]其中，畸变处理模块230包括:DDR读写控制模块231、视频数据缓存模块232、Map数据缓存模块233和畸变数据获取模块234。
[0055]DDR读写控制模块231，用于控制数据的读写来实现畸变处理算法，该畸变处理算法指示了同一图像帧畸变处理前后像素点的坐标映射Map关系，该坐标映射Map关系是预先根据头戴显示器200中透镜组的配置通过光学空间传递等计算得到的，能够反映本头戴显示器200所需的畸变处理方式，具体为图像帧中各像素点的坐标变换关系；以及用于接收图形缩放模块220输入的图像帧数据；根据所述图形对应关系将每帧图像分为多块具有对称性的图像块，进行图像块数据的写入和读出；本实施例中，DDR读写控制模块231通过DDR3 (Double Data Rate 3，第三代双倍速随机存储器)的辅助进行图像块数据的存储，且DDR读写控制模块231均通过DMA (Direct Memory Access,直接内存访问)技术与其他模块进行图像块数据的写入和读出。
[0056]视频数据缓存模块232，用于从DDR读写控制模块获取并缓存图像块数据，将缓存的图像块数据输出给畸变数据获取模块234。
[0057]Map数据缓存模块233，用于从DDR读写控制模块获取并缓存与视频数据缓存模块232中缓存的图像块数据对应的坐标映射Map关系，将缓存的坐标映射Map关系输出给畸变数据获取模块234，其中，Map关系的数据也以块为单位进行缓存。
[0058]畸变数据获取模块234，用于根据坐标映射Map关系，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到畸变处理后所有对应各坐标上的像素点的像素值，进而得到该图像块畸变处理后的数据；再根据前文所述图形对应关系和得到的图像块畸变处理后的数据，通过镜像关系得到当前图像帧畸变处理后的数据。本实施例中，畸变数据获取模块234将得到的图像帧畸变处理后的数据通过DMA写入DDR读写控制模块231中保存，DDR读写控制模块231进一步将各图像帧畸变处理后的数据输出给视频输出模块240。
[0059]图3A示出了根据本发明一个实施例的畸变处理前的图像帧的示意图，图3B示出了根据本发明一个实施例的畸变处理后的图像帧的示意图，图中虚线示出了预设参照系的X轴和y轴，由图3A和图3B可以看出，畸变处理前的图像帧的图形是矩形，畸变处理后的图像帧的图形是桶形的。畸变处理后的图像帧的图形关于X轴上下对称、关于I轴左右对称，依据该图形对应关系，为了减少处理数据量，在畸变处理过程中，将图3A所示的图像帧通过X轴和I轴分为4块具有对称性的图像块，任选其中一图像块(如第一象限中的图像块)进行畸变处理，得到该图像块畸变处理后的数据，再根据对称性通过镜像关系得到如图3B所示的畸变处理后的图像帧。
[0060]具体地，图3C示出了根据本发明一个实施例的图像帧进行分块畸变处理的示意图。如图3C所示，将未畸变处理的图像帧(矩形图形)按照所述图形对应关系将该图像帧分成四块图像块:01-Partl，02-Partl，01_Part2和02_Part2，由上下左右对称关系，只要需要知道其中一个图像块的对应Map关系，根据该Map完成对该图像块的畸变处理就可以完成对另外三块图像块的畸变处理。因此，选取单一图像块ΟΙ-Partl，在该单一图像块内部进一步分为多个小图像块，如图3C中所示的小图像块1、小图像块2、小图像块3和小图像块4，根据小图像块I对应的Map关系对小图像块I进行畸变处理，得到畸变处理后的小图像块1，根据所述图形对应关系可知，小图像块I的Map关系分别与其他三个图 像块中的小图像块1A、小图像块IB和小图像块IC相同，进而得到畸变处理后的小图像块1A、畸变处理后的小图像块IB和畸变处理后的小图像块IC ;同理，对小图像块2的畸变处理，能够得到其他三个图像块中的小图像块2A、小图像块2B和小图像块2C的畸变处理结果；以此类推，完成对单一图像块Ol-Partl的畸变处理，也就完成了对整个图像帧的畸变处理。又由于从图3B可以看到畸变处理后的图像帧的边界压缩程度大，中间压缩程度小，所以边界块数据量小，中间块数据量大。为了平横带宽速率，本实施例在依次处理单一图像块中的各小图像块时，采用边界小图像块和中间小图像块交替处理的方式来处理数据，即在本实施例中，对于图像块Ol-Partl的畸变处理，先处理边界小图像块1，再处理中间小图像块2，再处理边界小图像块3，再处理中间小图像块4，依次类推，直至完成图像块的处理。在上面处理过程中，我们采用最大块和最小块相结合的方式，同时也采用对称关系处理相应的对称块。这样做可以避免畸变处理模块内部存储空间的限制，同时减少需要存储的Map关系数据量。
[0061]由于本案中所述的各实施例公开的是对于用户的单眼来说，对单眼所接收的图像帧进行畸变处理的方案，对于用户的双眼来说，由于左右两眼所接收的畸变处理的图像帧是一样的，所以将对应于用户单眼的畸变处理后的图像帧经过坐标平移即可实现对应于用户双眼的畸变处理后的图像帧。
[0062]在本发明的一个实施例中，为了提高畸变处理后的图像质量，避免其中像素值的突变，图2所示畸变处理模块230中的畸变数据获取模块234，进一步用于对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值，通过插值计算得到该像素点的最优像素值，将该最优像素值赋值给畸变处理后对应坐标上的像素点，根据畸变处理前图像块上的所有像素点的最优像素值，得到畸变处理后所有对应各坐标上的像素点的最优像素值，进而得到该图像块畸变处理后的数据。其中，对像素点周围的多个像素点的像素值进行插值计算可以是对多个像素点的像素值求均值的计算，该处理过程使得镜畸变处理后的图像中像素值变化曲线更加连续平滑，避免了像素值的突变，满足用户的视觉需求。
[0063]在本发明的另一个实施例中，由于坐标映射Map关系中的坐标数据的小数可达15位，但是头戴显示器200中畸变处理模块230的数学计算能力有限，如果直接将Map关系中的坐标数据取整，通过Matlab仿真验证发现畸变处理后的图像帧的失真严重，因此在保证用户可以接收的视觉精度范围内，畸变数据获取模块234，进一步用于将畸变处理前图像块的坐标数据放大一定倍数；将所述Map关系中的坐标数据的相应小数数位舍去，将舍去相应小数数位的坐标数据放大一定倍数后取整，得到整数形式的Map关系；根据该整数形式的Map关系，将放大的图像块的畸变处理前坐标上的像素点的最优像素值赋值给畸变处理后对应坐标上的像素点，得到放大畸变处理后的图像块数据；将放大畸变处理后的图像块的坐标数据缩小一定倍数，得到该图像块经畸变处理后的数据。该处理方式可以避免直接用小数进行处理，并且能够保证畸变处理后图像块数据精度。本方案在前期利用Matlab验证了对Map关系中坐标数据的处理的有效范围，在不影响用户视觉体验的前提下降低了畸变处理模块230的数学运算负担，提高了畸变处理的效率。
[0064]在一个具体的实施例中，一种已被验证有效的对Map关系中坐标数据的处理方式为:保留3位小数，放大8倍后取整。
[0065]图4示出了根据本发明一个实施例的一种头戴显示器的视频数据处理方法的流程图。如图4所示，该方法包括:
[0066]步骤S410，接收视频源设备输入的视频数据。
[0067]步骤S420，根据畸变处理后畸变图像的图形对应关系将输入视频中的每帧图像分为多块具有对称性的图像块。
[0068]步骤S430，根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据。
[0069]步骤S440，根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据。
[0070]步骤S450，将畸变处理后的各图像帧数据按照帧率依次输出给头戴显示器的显示屏。
[0071]可见，图4所示方法根据畸变处理后图像的图形对应关系将视频数据中的各图像帧分为多块具有对称性的图像块，对多块图像块中的任一图像块进行畸变处理，再根据图形对应关系和该图像块畸变处理后的数据得到了当前图像帧畸变处理后的数据，通过此方案，完成了对于视频中的各图像帧的畸变处理，将畸变处理后的视频在显示屏上显示输出，使得用户看到正常的2D或3D效果。本方案通过对图像帧的分块，实现了以块为单位进行视频中图像数据的传输和处理，代替了现有技术中以帧为单位的处理，大大提高了传输带宽的利用率；并且对于一个图像帧，只需选取单一图像块即可完成对整个图像帧的畸变处理，大大提高了视频数据的畸变处理效率，保证视频播放流畅，给用户更为完美的视觉体验。
[0072]在本发明的一个实施例中，图4所示方法在根据畸变处理后畸变图像的图形对应关系将输入视频中的每帧图像分为多块图像之前，该方法进一步包括:将输入视频中的图像帧转成统一格式。
[0073]在本发明的一个实施例中，图4所示方法的各个步骤的具体实现方式如下:
[0074]步骤S430根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据包括:根据同一图像帧畸变处理前后像素点的坐标映射Map关系，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据。
[0075]具体地，为了提高畸变处理后的图像质量，避免其中像素值的突变，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据是指:对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值，通过插值计算得到该像素点的最优像素值，将该最优像素值赋值给畸变处理后对应坐标上的像素点；根据畸变处理前图像块上的所有像素点的最优像素值，得到该图像块畸变处理后的数据。
[0076]步骤S440根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据包括:根据所述图形对应关系和所述图像块畸变处理后的数据，通过镜像关系得到当前图像帧畸变处理后的数据。
[0077]在本发明的另一个实施例中，为了在保证用户可以接收的视觉精度范围内的前提下降低畸变处理过程的数学运算负担，图4所示方法的步骤S430根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据包括:
[0078]步骤S431，将畸变处理前图像块的坐标数据放大一定倍数。
[0079]步骤S432，将所述Map关系中的坐标数据的相应小数数位舍去，将舍去相应小数数位的坐标数据放大一定倍数后取整，得到整数形式的Map关系。
[0080]步骤S433，根据所述整数形式的Map关系，将放大的图像块的畸变处理前坐标上的像素点的最优像素值赋值给畸变处理后对应坐标上的像素点，得到放大畸变处理后的图像块数据。
[0081]步骤S434，将放大畸变处理后的图像块的坐标数据缩小一定倍数，得到该图像块畸变处理后的数据。
[0082]图4所示的头戴显示器的视频数据处理方法的各实施例与上文中头戴显示器中各模块进行视频数据处理过程的各实施例相互对应，上文中已详 细说明，在此不再赘述。
[0083]综上所述，本发明提供的技术方案完成了对于视频中的各图像帧的畸变处理，将畸变处理后的视频在显示屏上显示输出，使得用户看到正常的2D或3D效果。本方案具有以下有益效果:1、通过对图像帧的分块，实现了以块为单位进行视频中图像数据的传输和处理，代替了现有技术中以帧为单位的处理，从而使数据按照块来存储，这样减少了存储的数据量；2、对于一个图像帧，只需选取单一图像块即可完成对整个图像帧的畸变处理，大大提高了视频数据的畸变处理效率；3、通过在对图像块的畸变处理中插值计算每个像素点上的最优像素值，使得畸变处理后的图像帧中像素值变化更加平滑，提高了畸变处理质量；4、通过对坐标映射Map关系中的坐标数据的处理，提高了畸变处理的精度。以上有益效果保证了头戴显示器的视频播放流畅，给用户更为完美的视觉体验。
[0084]以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
【主权项】
1.一种头戴显示器，其特征在于，该头戴显示器包括: 视频输入模块，用于接收视频源设备输入的视频数据，将视频数据中的各图像帧数据依次输出给畸变处理模块； 畸变处理模块，用于根据畸变处理后畸变图像的图形对应关系将每帧图像分为多块具有对称性的图像块；根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据；再根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据； 视频输出模块，用于将畸变处理后的各图像帧数据按照帧率依次输出给头戴显示器的显示屏。2.如权利要求1所述的头戴显示器，其特征在于，该头戴显示器进一步包括:图形缩放丰吴块； 视频输入模块，进一步用于将视频数据中的各图像帧数据依次输出给图形缩放模块； 图形缩放模块，用于将图像帧转成统一格式，并将统一格式的图像帧数据输出给畸变处理模块。3.如权利要求2所述的头戴显示器，其特征在于，畸变处理模块包括: DDR读写控制模块，用于存储畸变处理算法，该畸变处理算法指示了同一图像帧畸变处理前后像素点的坐标映射Map关系；以及用于接收输入的图像帧数据；根据所述图形对应关系将每帧图像分为多块具有对称性的图像块，进行图像块数据的写入和读出； 视频数据缓存模块，用于从DDR读写控制模块获取并缓存图像块数据，将缓存的图像块数据输出给畸变数据获取模块； Map数据缓存模块，用于从DDR读写控制模块获取并缓存所述Map关系，将缓存的Map关系输出给畸变数据获取模块； 畸变数据获取模块，用于根据图像块的所述Map关系，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据；再根据所述图形对应关系和所述图像块畸变处理后的数据，通过镜像关系得到当前图像帧畸变处理后的数据。4.如权利要求3所述的头戴显示器，其特征在于， 畸变数据获取模块，进一步用于对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值，通过插值计算得到该像素点的最优像素值，将该最优像素值赋值给畸变处理后对应坐标上的像素点，根据畸变处理前图像块上的所有像素点的最优像素值，得到该图像块畸变处理后的数据。5.如权利要求4所述的头戴显示器，其特征在于， 畸变数据获取模块，进一步用于将畸变处理前图像块的坐标数据放大一定倍数；将所述Map关系中的坐标数据的相应小数数位舍去，将舍去相应小数数位的坐标数据放大一定倍数后取整，得到整数形式的Map关系；根据该整数形式的Map关系，将放大的图像块的畸变处理前坐标上的像素点的最优像素值赋值给畸变处理后对应坐标上的像素点，得到放大畸变处理后的图像块数据；将放大畸变处理后的图像块的坐标数据缩小一定倍数，得到该图像块经畸变处理后的数据。6.一种头戴显示器的视频数据处理方法，其特征在于，该方法包括: 接收视频源设备输入的视频数据； 根据畸变处理后畸变图像的图形对应关系将输入视频中的每帧图像分为多块具有对称性的图像块； 根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据； 根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据； 将畸变处理后的各图像帧数据按照帧率依次输出给头戴显示器的显示屏。7.如权利要求6所述的方法，其特征在于，在根据畸变处理后畸变图像的图形对应关系将输入视频中的每帧图像分为多块图像之前，该方法进一步包括: 将输入视频中的图像帧转成统一格式。8.如权利要求7所述的方法，其特征在于， 根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据包括:根据同一图像帧畸变处理前后像素点的坐标映射Map关系中所述图像块的Map关系，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据； 根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据包括:根据所述图形对应关系和所述图像块畸变处理后的数据，通过镜像关系得到当前图像帧畸变处理后的数据。9.如权利要求8所述的方法，其特征在于，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据包括: 对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值，通过插值计算得到该像素点的最优像素值，将该最优像素值赋值给畸变处理后对应坐标上的像素点； 根据畸变处理前图像块上的所有像素点的最优像素值，得到该图像块畸变处理后的数据。10.如权利要求9所述的方法，其特征在于，在对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值之前，该方法进一步包括: 将畸变处理前图像块的坐标数据放大一定倍数； 将所述Map关系中的坐标数据的相应小数数位舍去，将舍去相应小数数位的坐标数据放大一定倍数后取整，得到整数形式的Map关系； 将最优像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据包括: 根据所述整数形式的Map关系，将放大的图像块的畸变处理前坐标上的像素点的最优像素值赋值给畸变处理后对应坐标上的像素点，得到放大畸变处理后的图像块数据； 将放大畸变处理后的图像块的坐标数据缩小一定倍数，得到该图像块畸变处理后的数据。
【专利摘要】本发明公开了一种头戴显示器和头戴显示器的视频数据处理方法，该头戴显示器包括：视频输入模块，畸变处理模块和视频输出模块，头戴显示器根据畸变处理后图像的图形对应关系将视频中的各图像帧分为多块具有对称性的图像块，对任一图像块进行畸变处理，再根据图形对应关系得到了当前图像帧畸变处理后的数据。本发明提供的技术方案通过对图像帧的分块，实现了以块为单位进行视频中图像数据的传输和处理，代替了现有技术中以帧为单位的方案，从而避免内部存储空间有限的问题；并且对于一个图像帧，只需选取单一图像块即可完成对整个图像帧的畸变处理，大大提高了视频数据的畸变处理效率，保证视频播放流畅，给用户更为完美的视觉体验。
【IPC分类】H04N5/14, G06T7/00, H04N5/208
【公开号】CN104902139
【申请号】CN201510217402
【发明人】赵文慧, 马金波, 范传国, 王冲
【申请人】北京小鸟看看科技有限公司
【公开日】2015年9月9日
【申请日】2015年4月30日
【技术领域】
[0001]本发明涉及可视设备技术领域，尤其涉及一种头戴显示器和头戴显示器的视频数据处理方法。
【背景技术】
[0002]随着科技的发展，头戴式显示器已逐渐民用化，为越来越多的人提供高品质的视觉体验。当头戴显示器显示输出视频时，显示屏发出的光经过透镜组入射到用户的眼睛中，由于光在传播过程中会产生光学畸变，使得用户所看到的图像相比于显示屏所显示的图像是变形的。为了让用户看到正常图像，需要预先对视频数据进行畸变处理，在显示屏上显示畸变处理后的视频，该畸变可以抵消光在透镜组中传播过程中产生的光学畸变，使得用户能够看到正常的2D或3D效果。
[0003]现有技术中，头戴显示器对视频数据的畸变处理是通过对视频中的各图像帧进行畸变处理，具体地，利用FPGA以帧为单位对图像数据进行畸变处理。但由于FPGA的存储空间有限，同时运算能力的限制和传输带宽的限制，单一图像帧的处理需要存储大量数据，因此按照帧为单位处理是行不通的。，同时大量数据处理导致畸变处理带宽利用率低，畸变处理效率低下，无法保证视频播放流畅，不满足用户观看需求。
【发明内容】
[0004]鉴于上述问题，本发明提供了一种头戴显示器和头戴显示器的视频数据处理方法，以解决上述问题或者至少部分地解决上述问题。
[0005]依据本发明的一个方面，提供了一种头戴显示器，该头戴显示器包括:
[0006]视频输入模块，用于接收视频源设备输入的视频数据，将视频数据中的各图像帧数据依次输出给畸变处理模块；
[0007]畸变处理模块，用于根据畸变处理后畸变图像的图形对应关系将输入的每帧图像分为多块具有对称性的图像块；根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据；再根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据；
[0008]视频输出模块，用于将畸变处理后的各图像帧数据按照帧率依次输出给头戴显示器的显示屏。
[0009]可选地，该头戴显示器进一步包括:图形缩放模块；
[0010]视频输入模块，进一步用于将视频数据中的各图像帧数据依次输出给图形缩放模块；
[0011]图形缩放模块，用于将图像帧转成统一格式，并将统一格式的图像帧数据输出给畸变处理模块。
[0012]可选地，畸变处理模块包括:
[0013]DDR读写控制模块，用于控制数据的读写来实现畸变算法，该畸变处理算法指示了同一图像帧畸变处理前后像素点的坐标映射Map关系；以及用于接收输入的图像帧数据；根据所述图形对应关系将每帧图像分为多块具有对称性的图像块，控制图像块数据的写入和读出；
[0014]视频数据缓存模块，用于从DDR读写控制模块获取并缓存图像块数据，将缓存的图像块数据输出给畸变数据获取模块；
[0015]Map数据缓存模块，用于从DDR读写控制模块获取并缓存所述Map关系，将缓存的Map关系输出给畸变数据获取模块；
[0016]畸变数据获取模块，用于根据所述Map关系，将图像块的畸变处理前坐标上的像素点的像素值通过插值算法赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据；再根据所述图形对应关系，通过镜像关系得到当前图像帧畸变处理后的数据。
[0017]可选地，畸变数据获取模块，进一步用于对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值，通过插值计算得到该像素点的最优像素值，将该最优像素值赋值给畸变处理后对应坐标上的像素点，根据畸变处理前图像块上的所有像素点的最优像素值，得到该图像块畸变处理后的数据。
[0018]可选地，畸变数据获取模块，进一步用于将畸变处理前图像块的坐标数据放大一定倍数；将所述Map关系中的坐标数据的相应小数数位舍去，将舍去相应小数数位的坐标数据放大一定倍数后取整，得到整数形式的Map关系；根据该整数形式的Map关系，将放大的图像块的畸变处理前坐标上的像素点的最优像素值赋值给畸变处理后对应坐标上的像素点，得到放大畸变处理后的图像块数据；将放大畸变处理后的图像块的坐标数据通过移位缩小一定倍数，得到该图像块经畸变处理后的数据。
[0019]依据本发明的另一个方面，提供了一种头戴显示器的视频数据处理方法，该方法包括:
[0020]接收视频源设备输入的视频数据；
[0021]根据畸变处理后畸变图像的图形对应关系将输入视频中的每帧图像分为多块具有对称性的图像块；
[0022]根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据；
[0023]根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据；
[0024]将畸变处理后的各图像帧数据按照帧率依次输出给头戴显示器的显示屏。
[0025]可选地，在根据畸变处理后畸变图像的图形对应关系将输入视频中的每帧图像分为多块图像之前，该方法进一步包括:
[0026]将输入视频中的图像帧转成统一格式。
[0027]可选地，根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据包括:根据同一图像帧畸变处理前后像素点的坐标映射Map关系，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据；
[0028]根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据包括:根据所述图形对应关系和所述图像块畸变处理后的数据，通过镜像关系得到当前图像帧畸变处理后的数据。
[0029]可选地，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据包括:
[0030]对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值，通过插值计算得到该像素点的最优像素值，将该最优像素值赋值给畸变处理后对应坐标上的像素点；
[0031]根据畸变处理前图像块上的所有像素点的最优像素值，得到该图像块畸变处理后的数据。
[0032]可选地，在对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值之前，该方法进一步包括:
[0033]将畸变处理前图像块的坐标数据放大一定倍数；
[0034]将所述Map关系中的坐标数据的相应小数数位舍去，将舍去相应小数数位的坐标数据放大一定倍数后取整，得到整数形式的Map关系；
[0035]将最优像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据包括:
[0036]根据所述整数形式的Map关系，将放大的图像块的畸变处理前坐标上的像素点的最优像素值赋值给畸变处理后对应坐标上的像素点，得到放大畸变处理后的图像块数据；
[0037]将放大畸变处理后的图像块的坐标数据缩小一定倍数，得到该图像块畸变处理后的数据。
[0038]由上述可知，本发明提供的技术方案根据畸变处理后图像的图形对应关系将视频数据中的各图像帧分为多块具有对称性的图像块，对多块图像块中的任一图像块进行畸变处理，再根据图形对应关系和该图像块畸变处理后的数据得到了当前图像帧畸变处理后的数据，通过此方案，头戴显示器完成了对于视频中的各图像帧的畸变处理，将畸变处理后的视频在显 示屏上显示输出，使得用户看到正常的2D或3D效果。本方案通过对图像帧的分块，实现了以块为单位进行视频中图像数据的传输和处理，代替了现有技术中以帧为单位的方案，这样可以避免畸变处理模块存储空间的限制；并且对于一个图像帧，只需选取单一图像块即可完成对整个图像帧的畸变处理，大大提高了视频数据的畸变处理效率，保证视频播放流畅，给用户更为完美的视觉体验。
【附图说明】
[0039]图1示出了根据本发明一个实施例的一种头戴显示器的示意图；
[0040]图2示出了根据本发明另一个实施例的一种头戴显示器的示意图；
[0041]图3Ατ]^出了根据本发明一个实施例的畸变处理如的图像帧的不意图；
[0042]图3Β示出了根据本发明一个实施例的畸变处理后的图像帧的示意图；
[0043]图3C示出了根据本发明一个实施例的图像帧进行分块畸变处理的示意图；
[0044]图4示出了根据本发明一个实施例的一种头戴显示器的视频数据处理方法的流程图。
【具体实施方式】
[0045]为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
[0046]图1示出了根据本发明一个实施例的一种头戴显示器的示意图。如图1所示，该头戴显示器100包括:
[0047]视频输入模块110，用于接收视频源设备输入的视频数据，将视频数据中的各图像帧数据依次输出给畸变处理模块。
[0048]畸变处理模块120，用于根据畸变处理后畸变图像的图形对应关系将每帧图像分为多块具有对称性的图像块；根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据；再根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据。
[0049]视频输出模块130，用于将畸变处理后的各图像帧数据按照帧率依次输出给头戴显示器的显示屏。
[0050]本方案中，畸变处理前后，图像帧数据中包括坐标数据和像素值数据，具体表示图像中各个坐标位置上的像素点的像素值，能够反映图像的完整信息。
[0051]可见，图1所示头戴显示器根据畸变处理后图像的图形对应关系将视频数据中的各图像帧分为多块具有对称性的图像块，对多块图像块中的任一图像块进行畸变处理，再根据图形对应关系和该图像块畸变处理后的数据得到了当前图像帧畸变处理后的数据，通过此方案，头戴显示器完成了对于视频中的各图像帧的畸变处理，将畸变处理后的视频在显示屏上显示输出，使得用户看到正常的2D或3D效果。本方案通过对图像帧的分块，实现了以块为单位进行视频中图像数据的传输和处理，代替了现有技术中以帧为单位的处理，避免了畸变处理模块存储空间的不够的问题；并且对于一个图像帧，只需选取单一图像块即可完成对整个图像帧的畸变处理，大大提高了视频数据的畸变处理效率，保证视频播放流畅，给用户更为完美的视觉体验。
[0052]图2示出了根据本发明另一个实施例的一种头戴显示器的示意图。如图2所示，该头戴显示器200包括:视频输入模块210、图形缩放模块220、畸变处理模块230、视频输出模块240和显示屏250。
[0053]如图2所示，在本实施例中，视频输入模块210接收外部视频源设备输入的视频数据，实现对输入视频时序的检测以及视频数据的缓存，并将视频数据中的各图像帧数据依次输出给图形缩放模块220 ;图形缩放模块220将图像帧转成统一格式，并将统一格式的图像帧数据输出给畸变处理模块230，具体地，本实施例中图形缩放模块220将所有图像帧都转成1080P格式；畸变处理模块230对各图像帧进行畸变处理，将各图像帧畸变处理后的数据输出给视频输出模块240 ;视频输出模块240将畸变处理后的各图像帧数据按照帧率依次输出给显示屏250供用户观看。
[0054]其中，畸变处理模块230包括:DDR读写控制模块231、视频数据缓存模块232、Map数据缓存模块233和畸变数据获取模块234。
[0055]DDR读写控制模块231，用于控制数据的读写来实现畸变处理算法，该畸变处理算法指示了同一图像帧畸变处理前后像素点的坐标映射Map关系，该坐标映射Map关系是预先根据头戴显示器200中透镜组的配置通过光学空间传递等计算得到的，能够反映本头戴显示器200所需的畸变处理方式，具体为图像帧中各像素点的坐标变换关系；以及用于接收图形缩放模块220输入的图像帧数据；根据所述图形对应关系将每帧图像分为多块具有对称性的图像块，进行图像块数据的写入和读出；本实施例中，DDR读写控制模块231通过DDR3 (Double Data Rate 3，第三代双倍速随机存储器)的辅助进行图像块数据的存储，且DDR读写控制模块231均通过DMA (Direct Memory Access,直接内存访问)技术与其他模块进行图像块数据的写入和读出。
[0056]视频数据缓存模块232，用于从DDR读写控制模块获取并缓存图像块数据，将缓存的图像块数据输出给畸变数据获取模块234。
[0057]Map数据缓存模块233，用于从DDR读写控制模块获取并缓存与视频数据缓存模块232中缓存的图像块数据对应的坐标映射Map关系，将缓存的坐标映射Map关系输出给畸变数据获取模块234，其中，Map关系的数据也以块为单位进行缓存。
[0058]畸变数据获取模块234，用于根据坐标映射Map关系，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到畸变处理后所有对应各坐标上的像素点的像素值，进而得到该图像块畸变处理后的数据；再根据前文所述图形对应关系和得到的图像块畸变处理后的数据，通过镜像关系得到当前图像帧畸变处理后的数据。本实施例中，畸变数据获取模块234将得到的图像帧畸变处理后的数据通过DMA写入DDR读写控制模块231中保存，DDR读写控制模块231进一步将各图像帧畸变处理后的数据输出给视频输出模块240。
[0059]图3A示出了根据本发明一个实施例的畸变处理前的图像帧的示意图，图3B示出了根据本发明一个实施例的畸变处理后的图像帧的示意图，图中虚线示出了预设参照系的X轴和y轴，由图3A和图3B可以看出，畸变处理前的图像帧的图形是矩形，畸变处理后的图像帧的图形是桶形的。畸变处理后的图像帧的图形关于X轴上下对称、关于I轴左右对称，依据该图形对应关系，为了减少处理数据量，在畸变处理过程中，将图3A所示的图像帧通过X轴和I轴分为4块具有对称性的图像块，任选其中一图像块(如第一象限中的图像块)进行畸变处理，得到该图像块畸变处理后的数据，再根据对称性通过镜像关系得到如图3B所示的畸变处理后的图像帧。
[0060]具体地，图3C示出了根据本发明一个实施例的图像帧进行分块畸变处理的示意图。如图3C所示，将未畸变处理的图像帧(矩形图形)按照所述图形对应关系将该图像帧分成四块图像块:01-Partl，02-Partl，01_Part2和02_Part2，由上下左右对称关系，只要需要知道其中一个图像块的对应Map关系，根据该Map完成对该图像块的畸变处理就可以完成对另外三块图像块的畸变处理。因此，选取单一图像块ΟΙ-Partl，在该单一图像块内部进一步分为多个小图像块，如图3C中所示的小图像块1、小图像块2、小图像块3和小图像块4，根据小图像块I对应的Map关系对小图像块I进行畸变处理，得到畸变处理后的小图像块1，根据所述图形对应关系可知，小图像块I的Map关系分别与其他三个图 像块中的小图像块1A、小图像块IB和小图像块IC相同，进而得到畸变处理后的小图像块1A、畸变处理后的小图像块IB和畸变处理后的小图像块IC ;同理，对小图像块2的畸变处理，能够得到其他三个图像块中的小图像块2A、小图像块2B和小图像块2C的畸变处理结果；以此类推，完成对单一图像块Ol-Partl的畸变处理，也就完成了对整个图像帧的畸变处理。又由于从图3B可以看到畸变处理后的图像帧的边界压缩程度大，中间压缩程度小，所以边界块数据量小，中间块数据量大。为了平横带宽速率，本实施例在依次处理单一图像块中的各小图像块时，采用边界小图像块和中间小图像块交替处理的方式来处理数据，即在本实施例中，对于图像块Ol-Partl的畸变处理，先处理边界小图像块1，再处理中间小图像块2，再处理边界小图像块3，再处理中间小图像块4，依次类推，直至完成图像块的处理。在上面处理过程中，我们采用最大块和最小块相结合的方式，同时也采用对称关系处理相应的对称块。这样做可以避免畸变处理模块内部存储空间的限制，同时减少需要存储的Map关系数据量。
[0061]由于本案中所述的各实施例公开的是对于用户的单眼来说，对单眼所接收的图像帧进行畸变处理的方案，对于用户的双眼来说，由于左右两眼所接收的畸变处理的图像帧是一样的，所以将对应于用户单眼的畸变处理后的图像帧经过坐标平移即可实现对应于用户双眼的畸变处理后的图像帧。
[0062]在本发明的一个实施例中，为了提高畸变处理后的图像质量，避免其中像素值的突变，图2所示畸变处理模块230中的畸变数据获取模块234，进一步用于对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值，通过插值计算得到该像素点的最优像素值，将该最优像素值赋值给畸变处理后对应坐标上的像素点，根据畸变处理前图像块上的所有像素点的最优像素值，得到畸变处理后所有对应各坐标上的像素点的最优像素值，进而得到该图像块畸变处理后的数据。其中，对像素点周围的多个像素点的像素值进行插值计算可以是对多个像素点的像素值求均值的计算，该处理过程使得镜畸变处理后的图像中像素值变化曲线更加连续平滑，避免了像素值的突变，满足用户的视觉需求。
[0063]在本发明的另一个实施例中，由于坐标映射Map关系中的坐标数据的小数可达15位，但是头戴显示器200中畸变处理模块230的数学计算能力有限，如果直接将Map关系中的坐标数据取整，通过Matlab仿真验证发现畸变处理后的图像帧的失真严重，因此在保证用户可以接收的视觉精度范围内，畸变数据获取模块234，进一步用于将畸变处理前图像块的坐标数据放大一定倍数；将所述Map关系中的坐标数据的相应小数数位舍去，将舍去相应小数数位的坐标数据放大一定倍数后取整，得到整数形式的Map关系；根据该整数形式的Map关系，将放大的图像块的畸变处理前坐标上的像素点的最优像素值赋值给畸变处理后对应坐标上的像素点，得到放大畸变处理后的图像块数据；将放大畸变处理后的图像块的坐标数据缩小一定倍数，得到该图像块经畸变处理后的数据。该处理方式可以避免直接用小数进行处理，并且能够保证畸变处理后图像块数据精度。本方案在前期利用Matlab验证了对Map关系中坐标数据的处理的有效范围，在不影响用户视觉体验的前提下降低了畸变处理模块230的数学运算负担，提高了畸变处理的效率。
[0064]在一个具体的实施例中，一种已被验证有效的对Map关系中坐标数据的处理方式为:保留3位小数，放大8倍后取整。
[0065]图4示出了根据本发明一个实施例的一种头戴显示器的视频数据处理方法的流程图。如图4所示，该方法包括:
[0066]步骤S410，接收视频源设备输入的视频数据。
[0067]步骤S420，根据畸变处理后畸变图像的图形对应关系将输入视频中的每帧图像分为多块具有对称性的图像块。
[0068]步骤S430，根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据。
[0069]步骤S440，根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据。
[0070]步骤S450，将畸变处理后的各图像帧数据按照帧率依次输出给头戴显示器的显示屏。
[0071]可见，图4所示方法根据畸变处理后图像的图形对应关系将视频数据中的各图像帧分为多块具有对称性的图像块，对多块图像块中的任一图像块进行畸变处理，再根据图形对应关系和该图像块畸变处理后的数据得到了当前图像帧畸变处理后的数据，通过此方案，完成了对于视频中的各图像帧的畸变处理，将畸变处理后的视频在显示屏上显示输出，使得用户看到正常的2D或3D效果。本方案通过对图像帧的分块，实现了以块为单位进行视频中图像数据的传输和处理，代替了现有技术中以帧为单位的处理，大大提高了传输带宽的利用率；并且对于一个图像帧，只需选取单一图像块即可完成对整个图像帧的畸变处理，大大提高了视频数据的畸变处理效率，保证视频播放流畅，给用户更为完美的视觉体验。
[0072]在本发明的一个实施例中，图4所示方法在根据畸变处理后畸变图像的图形对应关系将输入视频中的每帧图像分为多块图像之前，该方法进一步包括:将输入视频中的图像帧转成统一格式。
[0073]在本发明的一个实施例中，图4所示方法的各个步骤的具体实现方式如下:
[0074]步骤S430根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据包括:根据同一图像帧畸变处理前后像素点的坐标映射Map关系，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据。
[0075]具体地，为了提高畸变处理后的图像质量，避免其中像素值的突变，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据是指:对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值，通过插值计算得到该像素点的最优像素值，将该最优像素值赋值给畸变处理后对应坐标上的像素点；根据畸变处理前图像块上的所有像素点的最优像素值，得到该图像块畸变处理后的数据。
[0076]步骤S440根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据包括:根据所述图形对应关系和所述图像块畸变处理后的数据，通过镜像关系得到当前图像帧畸变处理后的数据。
[0077]在本发明的另一个实施例中，为了在保证用户可以接收的视觉精度范围内的前提下降低畸变处理过程的数学运算负担，图4所示方法的步骤S430根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据包括:
[0078]步骤S431，将畸变处理前图像块的坐标数据放大一定倍数。
[0079]步骤S432，将所述Map关系中的坐标数据的相应小数数位舍去，将舍去相应小数数位的坐标数据放大一定倍数后取整，得到整数形式的Map关系。
[0080]步骤S433，根据所述整数形式的Map关系，将放大的图像块的畸变处理前坐标上的像素点的最优像素值赋值给畸变处理后对应坐标上的像素点，得到放大畸变处理后的图像块数据。
[0081]步骤S434，将放大畸变处理后的图像块的坐标数据缩小一定倍数，得到该图像块畸变处理后的数据。
[0082]图4所示的头戴显示器的视频数据处理方法的各实施例与上文中头戴显示器中各模块进行视频数据处理过程的各实施例相互对应，上文中已详 细说明，在此不再赘述。
[0083]综上所述，本发明提供的技术方案完成了对于视频中的各图像帧的畸变处理，将畸变处理后的视频在显示屏上显示输出，使得用户看到正常的2D或3D效果。本方案具有以下有益效果:1、通过对图像帧的分块，实现了以块为单位进行视频中图像数据的传输和处理，代替了现有技术中以帧为单位的处理，从而使数据按照块来存储，这样减少了存储的数据量；2、对于一个图像帧，只需选取单一图像块即可完成对整个图像帧的畸变处理，大大提高了视频数据的畸变处理效率；3、通过在对图像块的畸变处理中插值计算每个像素点上的最优像素值，使得畸变处理后的图像帧中像素值变化更加平滑，提高了畸变处理质量；4、通过对坐标映射Map关系中的坐标数据的处理，提高了畸变处理的精度。以上有益效果保证了头戴显示器的视频播放流畅，给用户更为完美的视觉体验。
[0084]以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
【主权项】
1.一种头戴显示器，其特征在于，该头戴显示器包括: 视频输入模块，用于接收视频源设备输入的视频数据，将视频数据中的各图像帧数据依次输出给畸变处理模块； 畸变处理模块，用于根据畸变处理后畸变图像的图形对应关系将每帧图像分为多块具有对称性的图像块；根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据；再根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据； 视频输出模块，用于将畸变处理后的各图像帧数据按照帧率依次输出给头戴显示器的显示屏。2.如权利要求1所述的头戴显示器，其特征在于，该头戴显示器进一步包括:图形缩放丰吴块； 视频输入模块，进一步用于将视频数据中的各图像帧数据依次输出给图形缩放模块； 图形缩放模块，用于将图像帧转成统一格式，并将统一格式的图像帧数据输出给畸变处理模块。3.如权利要求2所述的头戴显示器，其特征在于，畸变处理模块包括: DDR读写控制模块，用于存储畸变处理算法，该畸变处理算法指示了同一图像帧畸变处理前后像素点的坐标映射Map关系；以及用于接收输入的图像帧数据；根据所述图形对应关系将每帧图像分为多块具有对称性的图像块，进行图像块数据的写入和读出； 视频数据缓存模块，用于从DDR读写控制模块获取并缓存图像块数据，将缓存的图像块数据输出给畸变数据获取模块； Map数据缓存模块，用于从DDR读写控制模块获取并缓存所述Map关系，将缓存的Map关系输出给畸变数据获取模块； 畸变数据获取模块，用于根据图像块的所述Map关系，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据；再根据所述图形对应关系和所述图像块畸变处理后的数据，通过镜像关系得到当前图像帧畸变处理后的数据。4.如权利要求3所述的头戴显示器，其特征在于， 畸变数据获取模块，进一步用于对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值，通过插值计算得到该像素点的最优像素值，将该最优像素值赋值给畸变处理后对应坐标上的像素点，根据畸变处理前图像块上的所有像素点的最优像素值，得到该图像块畸变处理后的数据。5.如权利要求4所述的头戴显示器，其特征在于， 畸变数据获取模块，进一步用于将畸变处理前图像块的坐标数据放大一定倍数；将所述Map关系中的坐标数据的相应小数数位舍去，将舍去相应小数数位的坐标数据放大一定倍数后取整，得到整数形式的Map关系；根据该整数形式的Map关系，将放大的图像块的畸变处理前坐标上的像素点的最优像素值赋值给畸变处理后对应坐标上的像素点，得到放大畸变处理后的图像块数据；将放大畸变处理后的图像块的坐标数据缩小一定倍数，得到该图像块经畸变处理后的数据。6.一种头戴显示器的视频数据处理方法，其特征在于，该方法包括: 接收视频源设备输入的视频数据； 根据畸变处理后畸变图像的图形对应关系将输入视频中的每帧图像分为多块具有对称性的图像块； 根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据； 根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据； 将畸变处理后的各图像帧数据按照帧率依次输出给头戴显示器的显示屏。7.如权利要求6所述的方法，其特征在于，在根据畸变处理后畸变图像的图形对应关系将输入视频中的每帧图像分为多块图像之前，该方法进一步包括: 将输入视频中的图像帧转成统一格式。8.如权利要求7所述的方法，其特征在于， 根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据包括:根据同一图像帧畸变处理前后像素点的坐标映射Map关系中所述图像块的Map关系，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据； 根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据包括:根据所述图形对应关系和所述图像块畸变处理后的数据，通过镜像关系得到当前图像帧畸变处理后的数据。9.如权利要求8所述的方法，其特征在于，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据包括: 对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值，通过插值计算得到该像素点的最优像素值，将该最优像素值赋值给畸变处理后对应坐标上的像素点； 根据畸变处理前图像块上的所有像素点的最优像素值，得到该图像块畸变处理后的数据。10.如权利要求9所述的方法，其特征在于，在对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值之前，该方法进一步包括: 将畸变处理前图像块的坐标数据放大一定倍数； 将所述Map关系中的坐标数据的相应小数数位舍去，将舍去相应小数数位的坐标数据放大一定倍数后取整，得到整数形式的Map关系； 将最优像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据包括: 根据所述整数形式的Map关系，将放大的图像块的畸变处理前坐标上的像素点的最优像素值赋值给畸变处理后对应坐标上的像素点，得到放大畸变处理后的图像块数据； 将放大畸变处理后的图像块的坐标数据缩小一定倍数，得到该图像块畸变处理后的数据。
【专利摘要】本发明公开了一种头戴显示器和头戴显示器的视频数据处理方法，该头戴显示器包括：视频输入模块，畸变处理模块和视频输出模块，头戴显示器根据畸变处理后图像的图形对应关系将视频中的各图像帧分为多块具有对称性的图像块，对任一图像块进行畸变处理，再根据图形对应关系得到了当前图像帧畸变处理后的数据。本发明提供的技术方案通过对图像帧的分块，实现了以块为单位进行视频中图像数据的传输和处理，代替了现有技术中以帧为单位的方案，从而避免内部存储空间有限的问题；并且对于一个图像帧，只需选取单一图像块即可完成对整个图像帧的畸变处理，大大提高了视频数据的畸变处理效率，保证视频播放流畅，给用户更为完美的视觉体验。
【IPC分类】H04N5/14, G06T7/00, H04N5/208
【公开号】CN104902139
【申请号】CN201510217402
【发明人】赵文慧, 马金波, 范传国, 王冲
【申请人】北京小鸟看看科技有限公司
【公开日】2015年9月9日
【申请日】2015年4月30日
最新回复(0)