一种多媒体信息处理方法及服务器的制造方法
一种多媒体信息处理方法及服务器的制造方法
【技术领域】
[0001] 本发明设及信息处理技术，具体设及一种多媒体信息处理方法及服务器。
【背景技术】
[0002] 目前，动态多媒体信息（如动态广告）的实现成本较高，在前端信号采集后进入导 播切换台前需要引入硬件字幕机处理，必须人为干预，无法做到智能控制动态多媒体信息 的出现频率W及按照列表顺序播放动态多媒体信息，在机器和人力成本都花费较大，假如 前端不具备硬件字幕机等处理设备，动态多媒体信息的效果就无法实现。
[0003] 动态多媒体信息作为一个视频短片加入到直播流画面中，由于视频格式的制约 (视频压缩编码后经解码播放出来的像素格式通常是YUV420P，不具备任何透明度），动态多 媒体信息画面区域的全部内容包括背景及文字图案也不带透明度，因此与主体的直播流叠 加时就会出现两种问题:一、动态多媒体信息中携带有关键信息，但是当动态多媒体信息与 直播流信息进行叠加时，二者的画面会部分或全部叠加，而导致部分或全部挡住直播流的 背景，从而导致在直播流画面中无法显示出关键信息;二、若直接将动态多媒体信息与直播 流信息进行透明度(alpha通道)混合叠加就会出现直播流或动态多媒体信息其中一个整块 叠加区域产生透明而使直播流或动态多媒体信息的关键信息丢失，达不到动态多媒体信息 的预计效果，降低了用户的观看直播视频的体验。
【发明内容】
[0004] 有鉴于此，本发明实施例提供了一种多媒体信息处理方法及服务器，至少解决了 现有技术存在的问题，确保关键信息能在直播流画面中进行显示，不丢失。
[0005] 本发明实施例的技术方案是运样实现的：
[0006] 本发明实施例提供一种多媒体信息处理方法，所述方法应用于服务器，所述方法 包括：
[0007] 获取N个第一信息，N为正整数，所述第一信息的类型与第一预设策略相匹配，W支 持合成第一多媒体信息；
[000引将所述N个第一信息按照所述第一预设策略生成第一多媒体信息，所述第一多媒 体信息携带关键信息；
[0009] 加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒 体信息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加 ，W 使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标 准数字视频压缩格式，W供终端设备播放。
[0010] 本发明实施例还提供一种多媒体信息处理方法，所述方法应用于服务器，所述方 法包括：
[0011] 获取第二信息，所述第二信息的类型与第Ξ预设策略相匹配，W支持拆分后得到 的前景信息和背景信息能合成第一多媒体信息；
[0012] 将所述第二信息按照所述第Ξ预设策略拆分为所述前景信息和所述背景信息，所 述前景信息包含关键信息；
[0013] 将所述背景信息W及除关键信息之外的前景信息转换为第一目标格式，并将已经 转换为第一目标格式的背景信息W及除关键信息之外的前景信息与前景信息中的关键信 息合成为所述第一多媒体信息；
[0014] 加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒 体信息时，按照第四预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加 ，W 使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标 准数字视频压缩格式，W供终端设备播放。
[0015] 本发明实施例还提供一种服务器，所述服务器包括：
[0016] 第一获取单元，用于获取Ν个第一信息，Ν为正整数，所述第一信息的类型与第一预 设策略相匹配，W支持合成第一多媒体信息；
[0017] 第一生成单元，用于将所述Ν个第一信息按照所述第一预设策略生成第一多媒体 信息，所述第一多媒体信息携带关键信息；
[0018] 第一叠加单元，用于加载直播流信息进行播放，当检测到需要在所述直播流信息 中叠加所述第一多媒体信息时，按照第二预设策略将所述第一多媒体信息与所述直播流信 息进行混合叠加，W使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共 同呈现，并转换成标准数字视频压缩格式，W供终端设备播放。
[0019] 本发明实施例还提供一种服务器，所述服务器包括：
[0020] 第二获取单元，用于获取第二信息，所述第二信息的类型与第Ξ预设策略相匹配， W支持拆分后得到的前景信息和背景信息能合成第一多媒体信息；
[0021 ]拆分单元，用于将所述第二信息按照所述第Ξ预设策略拆分为所述前景信息和所 述背景信息，所述前景信息包含关键信息；
[0022] 第二生成单元，用于将所述背景信息W及除关键信息之外的前景信息转换为第一 目标格式，并将已经转换为第一目标格式的背景信息W及除关键信息之外的前景信息与前 景信息中的关键信息合成为所述第一多媒体信息；
[0023] 第二叠加单元，用于加载直播流信息进行播放，当检测到需要在所述直播流信息 中叠加所述第一多媒体信息时，按照第四预设策略将所述第一多媒体信息与所述直播流信 息进行混合叠加，W使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共 同呈现，并转换成标准数字视频压缩格式，W供终端设备播放。
[0024] 本发明实施例提供的多媒体信息处理方法及服务器，服务器获取Ν个第一信息，Ν 为正整数，所述第一信息的类型与第一预设策略相匹配，W支持合成第一多媒体信息;将所 述Ν个第一信息按照所述第一预设策略生成第一多媒体信息，所述第一多媒体信息携带关 键信息；加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒 体信息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加 ，W 使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标 准数字视频压缩格式，W供终端设备播放;如此，采用本发明实施例所述技术方案可W智能 控制动态多媒体信息的播放，使动态多媒体信息的关键信息得W展现而非关键信息得W透 明隐藏，尽最大概率还原动态多媒体信息非关键区域中的主体直播流的信息，在达到动态 多媒体信息提供商的需求和目的的同时，又不损害用户观看直播视频的体验，维护在线视 频的形象；另外，由于动态多媒体信息在源端编码流中进行处理，因此在服务器后台分发及 转码后都会同步在移动设备播放中，降低了对终端设备的要求，在达到动态多媒体信息提 供商的需求和目的的同时，又不损害用户观看直播视频的体验。
【附图说明】
[0025]图1为本发明提供的一种多媒体信息处理方法的实现流程示意图；
[00%]图2为本发明提供的一种生成第一多媒体信息的实现流程示意图；
[0027] 图3-1为本发明提供的部分图片的排列示意图，图3-2为本发明提供的一张图片的 素材示意图；
[0028] 图4为本发明提供的一种将第一多媒体信息与直播流信息进行混合叠加的实现流 程示意图；
[0029] 图5为本发明提供的另一种多媒体信息处理方法的实现流程示意图；
[0030] 图6为本发明提供的一种服务器的组成结构示意图；
[0031 ]图7为本发明提供的另一种服务器的组成结构示意图；
[0032] 图8为本发明提供的一种多媒体信息处理系统的交互示意图；
[0033] 图9-1至9-3为本发明提供的应用图1所述多媒体信息处理方法对应终端的用户界 面的显示效果图；
[0034] 图10-1至10-2为本发明提供的图5所述多媒体信息处理方法对应终端的用户界面 的显示效果图。
【具体实施方式】
[0035] 下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
[0036] 需要说明是，W下各个实施例均是W直播流信息为例进行说明的，所述直播流信 息还可W是录播流信息等其他的第二多媒体信息。
[0037] 实施例一
[0038] 本发明实施例提供了一种多媒体信息处理方法，所述多媒体信息处理方法应用于 服务器侧；图1为本发明提供的一种多媒体信息处理方法的实现流程示意图；如图1所示，所 述方法包括：
[0039] 步骤S101:获取N个第一信息，N为正整数，所述第一信息的类型与第一预设策略相 匹配，W支持合成第一多媒体信息；
[0040] 具体地，所述第一信息可W是指图片，但不限于图片，例如，所述第一信息还可W 是演不文稿、文件等。
[0041] 下面W第一信息为图片为例，来说明如何确定N的个数。
[0042] 假设每秒传输帖数(FPS，Frames Per Second)即帖率为25,而动态多媒体信息提 供商需要一次性播放时长为10秒的动态多媒体信息，那么，该提供商需要提供N=250张图 片。
[0043] 步骤S102:将所述N个第一信息按照所述第一预设策略生成第一多媒体信息，所述 第一多媒体信息携带关键信息；
[0044] 优选地，所述将所述N个第一信息按照所述第一预设策略生成第一多媒体信息之 前，可W包括：
[0045] 判断所述第一信息是否为预设图片格式；
[0046] 若所述第一信息为非图片格式，解析所述第一信息；
[0047] 基于解析结果获取符合预设图片格式的第一信息；
[0048] 若所述第一信息为图片格式但非预设图片格式，将所述第一信息由原有图片格式 转换为预设图片格式。
[0049] 运里，所述预设图片格式可W是带有al地a通道的图片格式，如png格式、tga格式、 trap格式等。
[0050] 优选地，将所述N个第一信息按照所述第一预设策略生成第一多媒体信息，可W包 括：
[0051 ]读取所述N个第一信息中的第1个第一信息；
[0052] 对所述第1个第一信息进行解码，获取并缓存关于第1个第一信息的像素数据；
[0053] 从所述像素数据中提取透明度像素值，并将除透明度像素值之外的像素数据转换 为预设视频图像像素数据格式；
[0054] 分别对透明度像素值W及预设视频图像像素数据格式的像素数据进行缓存；
[0055] 根据所述透明度像素值W及预设视频图像像素数据格式的像素数据合成第1个子 文件；
[0056] 依此类推，共获取N个子文件；
[0057] 根据所述N个子文件生成第一多媒体信息。
[0058] 具体地，所述第一多媒体信息可W是跑马灯广告。
[0059] 具体地，所述对所述第1个第一信息进行解码，获取并缓存关于第1个第一信息的 像素数据，可W包括：
[0060] 解析所述第1个第一信息，W获取所述第1个第一信息的像素数据；
[0061 ]获取所述第1个第一信息的背景信息；
[0062] 判断所述背景信息所对应的透明度像素值是否为预设值；
[0063] 如果不为预设值，将所述背景信息所对应的透明度像素值调整为预设值。
[0064] 运里，所述预设值可W根据实际情况进行设定，优选地，所述预设值可W为大于等 于50%。
[0065] 具体地，所述获取所述第1个第一信息的背景信息，可W包括：
[0066] 分析所述第1个第一信息的特征信息；
[0067] 基于所述特征信息判断所述第1个第一信息中是否包括第一对象；
[0068] 将除所述第一对象之外的部分确定为背景信息。
[0069] 优选地，所述第一对象可W是文字、图案等关键信息。
[0070] 步骤S103:加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所 述第一多媒体信息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息 进行混 合叠加，W使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现， 并转换成标准数字视频压缩格式，W供终端设备播放。
[0071 ]运里，所述转换成标准数字视频压缩格式，W供终端设备播放，可W指:转换成标 准数字视频压缩格式的数字信号，将所述数字信号w直播形式传输至终端设备进行播放。
[0072] 具体地，所述加载直播流信息进行播放，可W包括：
[0073] 获取W流式传输方式得到的所述直播流信息，所述直播流信息为经网络传输至所 述终端设备，支持在所述终端设备本地实时回放的媒体内容编码数据流；
[0074] 解析所述直播流信息，W得到实时的视频信号进行播放。
[0075] 优选地，判断是否需要在所述直播流信息中叠加所述第一多媒体信息的方法，可 W包括：
[0076] 获取所述第一多媒体信息的预定播放次数W及单次播放时长；
[0077] 获取直播流信息的预计时长；
[0078] 基于所述预定播放次数W及所述单次播放时长，并结合所述预计时长确定需要在 直播流信息中叠加所述第一多媒体信息的开始时间点。
[0079] 例如，步骤S102中生成的第一多媒体信息的时长为10秒，已承诺动态多媒体信息 提供商在直播流信息中播放5次第一多媒体信息，而直播流信息的预计时长大于等于60分 钟，因此，叠加所述第一多媒体信息的开始时间点可W分别在直播直播流信息时的第10分 钟、第20分钟、第30分钟、第40分钟W及第50分钟。
[0080] 需要说明的是，可W对设置第一多媒体信息播放列表，所述播放列表中包括预设 时间段内的各个第一多媒体信息的播放顺序、单次播放时长W及开始播放时间；如此，根据 所述播放列表自动控制第一多媒体信息的出现顺序W及出现次数。
[0081] 例如，所述播放列表中包括第一多媒体信息a、第一多媒体信息b;每一个第一多媒 体信息的播放次数均为5,且每一个第一多媒体信息的单次播放时长均为10s;那么，在预计 播放时长为60分钟的直播流信息中，可W分别在第5分钟、第15分钟、第25分钟、第35分钟、 第45分钟播放第一多媒体信息a;分别在第10分钟、第20分钟、第30分钟、第40分钟、第50分 钟播放第一多媒体信息b。
[0082] 优选地，所述按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混 合叠加，可W包括：
[0083] 采集所述直播流信息中当前帖的视频像素数据;其中，所述当前帖为第Μ帖；
[0084] 读取所述第一多媒体信息的第一帖数据，从所述第一帖数据获取所述第一帖数据 中的透明度像素值W及预设视频图像像素数据格式的像素数据；
[0085] 根据透明度像素值将视频像素数据与预设视频图像像素数据格式的像素数据进 行混合叠加；
[0086] W此类推，将所述直播流信息中第Μ+η帖与所述第一多媒体信息的第η+1帖进行混 合叠加，直至所述直播流信息中第Μ+Ν-1帖与所述第一多媒体信息的第Ν帖进行混合叠加； 其中，1 <η<Ν-1。
[0087] 优选地，所述方法还可W包括：
[0088] 将采集到的视频像素数据进行缓存；
[0089] 将获取到的透明度像素值W及预设视频图像像素数据格式的像素数据进行缓存。
[0090] 优选地，混合叠加公式为：
[0091] Y = Y1*A+Y2*(1-A);
[0092] U = U1*A+U2*(1-A);
[0093] v = Vl*A+V2*(l-A);
[0094] 其中，Υ为叠加后的亮度像素值，U为叠加后的色度像素值，V为叠加后的饱和度像 素值;Y1为叠加前第一文件的当前帖像素数据的亮度像素值，U1为叠加前第一文件的当前 帖像素数据的色度像素值，VI为叠加前第一文件的当前帖像素数据的饱和度像素值;Y2为 叠加前直播视频文件的当前帖像素数据的亮度像素值，U2为叠加前直播视频文件的当前帖 像素数据的色度像素值，V2为叠加前直播视频文件的当前帖像素数据的饱和度像素值;A表 示第一文件的当前帖的透明度像素值。
[0095] 优选地，所述标准数字视频压缩格式可W是待接收终端设备能够解码的数字视频 压缩格式，如肥64视频编码。
[0096] 通过本发明实施例一所述多媒体信息处理方法，服务器获取N个第一信息，N为正 整数，所述第一信息的类型与第一预设策略相匹配，W支持合成第一多媒体信息;将所述N 个第一信息按照所述第一预设策略生成第一多媒体信息，所述第一多媒体信息携带关键信 息；加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信 息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，W使得 到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数 字视频压缩格式，W供终端设备播放;如此，可W智能控制动态多媒体信息的播放，使动态 多媒体信息的关键信息得W展现而非关键信息得W透明隐藏，尽最大概率还原动态多媒体 信息非关键区域中的主体直播流的信息，在达到动态多媒体信息提供商的需求和目的的同 时，又不损害用户观看直播视频的体验，维护在线视频的形象；另外，由于动态多媒体信息 在源端编码流中进行处理，因此在服务器后台分发及转码后都会同步在移动设备播放中， 降低了对终端设备的要求。
[0097] 实施例二
[0098] 本发明实施例提供了一种生成第一多媒体信息的方法，所述方法应用于服务器， 图2为本发明提供的一种生成第一多媒体信息的实现流程示意图；如图2所示，本实施例中， 假设第一信息为png格式的图片，所述方法包括：
[0099] 步骤S201:读取N个图片中的第1个图片；
[0100] 假设提供商要求制作一时长为10秒的第一多媒体信息，本实施例中，所述第一多 媒体信息可W理解为跑马灯广告，由于帖率FI^ = 25,所W提供商提供了 250张 PNG序列图片 文件，编号可 W为00001. png、〇〇〇〇2. png、…、00249. png、00250. png。
[0101] 图3-1为本发明提供的部分图片的排列示意图，编号从00037.png至00060.png,共 计24张；图3-2为本发明提供的一张图片的素材示意图，从该图中可W看出，该图片中的关 键信息包括"Ξ金西瓜霜"、"Ξ金西瓜霜"的图标、"音乐现场化曲不停"W及"Live Music" 图标;需要说明的是，该图片中，背景信息的透明度设置为50%。
[0102] 步骤S202:对所述第1个图片进行解码，获取并缓存关于第1个图片的像素数据；
[0103] 本实施例中，假设所述像素数据为ARGB32格式的像素数据，该像素数据通过 ARGB32_Buffer 存储。
[0104] 步骤S203:从所述像素数据中提取透明度(Alpha)像素值，并将除透明度像素值之 外的像素数据转换为预设视频图像像素数据格式；
[0105] 本实施例中，所述预设视频图像像素数据格式为YUV420P;其中，YUV420P是视频图 像像素数据的一种规格，Υ表示亮度，u表示色度，V表示饱和度，而YUV的排布规格按4:2: ο采 用方式描述，每个像素占内存1.5个字节大小。
[0106] 步骤S204:分别对透明度像素值W及预设视频图像像素数据格式的像素数据进行 缓存；
[0107] 本实施例中，通过Abha_Buffer存储透明度像素值;通过YUV_Buffer存储除透明 度像素值之外的像素数据。
[0108] 步骤S205:根据所述透明度像素值W及预设视频图像像素数据格式的像素数据合 成第1个子文件；
[0109] 运里，所述子文件可W是.tc格式文件，本实施例最终生成的第一多媒体信息可W 命名为Adv.tc文件。
[0110] 本实施例中，将Alpha_Buffer中所存储的透明度像素值先写入第1个子文件，将 YUV_Buffer中所存储的除透明度像素值之外的像素数据后写入第1个子文件中；那么，当执 行图4所示的叠加流程图时，在读取Adv.tc文件时，需要先读取透明度像素值，再读取除透 明度像素值之外的像素数据。同理，如果写入顺序调换，那么，在将第一多媒体信息叠加到 直播流信息时，读取Adv. tc文件时，需要先读取除透明度像素值之外的像素数据，再读取透 明度像素值。
[0111] 步骤S206:判断η是否小于等于N，如果是，继续执行步骤S201。
[0112] 也就是说，最终共获取Ν个子文件，根据所述Ν个子文件生成第一多媒体信息。
[011；3]实施例S
[0114] 本发明实施例提供了一种将第一多媒体信息与直播流信息进行混合叠加方法，所 述方法应用于服务器，图4为本发明提供的一种将第一多媒体信息与直播流信息进行混合 叠加的实现流程示意图；如图4所示，所述方法包括：
[0115] 步骤S301:判断是否需要在直播流信息中叠加第一多媒体信息;如果是，执行步骤 S302;如果否，执行步骤S305;
[0116] 本实施例中，假设第一多媒体信息为跑马灯广告、直播流信息为直播流信息。
[0117] 步骤S302:采集所述直播流信息中当前帖的视频像素数据;其中，所述当前帖为第 S帖；
[0118] 运里，可W通过YUVSrc_Buffer缓存所述当前帖视频像素数据。
[0119] 步骤S303:读取所述第一多媒体信息的第Μ帖数据，从所述第Μ帖数据获取所述第Μ 帖数据中的透明度像素值W及预设视频图像像素数据格式的像素数据;1含Μ < Ν;
[0120] 具体地，可W按照先后顺序从Adv.tc文件中读取第Μ帖所对应的透明度像素值W 及除透明度像素值之外的像素数据;并按照先后顺序分别将透明度像素值缓存至Alpha_ Buf f er、将除透明度像素值之外的像素数据缓存至YUV_Buf f er中。
[0121 ] 运里，读取顺序与生成Adv. tc文件时的写入顺序一致。
[0122] 步骤S304:根据透明度像素值将视频像素数据与预设视频图像像素数据格式的像 素数据进行混合叠加；
[0123] 步骤S305:采集所述直播流信息中当前帖的视频像素数据;其中，所述当前帖为第 S帖，然后执行步骤S306;
[0124] 步骤S306:将叠加后的像素数据进行编码，转换为标准数字视频压缩格式;然后执 行步骤S307;
[0125] 优选地，所述标准数字视频压缩格式可W是待接收终端设备能够解码的数字视频 压缩格式，如肥64视频编码。
[0126] 本实施例中，将叠加后的像素数据进行肥64视频编码。
[0127] S307:将当前帖加1，并继续执行步骤S301。
[0128] 下面，就YUVSrc_Buf f er数据与YUV_Buf f er数据根据Alpha_Buf f er透明度像素值 的叠加实现细节给出说明，YUVSrc_Buffer与YUV_Buffer所存储的像素数据的像素格式均 为YUV420P，叠加 W-帖实现作为参考。
[0129] 现假设跑马灯广告叠加位置坐标为x，y，广告画面宽高分别为wi化h，height，则有 下面数据逻辑关系：
[0130] 跑马灯广告一帖的数据YUV_Buffer大小为：
[0131] int nYUVBufferSize=width*height*l .5;
[0132] 跑马灯广告一帖的像素数据是：
[0133] BYTE YUV_Buffer[nYUVBufferSize]；
[0134] YUV_Buf f er 中，Υ，U， V像素内存指针分别是：BYTE*i)YBuf f er = &YUVBuf f er [ 0 ]， pUBuf f er = pYBuf f er+wi dth*he i ght,pVBuffer = pUBuffer+wi dth*he i ght/4；
[OUS]该帖的A1 地a数据大小是：int nAlphaBufferSize=wWth*height;
[0136] 该帖的A1 地a像素数据是:BYTE A1 地aBufferbAlphaBuffer];
[0137] 假设直播视频采集数据帖的图像宽高分别为SrcWidth，Sr地eight,则有下面的数 据逻辑关系：直播视频采集数据帖的数据YUVSrcData大小为：int nYUVS;rcDataSize = SrcWi化 h*S;r地ei曲 1:*1.5;
[0138] 直播视频采集数据帖的数据:BYTE YUVSrcData[nYUVSrcDataSize];
[0139] YUVSrcDa化中，Υ，U，V像素内存指针分别是：BYTE*pYSrcData = &YUVSrcData[0]，* pUSrcData = pYSrcData+SrcWidth*SrcHeight，*pVSrcData = pUSrcData+SrcWidth* SrcHeight/4；
[0140] 根据A1地a叠加公式：
[0141] Y = Y1*A+Y2*(1-A);
[0142] U = U1*A+U2*(1-A);
[0143] v = Vl*A+V2*(l-A);
[0144] 其中，Y为叠加后的亮度像素值，U为叠加后的色度像素值，V为叠加后的饱和度像 素值;Y1为叠加前第一文件的当前帖像素数据的亮度像素值，U1为叠加前第一文件的当前 帖像素数据的色度像素值，VI为叠加前第一文件的当前帖像素数据的饱和度像素值;Y2为 叠加前直播视频文件的当前帖像素数据的亮度像素值，U2为叠加前直播视频文件的当前帖 像素数据的色度像素值，V2为叠加前直播视频文件的当前帖像素数据的饱和度像素值;A表 示第一文件的当前帖的透明度像素值。
[0145] 依次把YUV_Buf f er、YUVSrc_Buf f er、W及对应像素的Alpha_Buf f er代入公式求 解，W下是用C语言程序实现。
[0146]
[0147]
[014引实施例四
[0149] 本发明实施例提供了另一种多媒体信息处理方法，所述多媒体信息处理方法应用 于服务器;图5为本发明提供的另一种多媒体信息处理方法的实现流程示意图；如图5所示， 所述方法包括：
[0150] 步骤S501:获取第二信息，所述第二信息的类型与第Ξ预设策略相匹配，W支持拆 分后得到的前景信息和背景信息能合成第一多媒体信息；
[0151] 运里，所述第二信息是指视频，如视频形式的广告或动画片等。
[0152] 优选地，所述第二信息是指Y420P格式的短视频。
[0153] 运里，所述第一多媒体信息是背景信息W及除关键信息之外的前景信息符合第一 目标格式的短视频。
[0154] 步骤S502:将所述第二信息按照所述第Ξ预设策略拆分为所述前景信息和所述背 景信息，所述前景信息包含关键信息；
[0155] 优选地，可W将所述第二信息按照所述第Ξ预设策略拆分为所述前景信息和所述 背景信息，包括：
[0156] 解析所述第二信息；
[0157] 基于解析结果获取符合第Ξ预设策略的S帖图片;其中，S为正整数；
[0158] 利用图像分割技术将每一帖所对应的图片拆分为前景信息和背景信息。
[0159] 运里，所述图像分割技术可W是现有技术中的图像分割方法，如基于图像边缘特 征的前景背景分割方法、结合强度和边界信息的非参数前景背景分割方法等等，在此不再 寶述。
[0160] 步骤S503:将所述背景信息W及除关键信息之外的前景信息转换为第一目标格 式，并将已经转换为第一目标格式的背景信息W及除关键信息之外的前景信息与前景信息 中的关键信息合成为所述第一多媒体信息；
[0161] 优选地，将所述背景信息W及除关键信息之外的前景信息转换为第一目标格式， 可W包括：
[0162] 对于每一帖图片，判断所述背景信息W及除关键信息之外的前景信息所对应的像 素点的颜色是否全为预定颜色；
[0163] 如果是，不对所述背景信息W及除关键信息之外的前景信息所对应的像素点进行 处理;如果否，将所述背景信息W及除关键信息之外的前景信息中非预定颜色的像素点转 换为预定颜色。
[0164] 运里，所述预定颜色可W是单色，如白色、黑色、绿色等。
[0165] 步骤S504:加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所 述第一多媒体信息时，按照第四预设策略将所述第一多媒体信息与所述直播流信息进行混 合叠加，W使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现， 并转换成标准数字视频压缩格式，W供终端设备播放。
[0166] 优选地，所述按照第四预设策略将所述第一多媒体信息与所述直播流信息进行混 合叠加，可W包括：
[0167] 检测是否需要进行异或处理；
[0168] 如果需要，将所述第一多媒体信息中的关键信息对应的像素点与所述直播流信息 所对应的像素点进行叠加处理;对于所述第一多媒体信息中的背景信息与除关键信息之外 的前景信息的像素点，不与所述直播流信息所对应的像素点进行叠加处理；
[0169] 否则，不对所述第一多媒体信息与所述直播流信息进行混合叠加。
[0170] 优选地，所述检测是否要进行异或处理，可W包括：
[0171] 判断第一多媒体信息的当前帖中是否有不满足第一目标格式的像素点，如果有， 则判定需要进行异或处理。
[0172] 举例来说，如果预定颜色为白色，那么，在将所述第一多媒体信息与所述直播流信 息进行叠加时，对于所述第一多媒体信息中白色的像素点，将不与直播流信息进行叠加。
[0173] 本实施例所述多媒体信息处理方法，服务器侧能智能控制动态多媒体信息的播 放，使动态多媒体信息的关键信息得W展现而非关键信息不进行展现，尽最大概率呈现动 态多媒体信息非关键区域中的主体直播流的信息，在达到动态多媒体信息提供商的需求和 目的的同时，又不损害用户观看直播视频的体验，维护在线视频的形象；另外，由于动态多 媒体信息在源端编码流中进行处理，因此在服务器后台分发及转码后都会同步在移动设备 播放中，降低了对终端设备的要求。此外，本实施例所述多媒体信息处理方法还能节省存储 空间。
[0174] 实施例五
[0175] 本发明实施例提供了一种服务器；图6为本发明提供的一种服务器的组成结构示 意图；如图6所示，所述服务器包括第一获取单元61、第一生成单元62、第一叠加单元63;其 中，
[0176] 所述第一获取单元61，用于获取N个第一信息，N为正整数，所述第一信息的类型与 第一预设策略相匹配，W支持合成第一多媒体信息；
[0177] 所述第一生成单元62,用于将所述N个第一信息按照所述第一预设策略生成第一 多媒体信息，所述第一多媒体信息携带关键信息；
[0178] 所述第一叠加单元63,用于加载直播流信息进行播放，当检测到需要在所述直播 流信息中叠加所述第一多媒体信息时，按照第二预设策略将所述第一多媒体信息与所述直 播流信息进行混合叠加，W使得到的叠加画面中所述关键信息作为所述直播流信息的前景 信息共同呈现，并转换成标准数字视频压缩格式，W供终端设备播放。
[01巧]优选地，所述第一获取单元61，还用于：
[0180] 判断所述第一信息是否为预设图片格式；
[0181] 若所述第一信息为非图片格式，解析所述第一信息；
[0182] 基于解析结果获取符合预设图片格式的第一信息；
[0183] 若所述第一信息为图片格式但非预设图片格式，将所述第一信息由原有图片格式 转换为预设图片格式。
[0184] 优选地，所述第一生成单元62,还用于：
[0185] 读取所述N个第一信息中的第1个第一信息；
[0186] 对所述第1个第一信息进行解码，获取并缓存关于第1个第一信息的像素数据；
[0187] 从所述像素数据中提取透明度像素值，并将除透明度像素值之外的像素数据转换 为预设视频图像像素数据格式；
[0188] 分别对透明度像素值W及预设视频图像像素数据格式的像素数据进行缓存；
[0189] 根据所述透明度像素值W及预设视频图像像素数据格式的像素数据合成第1个子 文件；
[0190] 依此类推，共获取N个子文件；
[0191] 根据所述N个子文件生成第一多媒体信息。
[0192] 优选地，所述第一生成单元62,还用于：
[0193] 解析所述第1个第一信息，W获取所述第1个第一信息的像素数据；
[0194] 获取所述第1个第一信息的背景信息；
[01M]判断所述背景信息所对应的透明度像素值是否为预设值；
[0196] 如果不为预设值，将所述背景信息所对应的透明度像素值调整为预设值。
[0197] 优选地，所述第一生成单元62,还用于：
[0198] 分析所述第1个第一信息的特征信息；
[0199] 基于所述特征信息判断所述第1个第一信息中是否包括第一对象；
[0200] 将除所述第一对象之外的部分确定为背景信息。
[0201] 优选地，所述第一叠加单元63,还用于:获取所述第一文件的预定播放次数W及单 次播放时长；
[0202] 获取所述第一多媒体信息的预定播放次数W及单次播放时长；
[0203] 获取直播流信息的预计时长；
[0204] 基于所述预定播放次数W及所述单次播放时长，并结合所述预计时长确定需要在 直播流信息中叠加所述第一多媒体信息的开始时间点。
[02化]优选地，所述第一叠加单元63,还用于：
[0206] 采集所述直播流信息中当前帖的视频像素数据;其中，所述当前帖为第Μ帖；
[0207] 读取所述第一多媒体信息的第一帖数据，从所述第一帖数据获取所述第一帖数据 中的透明度像素值W及预设视频图像像素数据格式的像素数据；
[0208] 根据透明度像素值将视频像素数据与预设视频图像像素数据格式的像素数据进 行混合叠加；
[0209] W此类推，将所述直播流信息中第Μ+η帖与所述第一多媒体信息的第η+1帖进行混 合叠加，直至所述直播流信息中第Μ+Ν-1帖与所述第一多媒体信息的第Ν帖进行混合叠加； 其中，1 <η<Ν-1。
[0210] 在实际应用中，所述获第一获取单元61、第一生成单元62、第一叠加单元63的具体 结构均可对应于处理器。所述处理器具体的结构可W为中央处理器（CPU, Central Processing 加 it)、微处理器（MCU，Mic;ro Controller 加 it)、数字信号处理器（DSP， Digital Si即al Processing)或可编程逻辑器件（PLCJrogrammable Logic Controller) 等具有处理功能的电子元器件或电子元器件的集合。其中，所述处理器包括可执行代码，所 述可执行代码存储在存储介质中，所述处理器可W通过总线等通信接口与所述存储介质中 相连，在执行具体的各模块的对应功能时，从所述存储介质中读取并运行所述可执行代码。 所述存储介质用于存 储所述可执行代码的部分优选为非瞬间存储介质。
[0211] 所述第一获取单元61、第一生成单元62、第一叠加单元63可W集成对应于同一处 理器，或分别对应不同的处理器；当集成对应于同一处理器时，所述处理器采用时分处理所 述第一获取单元61、第一生成单元62、第一叠加单元63对应的功能。
[0212] 本实施例所述服务器，为实施例一至四所述的方法提供了具体实现的硬件，能用 于实现实施例一至四中任意所述的技术方案，同样的，能智能控制动态多媒体信息的播放， 使动态多媒体信息的关键信息得W展现而非关键信息得W透明隐藏，尽最大概率还原动态 多媒体信息非关键区域中的主体直播流的信息，在达到动态多媒体信息提供商的需求和目 的的同时，又不损害用户观看直播视频的体验，维护在线视频的形象；另外，由于动态多媒 体信息在源端编码流中进行处理，因此在服务器后台分发及转码后都会同步在移动设备播 放中，降低了对终端设备的要求。
[0213] 实施例六
[0214] 本发明实施例提供了另一种服务器；图7为本发明提供的另一种服务器的组成结 构示意图；如图7所示，所述服务器包括第二获取单元71、拆分单元72、第二生成单元73、第 二叠加单元74;其中，
[0215] 所述第二获取单元71，用于获取第二信息，所述第二信息的类型与第Ξ预设策略 相匹配，w支持拆分后得到的前景信息和背景信息能合成第一多媒体信息；
[0216] 所述拆分单元72,用于将所述第二信息按照所述第Ξ预设策略拆分为所述前景信 息和所述背景信息，所述前景信息包含关键信息；
[0217] 所述第二生成单元73,用于将所述背景信息W及除关键信息之外的前景信息转换 为第一目标格式，并将已经转换为第一目标格式的背景信息W及除关键信息之外的前景信 息与前景信息中的关键信息合成为所述第一多媒体信息；
[0218] 所述第二叠加单元74,用于加载直播流信息进行播放，当检测到需要在所述直播 流信息中叠加所述第一多媒体信息时，按照第四预设策略将所述第一多媒体信息与所述直 播流信息进行混合叠加，W使得到的叠加画面中所述关键信息作为所述直播流信息的前景 信息共同呈现，并转换成标准数字视频压缩格式，W供终端设备播放。
[0219] 优选地，所述第二叠加单元74,还用于：
[0220] 检测是否需要进行异或处理；
[0221] 如果需要，将所述第一多媒体信息中的关键信息对应的像素点与所述直播流信息 所对应的像素点进行叠加处理;对于所述第一多媒体信息中的背景信息与除关键信息之外 的前景信息的像素点，不与所述直播流信息所对应的像素点进行叠加处理；
[0222] 否则，不对所述第一多媒体信息与所述直播流信息进行混合叠加。
[0223] 优选地，所述第二叠加单元74,还用于：
[0224] 判断第一多媒体信息的当前帖中是否有不满足第一目标格式的像素点，如果有， 则判定需要进行异或处理。
[0225] 在实际应用中，所述第二获取单元71、拆分单元72、第二生成单元73、第二叠加单 元74的具体结构均可对应于处理器。所述处理器具体的结构可W为CPU、MCU、DSP或化C等具 有处理功能的电子元器件或电子元器件的集合。其中，所述处理器包括可执行代码，所述可 执行代码存储在存储介质中，所述处理器可W通过总线等通信接口与所述存储介质中相 连，在执行具体的各模块的对应功能时，从所述存储介质中读取并运行所述可执行代码。所 述存储介质用于存储所述可执行代码的部分优选为非瞬间存储介质。
[0。6]所述第二获取单元71、拆分单元72、第二生成单元73、第二叠加单元74可W集成对 应于同一处理器，或分别对应不同的处理器；当集成对应于同一处理器时，所述处理器采用 时分处理所述第二获取单元71、拆分单元72、第二生成单元73、第二叠加单元74对应的功 能。
[0227]本实施例所述多媒体信息处理方法，为实施例四所述的方法提供了具体实现的硬 件，能用于实现实施例四中所述的技术方案，同样的，能智能控制动态多媒体信息的播放， 使动态多媒体信息的关键信息得W展现而非关键信息不进行展现，尽最大概率呈现动态多 媒体信息非关键区域中的主体直播流的信息，在达到动态多媒体信息提供商的需求和目的 的同时，又不损害用户观看直播视频的体验，维护在线视频的形象；另外，由于动态多媒体 信息在源端编码流中进行处理，因此在服务器后台分发及转码后都会同步在移动设备播放 中，降低了对终端设备的要求。此外，本实施例所述多媒体信息处理方法还能节省存储空 间。
[02測实施例屯
[0229]本实施例提供一种多媒体信息处理系统，图8为本发明提供的一种多媒体信息处 理系统的交互示意图，如图8所示，所述系统包括服务器81和至少一个终端82;所述服务器 81和至少一个终端82通过网络连接;所述网络可W为有线网、无线网或有线与无线的混合 网络。
[0230] 所述服务器81中的具体组成结构可W如图6或图7所示。
[0231] 具体地，所述服务器81，用于获取N个第一信息，N为正整数，所述第一信息的类型 与第一预设策略相匹配，W支持合成第一多媒体信息;将所述N个第一信息按照所述第一预 设策略生成第一多媒体信息，所述第一多媒体信息携带关键信息；加载直播流信息进行播 放，当检测到需要在所述直播流信息中叠加所述第一多媒体信息时，按照第二预设策略将 所述第一多媒体信息与所述直播流信息进行混合叠加，W使得到的叠加画面中所述关键信 息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式，W供终端 设备播放；
[0232] 或者，
[0233] 用于获取第二信息，所述第二信息的类型与第Ξ预设策略相匹配，W支持拆分后 得到的前景信息和背景信息能合成第一多媒体信息;将所述第二信息按照所述第Ξ预设策 略拆分为所述前景信息和所述背景信息，所述前景信息包含关键信息;将所述背景信息W 及除关键信息之外的前景信息转换为第一目标格式，并将已经转换为第一目标格式的背景 信息W及除关键信息之外的前景信息与前景信息中的关键信息合成为所述第一多媒体信 息；加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信 息时，按照第四预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，W使得 到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数 字视频压缩格式，W供终端设备播放；
[0234] 所述至少一个终端82,用于接收经服务器81转换后的标准数字视频压缩格式的多 媒体数据，并对所述标准数字视频压缩格式的多媒体数据进行解码，呈现视频画面。
[0235] 具体地，所述终端包括但不限于台式机、手机、笔记本电脑、电视。
[0236] 由于服务器81侧输出的标准数字视频压缩格式的多媒体数据，因此，终端82侧只 需能够解码对所述多媒体数据进行解码，即能呈现视频画面，该视频画面在达到动态多媒 体信息提供商的需求和目的的同时，又不损害用户观看直播视频的体验。
[0237] 第一具体应用场景：
[0238] 在本发明应用示例中，提供商将第一信息素材上传至服务器，用于投放第一多媒 体信息（跑马灯广告）；之后，服务器对第一信息进行相应的处理，将生成第一多媒体信息， 并按照第二预设策略将所述第一多媒体信息与直播流信息(直播视频流)进行混合叠加 ，W 使得到的叠加画面中关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数 字视频压缩格式，W供终端设备播放。下面结合如图9-1至9-3所示的应用图1所述多媒体信 息处理方法对应终端的用户界面的显示效果图，图9-1中，在视频直播画面中呈现有第一多 媒体信息中的关键信息，包括："立金西瓜霜"文字及图标、"立金西瓜霜"药盒、"音乐现场 化曲不停"文字及图标;第一多媒体信息中的背景信息的透明度不为0,用户依然可W透过 第一多媒体信息所占区域中的非关键信息部分看到演唱者的腿部。图9-2中，在视频直播画 面中呈现有第一多媒体信息中的关键信息，包括金西瓜霜"文字及图标、"300亿活的活 力C菌、帮助肠道常活动"文字;第一多媒体信息中的背景信息的透明度不为0,使第一多媒 体信息的关键信息得w展现而非关键信息得w透明隐藏，尽最大概率还原第一多媒体信息 非关键区域中的主体直播流的信息，在达到第一多媒体信息提供商的需求和目的的同时， 又不损害用户观看直播视频的体验。图9-3中，在视频直播画面中呈现有第一多媒体信息中 的关键信息，包括："见TA浪漫一刻，尽享好味道"文字、W及奶特图标、《带你去见TA》图标； 第一多媒体信息中的背景信息的透明度较大，用户依然可W透过第一多媒体信息所占区域 中的非关键信息部分看到小男孩的下己，在达到第一多媒体信息提供商的需求和目的的同 时，又不损害用户观看直播视频的体验。
[0239] 第二具体应用场景：
[0240] 在本发明应用示例中，提供商将第二信息素材上传至服务器，用于投放第一多媒 体信息（短视频广告）；之后，服务器对第二信息进行相应的处理，将生成第一多媒体信息， 并按照第四预设策略将所述第一多媒体信息与直播流信息(直播视频流)进行混合叠加 ，W 使得到的叠加画面中关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数 字视频压缩格式，W供终端设备播放。下面结合如图10-1至10-2所示的应用图5所述多媒体 信息处理方法对应终端的用户界面的显示效果图，图10-1为短视频的一帖所对应的画面， 可见，该画面中的关键信息为"Ξ金西瓜霜"及其图标、"特约呈现"，其背景信息为明暗交替 的图案;经过服务器处理后，在图10-2所示的视频直播画面中仅呈现有第一多媒体信息中 的关键信息，而第一多媒体信息的背景信息并未呈现，既达到了提供商的需求和目的，又不 损害用户观看直播视频的体验。
[0241] 在本申请所提供的几个实施例中，应该理解到，所掲露的设备和方法，可W通过其 它的方式实现。W上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为 一种逻辑功能划分，实际实现时可W有另外的划分方式，如：多个单元或组件可W结合，或 可W集成到另一个系统，或一些特征可W忽略，或不执行。另外，所显示或讨论的各组成部 分相互之间的禪合、或直接禪合、或通信连接可W是通过一些接口，设备或单元的间接禪合 或通信连接，可W是电性的、机械的或其它形式的。
[0242] 上述作为分离部件说明的单元可W是、或也可W不是物理上分开的，作为单元显 示的部件可W是、或也可W不是物理单元;既可W位于一个地方，也可W分布到多个网络单 元上;可W根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0243] 另外，在本发明各实施例中的各功能单元可W全部集成在一个处理单元中，也可 W是各单元分别单独作为一个单元，也可W两个或两个W上单元集成在一个单元中；上述 集成的单元既可W采用硬件的形式实现，也可W采用硬件加软件功能单元的形式实现。
[0244] 本领域普通技术人员可W理解:实现上述方法实施例的全部或部分步骤可W通过 程序指令相关的硬件来完成，前述的程序可W存储于计算机可读取存储介质中，该程序在 执行时，执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存 储器（Read-Only Memoir,ROM)、随机存取存储器（Random Access Memory,RAM)、磁碟或者 光盘等各种可W存储程序代码的介质。
[0245] 或者，本发明上述集成的单元如果W软件功能模块的形式实现并作为独立的产品 销售或使用时，也可W存储在一个计算机可读取存储介质中。基于运样的理解，本发明实施 例的技术方案本质上或者说对现有技术做出贡献的部分可软件产品的形式体现出来， 该计算机软件产品存储在一个存储介质中，包括若干指令用W使得一台计算 机设备(可W 是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。 而前述的存储介质包括:移动存储设备、R〇M、RAM、磁碟或者光盘等各种可W存储程序代码 的介质。
[0246] W上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何 熟悉本技术领域的技术人员在本发明掲露的技术范围内，可轻易想到变化或替换，都应涵 盖在本发明的保护范围之内。因此，本发明的保护范围应W所述权利要求的保护范围为准。
【主权项】
1. 一种多媒体信息处理方法，其特征在于，所述方法包括： 获取N个第一信息，N为正整数，所述第一信息的类型与第一预设策略相匹配，以支持合 成第一多媒体信息； 将所述N个第一信息按照所述第一预设策略生成第一多媒体信息，所述第一多媒体信 息携带关键信息； 加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信 息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得 到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数 字视频压缩格式的数字信号，将所述数字信号以直播形式传输至终端设备进行播放。2. 根据权利要求1所述的方法，其特征在于，所述加载直播流信息进行播放，包括： 获取以流式传输方式得到的所述直播流信息，所述直播流信息为经网络传输至所述终 端设备，支持在所述终端设备本地实时回放的媒体内容编码数据流； 解析所述直播流信息，以得到实时的视频信号进行播放。3. 根据权利要求1所述的方法，其特征在于，所述将所述N个第一信息按照所述第一预 设策略生成第一多媒体信息之前，包括： 判断所述第一信息是否为预设图片格式； 若所述第一信息为非图片格式，解析所述第一信息； 基于解析结果获取符合预设图片格式的第一信息； 若所述第一信息为图片格式但非预设图片格式，将所述第一信息由原有图片格式转换 为预设图片格式。4. 根据权利要求1所述的方法，其特征在于，将所述N个第一信息按照所述第一预设策 略生成第一多媒体信息，包括： 读取所述N个第一信息中的第1个第一信息； 对所述第1个第一信息进行解码，获取并缓存关于第1个第一信息的像素数据； 从所述像素数据中提取透明度像素值，并将除透明度像素值之外的像素数据转换为预 设视频图像像素数据格式； 分别对透明度像素值以及预设视频图像像素数据格式的像素数据进行缓存； 根据所述透明度像素值以及预设视频图像像素数据格式的像素数据合成第1个子文 件； 依此类推，共获取N个子文件； 根据所述N个子文件生成第一多媒体信息。5. 根据权利要求4所述的方法，其特征在于，所述对所述第1个第一信息进行解码，获取 并缓存关于第1个第一信息的像素数据，包括： 解析所述第1个第一信息，以获取所述第1个第一信息的像素数据； 获取所述第1个第一信息的背景信息； 判断所述背景信息所对应的透明度像素值是否为预设值； 如果不为预设值，将所述背景信息所对应的透明度像素值调整为预设值。6. 根据权利要求5所述的方法，其特征在于，所述获取所述第1个第一信息的背景信息， 包括： 分析所述第1个第一信息的特征信息； 基于所述特征信息判断所述第1个第一信息中是否包括第一对象； 将除所述第一对象之外的部分确定为背景信息。7. 根据权利要求1所述的方法，其特征在于，判断是否需要在所述直播流信息中叠加所 述第一多媒体信息的方法，包括： 获取所述第一多媒体信息的预定播放次数以及单次播放时长； 获取直播流信息的预计时长； 基于所述预定播放次数以及所述单次播放时长，并结合所述预计时长确定需要在直播 流信息中叠加所述第一多媒体信息的开始时间点。8. 根据权利要求4所述的方法，其特征在于，所述按照第二预设策略将所述第一多媒体 信息与所述直播流信息进行混合叠加，包括： 采集所述直播流信息中当前帧的视频像素数据;其中，所述当前帧为第Μ帧； 读取所述第一多媒体信息的第一帧数据，从所述第一帧数据获取所述第一帧数据中的 透明度像素值以及预设视频图像像素数据格式的像素数据； 根据透明度像素值将视频像素数据与预设视频图像像素数据格式的像素数据进行混 合叠加； 以此类推，将所述直播流信息中第Μ+η帧与所述第一多媒体信息的第η+1帧进行混合叠 加，直至所述直播流信息中第Μ+Ν-1帧与所述第一多媒体信息的第Ν帧进行混合叠加;其中， 1 <η<N_1。9. 一种多媒体信息处理方法，其特征在于，所述方法包括： 获取第二信息，所述第二信息的类型与第三预设策略相匹配，以支持拆分后得到的前 景信息和背景信息能合成第一多媒体信息； 将所述第二信息按照所述第三预设策略拆分为所述前景信息和所述背景信息，所述前 景信息包含关键信息； 将所述背景信息以及除关键信息之外的前景信息转换为第一目标格式，并将已经转换 为第一目标格式的背景信息以及除关键信息之外的前景信息与前景信息中的关键信息合 成为所述第一多媒体信息； 加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信 息时，按照第四预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得 到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数 字视频压缩格式，以供终端设备播放。10. 根据权利要求9所述的方法，其特征在于，所述按照第四预设策略将所述第一多媒 体信息与所述直播流信息进行混合叠加，包括： 检测是否需要进行异或处理； 如果需要，将所述第一多媒体信息中的关键信息对应的像素点与所述直播流信息所对 应的像素点进行叠加处理;对于所述第一多媒体信息中的背景信息与除关键信息之外的前 景信息的像素点，不与所述直播流信息所对应的像素点进行叠加处理； 否则，不对所述第一多媒体信息与所述直播流信息进行混合叠加。11. 根据权利要求10所述的方法，其特征在于，所述检测是否要进行异或处理，包括： 判断第一多媒体信息的当前帧中是否有不满足第一目标格式的像素点，如果有，则判 定需要进行异或处理。12. -种服务器，其特征在于，所述服务器包括： 第一获取单元，用于获取N个第一信息，N为正整数，所述第一信息的类型与第一预设策 略相匹配，以支持合成第一多媒体信息； 第一生成单元，用于将所述N个第一信息按照所述第一预设策略生成第一多媒体信息， 所述第一多媒体信息携带关键信息； 第一叠加单元，用于加载直播流信息进行播放，当检测到需要在所述直播流信息中叠 加所述第一多媒体信息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息进 行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈 现，并转换成标准数字视频压缩格式，以供终端设备播放。13. 根据权利要求12所述的服务器，其特征在于，所述第一获取单元，还用于： 判断所述第一信息是否为预设图片格式； 若所述第一信息为非图片格式，解析所述第一信息； 基于解析结果获取符合预设图片格式的第一信息； 若所述第一信息为图片格式但非预设图片格式，将所述第一信息由原有图片格式转换 为预设图片格式。14. 根据权利要求12所述的服务器，其特征在于，所述第一生成单元，还用于： 读取所述N个第一信息中的第1个第一信息； 对所述第1个第一信息进行解码，获取并缓存关于第1个第一信息的像素数据； 从所述像素数据中提取透明度像素值，并将除透明度像素值之外的像素数据转换为预 设视频图像像素数据格式； 分别对透明度像素值以及预设视频图像像素数据格式的像素数据进行缓存； 根据所述透明度像素值以及预设视频图像像素数据格式的像素数据合成第1个子文 件； 依此类推，共获取N个子文件； 根据所述N个子文件生成第一多媒体信息。15. 根据权利要求14所述的服务器，其特征在于，所述第一生成单元，还用于： 解析所述第1个第一信息，以获取所述第1个第一信息的像素数据； 获取所述第1个第一信息的背景信息； 判断所述背景信息所对应的透明度像素值是否为预设值； 如果不为预设值，将所述背景信息所对应的透明度像素值调整为预设值。16. 根据权利要求15所述的服务器，其特征在于，所述第一生成单元，还用于： 分析所述第1个第一信息的特征信息； 基于所述特征信息判断所述第1个第一信息中是否包括第一对象； 将除所述第一对象之外的部分确定为背景信息。17. 根据权利要求12所述的服务器，其特征在于，所述第一叠加单元，还用于:获取所述 第一文件的预定播放次数以及单次播放时长； 获取所述第一多媒体信息的预定播放次数以及单次播放时长； 获取直播流信息的预计时长； 基于所述预定播放次数以及所述单次播放时长，并结合所述预计时长确定需要在直播 流信息中叠加所述第一多媒体信息的开始时间点。18. 根据权利要求14所述的服务器，其特征在于，所述第一叠加单元，还用于： 采集所述直播流信息中当前帧的视频像素数据;其中，所述当前帧为第Μ帧； 读取所述第一多媒体信息的第一帧数据，从所述第一帧数据获取所述第一帧数据中的 透明度像素值以及预设视频图像像素数据格式的像素数据； 根据透明度像素值将视频像素数据与预设视频图像像素数据格式的像素数据进行混 合叠加； 以此类推，将所述直播流信息中第Μ+η帧与所述第一多媒体信息的第η+1帧进行混合叠 加，直至所述直播流信息中第Μ+Ν-1帧与所述第一多媒体信息的第Ν帧进行混合叠加;其中， 1 <η<N_1。19. 一种服务器，其特征在于，所述服务器包括： 第二获取单元，用于获取第二信息，所述第二信息的类型与第三预设策略相匹配，以支 持拆分后得到的前景信息和背景信息能合成第一多媒体信息； 拆分单元，用于将所述第二信息按照所述第三预设策略拆分为所述前景信息和所述背 景信息，所述前景信息包含关键信息； 第二生成单元，用于将所述背景信息以及除关键信息之外的前景信息转换为第一目标 格式，并将已经转换为第一目标格式的背景信息以及除关键信息之外的前景信息与前景信 息中的关键信息合成为所述第一多媒体信息； 第二叠加单元，用于加载直播流信息进行播放，当检测到需要在所述直播流信息中叠 加所述第一多媒体信息时，按照第四预设策略将所述第一多媒体信息与所述直播流信息进 行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈 现，并转换成标准数字视频压缩格式，以供终端设备播放。20. 根据权利要求19所述的服务器，其特征在于，所述第二叠加单元，还用于： 检测是否需要进行异或处理； 如果需要，将所述第一多媒体信息中的关键信息对应的像素点与所述直播流信息所对 应的像素点进行叠加处理;对于所述第一多媒体信息中的背景信息与除关键信息之外的前 景信息的像素点，不与所述直播流信息所对应的像素点进行叠加处理； 否则，不对所述第一多媒体信息与所述直播流信息进行混合叠加。21. 根据权利要求20所述的服务器，其特征在于，所述第二叠加单元，还用于： 判断第一多媒体信息的当前帧中是否有不满足第一目标格式的像素点，如果有，则判 定需要进行异或处理。
【专利摘要】本发明实施例提供一种多媒体信息处理方法及服务器，其中，所述方法包括：获取N个第一信息，N为正整数，所述第一信息的类型与第一预设策略相匹配，以支持合成第一多媒体信息；将所述N个第一信息按照所述第一预设策略生成第一多媒体信息，所述第一多媒体信息携带关键信息；加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式，以供终端设备播放。
【IPC分类】H04N21/234
【公开号】CN105491396
【申请号】CN201510651162
【发明人】余学亮
【申请人】腾讯科技（北京）有限公司
【公开日】2016年4月13日
【申请日】2015年10月10日
【技术领域】
[0001] 本发明设及信息处理技术，具体设及一种多媒体信息处理方法及服务器。
【背景技术】
[0002] 目前，动态多媒体信息（如动态广告）的实现成本较高，在前端信号采集后进入导 播切换台前需要引入硬件字幕机处理，必须人为干预，无法做到智能控制动态多媒体信息 的出现频率W及按照列表顺序播放动态多媒体信息，在机器和人力成本都花费较大，假如 前端不具备硬件字幕机等处理设备，动态多媒体信息的效果就无法实现。
[0003] 动态多媒体信息作为一个视频短片加入到直播流画面中，由于视频格式的制约 (视频压缩编码后经解码播放出来的像素格式通常是YUV420P，不具备任何透明度），动态多 媒体信息画面区域的全部内容包括背景及文字图案也不带透明度，因此与主体的直播流叠 加时就会出现两种问题:一、动态多媒体信息中携带有关键信息，但是当动态多媒体信息与 直播流信息进行叠加时，二者的画面会部分或全部叠加，而导致部分或全部挡住直播流的 背景，从而导致在直播流画面中无法显示出关键信息;二、若直接将动态多媒体信息与直播 流信息进行透明度(alpha通道)混合叠加就会出现直播流或动态多媒体信息其中一个整块 叠加区域产生透明而使直播流或动态多媒体信息的关键信息丢失，达不到动态多媒体信息 的预计效果，降低了用户的观看直播视频的体验。
【发明内容】
[0004] 有鉴于此，本发明实施例提供了一种多媒体信息处理方法及服务器，至少解决了 现有技术存在的问题，确保关键信息能在直播流画面中进行显示，不丢失。
[0005] 本发明实施例的技术方案是运样实现的：
[0006] 本发明实施例提供一种多媒体信息处理方法，所述方法应用于服务器，所述方法 包括：
[0007] 获取N个第一信息，N为正整数，所述第一信息的类型与第一预设策略相匹配，W支 持合成第一多媒体信息；
[000引将所述N个第一信息按照所述第一预设策略生成第一多媒体信息，所述第一多媒 体信息携带关键信息；
[0009] 加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒 体信息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加 ，W 使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标 准数字视频压缩格式，W供终端设备播放。
[0010] 本发明实施例还提供一种多媒体信息处理方法，所述方法应用于服务器，所述方 法包括：
[0011] 获取第二信息，所述第二信息的类型与第Ξ预设策略相匹配，W支持拆分后得到 的前景信息和背景信息能合成第一多媒体信息；
[0012] 将所述第二信息按照所述第Ξ预设策略拆分为所述前景信息和所述背景信息，所 述前景信息包含关键信息；
[0013] 将所述背景信息W及除关键信息之外的前景信息转换为第一目标格式，并将已经 转换为第一目标格式的背景信息W及除关键信息之外的前景信息与前景信息中的关键信 息合成为所述第一多媒体信息；
[0014] 加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒 体信息时，按照第四预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加 ，W 使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标 准数字视频压缩格式，W供终端设备播放。
[0015] 本发明实施例还提供一种服务器，所述服务器包括：
[0016] 第一获取单元，用于获取Ν个第一信息，Ν为正整数，所述第一信息的类型与第一预 设策略相匹配，W支持合成第一多媒体信息；
[0017] 第一生成单元，用于将所述Ν个第一信息按照所述第一预设策略生成第一多媒体 信息，所述第一多媒体信息携带关键信息；
[0018] 第一叠加单元，用于加载直播流信息进行播放，当检测到需要在所述直播流信息 中叠加所述第一多媒体信息时，按照第二预设策略将所述第一多媒体信息与所述直播流信 息进行混合叠加，W使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共 同呈现，并转换成标准数字视频压缩格式，W供终端设备播放。
[0019] 本发明实施例还提供一种服务器，所述服务器包括：
[0020] 第二获取单元，用于获取第二信息，所述第二信息的类型与第Ξ预设策略相匹配， W支持拆分后得到的前景信息和背景信息能合成第一多媒体信息；
[0021 ]拆分单元，用于将所述第二信息按照所述第Ξ预设策略拆分为所述前景信息和所 述背景信息，所述前景信息包含关键信息；
[0022] 第二生成单元，用于将所述背景信息W及除关键信息之外的前景信息转换为第一 目标格式，并将已经转换为第一目标格式的背景信息W及除关键信息之外的前景信息与前 景信息中的关键信息合成为所述第一多媒体信息；
[0023] 第二叠加单元，用于加载直播流信息进行播放，当检测到需要在所述直播流信息 中叠加所述第一多媒体信息时，按照第四预设策略将所述第一多媒体信息与所述直播流信 息进行混合叠加，W使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共 同呈现，并转换成标准数字视频压缩格式，W供终端设备播放。
[0024] 本发明实施例提供的多媒体信息处理方法及服务器，服务器获取Ν个第一信息，Ν 为正整数，所述第一信息的类型与第一预设策略相匹配，W支持合成第一多媒体信息;将所 述Ν个第一信息按照所述第一预设策略生成第一多媒体信息，所述第一多媒体信息携带关 键信息；加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒 体信息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加 ，W 使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标 准数字视频压缩格式，W供终端设备播放;如此，采用本发明实施例所述技术方案可W智能 控制动态多媒体信息的播放，使动态多媒体信息的关键信息得W展现而非关键信息得W透 明隐藏，尽最大概率还原动态多媒体信息非关键区域中的主体直播流的信息，在达到动态 多媒体信息提供商的需求和目的的同时，又不损害用户观看直播视频的体验，维护在线视 频的形象；另外，由于动态多媒体信息在源端编码流中进行处理，因此在服务器后台分发及 转码后都会同步在移动设备播放中，降低了对终端设备的要求，在达到动态多媒体信息提 供商的需求和目的的同时，又不损害用户观看直播视频的体验。
【附图说明】
[0025]图1为本发明提供的一种多媒体信息处理方法的实现流程示意图；
[00%]图2为本发明提供的一种生成第一多媒体信息的实现流程示意图；
[0027] 图3-1为本发明提供的部分图片的排列示意图，图3-2为本发明提供的一张图片的 素材示意图；
[0028] 图4为本发明提供的一种将第一多媒体信息与直播流信息进行混合叠加的实现流 程示意图；
[0029] 图5为本发明提供的另一种多媒体信息处理方法的实现流程示意图；
[0030] 图6为本发明提供的一种服务器的组成结构示意图；
[0031 ]图7为本发明提供的另一种服务器的组成结构示意图；
[0032] 图8为本发明提供的一种多媒体信息处理系统的交互示意图；
[0033] 图9-1至9-3为本发明提供的应用图1所述多媒体信息处理方法对应终端的用户界 面的显示效果图；
[0034] 图10-1至10-2为本发明提供的图5所述多媒体信息处理方法对应终端的用户界面 的显示效果图。
【具体实施方式】
[0035] 下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
[0036] 需要说明是，W下各个实施例均是W直播流信息为例进行说明的，所述直播流信 息还可W是录播流信息等其他的第二多媒体信息。
[0037] 实施例一
[0038] 本发明实施例提供了一种多媒体信息处理方法，所述多媒体信息处理方法应用于 服务器侧；图1为本发明提供的一种多媒体信息处理方法的实现流程示意图；如图1所示，所 述方法包括：
[0039] 步骤S101:获取N个第一信息，N为正整数，所述第一信息的类型与第一预设策略相 匹配，W支持合成第一多媒体信息；
[0040] 具体地，所述第一信息可W是指图片，但不限于图片，例如，所述第一信息还可W 是演不文稿、文件等。
[0041] 下面W第一信息为图片为例，来说明如何确定N的个数。
[0042] 假设每秒传输帖数(FPS，Frames Per Second)即帖率为25,而动态多媒体信息提 供商需要一次性播放时长为10秒的动态多媒体信息，那么，该提供商需要提供N=250张图 片。
[0043] 步骤S102:将所述N个第一信息按照所述第一预设策略生成第一多媒体信息，所述 第一多媒体信息携带关键信息；
[0044] 优选地，所述将所述N个第一信息按照所述第一预设策略生成第一多媒体信息之 前，可W包括：
[0045] 判断所述第一信息是否为预设图片格式；
[0046] 若所述第一信息为非图片格式，解析所述第一信息；
[0047] 基于解析结果获取符合预设图片格式的第一信息；
[0048] 若所述第一信息为图片格式但非预设图片格式，将所述第一信息由原有图片格式 转换为预设图片格式。
[0049] 运里，所述预设图片格式可W是带有al地a通道的图片格式，如png格式、tga格式、 trap格式等。
[0050] 优选地，将所述N个第一信息按照所述第一预设策略生成第一多媒体信息，可W包 括：
[0051 ]读取所述N个第一信息中的第1个第一信息；
[0052] 对所述第1个第一信息进行解码，获取并缓存关于第1个第一信息的像素数据；
[0053] 从所述像素数据中提取透明度像素值，并将除透明度像素值之外的像素数据转换 为预设视频图像像素数据格式；
[0054] 分别对透明度像素值W及预设视频图像像素数据格式的像素数据进行缓存；
[0055] 根据所述透明度像素值W及预设视频图像像素数据格式的像素数据合成第1个子 文件；
[0056] 依此类推，共获取N个子文件；
[0057] 根据所述N个子文件生成第一多媒体信息。
[0058] 具体地，所述第一多媒体信息可W是跑马灯广告。
[0059] 具体地，所述对所述第1个第一信息进行解码，获取并缓存关于第1个第一信息的 像素数据，可W包括：
[0060] 解析所述第1个第一信息，W获取所述第1个第一信息的像素数据；
[0061 ]获取所述第1个第一信息的背景信息；
[0062] 判断所述背景信息所对应的透明度像素值是否为预设值；
[0063] 如果不为预设值，将所述背景信息所对应的透明度像素值调整为预设值。
[0064] 运里，所述预设值可W根据实际情况进行设定，优选地，所述预设值可W为大于等 于50%。
[0065] 具体地，所述获取所述第1个第一信息的背景信息，可W包括：
[0066] 分析所述第1个第一信息的特征信息；
[0067] 基于所述特征信息判断所述第1个第一信息中是否包括第一对象；
[0068] 将除所述第一对象之外的部分确定为背景信息。
[0069] 优选地，所述第一对象可W是文字、图案等关键信息。
[0070] 步骤S103:加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所 述第一多媒体信息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息 进行混 合叠加，W使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现， 并转换成标准数字视频压缩格式，W供终端设备播放。
[0071 ]运里，所述转换成标准数字视频压缩格式，W供终端设备播放，可W指:转换成标 准数字视频压缩格式的数字信号，将所述数字信号w直播形式传输至终端设备进行播放。
[0072] 具体地，所述加载直播流信息进行播放，可W包括：
[0073] 获取W流式传输方式得到的所述直播流信息，所述直播流信息为经网络传输至所 述终端设备，支持在所述终端设备本地实时回放的媒体内容编码数据流；
[0074] 解析所述直播流信息，W得到实时的视频信号进行播放。
[0075] 优选地，判断是否需要在所述直播流信息中叠加所述第一多媒体信息的方法，可 W包括：
[0076] 获取所述第一多媒体信息的预定播放次数W及单次播放时长；
[0077] 获取直播流信息的预计时长；
[0078] 基于所述预定播放次数W及所述单次播放时长，并结合所述预计时长确定需要在 直播流信息中叠加所述第一多媒体信息的开始时间点。
[0079] 例如，步骤S102中生成的第一多媒体信息的时长为10秒，已承诺动态多媒体信息 提供商在直播流信息中播放5次第一多媒体信息，而直播流信息的预计时长大于等于60分 钟，因此，叠加所述第一多媒体信息的开始时间点可W分别在直播直播流信息时的第10分 钟、第20分钟、第30分钟、第40分钟W及第50分钟。
[0080] 需要说明的是，可W对设置第一多媒体信息播放列表，所述播放列表中包括预设 时间段内的各个第一多媒体信息的播放顺序、单次播放时长W及开始播放时间；如此，根据 所述播放列表自动控制第一多媒体信息的出现顺序W及出现次数。
[0081] 例如，所述播放列表中包括第一多媒体信息a、第一多媒体信息b;每一个第一多媒 体信息的播放次数均为5,且每一个第一多媒体信息的单次播放时长均为10s;那么，在预计 播放时长为60分钟的直播流信息中，可W分别在第5分钟、第15分钟、第25分钟、第35分钟、 第45分钟播放第一多媒体信息a;分别在第10分钟、第20分钟、第30分钟、第40分钟、第50分 钟播放第一多媒体信息b。
[0082] 优选地，所述按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混 合叠加，可W包括：
[0083] 采集所述直播流信息中当前帖的视频像素数据;其中，所述当前帖为第Μ帖；
[0084] 读取所述第一多媒体信息的第一帖数据，从所述第一帖数据获取所述第一帖数据 中的透明度像素值W及预设视频图像像素数据格式的像素数据；
[0085] 根据透明度像素值将视频像素数据与预设视频图像像素数据格式的像素数据进 行混合叠加；
[0086] W此类推，将所述直播流信息中第Μ+η帖与所述第一多媒体信息的第η+1帖进行混 合叠加，直至所述直播流信息中第Μ+Ν-1帖与所述第一多媒体信息的第Ν帖进行混合叠加； 其中，1 <η<Ν-1。
[0087] 优选地，所述方法还可W包括：
[0088] 将采集到的视频像素数据进行缓存；
[0089] 将获取到的透明度像素值W及预设视频图像像素数据格式的像素数据进行缓存。
[0090] 优选地，混合叠加公式为：
[0091] Y = Y1*A+Y2*(1-A);
[0092] U = U1*A+U2*(1-A);
[0093] v = Vl*A+V2*(l-A);
[0094] 其中，Υ为叠加后的亮度像素值，U为叠加后的色度像素值，V为叠加后的饱和度像 素值;Y1为叠加前第一文件的当前帖像素数据的亮度像素值，U1为叠加前第一文件的当前 帖像素数据的色度像素值，VI为叠加前第一文件的当前帖像素数据的饱和度像素值;Y2为 叠加前直播视频文件的当前帖像素数据的亮度像素值，U2为叠加前直播视频文件的当前帖 像素数据的色度像素值，V2为叠加前直播视频文件的当前帖像素数据的饱和度像素值;A表 示第一文件的当前帖的透明度像素值。
[0095] 优选地，所述标准数字视频压缩格式可W是待接收终端设备能够解码的数字视频 压缩格式，如肥64视频编码。
[0096] 通过本发明实施例一所述多媒体信息处理方法，服务器获取N个第一信息，N为正 整数，所述第一信息的类型与第一预设策略相匹配，W支持合成第一多媒体信息;将所述N 个第一信息按照所述第一预设策略生成第一多媒体信息，所述第一多媒体信息携带关键信 息；加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信 息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，W使得 到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数 字视频压缩格式，W供终端设备播放;如此，可W智能控制动态多媒体信息的播放，使动态 多媒体信息的关键信息得W展现而非关键信息得W透明隐藏，尽最大概率还原动态多媒体 信息非关键区域中的主体直播流的信息，在达到动态多媒体信息提供商的需求和目的的同 时，又不损害用户观看直播视频的体验，维护在线视频的形象；另外，由于动态多媒体信息 在源端编码流中进行处理，因此在服务器后台分发及转码后都会同步在移动设备播放中， 降低了对终端设备的要求。
[0097] 实施例二
[0098] 本发明实施例提供了一种生成第一多媒体信息的方法，所述方法应用于服务器， 图2为本发明提供的一种生成第一多媒体信息的实现流程示意图；如图2所示，本实施例中， 假设第一信息为png格式的图片，所述方法包括：
[0099] 步骤S201:读取N个图片中的第1个图片；
[0100] 假设提供商要求制作一时长为10秒的第一多媒体信息，本实施例中，所述第一多 媒体信息可W理解为跑马灯广告，由于帖率FI^ = 25,所W提供商提供了 250张 PNG序列图片 文件，编号可 W为00001. png、〇〇〇〇2. png、…、00249. png、00250. png。
[0101] 图3-1为本发明提供的部分图片的排列示意图，编号从00037.png至00060.png,共 计24张；图3-2为本发明提供的一张图片的素材示意图，从该图中可W看出，该图片中的关 键信息包括"Ξ金西瓜霜"、"Ξ金西瓜霜"的图标、"音乐现场化曲不停"W及"Live Music" 图标;需要说明的是，该图片中，背景信息的透明度设置为50%。
[0102] 步骤S202:对所述第1个图片进行解码，获取并缓存关于第1个图片的像素数据；
[0103] 本实施例中，假设所述像素数据为ARGB32格式的像素数据，该像素数据通过 ARGB32_Buffer 存储。
[0104] 步骤S203:从所述像素数据中提取透明度(Alpha)像素值，并将除透明度像素值之 外的像素数据转换为预设视频图像像素数据格式；
[0105] 本实施例中，所述预设视频图像像素数据格式为YUV420P;其中，YUV420P是视频图 像像素数据的一种规格，Υ表示亮度，u表示色度，V表示饱和度，而YUV的排布规格按4:2: ο采 用方式描述，每个像素占内存1.5个字节大小。
[0106] 步骤S204:分别对透明度像素值W及预设视频图像像素数据格式的像素数据进行 缓存；
[0107] 本实施例中，通过Abha_Buffer存储透明度像素值;通过YUV_Buffer存储除透明 度像素值之外的像素数据。
[0108] 步骤S205:根据所述透明度像素值W及预设视频图像像素数据格式的像素数据合 成第1个子文件；
[0109] 运里，所述子文件可W是.tc格式文件，本实施例最终生成的第一多媒体信息可W 命名为Adv.tc文件。
[0110] 本实施例中，将Alpha_Buffer中所存储的透明度像素值先写入第1个子文件，将 YUV_Buffer中所存储的除透明度像素值之外的像素数据后写入第1个子文件中；那么，当执 行图4所示的叠加流程图时，在读取Adv.tc文件时，需要先读取透明度像素值，再读取除透 明度像素值之外的像素数据。同理，如果写入顺序调换，那么，在将第一多媒体信息叠加到 直播流信息时，读取Adv. tc文件时，需要先读取除透明度像素值之外的像素数据，再读取透 明度像素值。
[0111] 步骤S206:判断η是否小于等于N，如果是，继续执行步骤S201。
[0112] 也就是说，最终共获取Ν个子文件，根据所述Ν个子文件生成第一多媒体信息。
[011；3]实施例S
[0114] 本发明实施例提供了一种将第一多媒体信息与直播流信息进行混合叠加方法，所 述方法应用于服务器，图4为本发明提供的一种将第一多媒体信息与直播流信息进行混合 叠加的实现流程示意图；如图4所示，所述方法包括：
[0115] 步骤S301:判断是否需要在直播流信息中叠加第一多媒体信息;如果是，执行步骤 S302;如果否，执行步骤S305;
[0116] 本实施例中，假设第一多媒体信息为跑马灯广告、直播流信息为直播流信息。
[0117] 步骤S302:采集所述直播流信息中当前帖的视频像素数据;其中，所述当前帖为第 S帖；
[0118] 运里，可W通过YUVSrc_Buffer缓存所述当前帖视频像素数据。
[0119] 步骤S303:读取所述第一多媒体信息的第Μ帖数据，从所述第Μ帖数据获取所述第Μ 帖数据中的透明度像素值W及预设视频图像像素数据格式的像素数据;1含Μ < Ν;
[0120] 具体地，可W按照先后顺序从Adv.tc文件中读取第Μ帖所对应的透明度像素值W 及除透明度像素值之外的像素数据;并按照先后顺序分别将透明度像素值缓存至Alpha_ Buf f er、将除透明度像素值之外的像素数据缓存至YUV_Buf f er中。
[0121 ] 运里，读取顺序与生成Adv. tc文件时的写入顺序一致。
[0122] 步骤S304:根据透明度像素值将视频像素数据与预设视频图像像素数据格式的像 素数据进行混合叠加；
[0123] 步骤S305:采集所述直播流信息中当前帖的视频像素数据;其中，所述当前帖为第 S帖，然后执行步骤S306;
[0124] 步骤S306:将叠加后的像素数据进行编码，转换为标准数字视频压缩格式;然后执 行步骤S307;
[0125] 优选地，所述标准数字视频压缩格式可W是待接收终端设备能够解码的数字视频 压缩格式，如肥64视频编码。
[0126] 本实施例中，将叠加后的像素数据进行肥64视频编码。
[0127] S307:将当前帖加1，并继续执行步骤S301。
[0128] 下面，就YUVSrc_Buf f er数据与YUV_Buf f er数据根据Alpha_Buf f er透明度像素值 的叠加实现细节给出说明，YUVSrc_Buffer与YUV_Buffer所存储的像素数据的像素格式均 为YUV420P，叠加 W-帖实现作为参考。
[0129] 现假设跑马灯广告叠加位置坐标为x，y，广告画面宽高分别为wi化h，height，则有 下面数据逻辑关系：
[0130] 跑马灯广告一帖的数据YUV_Buffer大小为：
[0131] int nYUVBufferSize=width*height*l .5;
[0132] 跑马灯广告一帖的像素数据是：
[0133] BYTE YUV_Buffer[nYUVBufferSize]；
[0134] YUV_Buf f er 中，Υ，U， V像素内存指针分别是：BYTE*i)YBuf f er = &YUVBuf f er [ 0 ]， pUBuf f er = pYBuf f er+wi dth*he i ght,pVBuffer = pUBuffer+wi dth*he i ght/4；
[OUS]该帖的A1 地a数据大小是：int nAlphaBufferSize=wWth*height;
[0136] 该帖的A1 地a像素数据是:BYTE A1 地aBufferbAlphaBuffer];
[0137] 假设直播视频采集数据帖的图像宽高分别为SrcWidth，Sr地eight,则有下面的数 据逻辑关系：直播视频采集数据帖的数据YUVSrcData大小为：int nYUVS;rcDataSize = SrcWi化 h*S;r地ei曲 1:*1.5;
[0138] 直播视频采集数据帖的数据:BYTE YUVSrcData[nYUVSrcDataSize];
[0139] YUVSrcDa化中，Υ，U，V像素内存指针分别是：BYTE*pYSrcData = &YUVSrcData[0]，* pUSrcData = pYSrcData+SrcWidth*SrcHeight，*pVSrcData = pUSrcData+SrcWidth* SrcHeight/4；
[0140] 根据A1地a叠加公式：
[0141] Y = Y1*A+Y2*(1-A);
[0142] U = U1*A+U2*(1-A);
[0143] v = Vl*A+V2*(l-A);
[0144] 其中，Y为叠加后的亮度像素值，U为叠加后的色度像素值，V为叠加后的饱和度像 素值;Y1为叠加前第一文件的当前帖像素数据的亮度像素值，U1为叠加前第一文件的当前 帖像素数据的色度像素值，VI为叠加前第一文件的当前帖像素数据的饱和度像素值;Y2为 叠加前直播视频文件的当前帖像素数据的亮度像素值，U2为叠加前直播视频文件的当前帖 像素数据的色度像素值，V2为叠加前直播视频文件的当前帖像素数据的饱和度像素值;A表 示第一文件的当前帖的透明度像素值。
[0145] 依次把YUV_Buf f er、YUVSrc_Buf f er、W及对应像素的Alpha_Buf f er代入公式求 解，W下是用C语言程序实现。
[0146]
[0147]
[014引实施例四
[0149] 本发明实施例提供了另一种多媒体信息处理方法，所述多媒体信息处理方法应用 于服务器;图5为本发明提供的另一种多媒体信息处理方法的实现流程示意图；如图5所示， 所述方法包括：
[0150] 步骤S501:获取第二信息，所述第二信息的类型与第Ξ预设策略相匹配，W支持拆 分后得到的前景信息和背景信息能合成第一多媒体信息；
[0151] 运里，所述第二信息是指视频，如视频形式的广告或动画片等。
[0152] 优选地，所述第二信息是指Y420P格式的短视频。
[0153] 运里，所述第一多媒体信息是背景信息W及除关键信息之外的前景信息符合第一 目标格式的短视频。
[0154] 步骤S502:将所述第二信息按照所述第Ξ预设策略拆分为所述前景信息和所述背 景信息，所述前景信息包含关键信息；
[0155] 优选地，可W将所述第二信息按照所述第Ξ预设策略拆分为所述前景信息和所述 背景信息，包括：
[0156] 解析所述第二信息；
[0157] 基于解析结果获取符合第Ξ预设策略的S帖图片;其中，S为正整数；
[0158] 利用图像分割技术将每一帖所对应的图片拆分为前景信息和背景信息。
[0159] 运里，所述图像分割技术可W是现有技术中的图像分割方法，如基于图像边缘特 征的前景背景分割方法、结合强度和边界信息的非参数前景背景分割方法等等，在此不再 寶述。
[0160] 步骤S503:将所述背景信息W及除关键信息之外的前景信息转换为第一目标格 式，并将已经转换为第一目标格式的背景信息W及除关键信息之外的前景信息与前景信息 中的关键信息合成为所述第一多媒体信息；
[0161] 优选地，将所述背景信息W及除关键信息之外的前景信息转换为第一目标格式， 可W包括：
[0162] 对于每一帖图片，判断所述背景信息W及除关键信息之外的前景信息所对应的像 素点的颜色是否全为预定颜色；
[0163] 如果是，不对所述背景信息W及除关键信息之外的前景信息所对应的像素点进行 处理;如果否，将所述背景信息W及除关键信息之外的前景信息中非预定颜色的像素点转 换为预定颜色。
[0164] 运里，所述预定颜色可W是单色，如白色、黑色、绿色等。
[0165] 步骤S504:加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所 述第一多媒体信息时，按照第四预设策略将所述第一多媒体信息与所述直播流信息进行混 合叠加，W使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现， 并转换成标准数字视频压缩格式，W供终端设备播放。
[0166] 优选地，所述按照第四预设策略将所述第一多媒体信息与所述直播流信息进行混 合叠加，可W包括：
[0167] 检测是否需要进行异或处理；
[0168] 如果需要，将所述第一多媒体信息中的关键信息对应的像素点与所述直播流信息 所对应的像素点进行叠加处理;对于所述第一多媒体信息中的背景信息与除关键信息之外 的前景信息的像素点，不与所述直播流信息所对应的像素点进行叠加处理；
[0169] 否则，不对所述第一多媒体信息与所述直播流信息进行混合叠加。
[0170] 优选地，所述检测是否要进行异或处理，可W包括：
[0171] 判断第一多媒体信息的当前帖中是否有不满足第一目标格式的像素点，如果有， 则判定需要进行异或处理。
[0172] 举例来说，如果预定颜色为白色，那么，在将所述第一多媒体信息与所述直播流信 息进行叠加时，对于所述第一多媒体信息中白色的像素点，将不与直播流信息进行叠加。
[0173] 本实施例所述多媒体信息处理方法，服务器侧能智能控制动态多媒体信息的播 放，使动态多媒体信息的关键信息得W展现而非关键信息不进行展现，尽最大概率呈现动 态多媒体信息非关键区域中的主体直播流的信息，在达到动态多媒体信息提供商的需求和 目的的同时，又不损害用户观看直播视频的体验，维护在线视频的形象；另外，由于动态多 媒体信息在源端编码流中进行处理，因此在服务器后台分发及转码后都会同步在移动设备 播放中，降低了对终端设备的要求。此外，本实施例所述多媒体信息处理方法还能节省存储 空间。
[0174] 实施例五
[0175] 本发明实施例提供了一种服务器；图6为本发明提供的一种服务器的组成结构示 意图；如图6所示，所述服务器包括第一获取单元61、第一生成单元62、第一叠加单元63;其 中，
[0176] 所述第一获取单元61，用于获取N个第一信息，N为正整数，所述第一信息的类型与 第一预设策略相匹配，W支持合成第一多媒体信息；
[0177] 所述第一生成单元62,用于将所述N个第一信息按照所述第一预设策略生成第一 多媒体信息，所述第一多媒体信息携带关键信息；
[0178] 所述第一叠加单元63,用于加载直播流信息进行播放，当检测到需要在所述直播 流信息中叠加所述第一多媒体信息时，按照第二预设策略将所述第一多媒体信息与所述直 播流信息进行混合叠加，W使得到的叠加画面中所述关键信息作为所述直播流信息的前景 信息共同呈现，并转换成标准数字视频压缩格式，W供终端设备播放。
[01巧]优选地，所述第一获取单元61，还用于：
[0180] 判断所述第一信息是否为预设图片格式；
[0181] 若所述第一信息为非图片格式，解析所述第一信息；
[0182] 基于解析结果获取符合预设图片格式的第一信息；
[0183] 若所述第一信息为图片格式但非预设图片格式，将所述第一信息由原有图片格式 转换为预设图片格式。
[0184] 优选地，所述第一生成单元62,还用于：
[0185] 读取所述N个第一信息中的第1个第一信息；
[0186] 对所述第1个第一信息进行解码，获取并缓存关于第1个第一信息的像素数据；
[0187] 从所述像素数据中提取透明度像素值，并将除透明度像素值之外的像素数据转换 为预设视频图像像素数据格式；
[0188] 分别对透明度像素值W及预设视频图像像素数据格式的像素数据进行缓存；
[0189] 根据所述透明度像素值W及预设视频图像像素数据格式的像素数据合成第1个子 文件；
[0190] 依此类推，共获取N个子文件；
[0191] 根据所述N个子文件生成第一多媒体信息。
[0192] 优选地，所述第一生成单元62,还用于：
[0193] 解析所述第1个第一信息，W获取所述第1个第一信息的像素数据；
[0194] 获取所述第1个第一信息的背景信息；
[01M]判断所述背景信息所对应的透明度像素值是否为预设值；
[0196] 如果不为预设值，将所述背景信息所对应的透明度像素值调整为预设值。
[0197] 优选地，所述第一生成单元62,还用于：
[0198] 分析所述第1个第一信息的特征信息；
[0199] 基于所述特征信息判断所述第1个第一信息中是否包括第一对象；
[0200] 将除所述第一对象之外的部分确定为背景信息。
[0201] 优选地，所述第一叠加单元63,还用于:获取所述第一文件的预定播放次数W及单 次播放时长；
[0202] 获取所述第一多媒体信息的预定播放次数W及单次播放时长；
[0203] 获取直播流信息的预计时长；
[0204] 基于所述预定播放次数W及所述单次播放时长，并结合所述预计时长确定需要在 直播流信息中叠加所述第一多媒体信息的开始时间点。
[02化]优选地，所述第一叠加单元63,还用于：
[0206] 采集所述直播流信息中当前帖的视频像素数据;其中，所述当前帖为第Μ帖；
[0207] 读取所述第一多媒体信息的第一帖数据，从所述第一帖数据获取所述第一帖数据 中的透明度像素值W及预设视频图像像素数据格式的像素数据；
[0208] 根据透明度像素值将视频像素数据与预设视频图像像素数据格式的像素数据进 行混合叠加；
[0209] W此类推，将所述直播流信息中第Μ+η帖与所述第一多媒体信息的第η+1帖进行混 合叠加，直至所述直播流信息中第Μ+Ν-1帖与所述第一多媒体信息的第Ν帖进行混合叠加； 其中，1 <η<Ν-1。
[0210] 在实际应用中，所述获第一获取单元61、第一生成单元62、第一叠加单元63的具体 结构均可对应于处理器。所述处理器具体的结构可W为中央处理器（CPU, Central Processing 加 it)、微处理器（MCU，Mic;ro Controller 加 it)、数字信号处理器（DSP， Digital Si即al Processing)或可编程逻辑器件（PLCJrogrammable Logic Controller) 等具有处理功能的电子元器件或电子元器件的集合。其中，所述处理器包括可执行代码，所 述可执行代码存储在存储介质中，所述处理器可W通过总线等通信接口与所述存储介质中 相连，在执行具体的各模块的对应功能时，从所述存储介质中读取并运行所述可执行代码。 所述存储介质用于存 储所述可执行代码的部分优选为非瞬间存储介质。
[0211] 所述第一获取单元61、第一生成单元62、第一叠加单元63可W集成对应于同一处 理器，或分别对应不同的处理器；当集成对应于同一处理器时，所述处理器采用时分处理所 述第一获取单元61、第一生成单元62、第一叠加单元63对应的功能。
[0212] 本实施例所述服务器，为实施例一至四所述的方法提供了具体实现的硬件，能用 于实现实施例一至四中任意所述的技术方案，同样的，能智能控制动态多媒体信息的播放， 使动态多媒体信息的关键信息得W展现而非关键信息得W透明隐藏，尽最大概率还原动态 多媒体信息非关键区域中的主体直播流的信息，在达到动态多媒体信息提供商的需求和目 的的同时，又不损害用户观看直播视频的体验，维护在线视频的形象；另外，由于动态多媒 体信息在源端编码流中进行处理，因此在服务器后台分发及转码后都会同步在移动设备播 放中，降低了对终端设备的要求。
[0213] 实施例六
[0214] 本发明实施例提供了另一种服务器；图7为本发明提供的另一种服务器的组成结 构示意图；如图7所示，所述服务器包括第二获取单元71、拆分单元72、第二生成单元73、第 二叠加单元74;其中，
[0215] 所述第二获取单元71，用于获取第二信息，所述第二信息的类型与第Ξ预设策略 相匹配，w支持拆分后得到的前景信息和背景信息能合成第一多媒体信息；
[0216] 所述拆分单元72,用于将所述第二信息按照所述第Ξ预设策略拆分为所述前景信 息和所述背景信息，所述前景信息包含关键信息；
[0217] 所述第二生成单元73,用于将所述背景信息W及除关键信息之外的前景信息转换 为第一目标格式，并将已经转换为第一目标格式的背景信息W及除关键信息之外的前景信 息与前景信息中的关键信息合成为所述第一多媒体信息；
[0218] 所述第二叠加单元74,用于加载直播流信息进行播放，当检测到需要在所述直播 流信息中叠加所述第一多媒体信息时，按照第四预设策略将所述第一多媒体信息与所述直 播流信息进行混合叠加，W使得到的叠加画面中所述关键信息作为所述直播流信息的前景 信息共同呈现，并转换成标准数字视频压缩格式，W供终端设备播放。
[0219] 优选地，所述第二叠加单元74,还用于：
[0220] 检测是否需要进行异或处理；
[0221] 如果需要，将所述第一多媒体信息中的关键信息对应的像素点与所述直播流信息 所对应的像素点进行叠加处理;对于所述第一多媒体信息中的背景信息与除关键信息之外 的前景信息的像素点，不与所述直播流信息所对应的像素点进行叠加处理；
[0222] 否则，不对所述第一多媒体信息与所述直播流信息进行混合叠加。
[0223] 优选地，所述第二叠加单元74,还用于：
[0224] 判断第一多媒体信息的当前帖中是否有不满足第一目标格式的像素点，如果有， 则判定需要进行异或处理。
[0225] 在实际应用中，所述第二获取单元71、拆分单元72、第二生成单元73、第二叠加单 元74的具体结构均可对应于处理器。所述处理器具体的结构可W为CPU、MCU、DSP或化C等具 有处理功能的电子元器件或电子元器件的集合。其中，所述处理器包括可执行代码，所述可 执行代码存储在存储介质中，所述处理器可W通过总线等通信接口与所述存储介质中相 连，在执行具体的各模块的对应功能时，从所述存储介质中读取并运行所述可执行代码。所 述存储介质用于存储所述可执行代码的部分优选为非瞬间存储介质。
[0。6]所述第二获取单元71、拆分单元72、第二生成单元73、第二叠加单元74可W集成对 应于同一处理器，或分别对应不同的处理器；当集成对应于同一处理器时，所述处理器采用 时分处理所述第二获取单元71、拆分单元72、第二生成单元73、第二叠加单元74对应的功 能。
[0227]本实施例所述多媒体信息处理方法，为实施例四所述的方法提供了具体实现的硬 件，能用于实现实施例四中所述的技术方案，同样的，能智能控制动态多媒体信息的播放， 使动态多媒体信息的关键信息得W展现而非关键信息不进行展现，尽最大概率呈现动态多 媒体信息非关键区域中的主体直播流的信息，在达到动态多媒体信息提供商的需求和目的 的同时，又不损害用户观看直播视频的体验，维护在线视频的形象；另外，由于动态多媒体 信息在源端编码流中进行处理，因此在服务器后台分发及转码后都会同步在移动设备播放 中，降低了对终端设备的要求。此外，本实施例所述多媒体信息处理方法还能节省存储空 间。
[02測实施例屯
[0229]本实施例提供一种多媒体信息处理系统，图8为本发明提供的一种多媒体信息处 理系统的交互示意图，如图8所示，所述系统包括服务器81和至少一个终端82;所述服务器 81和至少一个终端82通过网络连接;所述网络可W为有线网、无线网或有线与无线的混合 网络。
[0230] 所述服务器81中的具体组成结构可W如图6或图7所示。
[0231] 具体地，所述服务器81，用于获取N个第一信息，N为正整数，所述第一信息的类型 与第一预设策略相匹配，W支持合成第一多媒体信息;将所述N个第一信息按照所述第一预 设策略生成第一多媒体信息，所述第一多媒体信息携带关键信息；加载直播流信息进行播 放，当检测到需要在所述直播流信息中叠加所述第一多媒体信息时，按照第二预设策略将 所述第一多媒体信息与所述直播流信息进行混合叠加，W使得到的叠加画面中所述关键信 息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式，W供终端 设备播放；
[0232] 或者，
[0233] 用于获取第二信息，所述第二信息的类型与第Ξ预设策略相匹配，W支持拆分后 得到的前景信息和背景信息能合成第一多媒体信息;将所述第二信息按照所述第Ξ预设策 略拆分为所述前景信息和所述背景信息，所述前景信息包含关键信息;将所述背景信息W 及除关键信息之外的前景信息转换为第一目标格式，并将已经转换为第一目标格式的背景 信息W及除关键信息之外的前景信息与前景信息中的关键信息合成为所述第一多媒体信 息；加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信 息时，按照第四预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，W使得 到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数 字视频压缩格式，W供终端设备播放；
[0234] 所述至少一个终端82,用于接收经服务器81转换后的标准数字视频压缩格式的多 媒体数据，并对所述标准数字视频压缩格式的多媒体数据进行解码，呈现视频画面。
[0235] 具体地，所述终端包括但不限于台式机、手机、笔记本电脑、电视。
[0236] 由于服务器81侧输出的标准数字视频压缩格式的多媒体数据，因此，终端82侧只 需能够解码对所述多媒体数据进行解码，即能呈现视频画面，该视频画面在达到动态多媒 体信息提供商的需求和目的的同时，又不损害用户观看直播视频的体验。
[0237] 第一具体应用场景：
[0238] 在本发明应用示例中，提供商将第一信息素材上传至服务器，用于投放第一多媒 体信息（跑马灯广告）；之后，服务器对第一信息进行相应的处理，将生成第一多媒体信息， 并按照第二预设策略将所述第一多媒体信息与直播流信息(直播视频流)进行混合叠加 ，W 使得到的叠加画面中关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数 字视频压缩格式，W供终端设备播放。下面结合如图9-1至9-3所示的应用图1所述多媒体信 息处理方法对应终端的用户界面的显示效果图，图9-1中，在视频直播画面中呈现有第一多 媒体信息中的关键信息，包括："立金西瓜霜"文字及图标、"立金西瓜霜"药盒、"音乐现场 化曲不停"文字及图标;第一多媒体信息中的背景信息的透明度不为0,用户依然可W透过 第一多媒体信息所占区域中的非关键信息部分看到演唱者的腿部。图9-2中，在视频直播画 面中呈现有第一多媒体信息中的关键信息，包括金西瓜霜"文字及图标、"300亿活的活 力C菌、帮助肠道常活动"文字;第一多媒体信息中的背景信息的透明度不为0,使第一多媒 体信息的关键信息得w展现而非关键信息得w透明隐藏，尽最大概率还原第一多媒体信息 非关键区域中的主体直播流的信息，在达到第一多媒体信息提供商的需求和目的的同时， 又不损害用户观看直播视频的体验。图9-3中，在视频直播画面中呈现有第一多媒体信息中 的关键信息，包括："见TA浪漫一刻，尽享好味道"文字、W及奶特图标、《带你去见TA》图标； 第一多媒体信息中的背景信息的透明度较大，用户依然可W透过第一多媒体信息所占区域 中的非关键信息部分看到小男孩的下己，在达到第一多媒体信息提供商的需求和目的的同 时，又不损害用户观看直播视频的体验。
[0239] 第二具体应用场景：
[0240] 在本发明应用示例中，提供商将第二信息素材上传至服务器，用于投放第一多媒 体信息（短视频广告）；之后，服务器对第二信息进行相应的处理，将生成第一多媒体信息， 并按照第四预设策略将所述第一多媒体信息与直播流信息(直播视频流)进行混合叠加 ，W 使得到的叠加画面中关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数 字视频压缩格式，W供终端设备播放。下面结合如图10-1至10-2所示的应用图5所述多媒体 信息处理方法对应终端的用户界面的显示效果图，图10-1为短视频的一帖所对应的画面， 可见，该画面中的关键信息为"Ξ金西瓜霜"及其图标、"特约呈现"，其背景信息为明暗交替 的图案;经过服务器处理后，在图10-2所示的视频直播画面中仅呈现有第一多媒体信息中 的关键信息，而第一多媒体信息的背景信息并未呈现，既达到了提供商的需求和目的，又不 损害用户观看直播视频的体验。
[0241] 在本申请所提供的几个实施例中，应该理解到，所掲露的设备和方法，可W通过其 它的方式实现。W上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为 一种逻辑功能划分，实际实现时可W有另外的划分方式，如：多个单元或组件可W结合，或 可W集成到另一个系统，或一些特征可W忽略，或不执行。另外，所显示或讨论的各组成部 分相互之间的禪合、或直接禪合、或通信连接可W是通过一些接口，设备或单元的间接禪合 或通信连接，可W是电性的、机械的或其它形式的。
[0242] 上述作为分离部件说明的单元可W是、或也可W不是物理上分开的，作为单元显 示的部件可W是、或也可W不是物理单元;既可W位于一个地方，也可W分布到多个网络单 元上;可W根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0243] 另外，在本发明各实施例中的各功能单元可W全部集成在一个处理单元中，也可 W是各单元分别单独作为一个单元，也可W两个或两个W上单元集成在一个单元中；上述 集成的单元既可W采用硬件的形式实现，也可W采用硬件加软件功能单元的形式实现。
[0244] 本领域普通技术人员可W理解:实现上述方法实施例的全部或部分步骤可W通过 程序指令相关的硬件来完成，前述的程序可W存储于计算机可读取存储介质中，该程序在 执行时，执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存 储器（Read-Only Memoir,ROM)、随机存取存储器（Random Access Memory,RAM)、磁碟或者 光盘等各种可W存储程序代码的介质。
[0245] 或者，本发明上述集成的单元如果W软件功能模块的形式实现并作为独立的产品 销售或使用时，也可W存储在一个计算机可读取存储介质中。基于运样的理解，本发明实施 例的技术方案本质上或者说对现有技术做出贡献的部分可软件产品的形式体现出来， 该计算机软件产品存储在一个存储介质中，包括若干指令用W使得一台计算 机设备(可W 是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。 而前述的存储介质包括:移动存储设备、R〇M、RAM、磁碟或者光盘等各种可W存储程序代码 的介质。
[0246] W上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何 熟悉本技术领域的技术人员在本发明掲露的技术范围内，可轻易想到变化或替换，都应涵 盖在本发明的保护范围之内。因此，本发明的保护范围应W所述权利要求的保护范围为准。
【主权项】
1. 一种多媒体信息处理方法，其特征在于，所述方法包括： 获取N个第一信息，N为正整数，所述第一信息的类型与第一预设策略相匹配，以支持合 成第一多媒体信息； 将所述N个第一信息按照所述第一预设策略生成第一多媒体信息，所述第一多媒体信 息携带关键信息； 加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信 息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得 到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数 字视频压缩格式的数字信号，将所述数字信号以直播形式传输至终端设备进行播放。2. 根据权利要求1所述的方法，其特征在于，所述加载直播流信息进行播放，包括： 获取以流式传输方式得到的所述直播流信息，所述直播流信息为经网络传输至所述终 端设备，支持在所述终端设备本地实时回放的媒体内容编码数据流； 解析所述直播流信息，以得到实时的视频信号进行播放。3. 根据权利要求1所述的方法，其特征在于，所述将所述N个第一信息按照所述第一预 设策略生成第一多媒体信息之前，包括： 判断所述第一信息是否为预设图片格式； 若所述第一信息为非图片格式，解析所述第一信息； 基于解析结果获取符合预设图片格式的第一信息； 若所述第一信息为图片格式但非预设图片格式，将所述第一信息由原有图片格式转换 为预设图片格式。4. 根据权利要求1所述的方法，其特征在于，将所述N个第一信息按照所述第一预设策 略生成第一多媒体信息，包括： 读取所述N个第一信息中的第1个第一信息； 对所述第1个第一信息进行解码，获取并缓存关于第1个第一信息的像素数据； 从所述像素数据中提取透明度像素值，并将除透明度像素值之外的像素数据转换为预 设视频图像像素数据格式； 分别对透明度像素值以及预设视频图像像素数据格式的像素数据进行缓存； 根据所述透明度像素值以及预设视频图像像素数据格式的像素数据合成第1个子文 件； 依此类推，共获取N个子文件； 根据所述N个子文件生成第一多媒体信息。5. 根据权利要求4所述的方法，其特征在于，所述对所述第1个第一信息进行解码，获取 并缓存关于第1个第一信息的像素数据，包括： 解析所述第1个第一信息，以获取所述第1个第一信息的像素数据； 获取所述第1个第一信息的背景信息； 判断所述背景信息所对应的透明度像素值是否为预设值； 如果不为预设值，将所述背景信息所对应的透明度像素值调整为预设值。6. 根据权利要求5所述的方法，其特征在于，所述获取所述第1个第一信息的背景信息， 包括： 分析所述第1个第一信息的特征信息； 基于所述特征信息判断所述第1个第一信息中是否包括第一对象； 将除所述第一对象之外的部分确定为背景信息。7. 根据权利要求1所述的方法，其特征在于，判断是否需要在所述直播流信息中叠加所 述第一多媒体信息的方法，包括： 获取所述第一多媒体信息的预定播放次数以及单次播放时长； 获取直播流信息的预计时长； 基于所述预定播放次数以及所述单次播放时长，并结合所述预计时长确定需要在直播 流信息中叠加所述第一多媒体信息的开始时间点。8. 根据权利要求4所述的方法，其特征在于，所述按照第二预设策略将所述第一多媒体 信息与所述直播流信息进行混合叠加，包括： 采集所述直播流信息中当前帧的视频像素数据;其中，所述当前帧为第Μ帧； 读取所述第一多媒体信息的第一帧数据，从所述第一帧数据获取所述第一帧数据中的 透明度像素值以及预设视频图像像素数据格式的像素数据； 根据透明度像素值将视频像素数据与预设视频图像像素数据格式的像素数据进行混 合叠加； 以此类推，将所述直播流信息中第Μ+η帧与所述第一多媒体信息的第η+1帧进行混合叠 加，直至所述直播流信息中第Μ+Ν-1帧与所述第一多媒体信息的第Ν帧进行混合叠加;其中， 1 <η<N_1。9. 一种多媒体信息处理方法，其特征在于，所述方法包括： 获取第二信息，所述第二信息的类型与第三预设策略相匹配，以支持拆分后得到的前 景信息和背景信息能合成第一多媒体信息； 将所述第二信息按照所述第三预设策略拆分为所述前景信息和所述背景信息，所述前 景信息包含关键信息； 将所述背景信息以及除关键信息之外的前景信息转换为第一目标格式，并将已经转换 为第一目标格式的背景信息以及除关键信息之外的前景信息与前景信息中的关键信息合 成为所述第一多媒体信息； 加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信 息时，按照第四预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得 到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数 字视频压缩格式，以供终端设备播放。10. 根据权利要求9所述的方法，其特征在于，所述按照第四预设策略将所述第一多媒 体信息与所述直播流信息进行混合叠加，包括： 检测是否需要进行异或处理； 如果需要，将所述第一多媒体信息中的关键信息对应的像素点与所述直播流信息所对 应的像素点进行叠加处理;对于所述第一多媒体信息中的背景信息与除关键信息之外的前 景信息的像素点，不与所述直播流信息所对应的像素点进行叠加处理； 否则，不对所述第一多媒体信息与所述直播流信息进行混合叠加。11. 根据权利要求10所述的方法，其特征在于，所述检测是否要进行异或处理，包括： 判断第一多媒体信息的当前帧中是否有不满足第一目标格式的像素点，如果有，则判 定需要进行异或处理。12. -种服务器，其特征在于，所述服务器包括： 第一获取单元，用于获取N个第一信息，N为正整数，所述第一信息的类型与第一预设策 略相匹配，以支持合成第一多媒体信息； 第一生成单元，用于将所述N个第一信息按照所述第一预设策略生成第一多媒体信息， 所述第一多媒体信息携带关键信息； 第一叠加单元，用于加载直播流信息进行播放，当检测到需要在所述直播流信息中叠 加所述第一多媒体信息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息进 行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈 现，并转换成标准数字视频压缩格式，以供终端设备播放。13. 根据权利要求12所述的服务器，其特征在于，所述第一获取单元，还用于： 判断所述第一信息是否为预设图片格式； 若所述第一信息为非图片格式，解析所述第一信息； 基于解析结果获取符合预设图片格式的第一信息； 若所述第一信息为图片格式但非预设图片格式，将所述第一信息由原有图片格式转换 为预设图片格式。14. 根据权利要求12所述的服务器，其特征在于，所述第一生成单元，还用于： 读取所述N个第一信息中的第1个第一信息； 对所述第1个第一信息进行解码，获取并缓存关于第1个第一信息的像素数据； 从所述像素数据中提取透明度像素值，并将除透明度像素值之外的像素数据转换为预 设视频图像像素数据格式； 分别对透明度像素值以及预设视频图像像素数据格式的像素数据进行缓存； 根据所述透明度像素值以及预设视频图像像素数据格式的像素数据合成第1个子文 件； 依此类推，共获取N个子文件； 根据所述N个子文件生成第一多媒体信息。15. 根据权利要求14所述的服务器，其特征在于，所述第一生成单元，还用于： 解析所述第1个第一信息，以获取所述第1个第一信息的像素数据； 获取所述第1个第一信息的背景信息； 判断所述背景信息所对应的透明度像素值是否为预设值； 如果不为预设值，将所述背景信息所对应的透明度像素值调整为预设值。16. 根据权利要求15所述的服务器，其特征在于，所述第一生成单元，还用于： 分析所述第1个第一信息的特征信息； 基于所述特征信息判断所述第1个第一信息中是否包括第一对象； 将除所述第一对象之外的部分确定为背景信息。17. 根据权利要求12所述的服务器，其特征在于，所述第一叠加单元，还用于:获取所述 第一文件的预定播放次数以及单次播放时长； 获取所述第一多媒体信息的预定播放次数以及单次播放时长； 获取直播流信息的预计时长； 基于所述预定播放次数以及所述单次播放时长，并结合所述预计时长确定需要在直播 流信息中叠加所述第一多媒体信息的开始时间点。18. 根据权利要求14所述的服务器，其特征在于，所述第一叠加单元，还用于： 采集所述直播流信息中当前帧的视频像素数据;其中，所述当前帧为第Μ帧； 读取所述第一多媒体信息的第一帧数据，从所述第一帧数据获取所述第一帧数据中的 透明度像素值以及预设视频图像像素数据格式的像素数据； 根据透明度像素值将视频像素数据与预设视频图像像素数据格式的像素数据进行混 合叠加； 以此类推，将所述直播流信息中第Μ+η帧与所述第一多媒体信息的第η+1帧进行混合叠 加，直至所述直播流信息中第Μ+Ν-1帧与所述第一多媒体信息的第Ν帧进行混合叠加;其中， 1 <η<N_1。19. 一种服务器，其特征在于，所述服务器包括： 第二获取单元，用于获取第二信息，所述第二信息的类型与第三预设策略相匹配，以支 持拆分后得到的前景信息和背景信息能合成第一多媒体信息； 拆分单元，用于将所述第二信息按照所述第三预设策略拆分为所述前景信息和所述背 景信息，所述前景信息包含关键信息； 第二生成单元，用于将所述背景信息以及除关键信息之外的前景信息转换为第一目标 格式，并将已经转换为第一目标格式的背景信息以及除关键信息之外的前景信息与前景信 息中的关键信息合成为所述第一多媒体信息； 第二叠加单元，用于加载直播流信息进行播放，当检测到需要在所述直播流信息中叠 加所述第一多媒体信息时，按照第四预设策略将所述第一多媒体信息与所述直播流信息进 行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈 现，并转换成标准数字视频压缩格式，以供终端设备播放。20. 根据权利要求19所述的服务器，其特征在于，所述第二叠加单元，还用于： 检测是否需要进行异或处理； 如果需要，将所述第一多媒体信息中的关键信息对应的像素点与所述直播流信息所对 应的像素点进行叠加处理;对于所述第一多媒体信息中的背景信息与除关键信息之外的前 景信息的像素点，不与所述直播流信息所对应的像素点进行叠加处理； 否则，不对所述第一多媒体信息与所述直播流信息进行混合叠加。21. 根据权利要求20所述的服务器，其特征在于，所述第二叠加单元，还用于： 判断第一多媒体信息的当前帧中是否有不满足第一目标格式的像素点，如果有，则判 定需要进行异或处理。
【专利摘要】本发明实施例提供一种多媒体信息处理方法及服务器，其中，所述方法包括：获取N个第一信息，N为正整数，所述第一信息的类型与第一预设策略相匹配，以支持合成第一多媒体信息；将所述N个第一信息按照所述第一预设策略生成第一多媒体信息，所述第一多媒体信息携带关键信息；加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式，以供终端设备播放。
【IPC分类】H04N21/234
【公开号】CN105491396
【申请号】CN201510651162
【发明人】余学亮
【申请人】腾讯科技（北京）有限公司
【公开日】2016年4月13日
【申请日】2015年10月10日
最新回复(0)