用于封装国际标准化组织基媒体文件中的运动图像专家组媒体传输资源的方法和装置的制造方法
用于封装国际标准化组织基媒体文件中的运动图像专家组媒体传输资源的方法和装置的制造方法
【技术领域】
[0001] 本公开一般设及传递用于封装国际标准化组织（ISO)基媒体文件炬aseMedia File)中的运动图像专家组（MPEG)媒体传输（MMT)资源（asset)的媒体内容的方法和装 置。
【背景技术】
[0002] 运动图像专家组（MPEG)媒体传输（MMT)规定了用于通过异类网际协议（I巧网络 环境来递送用于多媒体服务的编码的媒体数据的技术。所递送的编码的媒体数据包括W下 两者；a)其数据单元具有固有时间线的视听媒体数据（即，定时的数据）；w及（U)它们 的数据单元当中不具有固有时间线的其它类型的数据（即，非定时的数据）。
【发明内容】
[000引技术问题
[0004] MMT是在编码的媒体数据使用诸如实时传输协议（RT巧、传送控制协议（TCP)W及 用户数据报协议扣D巧之类的网际协议通过基于分组的递送网络来递送的假设下而设计 的。
[000引技术方案
[0006] 本公开提供用于封装国际标准化组织（ISO)基媒体文件中的运动图像专家组 (MPEG)媒体传输（MMT)资源的方法和装置。
[0007] 在第一实施例中，一种装置包括被配置为接收MMT容器（container)的接收路径 电路。该装置还包括被配置为使用在MMT容器内的提示轨道化inttrack)来标识一个或 多个媒体片段单元（media化agmentunit，MFU)在MMT容器中的位置的处理设备。
[000引在第二实施例中，一种装置包括被配置为传送MMT容器的传送路径电路。该装置 还包括被配置为使用在MMT容器内的提示轨道来标识一个或多个媒体片段单元（MFU)在 MMT容器中的位置的处理设备。
[0009] 在第S实施例中，一种方法包括接收MMT容器。该方法还包括使用在MMT容器内 的提示轨道来标识一个或多个媒体片段单元（MFU)在MMT容器中的位置。
[0010] 在第四实施例中，一种方法包括接收MMT容器的MFU，标识遗失的MFU，适当地标记 它们或调整元数据W供正确的处理。
[0011] 从W下图、描述和权利要求中，其它技术特征可W被本领域技术人员容易地理解。
[0012] 在进行下面的详细描述之前，阐述某些贯穿本专利文档使用的词汇和短语的定义 会是有利的；术语"包括"和"包含"W及其变型意味着没有限制的包含。术语"或"是包含 性的，意味着和/或。短语"与……相关联及其变型可W意味着包括、包括在……内、 与……互连、包含、包含在……内、连接到或与……连接、禪合到或与……禪合、可与……通 信、与……协作、交织、并列、靠近、绑定到或与……绑定、具有、有……的性质、具有与…… 的关系等。术语"控制器"意味着控制至少一个操作的任何设备、系统或它们的部分，并且该 样的设备可硬件、或者硬件与软件/固件的组合来实施。应当注意，与任何特定的控制 器相关联的功能可W是集中化的或分布式的，无论是本地还是远程。短语"……中的至少一 个"，当与一列项目一起使用时，意味着可W使用一个或多个列出的项目的不同的组合，并 且可能只需要列表中的一个项目。例如，"A、B和C中的至少一个"包括任何W下组合；A、B、 C、A和B、A和C、B和C、W及A和B和C。贯穿本专利文档提供了某些词汇和短语的定义， 并且本领域普通技术人员应当理解，在许多实例中（如果不是大多数实例的话），该样的定 义适用于该些定义的词汇和短语在先前W及在将来的使用。
【附图说明】
[0013] 为了更全面地理解本公开及其优点，现在结合附图参考W下描述，在附图中同样 的参考标号表示同样的部分：
[0014] 图1图示了根据本公开的通过异类网络到多样的客户端的示例可伸缩 (seal油le)视频递送；
[0015] 图2图不了根据本公开的不例MMT设备；
[0016] 图3图示了根据本公开的由运动图像专家组（MPEG)媒体传输（MMT)提供的示例 功能；
[0017] 图4图示了根据本公开的示例MMT封装；
[001引图5图示了根据本公开的具有定时的媒体的样本级别（samplelevel)提示轨道 和样本级别媒体轨道的示例MMT封装；
[0019] 图6图示了根据本公开的不包括定时的媒体的媒体的示例MMT封装拟及
[0020] 图7图示了根据本公开的用于接收媒体片段单元（MFU)的示例方法。
【具体实施方式】
[0021] 下面讨论的图1到图7W及用来在本专利文档中描述本公开的原理的各个实施例 只是作为例示，而不应W任何方式被解释为限制本公开的范围。本领域技术人员理解，本公 开的原理可W在任何适当的设备或系统中实施。
[0022] 图1图示了根据本公开的通过异类网络到多样的客户端的示例可伸缩视频递送。 图1中所示的实施例只是用于例示。其它实施例可W被使用，而不脱离本公开的范围。
[0023] 异类网络102包括向MMT客户端106-114供应媒体内容（诸如图像、音频W及视 频内容）的运动图像专家组（MPEG)媒体传输（MMT)服务器104。MMT服务器104和MMT客 户端106-114代表MMT设备，并且可W如图2中所示地实施或W任何其它适当的方式实施。 MMT服务器104可W经由异类网络102向MMT客户端106-114发送全分辨率视频流116。MMT 客户端106-114基于到异类网络102的连接的类型和MMT客户端的类型（等等），W-个或 多个比特率118-126W及一个或多个分辨率130-138接收视频流116中的一些或全部。到 异类网络102的连接的类型和比特率可W包括高速骨干网连接128、每秒1000兆位（Mbps) 连接118、每秒312千比特化bps)连接120、lMbps连接122、4Mbps连接124、2Mbps连接 126 等等。分辨率 130-138 可W包括W60 赫兹的 1080 逐行（l〇80p) ([email protected]) 130、W lOHz的四分之一通用中间格式（QCIFO132、W24Hz的标准清晰度（standarddefinition, SD) 134、W60Hz的 720 逐行（720p) 136、W30Hz的 720p138 等等。客户端 106-114 的类型 可W包括桌上型计算机106、移动电话108、个人数字助理（PDA) 110、膝上型计算机112W及 平板114。
[0024] 媒体内容，也称为MMT资源，通过MMT容器经由一个或多个M即从MMT服务器104 发送到MMT客户端106-114。MMT资源可W被MMT客户端106-114消费，即使是在并不是 全部M即都被MMT客户端106-114接收到时。MMT容器标识已经接收到和还没有接收到的 MFU，从而MMT客户端106-114可W呈现（render)已经接收到的MFU，而不能呈现还没有接 收到的MFU。
[0025] 图2图示了根据本公开的示例MMT设备202。图2中所示的MMT设备202的实施 例只是用于例示。MMT设备的其它实施例也可W被使用，而不脱离本公开的范围。
[0026]MMT设备202包括天线205、射频脚）收发器210、传送（T幻处理电路215、麦克 风220和接收（R幻处理电路225。MMT设备202还包括扬声器230、处理单元240、输入/ 输出（I/O)接口（I巧245、键盘250、显示器255和存储器260。MMT设备202可W包括任何 数量的该些组件中的每一个。
[0027] 处理单元240包括被配置为运行指令的处理电路，所述指令诸如存储在存储器 260中或存储在处理单元240的内部的指令。存储器260包括基本操作系统（0巧程序261 和一个或多个应用262。MMT设备202可W代表使用MMT的任何适当的设备，诸如MMT客户 端106-114或MMT服务器104。在特定的实施例中，MMT设备202代表移动电话、智能电话、 个人数字助理或平板计算机。MMT设备202经由MMT发送、接收、或显示媒体内容。
[002引在无线网络中，RF收发器210从天线205接收由基站或其它设备传送的进入的 (incoming)RF信号。RF收发器210下变频进入的RF信号W产生中频（I巧或基带信号。IF 或基带信号被发送给RX处理电路225,RX处理电路225产生经处理的基带信号（诸如通过 过滤、解码、和/或数字化基带或IF信号）。RX处理电路225可W将经处理的基带信号提 供给扬声器230 (对于声音数据来说）或提供给处理单元240W供进一步的处理（诸如对 于网络浏览或其它数据来说）。
[0029]TX处理电路215从麦克风220接收模拟或数字声音数据，或者从处理单元240接 收其它发出的（outgoing)基带数据（诸如网络数据、电子邮件或交互式视频游戏数据）。 TX处理电路215编码、复用和/或数字化发出的基带数据W产生经处理的基带或IF信号。 RF收发器210从TX处理电路215接收发出的经处理的基带或IF信号，并且将基带或IF信 号上变频到经由天线205传送的RF信号。
[0030] 在一些实施例中，处理单元240包括具体体现在一个或多个分离的设备中的中央 处理单元（CPU) 242和图形处理单元（GPU) 244。在一些实施例中，CPU242和GPU244被实 施为布置在一个或多个印刷电路板上的一个或多个集成电路。存储器260禪合到处理单元 240。在一些实施例中，存储器260的一部分代表随机存取存储器（RAM)，而存储器260的另 一部分代表用作只读存储器（ROM)的闪速存储器。
[0031] 在一些实施例中，存储器260是存储经由MMT传递媒体内容的程序指令的计算机 可读介质。当该程序指令由处理单元240运行时，程序指令使得处理单元240、CPU242、和 GPU244中的一个或多个运行依据本公开的实施例的各种功能和程序。
[0032 ] 处理单元240运行存储在存储器260中的基本0S程序，W便控制MMT设备202的 总体操作。例如，处理单元240可W依据公知的原理控制RF收发器210、RX处理电路225 和TX处理电路215,W控制前向信道信号的接收和反向信道信号的传送。
[0033] 处理单元240还能够运行驻留在存储器260中的其它过程和程序，诸如用于经由 提示轨道标识M即位置的操作，如下面更详细地描述的。处理单元240还可W按照运行过 程所要求的将数据移动到存储器260内或从存储器260中移出。在一些实施例中，处理单 元240被配置为运行多个应用262。处理单元240可W基于OS程序261或响应于从基站 接收的信号来操作应用262。处理单元240禪合到I/O接口 245,I/O接口 245为MMT设备 202提供了连接到其它设备的能力，其它设备诸如膝上型计算机、手持式计算机W及服务器 计算机。I/O接口 245是该些配件与处理单元240之间的通信路径。
[0034] 处理单元240还可选地禪合到键盘250和显示单元255。MMT设备202的操作者 使用键盘250来将数据输入到MMT设备202中。显示器255可W是液晶显示器、发光二极 管（LED)显示器或能够呈现来自网站的文本和/或至少有限的图形的其它显示器。替换实 施例可W使用其它类型的输入/输出设备和显示器。
[0035] 为了通过异类网际协议（I巧网络环境高效且有效地递送编码的媒体数据，MMT提 供W下元素：
[0036] -构建由用于混聚（mash-up)应用的各种组件组成的内容的逻辑模型；
[0037]-传达关于用于诸如分组和自适应的递送层处理的编码的媒体数据的信息的数据 的结构；
[003引-递送对于通过包括混合递送的TCP或UDP使用的媒体的特定类型或编码方法不 可知的媒体内容的分组方法和分组的结构；
[0039]-用于管理媒体内容的展示和递送的信令消息的格式；
[0040] -用于管理媒体内容的展示和递送的信令消息的格式；
[0041]-将要跨层交换W促进跨层通信的信息的格式。
[0042] 图3图示了根据本公开的由MMT提供的示例功能。图3中所示的实施例只是用于 例示。其它实施例可W被使用，而不脱离本公开的范围。
[0043] 由MMT提供的功能被分类成=个功能区域，即，封装层302、递送层304和信令层 306。封装层302定义媒体内容的逻辑结构、MMT封包（package)化及将由兼容MMT的实体 处理的数据单元的格式。MMT封包包括一个或多个组件，该些组件具有媒体内容和对组件之 间的关系的描述，W向在下面的递送层304提供信息W供自适应操作。数据单元的格式被 定义为封装将作为递送协议的有效载荷存储或携载的并且在不同的递送协议之间容易转 换的媒体内容的编码的媒体数据。
[0044] 递送层304定义应用层协议和有效载荷的格式。与用于递送媒体内容（也称为 "多媒体"）的传统的应用层协议相比，该应用层协议提供了用于递送编码的媒体数据的增 强的特征，诸如复用。有效载荷格式被定义为独立于特定的媒体类型或编码方法地携载编 码的媒体数据。
[0045] 信令层306定义了用于管理MMT封包的递送和消费的消息的格式。用于消费管理 的消息被用来发信号告知（signal)MMT封包的结构。用于递送管理的消息被用来发信号告 知有效载荷格式的结构和协议的配置。
[0046] 封装层302定义了国际标准化组织（ISO)基媒体文件格式（ISOBMF巧内的MMT封 包的逻辑结构和实例化W供分布式存储和通过网络实体的自适应递送。该里，MMT封包定义 了聚合媒体内容（即，MMT资源）的编码的媒体数据和用于递送层处理的信息的逻辑实体。 MMT资源定义携载编码的媒体数据的逻辑结构。MMT资源可相同的MMT资源标识（ID) 来共同引用数个媒体处理单元（MediaProcessingUnit,MPU)。
[0047] 可W由直接连接到MMT客户端的实体个别消费的任何类型的数据是单独的MMT资 源。该不仅包括可W由单个媒体编解码器解码的编码的媒体数据，而且包括已经被复用的 其它类型的数据。MPU根据在下面的递送层分组（packet)大小的约束，诸如在MPU中携载 的数据的小片段的边界和大小，提供关于用于自适应分组的媒体数据的信息。该样的小片 段被称为媒体片段单元（MFU)。该使得在下面的递送层实体能够自适应地基于递送层304 的最大传送单元的大小来动态地分组化MPU。M即携载小片段的编码的媒体数据（该样的 片段可W被独立地解码或丢弃），诸如先进视频编码（AVC)位流的网络抽象层（NAL)单元。
[0048] WIS0BMFF实例化的MMT封装格式包括用于正确地捕获MMT封包的逻辑结构W及 实现MMT目标和利益的若干特征，其包括：
[0049] -MMT封装尽可能多地重复使用IS0BMFF并且IS0BMFF从存储MMT封包的文件中解 析和访问/提取媒体数据的向后兼容性；
[0050] -即使在遗失M即的情况下也能正确地恢复初始结构的抗错鲁椿性；
[CK)5U-由上层和递送实体独立地有效定位和寻址MPU而无需MPU的具体位置的外部寻 址；
[0052]-对用于定时的数据和非定时的数据存储和递送的统一结构的支持；
[005引-易于访问MPU和MFUW易于提取供自适应的分组化的递送的MPU元数据和M即， 并且使得能够在存储格式和递送格式之间的容易地转换，其中理想的是存储格式等于递送 格式；
[0化4]-对于诸如MPEG-2传输流（T巧之类的传统数据格式的封装的支持；W及
[0055]-低冗余。
[0056] 前述MMT设计具有若干已知的问题，包括；
[0057] -对于流中的每个MFU存在MF护框"，该导致了大量的MFU框和非常高的开销（诸 如100字节的MFU框大小和1000字节的NAL大小，从而导致10%的开销）；
[005引 -M即框引用其中的媒体数据，从而限制了经由递送层分组化媒体内容的方式的灵 活性；
[0化9]-存储格式不同于递送格式，并且递送格式并未被清楚地定义；W及
[0060] -非定时的媒体数据W向后不兼容的方式存储。
[0061] 此外，I0SBMFF不提供MMT的各种特征，包括；
[0062] -独立地寻址或消费电影片段；
[0063] -如果在分组化的递送期间存在遗失的部分或分组，则正确地解析和消费电影片 段；化及
[0064] -用于支持适应于在下面的递送网络的最大传输单元（MTU)的大小的分组化的提 示轨道的一般用途。
[0065] 本公开的实施例通过定义用于MFU结构的提示轨道来将MMT内容封装在IS0BMFF 中。每个MFU在MMT的提示轨道的提示样本中被描述。MMT提示轨道的提示样本对应于用 来递送MFU的MFU标头。MMT提示样本携载关于相应的媒体数据的位置的信息。MMT设备 使用该个信息W及MFU序号、MPU序号和资源标识符来在正确地标识由于递送遗失的MFU的 同时，恢复初始的MMT资源结构。
[0066] 在一些实施例中，MMT提示样本等于MMT片段单元标头，如联系图4所示和讨论 的。一些实施例还可W具有在每个样本的基础上交织的MMT提示轨道样本和MMT媒体轨道 样本，诸如当每个M即是一个样本并且在提示轨道和媒体轨道两者中每个组块（chunk)都 包括一个样本时，如联系图5和图6所示和讨论的。
[0067] 图4图示了根据本公开的示例MMT封装。图4中所示的实施例只是为了例示。其 它实施例可W被使用，而不脱离本公开的范围。
[0068] 如图4中所示，MMT资源（mast) 402和MPU框（mmpu) 404通过单独的框来划界。该 些框促进了外部可寻址性。该里示出的存储格式不同于递送格式，并且MMT服务器使用MMT 提示轨道406在分组操作期间将存储格式转换为递送格式。MMT服务器存储定时的媒体作 为ISOBMFF的轨道，其包含单个的媒体轨道408。MMT服务器在ISOBMFF中存储非定时的媒 体作为元数据的一部分。
[00例 ISOBMFF的媒体轨道408W完全向后兼容的方式经由"moov"框410来索引 (index)。MPU框404在文件的结尾或在随后的MPU的开始之前结束，W含蓄地指示MPU的 边界，并且允许更灵活地编辑、记录W及增加生成直播内容。在一些实施例中，ISOBMFF的 媒体轨道408通过"moof"框（诸如图5中的moof框502)来索引。
[0070] MMT提示轨道406在将存储的MMT资源402转换为分组化的媒体流时引导递送层 实体，诸如MMT服务器104或MMT客户端106-114。分组化的媒体流由MMT服务器使用MMT 协议（MMT巧作为递送协议递送到MMT客户端。
[0071] MMT提示轨道408向生成递送分组的实体（诸如，MMT服务器104)提供用于自适 应的分组和递送决定的MPU的M即的位置信息。分组和递送决定包括统计地复用和丢弃一 些MFU从应对即时的网络拥塞。在MMT容器内的MMT资源的媒体数据与MMT提示样本一起 被提取W生成MMT分组。然后一个或多个MFU可W被用来构建单个的MMTP分组。因此，存 储格式并不完全与递送格式相同，该要求能够在运行时提取和封装媒体数据的主动网络实 体构建MMTP分组。媒体数据可ISOBMFF兼容的实体可解析媒体数据的方式存储。
[0072] MMT提示轨道406将关于M即的信息提供给用于生成MMT分组的网络实体。如果 不要求用于递送的MPU的进一步的片段化，则提示轨道406可W被完全省略。
[0073] 在一些实施例中，MMT提示轨道（诸如提示轨道406)是在"mmth"的样本描述中 具有输入格式的提示轨道，并且可W被定义为例如：
[0074]
[0075] W上所示的样本描述格式只是为了例示 。其它实施例可W被使用，而不脱离本公 开的范围。W上样本描述格式的语义包括：
[0076] -has_nrfus_flag指示MPU是否提供关于MFU的信息，当MPU不提供关于MFU的信 息时，提示轨道是否提供完整的MPU W使得由提示轨道标识的每个MFU可W具有单个的样 本，W及每个提示样本是否指代当MPU提供关于M即的信息时的MFU;W及
[0077] -is_timed;指示由该个轨道提示的媒体是定时的还是不是定时的。
[007引每个媒体样本被分配给一个或多个M即。MMT提示轨道的每个样本可W生成可使 用W下语法的一个或多个MFU:
[0079]
[0080]W上所示的样本格式只是为了例示。其它实施例可W被使用，而不脱离本公开的 范围。W上样本格式的语法包括：
[0081] -sequence_number是分配给该个MFU的序号；
[0082] -trackref index是从其中提取MFU数据的媒体轨道的标识；
[0083] -samplenumber是分配给从其中提取该个MFU的样本的序号；
[0084] -item_ID是指构建该个用于非定时的媒体数据的MFU的项目；
[0085] -offset给出了媒体数据的偏移，并且偏移基础是包含样本的"mdat"框的开始；
[0086] -length给出了W字节为单位的MW的长度；W及
[0087] -mfu_lost_flag指示M即是否已经丢失，诸如相应的媒体数据是否遗失。
[008引图5图示了根据本公开的具有定时的媒体的样本级别提示轨道和样本级别媒体 轨道的示例MMT封装。图5中所示的实施例只是为了例示。其它实施例可W被使用，而不 脱离本公开的范围。
[0089] 在用于样本递送的基于样本的交织中，递送格式对应于MMT有效载荷格式，并且 包括MFU标头和MFU媒体数据。MFU标头是提示样本的复本，其促进了MMTP有效载荷和分 组的创建。
[0090] 在图5中，提示轨道504和媒体轨道506在MMT容器508的"moof"框502的内 部按样本级别交织。该导致每个组块的一个样本和直接的分组过程。MMT容器508还包括 "111331，，框510、"111〇〇￥，，框512、"臟911，，框514、"111〇〇^，框 502 和518^及"111(131，，框516和 520。moof框502和518包括MMT提示轨道504和522W及媒体轨道506和524。mdat框 516和520包括一个或多个MFU522。MFU522包括血W标头524和有效载荷526。每个 M即标头524包括MFU序号，并且可选地包括mfu_lost_flag。
[0091] 图6图示了根据本公开的不包括定时的媒体的媒体的示例MMT封装。图6中所示 的实施例只是为了例示。其它实施例可W被使用，而不脱离本公开的范围。
[0092] 在图6中，提示轨道602在MMT容器606的"moov"框604内。MMT容器606包括 "mast"框 610、"moov"框 604、"mmpu"框 614、"meta"框 632W及"mdat"框 620。moov框 604 包括MMT提示轨道 602。meta框 632 包括"hdlr"框 602、"iloc"框 630W及"iinf" 框628。mdat框620包括一个或多个MFU622,每个MFU622包括血W标头624和有效载荷 626。
[0093] 图7图示了根据本公开的用于接收MFU的示例方法。在图7中描绘的过程可 任何适当的方式来实施，诸如由MMT服务器104、MMT客户端106-114中的处理电路、或其它 设备实施。
[0094] 在块702中，MMT设备，诸如MMT服务器104或客户端106-114,接收MMT容器的 MFU。该MFU是用来传递包含在MMT容器中的媒体内容的一个或多个MFU之一。在块704 中，MMT设备将MFU拆分为MFU标头和MFU媒体数据。在块706中，MMT设备使用MPU元数 据和来自M即标头的MFU序号来定位MMT容器中的M即提示样本。在一些实施例中，MMT设 备解析对应于MFU提示样本的MFU标头。
[0095] 在块708中，MMT设备确定MMT容器的媒体内容是否包括定时的媒体。如果媒体 内容包括定时的媒体，则过程继续到块710。如果媒体内容不包括定时的媒体，则过程继续 到块712。在块710中，MMT设备使用MPU元数据和MFU样本信息来定位MMT容器中的来自 接收到的血W的血W媒体数据。然后过程继续到块714。在块712中，MMT设备使用MPU元 数据和项目标识符来定位MMT容器中的媒体数据。然后过程继续到块714。
[0096] 在块714中，MMT设备在MMT容器中标记MPU元数据中的遗失的血W。在一些实施 例中，遗失的M即经由对于MMT容器的"mdat"框内的每个M即使用mfu_lost_flag值来标 记。
[0097] 如果MMT资源包括定时的媒体，则MMT设备在处理期间将MMT提示样本放置在MMT 容器内的正确位置。所述放置基于M即序号，其被转化为提示样本中的样本号。MMT设备 还使用样本和M即标头中的偏移信息与媒体轨道的样本表一起（诸如"stco"、"stsz"和 "stsc"表或"trim"表）来定位在MMT容器中的媒体数据的位置。如果在递送期间存在任 何遗失的MFU，则MMT容器中的相应的区域保持为空。在该样做时，MMT设备可W安全地定 位被正确接收的M即的数据，而跳过由于递送遗失的MW。
[009引虽然各种特征已经在图中示出并在W上进行了描述，但是可W对图做出各种改 变。例如，图中示出的组件的大小、形状、安排W及布局只是为了例示。每个组件可W具有 任何适当的大小、形状W及维度，并且多个组件可W具有任何适当的安排和布局。而且，图 中的各种组件可W被组合、进一步细分、或者省略，并且另外的组件可W根据特定的需求而 被添加。另外，设备或系统中的每个组件可W使用用于执行所描述的（多个）功能的任何 适当的（多个）结构来实施。此外，虽然图7图示了各种系列的步骤，但是图7中的各种步 骤可W重叠、并行发生、多次发生、或者W不同次序发生。
[0099]虽然本公开已经描述了某些实施例和通常关联的方法，但是该些实施例和方法的 变更和置换对于本领域技术人员来说将是清楚的。因此，对示例实施的W上描述并不定义 或限制本公开。其它改变、替换W及变更也是可能的，而不脱离如所附权利要求所定义的本 公开的精神和范围。
【主权项】
1. 一种装置，包括： 接收路径电路，被配置为接收运动图像专家组（MPEG)媒体传输（MMT)容器；以及 处理设备，被配置为使用在MMT容器内的提示轨道来标识一个或多个媒体片段单元 (MFU)在MMT容器中的位置。2. 如权利要求1所述的装置，其中： 所述MMT容器是国际标准化组织（ISO)基媒体文件格式（ISOBMFF)文件；并且 所述提示轨道被包含在MMT容器的moov框内。3. 如权利要求1所述的装置，其中： 提示轨道的片段被包含在MMT容器的moof框内；并且 通过提示轨道片段索引的提示样本在逐样本的基础上交织。4. 如权利要求1所述的装置，其中，一个或多个MFU中的每一个的标头包括MFU的序 号。5. 如权利要求4所述的装置，其中，一个或多个MFU中的每一个的标头包括MFU的MFU 丢失标志，所述MFU丢失标志标识MFU是否被所述装置接收到。6. 如权利要求5所述的装置，其中，在接收一个或多个MFU之后，没有被接收到的MFU 的MFU丢失标志被标记为遗失。7. 如权利要求1所述的装置，其中： 所述MMT容器包括定时的媒体；并且 在MMT容器内的媒体处理单元（MPU)的元数据标识一个或多个MFU在MMT容器中的位 置。8. -种装置，包括： 传送路径电路，被配置为传送运动图像专家组（MPEG)媒体传输（MMT)容器；以及 处理设备，被配置为将提示轨道包括在MMT容器内，所述提示轨道标识一个或多个媒 体片段单元（MFU)在MMT容器中的位置。9. 如权利要求8所述的装置，其中： 所述MMT容器是国际标准化组织（ISO)基媒体文件格式（ISOBMFF)文件；并且 所述提示轨道被包含在MMT容器的moov框内。10. 如权利要求8所述的装置，其中： 提示轨道被包含在MMT容器的moof框内；并且 通过提示轨道索引的提示样本在逐样本的基础上交织。11. 如权利要求8所述的装置，其中，一个或多个MFU中的每一个的标头包括MFU的序 号。12. 如权利要求11所述的装置，其中，一个或多个MFU中的每一个的标头包括保留用于 MFU的MFU丢失标志的空间。13. 如权利要求8所述的装置，其中： MMT容器包括定时的媒体；并且 在MMT容器内的媒体处理单元（MPU)的元数据标识一个或多个MFU在MMT容器中的位 置。14. 一种根据权利要求1至7之一实施的方法。15. -种根据权利要求8至13之一实施的方法。
【专利摘要】一种装置包括被配置为接收运动图像专家组(MPEG)媒体传输(MMT)容器的接收路径电路和被配置为使用在MMT容器内的提示轨道来标识一个或多个媒体片段单元(MFU)在MMT容器中的位置的处理设备。另一装置包括被配置为传送MMT容器的传送路径电路和被配置为使用在MMT容器内的提示轨道来标识一个或多个MFU在MMT容器中的位置的处理设备。
【IPC分类】H04N21/854, H04L29/08
【公开号】CN104904233
【申请号】CN201380062645
【发明人】I.鲍阿齐齐, 林荣权, K.P.布哈特
【申请人】三星电子株式会社
【公开日】2015年9月9日
【申请日】2013年11月28日
【公告号】CA2893122A1, EP2926564A1, US20140149545, WO2014084643A1
【技术领域】
[0001] 本公开一般设及传递用于封装国际标准化组织（ISO)基媒体文件炬aseMedia File)中的运动图像专家组（MPEG)媒体传输（MMT)资源（asset)的媒体内容的方法和装 置。
【背景技术】
[0002] 运动图像专家组（MPEG)媒体传输（MMT)规定了用于通过异类网际协议（I巧网络 环境来递送用于多媒体服务的编码的媒体数据的技术。所递送的编码的媒体数据包括W下 两者；a)其数据单元具有固有时间线的视听媒体数据（即，定时的数据）；w及（U)它们 的数据单元当中不具有固有时间线的其它类型的数据（即，非定时的数据）。
【发明内容】
[000引技术问题
[0004] MMT是在编码的媒体数据使用诸如实时传输协议（RT巧、传送控制协议（TCP)W及 用户数据报协议扣D巧之类的网际协议通过基于分组的递送网络来递送的假设下而设计 的。
[000引技术方案
[0006] 本公开提供用于封装国际标准化组织（ISO)基媒体文件中的运动图像专家组 (MPEG)媒体传输（MMT)资源的方法和装置。
[0007] 在第一实施例中，一种装置包括被配置为接收MMT容器（container)的接收路径 电路。该装置还包括被配置为使用在MMT容器内的提示轨道化inttrack)来标识一个或 多个媒体片段单元（media化agmentunit，MFU)在MMT容器中的位置的处理设备。
[000引在第二实施例中，一种装置包括被配置为传送MMT容器的传送路径电路。该装置 还包括被配置为使用在MMT容器内的提示轨道来标识一个或多个媒体片段单元（MFU)在 MMT容器中的位置的处理设备。
[0009] 在第S实施例中，一种方法包括接收MMT容器。该方法还包括使用在MMT容器内 的提示轨道来标识一个或多个媒体片段单元（MFU)在MMT容器中的位置。
[0010] 在第四实施例中，一种方法包括接收MMT容器的MFU，标识遗失的MFU，适当地标记 它们或调整元数据W供正确的处理。
[0011] 从W下图、描述和权利要求中，其它技术特征可W被本领域技术人员容易地理解。
[0012] 在进行下面的详细描述之前，阐述某些贯穿本专利文档使用的词汇和短语的定义 会是有利的；术语"包括"和"包含"W及其变型意味着没有限制的包含。术语"或"是包含 性的，意味着和/或。短语"与……相关联及其变型可W意味着包括、包括在……内、 与……互连、包含、包含在……内、连接到或与……连接、禪合到或与……禪合、可与……通 信、与……协作、交织、并列、靠近、绑定到或与……绑定、具有、有……的性质、具有与…… 的关系等。术语"控制器"意味着控制至少一个操作的任何设备、系统或它们的部分，并且该 样的设备可硬件、或者硬件与软件/固件的组合来实施。应当注意，与任何特定的控制 器相关联的功能可W是集中化的或分布式的，无论是本地还是远程。短语"……中的至少一 个"，当与一列项目一起使用时，意味着可W使用一个或多个列出的项目的不同的组合，并 且可能只需要列表中的一个项目。例如，"A、B和C中的至少一个"包括任何W下组合；A、B、 C、A和B、A和C、B和C、W及A和B和C。贯穿本专利文档提供了某些词汇和短语的定义， 并且本领域普通技术人员应当理解，在许多实例中（如果不是大多数实例的话），该样的定 义适用于该些定义的词汇和短语在先前W及在将来的使用。
【附图说明】
[0013] 为了更全面地理解本公开及其优点，现在结合附图参考W下描述，在附图中同样 的参考标号表示同样的部分：
[0014] 图1图示了根据本公开的通过异类网络到多样的客户端的示例可伸缩 (seal油le)视频递送；
[0015] 图2图不了根据本公开的不例MMT设备；
[0016] 图3图示了根据本公开的由运动图像专家组（MPEG)媒体传输（MMT)提供的示例 功能；
[0017] 图4图示了根据本公开的示例MMT封装；
[001引图5图示了根据本公开的具有定时的媒体的样本级别（samplelevel)提示轨道 和样本级别媒体轨道的示例MMT封装；
[0019] 图6图示了根据本公开的不包括定时的媒体的媒体的示例MMT封装拟及
[0020] 图7图示了根据本公开的用于接收媒体片段单元（MFU)的示例方法。
【具体实施方式】
[0021] 下面讨论的图1到图7W及用来在本专利文档中描述本公开的原理的各个实施例 只是作为例示，而不应W任何方式被解释为限制本公开的范围。本领域技术人员理解，本公 开的原理可W在任何适当的设备或系统中实施。
[0022] 图1图示了根据本公开的通过异类网络到多样的客户端的示例可伸缩视频递送。 图1中所示的实施例只是用于例示。其它实施例可W被使用，而不脱离本公开的范围。
[0023] 异类网络102包括向MMT客户端106-114供应媒体内容（诸如图像、音频W及视 频内容）的运动图像专家组（MPEG)媒体传输（MMT)服务器104。MMT服务器104和MMT客 户端106-114代表MMT设备，并且可W如图2中所示地实施或W任何其它适当的方式实施。 MMT服务器104可W经由异类网络102向MMT客户端106-114发送全分辨率视频流116。MMT 客户端106-114基于到异类网络102的连接的类型和MMT客户端的类型（等等），W-个或 多个比特率118-126W及一个或多个分辨率130-138接收视频流116中的一些或全部。到 异类网络102的连接的类型和比特率可W包括高速骨干网连接128、每秒1000兆位（Mbps) 连接118、每秒312千比特化bps)连接120、lMbps连接122、4Mbps连接124、2Mbps连接 126 等等。分辨率 130-138 可W包括W60 赫兹的 1080 逐行（l〇80p) ([email protected]) 130、W lOHz的四分之一通用中间格式（QCIFO132、W24Hz的标准清晰度（standarddefinition, SD) 134、W60Hz的 720 逐行（720p) 136、W30Hz的 720p138 等等。客户端 106-114 的类型 可W包括桌上型计算机106、移动电话108、个人数字助理（PDA) 110、膝上型计算机112W及 平板114。
[0024] 媒体内容，也称为MMT资源，通过MMT容器经由一个或多个M即从MMT服务器104 发送到MMT客户端106-114。MMT资源可W被MMT客户端106-114消费，即使是在并不是 全部M即都被MMT客户端106-114接收到时。MMT容器标识已经接收到和还没有接收到的 MFU，从而MMT客户端106-114可W呈现（render)已经接收到的MFU，而不能呈现还没有接 收到的MFU。
[0025] 图2图示了根据本公开的示例MMT设备202。图2中所示的MMT设备202的实施 例只是用于例示。MMT设备的其它实施例也可W被使用，而不脱离本公开的范围。
[0026]MMT设备202包括天线205、射频脚）收发器210、传送（T幻处理电路215、麦克 风220和接收（R幻处理电路225。MMT设备202还包括扬声器230、处理单元240、输入/ 输出（I/O)接口（I巧245、键盘250、显示器255和存储器260。MMT设备202可W包括任何 数量的该些组件中的每一个。
[0027] 处理单元240包括被配置为运行指令的处理电路，所述指令诸如存储在存储器 260中或存储在处理单元240的内部的指令。存储器260包括基本操作系统（0巧程序261 和一个或多个应用262。MMT设备202可W代表使用MMT的任何适当的设备，诸如MMT客户 端106-114或MMT服务器104。在特定的实施例中，MMT设备202代表移动电话、智能电话、 个人数字助理或平板计算机。MMT设备202经由MMT发送、接收、或显示媒体内容。
[002引在无线网络中，RF收发器210从天线205接收由基站或其它设备传送的进入的 (incoming)RF信号。RF收发器210下变频进入的RF信号W产生中频（I巧或基带信号。IF 或基带信号被发送给RX处理电路225,RX处理电路225产生经处理的基带信号（诸如通过 过滤、解码、和/或数字化基带或IF信号）。RX处理电路225可W将经处理的基带信号提 供给扬声器230 (对于声音数据来说）或提供给处理单元240W供进一步的处理（诸如对 于网络浏览或其它数据来说）。
[0029]TX处理电路215从麦克风220接收模拟或数字声音数据，或者从处理单元240接 收其它发出的（outgoing)基带数据（诸如网络数据、电子邮件或交互式视频游戏数据）。 TX处理电路215编码、复用和/或数字化发出的基带数据W产生经处理的基带或IF信号。 RF收发器210从TX处理电路215接收发出的经处理的基带或IF信号，并且将基带或IF信 号上变频到经由天线205传送的RF信号。
[0030] 在一些实施例中，处理单元240包括具体体现在一个或多个分离的设备中的中央 处理单元（CPU) 242和图形处理单元（GPU) 244。在一些实施例中，CPU242和GPU244被实 施为布置在一个或多个印刷电路板上的一个或多个集成电路。存储器260禪合到处理单元 240。在一些实施例中，存储器260的一部分代表随机存取存储器（RAM)，而存储器260的另 一部分代表用作只读存储器（ROM)的闪速存储器。
[0031] 在一些实施例中，存储器260是存储经由MMT传递媒体内容的程序指令的计算机 可读介质。当该程序指令由处理单元240运行时，程序指令使得处理单元240、CPU242、和 GPU244中的一个或多个运行依据本公开的实施例的各种功能和程序。
[0032 ] 处理单元240运行存储在存储器260中的基本0S程序，W便控制MMT设备202的 总体操作。例如，处理单元240可W依据公知的原理控制RF收发器210、RX处理电路225 和TX处理电路215,W控制前向信道信号的接收和反向信道信号的传送。
[0033] 处理单元240还能够运行驻留在存储器260中的其它过程和程序，诸如用于经由 提示轨道标识M即位置的操作，如下面更详细地描述的。处理单元240还可W按照运行过 程所要求的将数据移动到存储器260内或从存储器260中移出。在一些实施例中，处理单 元240被配置为运行多个应用262。处理单元240可W基于OS程序261或响应于从基站 接收的信号来操作应用262。处理单元240禪合到I/O接口 245,I/O接口 245为MMT设备 202提供了连接到其它设备的能力，其它设备诸如膝上型计算机、手持式计算机W及服务器 计算机。I/O接口 245是该些配件与处理单元240之间的通信路径。
[0034] 处理单元240还可选地禪合到键盘250和显示单元255。MMT设备202的操作者 使用键盘250来将数据输入到MMT设备202中。显示器255可W是液晶显示器、发光二极 管（LED)显示器或能够呈现来自网站的文本和/或至少有限的图形的其它显示器。替换实 施例可W使用其它类型的输入/输出设备和显示器。
[0035] 为了通过异类网际协议（I巧网络环境高效且有效地递送编码的媒体数据，MMT提 供W下元素：
[0036] -构建由用于混聚（mash-up)应用的各种组件组成的内容的逻辑模型；
[0037]-传达关于用于诸如分组和自适应的递送层处理的编码的媒体数据的信息的数据 的结构；
[003引-递送对于通过包括混合递送的TCP或UDP使用的媒体的特定类型或编码方法不 可知的媒体内容的分组方法和分组的结构；
[0039]-用于管理媒体内容的展示和递送的信令消息的格式；
[0040] -用于管理媒体内容的展示和递送的信令消息的格式；
[0041]-将要跨层交换W促进跨层通信的信息的格式。
[0042] 图3图示了根据本公开的由MMT提供的示例功能。图3中所示的实施例只是用于 例示。其它实施例可W被使用，而不脱离本公开的范围。
[0043] 由MMT提供的功能被分类成=个功能区域，即，封装层302、递送层304和信令层 306。封装层302定义媒体内容的逻辑结构、MMT封包（package)化及将由兼容MMT的实体 处理的数据单元的格式。MMT封包包括一个或多个组件，该些组件具有媒体内容和对组件之 间的关系的描述，W向在下面的递送层304提供信息W供自适应操作。数据单元的格式被 定义为封装将作为递送协议的有效载荷存储或携载的并且在不同的递送协议之间容易转 换的媒体内容的编码的媒体数据。
[0044] 递送层304定义应用层协议和有效载荷的格式。与用于递送媒体内容（也称为 "多媒体"）的传统的应用层协议相比，该应用层协议提供了用于递送编码的媒体数据的增 强的特征，诸如复用。有效载荷格式被定义为独立于特定的媒体类型或编码方法地携载编 码的媒体数据。
[0045] 信令层306定义了用于管理MMT封包的递送和消费的消息的格式。用于消费管理 的消息被用来发信号告知（signal)MMT封包的结构。用于递送管理的消息被用来发信号告 知有效载荷格式的结构和协议的配置。
[0046] 封装层302定义了国际标准化组织（ISO)基媒体文件格式（ISOBMF巧内的MMT封 包的逻辑结构和实例化W供分布式存储和通过网络实体的自适应递送。该里，MMT封包定义 了聚合媒体内容（即，MMT资源）的编码的媒体数据和用于递送层处理的信息的逻辑实体。 MMT资源定义携载编码的媒体数据的逻辑结构。MMT资源可相同的MMT资源标识（ID) 来共同引用数个媒体处理单元（MediaProcessingUnit,MPU)。
[0047] 可W由直接连接到MMT客户端的实体个别消费的任何类型的数据是单独的MMT资 源。该不仅包括可W由单个媒体编解码器解码的编码的媒体数据，而且包括已经被复用的 其它类型的数据。MPU根据在下面的递送层分组（packet)大小的约束，诸如在MPU中携载 的数据的小片段的边界和大小，提供关于用于自适应分组的媒体数据的信息。该样的小片 段被称为媒体片段单元（MFU)。该使得在下面的递送层实体能够自适应地基于递送层304 的最大传送单元的大小来动态地分组化MPU。M即携载小片段的编码的媒体数据（该样的 片段可W被独立地解码或丢弃），诸如先进视频编码（AVC)位流的网络抽象层（NAL)单元。
[0048] WIS0BMFF实例化的MMT封装格式包括用于正确地捕获MMT封包的逻辑结构W及 实现MMT目标和利益的若干特征，其包括：
[0049] -MMT封装尽可能多地重复使用IS0BMFF并且IS0BMFF从存储MMT封包的文件中解 析和访问/提取媒体数据的向后兼容性；
[0050] -即使在遗失M即的情况下也能正确地恢复初始结构的抗错鲁椿性；
[CK)5U-由上层和递送实体独立地有效定位和寻址MPU而无需MPU的具体位置的外部寻 址；
[0052]-对用于定时的数据和非定时的数据存储和递送的统一结构的支持；
[005引-易于访问MPU和MFUW易于提取供自适应的分组化的递送的MPU元数据和M即， 并且使得能够在存储格式和递送格式之间的容易地转换，其中理想的是存储格式等于递送 格式；
[0化4]-对于诸如MPEG-2传输流（T巧之类的传统数据格式的封装的支持；W及
[0055]-低冗余。
[0056] 前述MMT设计具有若干已知的问题，包括；
[0057] -对于流中的每个MFU存在MF护框"，该导致了大量的MFU框和非常高的开销（诸 如100字节的MFU框大小和1000字节的NAL大小，从而导致10%的开销）；
[005引 -M即框引用其中的媒体数据，从而限制了经由递送层分组化媒体内容的方式的灵 活性；
[0化9]-存储格式不同于递送格式，并且递送格式并未被清楚地定义；W及
[0060] -非定时的媒体数据W向后不兼容的方式存储。
[0061] 此外，I0SBMFF不提供MMT的各种特征，包括；
[0062] -独立地寻址或消费电影片段；
[0063] -如果在分组化的递送期间存在遗失的部分或分组，则正确地解析和消费电影片 段；化及
[0064] -用于支持适应于在下面的递送网络的最大传输单元（MTU)的大小的分组化的提 示轨道的一般用途。
[0065] 本公开的实施例通过定义用于MFU结构的提示轨道来将MMT内容封装在IS0BMFF 中。每个MFU在MMT的提示轨道的提示样本中被描述。MMT提示轨道的提示样本对应于用 来递送MFU的MFU标头。MMT提示样本携载关于相应的媒体数据的位置的信息。MMT设备 使用该个信息W及MFU序号、MPU序号和资源标识符来在正确地标识由于递送遗失的MFU的 同时，恢复初始的MMT资源结构。
[0066] 在一些实施例中，MMT提示样本等于MMT片段单元标头，如联系图4所示和讨论 的。一些实施例还可W具有在每个样本的基础上交织的MMT提示轨道样本和MMT媒体轨道 样本，诸如当每个M即是一个样本并且在提示轨道和媒体轨道两者中每个组块（chunk)都 包括一个样本时，如联系图5和图6所示和讨论的。
[0067] 图4图示了根据本公开的示例MMT封装。图4中所示的实施例只是为了例示。其 它实施例可W被使用，而不脱离本公开的范围。
[0068] 如图4中所示，MMT资源（mast) 402和MPU框（mmpu) 404通过单独的框来划界。该 些框促进了外部可寻址性。该里示出的存储格式不同于递送格式，并且MMT服务器使用MMT 提示轨道406在分组操作期间将存储格式转换为递送格式。MMT服务器存储定时的媒体作 为ISOBMFF的轨道，其包含单个的媒体轨道408。MMT服务器在ISOBMFF中存储非定时的媒 体作为元数据的一部分。
[00例 ISOBMFF的媒体轨道408W完全向后兼容的方式经由"moov"框410来索引 (index)。MPU框404在文件的结尾或在随后的MPU的开始之前结束，W含蓄地指示MPU的 边界，并且允许更灵活地编辑、记录W及增加生成直播内容。在一些实施例中，ISOBMFF的 媒体轨道408通过"moof"框（诸如图5中的moof框502)来索引。
[0070] MMT提示轨道406在将存储的MMT资源402转换为分组化的媒体流时引导递送层 实体，诸如MMT服务器104或MMT客户端106-114。分组化的媒体流由MMT服务器使用MMT 协议（MMT巧作为递送协议递送到MMT客户端。
[0071] MMT提示轨道408向生成递送分组的实体（诸如，MMT服务器104)提供用于自适 应的分组和递送决定的MPU的M即的位置信息。分组和递送决定包括统计地复用和丢弃一 些MFU从应对即时的网络拥塞。在MMT容器内的MMT资源的媒体数据与MMT提示样本一起 被提取W生成MMT分组。然后一个或多个MFU可W被用来构建单个的MMTP分组。因此，存 储格式并不完全与递送格式相同，该要求能够在运行时提取和封装媒体数据的主动网络实 体构建MMTP分组。媒体数据可ISOBMFF兼容的实体可解析媒体数据的方式存储。
[0072] MMT提示轨道406将关于M即的信息提供给用于生成MMT分组的网络实体。如果 不要求用于递送的MPU的进一步的片段化，则提示轨道406可W被完全省略。
[0073] 在一些实施例中，MMT提示轨道（诸如提示轨道406)是在"mmth"的样本描述中 具有输入格式的提示轨道，并且可W被定义为例如：
[0074]
[0075] W上所示的样本描述格式只是为了例示 。其它实施例可W被使用，而不脱离本公 开的范围。W上样本描述格式的语义包括：
[0076] -has_nrfus_flag指示MPU是否提供关于MFU的信息，当MPU不提供关于MFU的信 息时，提示轨道是否提供完整的MPU W使得由提示轨道标识的每个MFU可W具有单个的样 本，W及每个提示样本是否指代当MPU提供关于M即的信息时的MFU;W及
[0077] -is_timed;指示由该个轨道提示的媒体是定时的还是不是定时的。
[007引每个媒体样本被分配给一个或多个M即。MMT提示轨道的每个样本可W生成可使 用W下语法的一个或多个MFU:
[0079]
[0080]W上所示的样本格式只是为了例示。其它实施例可W被使用，而不脱离本公开的 范围。W上样本格式的语法包括：
[0081] -sequence_number是分配给该个MFU的序号；
[0082] -trackref index是从其中提取MFU数据的媒体轨道的标识；
[0083] -samplenumber是分配给从其中提取该个MFU的样本的序号；
[0084] -item_ID是指构建该个用于非定时的媒体数据的MFU的项目；
[0085] -offset给出了媒体数据的偏移，并且偏移基础是包含样本的"mdat"框的开始；
[0086] -length给出了W字节为单位的MW的长度；W及
[0087] -mfu_lost_flag指示M即是否已经丢失，诸如相应的媒体数据是否遗失。
[008引图5图示了根据本公开的具有定时的媒体的样本级别提示轨道和样本级别媒体 轨道的示例MMT封装。图5中所示的实施例只是为了例示。其它实施例可W被使用，而不 脱离本公开的范围。
[0089] 在用于样本递送的基于样本的交织中，递送格式对应于MMT有效载荷格式，并且 包括MFU标头和MFU媒体数据。MFU标头是提示样本的复本，其促进了MMTP有效载荷和分 组的创建。
[0090] 在图5中，提示轨道504和媒体轨道506在MMT容器508的"moof"框502的内 部按样本级别交织。该导致每个组块的一个样本和直接的分组过程。MMT容器508还包括 "111331，，框510、"111〇〇￥，，框512、"臟911，，框514、"111〇〇^，框 502 和518^及"111(131，，框516和 520。moof框502和518包括MMT提示轨道504和522W及媒体轨道506和524。mdat框 516和520包括一个或多个MFU522。MFU522包括血W标头524和有效载荷526。每个 M即标头524包括MFU序号，并且可选地包括mfu_lost_flag。
[0091] 图6图示了根据本公开的不包括定时的媒体的媒体的示例MMT封装。图6中所示 的实施例只是为了例示。其它实施例可W被使用，而不脱离本公开的范围。
[0092] 在图6中，提示轨道602在MMT容器606的"moov"框604内。MMT容器606包括 "mast"框 610、"moov"框 604、"mmpu"框 614、"meta"框 632W及"mdat"框 620。moov框 604 包括MMT提示轨道 602。meta框 632 包括"hdlr"框 602、"iloc"框 630W及"iinf" 框628。mdat框620包括一个或多个MFU622,每个MFU622包括血W标头624和有效载荷 626。
[0093] 图7图示了根据本公开的用于接收MFU的示例方法。在图7中描绘的过程可 任何适当的方式来实施，诸如由MMT服务器104、MMT客户端106-114中的处理电路、或其它 设备实施。
[0094] 在块702中，MMT设备，诸如MMT服务器104或客户端106-114,接收MMT容器的 MFU。该MFU是用来传递包含在MMT容器中的媒体内容的一个或多个MFU之一。在块704 中，MMT设备将MFU拆分为MFU标头和MFU媒体数据。在块706中，MMT设备使用MPU元数 据和来自M即标头的MFU序号来定位MMT容器中的M即提示样本。在一些实施例中，MMT设 备解析对应于MFU提示样本的MFU标头。
[0095] 在块708中，MMT设备确定MMT容器的媒体内容是否包括定时的媒体。如果媒体 内容包括定时的媒体，则过程继续到块710。如果媒体内容不包括定时的媒体，则过程继续 到块712。在块710中，MMT设备使用MPU元数据和MFU样本信息来定位MMT容器中的来自 接收到的血W的血W媒体数据。然后过程继续到块714。在块712中，MMT设备使用MPU元 数据和项目标识符来定位MMT容器中的媒体数据。然后过程继续到块714。
[0096] 在块714中，MMT设备在MMT容器中标记MPU元数据中的遗失的血W。在一些实施 例中，遗失的M即经由对于MMT容器的"mdat"框内的每个M即使用mfu_lost_flag值来标 记。
[0097] 如果MMT资源包括定时的媒体，则MMT设备在处理期间将MMT提示样本放置在MMT 容器内的正确位置。所述放置基于M即序号，其被转化为提示样本中的样本号。MMT设备 还使用样本和M即标头中的偏移信息与媒体轨道的样本表一起（诸如"stco"、"stsz"和 "stsc"表或"trim"表）来定位在MMT容器中的媒体数据的位置。如果在递送期间存在任 何遗失的MFU，则MMT容器中的相应的区域保持为空。在该样做时，MMT设备可W安全地定 位被正确接收的M即的数据，而跳过由于递送遗失的MW。
[009引虽然各种特征已经在图中示出并在W上进行了描述，但是可W对图做出各种改 变。例如，图中示出的组件的大小、形状、安排W及布局只是为了例示。每个组件可W具有 任何适当的大小、形状W及维度，并且多个组件可W具有任何适当的安排和布局。而且，图 中的各种组件可W被组合、进一步细分、或者省略，并且另外的组件可W根据特定的需求而 被添加。另外，设备或系统中的每个组件可W使用用于执行所描述的（多个）功能的任何 适当的（多个）结构来实施。此外，虽然图7图示了各种系列的步骤，但是图7中的各种步 骤可W重叠、并行发生、多次发生、或者W不同次序发生。
[0099]虽然本公开已经描述了某些实施例和通常关联的方法，但是该些实施例和方法的 变更和置换对于本领域技术人员来说将是清楚的。因此，对示例实施的W上描述并不定义 或限制本公开。其它改变、替换W及变更也是可能的，而不脱离如所附权利要求所定义的本 公开的精神和范围。
【主权项】
1. 一种装置，包括： 接收路径电路，被配置为接收运动图像专家组（MPEG)媒体传输（MMT)容器；以及 处理设备，被配置为使用在MMT容器内的提示轨道来标识一个或多个媒体片段单元 (MFU)在MMT容器中的位置。2. 如权利要求1所述的装置，其中： 所述MMT容器是国际标准化组织（ISO)基媒体文件格式（ISOBMFF)文件；并且 所述提示轨道被包含在MMT容器的moov框内。3. 如权利要求1所述的装置，其中： 提示轨道的片段被包含在MMT容器的moof框内；并且 通过提示轨道片段索引的提示样本在逐样本的基础上交织。4. 如权利要求1所述的装置，其中，一个或多个MFU中的每一个的标头包括MFU的序 号。5. 如权利要求4所述的装置，其中，一个或多个MFU中的每一个的标头包括MFU的MFU 丢失标志，所述MFU丢失标志标识MFU是否被所述装置接收到。6. 如权利要求5所述的装置，其中，在接收一个或多个MFU之后，没有被接收到的MFU 的MFU丢失标志被标记为遗失。7. 如权利要求1所述的装置，其中： 所述MMT容器包括定时的媒体；并且 在MMT容器内的媒体处理单元（MPU)的元数据标识一个或多个MFU在MMT容器中的位 置。8. -种装置，包括： 传送路径电路，被配置为传送运动图像专家组（MPEG)媒体传输（MMT)容器；以及 处理设备，被配置为将提示轨道包括在MMT容器内，所述提示轨道标识一个或多个媒 体片段单元（MFU)在MMT容器中的位置。9. 如权利要求8所述的装置，其中： 所述MMT容器是国际标准化组织（ISO)基媒体文件格式（ISOBMFF)文件；并且 所述提示轨道被包含在MMT容器的moov框内。10. 如权利要求8所述的装置，其中： 提示轨道被包含在MMT容器的moof框内；并且 通过提示轨道索引的提示样本在逐样本的基础上交织。11. 如权利要求8所述的装置，其中，一个或多个MFU中的每一个的标头包括MFU的序 号。12. 如权利要求11所述的装置，其中，一个或多个MFU中的每一个的标头包括保留用于 MFU的MFU丢失标志的空间。13. 如权利要求8所述的装置，其中： MMT容器包括定时的媒体；并且 在MMT容器内的媒体处理单元（MPU)的元数据标识一个或多个MFU在MMT容器中的位 置。14. 一种根据权利要求1至7之一实施的方法。15. -种根据权利要求8至13之一实施的方法。
【专利摘要】一种装置包括被配置为接收运动图像专家组(MPEG)媒体传输(MMT)容器的接收路径电路和被配置为使用在MMT容器内的提示轨道来标识一个或多个媒体片段单元(MFU)在MMT容器中的位置的处理设备。另一装置包括被配置为传送MMT容器的传送路径电路和被配置为使用在MMT容器内的提示轨道来标识一个或多个MFU在MMT容器中的位置的处理设备。
【IPC分类】H04N21/854, H04L29/08
【公开号】CN104904233
【申请号】CN201380062645
【发明人】I.鲍阿齐齐, 林荣权, K.P.布哈特
【申请人】三星电子株式会社
【公开日】2015年9月9日
【申请日】2013年11月28日
【公告号】CA2893122A1, EP2926564A1, US20140149545, WO2014084643A1
最新回复(0)