映维网，国际权威虚拟现实（VR）信息平台，提供最快、最全、最有价值 VR 信息资讯！

文章相关引用及参考：ibc

本文来自于 Adrian Pennington

（映维网 2018 年 05 月 15 日）为大规模处理数据带来新方法和编解码器是媒体与娱乐行业首要任务，尤其是对 VR 和 HDR 而言。随着 MPEG 开始接替 HEVC，我们需要为流式传输沉浸式媒体开发出超高效的压缩技术。

随着超高速5G移动网络的即将面世，视频的绝对数量和复杂程度将越来越高，如果要随时随地支持实时 VR 流式传输和其他超高分辨率低延迟媒体应用，实现高效的数据处理将十分关键。

可以说，诸如 MPEG 这样的标准组织一直都十分繁忙。这家已有 30 年历史的机构自成立以来每年平均起草和发布六项标准。

爱立信媒体解决方案（Ericsson Media Solutions）的首席技术专家 Tony Jones 表示：" 压缩效率是提供新服务或更好服务的主要工具之一，可将分发成本降至最低，或将两者结合起来。"

所以，开发能够处理大规模数据的工具变得非常紧迫，而其中最主要的任务之一是制定当前视频流标准 HEVC 的 " 继任者 "。由 MPEG 和 ITU-T Study Group 16 旗下 VCEG 组成的联合视频专家团队（JVET）已经开始着手制定效率高出 50% 以上的多功能视频编码（Versatile Video Coding ，VVC ) 。

MPEG 的发言人 Christian Timmerer 指出："VVC 的目标是提供比现有 HEVC 标准更高的压缩性能，并在 2020 年完成。"

同时是奥地利克拉根福特大学副教授，以及编解码器供应商 Bitmovin 研究主管的 Timmerer 补充道：" 主要的目标应用和服务包括但不限于 360 度和高动态范围（HDR）视频。 "

MPEG 指出，VVC 的初步方案在超高清视频测试材料上表现出 " 特别有效 "。他们预测最终标准的压缩效率将 " 远远超过目标的 50％"。

因此，VVC 将加入一个日益拥挤的 OTT 流媒体市场，其中包括当前最常用的编解码器 AVC，VP9 和 HEVC，以及新成员 AV1。

刚刚发布了上述编解码器比较测试结果的 Bitmovin 认为，多个编解码器标准可以同时存在。事实上，他们表示如果要支持各种设备和平台，这是 " 最必要的 " 元素，并且补充说，" 多视频编解码器的支持已通过 VVC 的面世得到证实。"

VVC 的一个重要方面是编码更专注于 360 度框架的特定区域，亦即大多数用户关注的主场景。Timmerer 说道："VVC 仍处于起步阶段，但我们可能会在 IBC 中看到各公司发布与这个方向相关的公告。"

1. JPEG XS

MPEG 通常用于终端用户的存储，传输和消费，而 JPEG 则主要集中于静态图像，但它刚刚为视频制作和流式传输带来了新的编解码器。

开源的 JPEG XS 具有 6：1 的压缩比，实际上比标准 JPEG（10：1）更低，与编解码器的发展背道而驰。

洛桑联邦理工学院 Touradj Ebrahimi 教授表示：" 这是图像编码史上的第一次，我们为了更好地维持质量而降低了压缩率，我们正在使用更少的资源来加快速度。"

领导 JPEG XS 开发的 Ebrahimi 补充道：" 我们希望在做事方面变得更聪明。我们希望使用更少的资源，并且可以更明智地使用它们。这是一个真正的范式转变。"

JPEG XS 是 TICO 编解码器（SMPTE RDD 35）的进化，其本身基于 JPEG2000。

延伸阅读：JPEG 标准小组为 AR-VR 发布新图片格式 JPEG XS

TICO 背后的比利时公司 IntoPix 也帮助设计了 JPEG XS。IntoPix 市场营销总监 Jean-Baptiste Lorent 认为，对于 " 当前使用未压缩视频 " 的工作流程来说，这将最为有用。

Lorent 补充说：" 由于分辨率提高，帧速率更高，360 度捕获和更高质量的像素，因此我们需要新的编解码器来处理不断增加的数据量。"

JPEG XS 旨在解决需要低复杂度和低延迟，但可以使用相当高带宽的用例。Tony Jones 说："JPEG XS 是一种内部编码技术。也就是说，它不执行时间预测。这实现了比 AVC 和 HEVC 等压缩标准低得多的效率，但反过来提供了非常低的延迟。"

Jones 补充道：" 有很多潜在的专业用例，包括对延迟非常敏感，但仍然可访问高带宽的工作室，远程制作和其他用例。"

这可能适合 4K 和 8K，尤其是制作和编辑，但其配置文件同时包括处理 10K。Jones 表示：" 像 JPEG XS 这样的轻量级压缩技术是一种保证贷款，文件大小和文件传输时间的有效技术。JPEG XS 对于维持低延迟远上也非常有用。"

Jean-Baptiste Lorent 则认为，这种低延迟，低压缩和高效率编解码器非常适合通过 Wi-Fi 和 5G 进行流式传输的视频，并且未来可以协助无人驾驶飞机和自动驾驶汽车。

为 Adobe Premiere Pro CC 开发了 JPEG XS 插件的 Fraunhofer IIS 指出，优化过的编解码十分适合需要通过有限带宽传输高图像质量数据，或者必须使用有限计算资源进行处理的用例。

JPEG XS 很可能会在 2018 年年底之前获得国际标准化组织的批准，而包括相机在内的第一批产品也将在这之后的不久面世。

2. 全向 VR

MPEG 还致力于提供沉浸式媒体，如 360 度视频和 VR。根据爱立信的 Tony Jones 的说法，这两种情况都存在非常严格的运动到光子要求：显示器对一切头部位置变化的响应速度必须非常低。

Jones 指出：" 对于 360 度视频，渲染是从整个 360 度图像或从其中适当大小的一部分进行本地执行，而对于 VR，场景本身必须基于头部运动创建。如果可以在本地执行场景创建，挑战性将能大为降低。另一方面，如果渲染是远程执行，而且需要在没有过多比率需求的情况下实现，要实现这个目标将面临非常大的挑战。"

一个可能有帮助的倡议是 MPEG-I。其内容正处于不同的发展阶段，定义系统，音频和视频参数的第一部分即将发布，而其他部分仍处于大纲之中。

MPEG-I 最有趣的阶段是全向媒体格式（Omnidirectional Media Format，OMAF）。第一个版本的目标是 HEVC 中的 360 度视频压缩，而且现在已经完成。

Timmerer 指出："OMAF 带来了一系列的优化，但可能需要一定的时间才能实现广泛采用，而它基本上将对编码，流媒体，解码和渲染产生重大的影响。"

将在 10 月份起草的第二版本（OMAFv2）把目标瞄准的 3DoF+，这项包括 " 运动视差 " 的进展可以允许观众看到 " 对象的背后 "。换句话说，OMAF 正致力于实现潜在的全息显示器。

OMAF 的后续版本还将针对 "社交VR 的全方位 6 自由度 "，甚至 " 光场的密集表示 "。Timmerer 将社交 VR 描述为 " 用户可以在相同社交环境中消费 VR 内容 "。

MPEG-I 的其他方面则关于点云压缩。这种深度信息形式可用于生成三维或全息场景。

根据 Timmerer 的说法，VVC 和 OMAF 之间没有关系，但未来可能会改变（也许到 2020 年）。他指出：" 我预计 OMAFv2 将比 VVC 更早完成，因此 OMAFv2 仍将依靠 HEVC。这是我目前的估计。"

OMAF 的第一版本将由 ISO 发布，但现在已经可以使用国际标准的最终草案。 " 基本用例已经可以部署。我确信 IBC 中将出现一定的演示作品。"

3. 用于全息图的压缩

这里还有另外一层，一个关于压缩记录为光场的海量数据的方案。尽管都属于 MPEG-I 的一部分，但在解决方案上大家存在一定的分歧。

流式传输 " 真正本地的光场 " 需要 500Gbps 的宽带速度，最高可达 1TBps。这个估计来自于全息显示器开发商 Light Field Lab 的 CEO Jon Karafin。但他补充说：" 这在我们有生之年都不会走进千家万户。"

处理如此多的数据需要十分严格的压缩标准，更不用说传输。MPEG 的一个工作小组正在起草一种令 " 支持创建和渲染丰富沉浸式体验的内容交换 " 成为可能的解决方案。

它的名称是混合自然 / 合成场景数据容器（Hybrid Natural/Synthetic Scene；HNSS）。MPEG 指出，HNSS 应该提供一种手段来支持 " 遵循自然光流，能量传播和物理运动操作的场景 "。

Timmerer 表示该小组正在研究 MPEG-I 中的场景描述，" 研究现有的格式和工具，以及它们是否可以用于 MPEG-I。"

该方法不同于传统的视频压缩技术：其主要是捕捉纹理，几何图形和其他体三维数据，然后将其包裹在 " 媒体容器 " 中来创建场景的 3D 模型。

但不是每个人都相信媒体容器是正确的解决方案。麻省理工学院全息技术专家 V. Michael Bove 指出：" 目前还没有普遍得到认同的最佳做法。我希望这个问题可以得到解决。这不是一个无法解决的问题。"

文章《VVC、JPEG XS、MPEG-I，数据压缩走向新纪元，为高分辨率 VR 提供支持》首发于 映维网。