基本信息

含技术指标、拟解决技术难题、现有基础条件等

面向下一代 H.266 和 AVS3 视频编解码技术需求 , 特别针对虚拟现实（VR）全景视频内容 特征 , 研究 VR 视频编码相关的技术和工具以提升编码效率。目标是满足 VR 视频编码和自适应 流媒体实时传输的需求 , 满足 4K 和 8K 分辨率 10bit 高动态范围编码压缩需求。具体地 , 本项 目提出 VR 全景视频编码运动补偿改进方法 , 制定基于内容的编码比特率分配策略 , 实施帧间 预测自适应参考帧管理体系。项目的执行将产生至少 4 项视频编码领域的核心技术、可标准化 的成果。本项目的研发成果将成为 VR 视频编码的产品化、产业化提供直接的技术保障。相关 提案和专利将为国家发展战略服务 , 在国际国内标准中争取更多的技术和知识产权份额 , 提升 中国在视频标准制定中的话语权。本项目的研究面向下一代视频标准 H.266 和 AVS3 提出了四 项技术方案 , 达到理论创新、专利保护、标准化的目的。具体地 , 有以下四个方面的研究内容。

（1）从时域率失真优化的失准问题出发 , 分析了编码单元之间拉格朗日乘子的失准的原 因 , 定义了一个具有较好稳定性的帧级编码单元以描述时域临近帧的总体编码情况。然后根据 帧级编码单元的编码比特反馈计算当前编码单元的最优比特数 , 最后利用高准确度的 R-lambda 模型完成从比特域到 lambda 域的转换 , 得到实际编码使用的最优拉格朗日乘子估计值。实验 表明该算法在通用测试序列下的表现突出 , 在保证视频质量的前提下能够获得 3.08% 的平均码 率节省。

（2）从经纬图和立方体图的像素冗余出发 , 分别对进行了经纬图与球面图像之间 , 立方 体图和球面图之间对应位置的像素冗余分析 , 得到了所处像素位置与有效像素的数学关系表达 式 , 最后在此基础上提出了针对经纬图和立方体图与位置相关的 LCU 级 VR 拉格朗日乘子优化 方法 ,EEO-ERP 和 EEO-CMP。这两种算法能够根据当前编码单元的有效像素比来进行拉格朗日乘 子的计算和调节 , 根据图像球面进行有针对性的比特重分配。测试表明 , 算法几乎没有引入额 外计算复杂度。若以 SPSNR、WSPSNR、CPP-PSNR 的亮度分量为评判标准 , 两种算法在 AI、LD、 RA 三种编码结构下 , 亮度分量都获得了不同程度的性能提升。因此 , 算法对编码效率有显著的 提升作用。

（3）针对低延迟编码结构缺乏自适应性的问题 , 研究了参考结构与编码产生信息熵的关 系。对低延迟结构下编码帧间参考所产生的信息熵 , 即比特消耗进行分析统计 , 通过参考帧为后续编码帧提供的依赖程度 , 建立基于依赖比特统计的参考帧影响力模型 , 由参考帧影响力模 型建立帧间依赖程度与参考距离的关系。提出自适应参考结构算法 , 通过影响力因子模型 , 参 考距离等多项因素 , 为编码帧自适应分配合理参考集合 , 同时调节量化参数等优化关键参数。 在 HEVC 平台中的实验结果表明 , 低延迟自适应参考结构算法能有效提升编码压缩性能 , 在保 留质量的前提下节省码率消耗。

（4）首先研究了 PID 控制理论 , 然后将 PID 控制与码率控制相结合 , 得到了帧级 PID 码 率控制器 , 该控制器能够接收编码过程中的缓冲区误差作为输入 , 并输出具有消除误差能力的 新控制量 , 反馈至编码端得到更合理、精度更高的帧级目标比特率。并将研究内容（2）（3） 所涉及的优化算法应用至码率控制算法中 , 联合两个算法以及帧级目标比特率来共同导出编码 单元的目标比特率 , 并在编码过程根据当前帧的剩余可用比特率对后续编码单元的编码参数进 行调整。最后的实验测试表明 , 该码率控制模型有较高的码率控制精度。同时 , 模型能够在 AI、LD 和 RA 三种编码结构下带来可观的编码效率提升。

研究的主要目标是满足 5-10 年 VR 视频编码和自适应流媒体实时传输的需求 , 满足超高 分辨率和高动态范围编码的行业亟需。面向下一代视频标准 H.266 和 AVS3, 提出多项技术方 案 , 达到理论创新 , 专利保护和标准化的目的。本研究的标准化成果以提案和代码继承形式展 现 , 知识产权方面成果以发明专利形式展现 , 理论和技术创新成果将以发表高水平论文形式得 以体现。具体成果包含

（1）国内国际采纳提案 11 项 ;

（2）中国发明专利 11 项 ;

（3）国内国际论文 10 篇 , 其中 SCI/EI 检索 7 篇 ,1 篇录用 ;

（4）指导参研人员参加国内比赛两项 ;

（5）项目负责人两项国家级省级奖项 ;