立体视频处理与通信
上QQ阅读APP看书,第一时间看更新

1.4 主要研发机构和公司

立体视频技术尚在快速发展阶段,很多国家和地区都在结合自己的优势进行战略布局。欧洲(以飞利浦公司为代表)主要布局在立体内容和立体显示等基础技术领域;美国依靠好莱坞优势(以DDD,In-Three为代表)布局立体内容尤其是立体影视领域;日韩(以Sony、Samsung为代表)布局立体摄像、立体电视、立体手机等应用领域;台湾(以Himax,MStar为代表)则结合自己的集成电路优势布局立体处理芯片尤其是平面视频立体转换(2D转3D)芯片和立体视频处理集成芯片。

1.4.1 主要研发机构

Philips研究院长期致力于3DTV系统的构建,并且主导了2DplusDepth为核心的ATTEST项目,同时Philips公司还是全球立体显示器的主要生产商之一。在2D转3D领域,其代表性产品为基于“Wowvx”技术的半自动2D转3D转换盒,实现输入为平面视频,输出为2DplusDepth格式立体视频的转换功能。

斯坦福大学(Stanford University)的立体重建小组开发了Make3D软件,该软件利用多种深度线索来估计单幅图像的3D结构。在Make3D的方案中[26],他们首先将单幅图像分成小块,同时对视觉深度线索和图像各部分之间的相对关系建模,然后利用马尔可夫随机场(MRF)来推导一组“平面参数”,这些参数即包含了各图像块的3D位置和方向数据。在该方案中,除了图像场景结构由各个小平面组成这一假定,没有对图像场景进行其他显性的结构假定,这使得该算法对其他未训练过的场景也能构建出相当准确的3D结构。

台湾大学电机系陈良基教授领导的感知视觉实验室与奇景光电(Himax)合作,利用人眼感知特性,研发了应用于立体电视的全自动2D转3D技术,并利用奇景光电的芯片制造和代工实力,目前已经推广到部分立体电视产品中。

清华大学BBNC实验室的2D转3D小组[27]同时研发了半自动2D转3D软件和全自动2D转3D软件,其中半自动软件已经被江苏广电、景象等多家单位所采用,而全自动软件则已嵌入到美国Sonic公司的视频播放和编辑软件“Roxio Creator”中,并已经在全球销售。目前清华大学也已经开发出“清立方”全自动2D转3D芯片和机顶盒,并与海尔、富士通、长虹等多家厂商合作进行市场推广。

浙江大学、上海大学、宁波大学等多家大学也在立体内容制作、立体传输、立体显示等3D相关领域进行持续研究并取得了一定的科研成果。整体而言,我国在立体视频相关领域核心竞争力有待发展,但立体内容制作和立体视频处理领域尚在快速发展阶段,技术上还大有可为,产业化需求十分迫切。

1.4.2 主要研发公司

调研发现,进行立体视频内容生成技术的研发企业比较多,主要集中在视频播放和编辑软件、立体电视、立体笔记本、蓝光播放器、机顶盒等产品研发领域。主流电视厂商,比如Samsung、LG、Sony、Fujitsu等均通过独立研发或技术合作方式,生产具有2D转3D功能的立体电视。主流芯片、FPGA、Soc以及专业数字媒体处理器提供商也在研发自己的2D转3D模块,并利用自己代工或市场占有优势推广,国际竞争比较激烈。

美国HDLogix公司开发了一种“ImageIQ3D”实时2D转3D方案,该方案[28]宣称利用了多个深度线索。例如:通过光流法运动估计提取场景的运动深度信息;通过霍夫(Hough)或者雷登(Radon)变换提取场景建筑物的竖直线、自然远景的水平线等来寻找几何深度渐变趋势;使用点扩散函数估计器(Point Spread Function Estimator)来估计散焦模糊区域的位置。最后,ImageIQ3D还宣称利用了一种基于超分辨率的统计方案来得到鲁棒和连续的深度结果。

日本JVC公司设计了一种面向立体电视信号的实时全自动2D转3D方法并已在硬件平台实现[29],该方法建立了三种简单的立体模型来模拟近似的自然场景,并利用三种模型和图像颜色的冷/暖视觉差异理论指导每一帧视频信号的深度图求取。该方法尽量避免每一帧视图的质量损失,计算复杂度低,并且对硬件的存储空间要求较低,也基本不需要人工交互和参数调节,但是该方法也存在模型数量较少,深度图求取不准确,立体效果不明显等问题。

表1.1和表1.2展示了当前典型的立体视频技术研发企业、相关产品及应用。通过调研也可发现,目前实时全自动转换的效果不能跟专业制作的立体电影相比,因此如单独做成产品,其竞争力和生命期有限。基于市场考虑,必须跟多媒体软件、数字电视或其他终端集成为完整的解决方案。

表1.1 硬件研发企业简介

表1.2 软件研发企业简介

总而言之,在立体视频内容生成技术中,立体效果(包括纵深感、层次感、时域抖动、边缘空洞、立体分片等)、算法普适性以及观看舒适性已成为技术可行与否的评判标准和关注核心,如何在三者之间进行平衡,也是当前学术界和工业界需要共同应对的问题。本书将就当前主流的三种立体视频生成途径(立体拍摄、立体建模、平面视频立体转换)以及相应的立体处理和通信技术分别介绍学术界和工业界领先的理论方法、软硬件系统和最新成果,并详细介绍一些技术的细节。