中国智慧家庭产业联盟发布《IPTV:VR技术产业白皮书 》(上)

来源:VR技术资讯网

   

作者:广州酷之乐动漫

   

日期:2019-09-17

关键词:VR技术,VR游戏,VR产品​

       虚拟现实(Virtual Reality)技术已经列入《十三五国家科技创新规划》十大新一代信息技术, VR产业跨界融合明显、业务形态丰富、产业潜力大、社会效益强,将给新一代信息通信技术ICT发展提供新的动能。虽然目前VR可能被视作正处在走出期望幻灭低谷的阶段,但是作为一个具有较长发展历史,经历完整Gartner技术成熟度曲线的产业,随着真实应用需求的增加,可以相信这是一个新的起点,VR时代的大幕正徐徐开启,将成为“下一代互联网”和“下一代计算平台”,给人们的生产方式和生活方式带来革命性变化。


       中国交互式网络电视(IPTV)十多年的持续创新发展,已成为融合传统媒体和新兴媒体网络传播的主导渠道,成为提高信息消费供给水平丰富数字创意内容和服务的重要方式。依托IPTV业务、网络和终端在智慧家庭的规模化覆盖能力,以及IPTV领域的技术业务创新活力,结合VR近眼显示、渲染处理、网络传输和内容制作技术的最新成果,坚持以应用为驱动,在应用中改进VR沉浸体验、提高VR虚实交互,可以率先迈出规模化部署IPTV“VR+”业务创新的步伐。


       本白皮基于中国智慧家庭产业联盟在IPTV和VR领域的研究和验证工作,在联盟成员的支持和协同下编制完成,旨在对IPTV结合VR的技术产业发展提出洞察,阐述IPTV VR应用场景及其逻辑,并对IPTV VR的技术、业务、体验、终端和网络进行描述和展望,期望形成产业共识,加快IPTV“VR+”创新的步伐。


       1


       IPTV的发展现状及趋势


       1.1 IPTV引领和推动宽带网络及视频业务发展


       IPTV业务从2005年开始,十二年的发展推动视频成为运营商第四个上亿用户规模的基础业务,成为融合传统媒体和新兴媒体网络传播的重要渠道。2005年~2014年,IPTV业务以标清为主,高清为辅,视频成为宽带主要的业务,有效地推动了光进铜退的宽带发展。2015年~2017年,IPTV 以4K技术为引领,三年新增用户数超过过去十年的总数,视频成为创新基础业务,有效地推动百兆宽带成为刚需。IPTV成为一个新的融合娱乐视频、通信视频、行业视频、增值业务的产业,成为智慧家庭的核心服务。


6ef2bf2482ce4b9f9b9e678662a6707b.jpg

中国电信IPTV宽带渗透率


       1.2 VR是IPTV体验提升和业务创新的必然选择


       VR时代的大幕已经开启,VR时代将沿着沉浸体验、虚实交互、虚实一体的方向发展,预计将成为“下一代互联网”和“下一代计算平台”,深刻改变未来的生活和生产方式。高盛公司的VR报告表示,VR正在加速向生产与生活领域渗透,预计2025年VR和AR市场规模将超过TV市场,VR不仅在视频、游戏、社交等大众领域,在很多诸如工业、医疗、教育等行业领域拥有很大的潜力。


       IPTV业务的视频体验从标清、高清向4K/全4K发展,同时拉动百兆宽带的发展和普及,然而由于家庭电视观看设备及距离的约束,传统电视视频应用的用户体验已达极限,同时传统两维平面视频的网络需求也难以继续构成千兆宽带需求。而VR天然的沉浸特性和高带宽需求都指引着IPTV业务创新和体验提升向VR时代方向发展。


24a53841ce144b159dde3663f08686c2.jpg

IPTV业务体验演进趋势


       2


       VR发展趋势与关键挑战


       2.1 VR是与虚拟世界感知、交互、融合的全新体验


       存在即感知,世界乃虚拟。从视觉的数字化和虚拟化开始,世界的虚拟化是一个无法逆转的趋势。随着科技的进步,人的大脑终将能够接入计算机,意识和感官终将被数字化,虚拟和现实的边界终将逐渐消解。其实游戏、电影所表达的就是一个虚拟世界,我们看到的视频,从某种意义来说,就是一些真实世界被数字化和虚拟化以后,重新呈现的效果,社交网络把真实生活中的人与人的关系数字化放到虚拟网络世界中。


       VR的沉浸感知体验


       虚拟现实的目标在于让使用者在感官上难以分辨虚拟世界和现实世界,这些感知体验包括了视觉、听觉、触觉、嗅觉、味觉和重力感知等多个维度。目前VR领域最主要发展方向是视觉呈现方式上,现在主流的视觉呈现方式是由LCD或OLED近眼显示屏加菲涅尔光学透镜为成像核心的VR头戴式显示器(HMD)。近眼显示屏分辨率从现在主流的双眼2K到一两年内升级到4K,一直到视网膜分辨率级别的16K,将逐步提升视觉感官效果,去掉纱窗效应,达到人眼看不出差别的效果。而在光学成像上通过透镜或透镜组的优化设计,从现在的90~120度视场角(FOV)逐渐发展到未来可以达到200度接近人眼真实的视场角。在听觉呈现上,采用3D声场音效,声音的混响、方位、衰减、空间化及多角度音效,可以再现现场级别的声效。


       VR的交互行为体验


       虚拟现实的交互行为体验体现在两个层面,一方面是在虚拟现实内容里的互动,另一方面是在体验自如的交互技术,都是构成与虚拟世界交互体验的重要研究方向。


       VR交互内容方面可以体现在:VR视频的多线程视频,让观众以其中一员的身份参与电影中,甚至可以通过交互选择影响进展和结局,那将是一种全新的观影体验。而对于VR社交,VR教育,VR游戏等交互性应用,用户可以在虚拟世界中与其他用户或者虚拟人和物进行交流和交互,获得类似于真实世界中的交互体验。


       在交互技术方面,可以与人工智能融合,实现对外部环境的模拟和识别。光场显示、裸手交互、现实捕捉、空间捕捉、表情捕捉、目光追踪、即时定位与地图构建(SLAM)、大空间定位技术和由内向外定位技术,都是目前研究的热点,将会极大地扩展虚拟现实的使用场景和交互感受。


       VR的融合构想体验


       虚拟现实的未来终极目标应该是虚拟世界与真实世界的融合,人与虚拟世界的融合,感知意识与Cyber网络世界的融合。


       这种融合的主要基础是脑机技术和虚拟孪生技术。脑机技术通过对人脑和神经信号的直接读写来完成人与外界的感知交互。可以通过直接读取人的脑电波或神经信号来控制对应机器执行相应操作,也可以直接通过对相应器官、脑和神经进行针对性刺激,而让人产生特定的声音影像感知。虽然目前无论是非侵入式还是侵入式的脑机技术都处于非常初级的阶段,但未来预计脑机将淘汰各种显示屏、音响系统、触觉等各种感官系统,变成人与外接最重要最全面的交互感知方式。而人体虚拟孪生技术是伴随脑机技术成长的不可或缺的内容。通过虚拟孪生技术,可以对人体进行100%符合度的数字建模,一方面可以应用于医学,另一方面更可以对人脑、神经和意识进行研究和创造性应用,像电影《阿凡达》那种意识转移可以让人有完全真实的体验和感受,如可以在不同的VR社区中切换以体验不同的感受,过着不同的生活,并在人的肉体衰老后,将意识上传至虚拟生活网络,变成真正的意识永生。


116342e8ea31417e93551fc91367db71.jpg

虚拟现实体验发展趋势


       2.2 VR技术进展已推动沉浸感知体验的持续提升


       大众对虚拟现实的认知由终端设备向沉浸感知体验演变。沉浸感知体验是虚拟现实系统最基本的特征,让人脱离真实环境,沉浸到虚拟空间之中,获得与真实世界相同或相似的感知。


       沉浸感知体验随着VR各方面技术的不断发展而得到不断的提升,大体可分为三个发展阶段。


       第一阶段为用户沉浸感增强阶段,随着在HMD分辨率、刷新率、FOV技术上的不断突破,端到端传输解决方案的推陈出新,逐渐克服用户眩晕问题,逐步提升用户沉浸感体验。此阶段依靠全封闭的头戴显示设备检测头部三个维度旋转信息(左右旋转pitch、上下旋转yaw、轴向旋转roll),为用户提供3DoF(3 Degrees of Freedom)体验。结合耳机、运动传感器或其他设备,为用户提供视觉、听觉、触觉等方面的感官体验,使达到身临其境的感觉。


       第二阶段为用户交互体验增强阶段,根据用户行为,模拟现实世界中的语音、声音、光线、温度等各种感官触觉,实现用户与虚拟环境交互的良好体验。相对于第一阶段,除了为用户提供三个维度旋转带来的视听体验效果外,还提供向前/向后、向左/向右、向上/向下三个位置维度在有限范围内的头部运动体验。此阶段依赖光场技术、点云技术的发展,借助混合现实MR头盔、轻型化HMD的不断更新换代,为用户提供具有立体视差、动态对焦、运动视差、不同角度光照具有变化效果的有限范围内互动3DoF+体验。


       第三阶段为用户融合虚拟环境阶段,模拟人脑感官机理,通过一系列刺激手段“欺骗”人脑,使用户彻底融入虚拟世界,无法区分现实世界与虚拟世界。这个阶段借助于成熟光场采集、传输、显示技术和实时建模技术,以轻型化视网膜屏为显示载体,借助多感知技术实现左右旋转、上下旋转、轴向旋转、向前/向后、向左/向右、向上/向下的6DoF(6 Degrees of Freedom)体验,为用户提供完全的虚实一体化体验。


786c37dd9b3b4a41b2cfb1876ddae4dc.jpg


VR感知体验逐渐提升的三个阶段


       为了对VR各发展阶段相关技术进行规范化和标准化,促进VR产业的健康发展,MPEG组织专门成立了一个独立的OMAF (Omnidirectional Media Format)工作组,其主要任务是对VR媒体(包括视频,图像,音频和文本)的编码、存储、传输和呈现的格式进行统一。预计在2018年初发布第一个OMAF标准;云编解码、AR/VR音频和点云压缩相关标准预计在2019年到2020年标准化,与此同时,OMAF的第二个关于3DoF+的版本发布,在2020年到2022年,制定光场技术相关的新型视频编码标准,在此期间,制定沉浸式媒体应用层格式标准,有效支撑VR产业的规范化。


fd21df1b70b549ea9de382755a43255a.jpg


MPEG-OMAF Roadmap


       2.3 VR在行业和大众领域的产业应用曙光已现


       VR产业链中,工具和设备类可细分为输入设备、输出设备、显示设备、拍摄设备、以及相关软件等;内容制作可细分为影视、游戏等内容;平台可分为应用商店、社交影院、实体体验店、播放器等内容;行业应用可细分为工业应用和大众应用。国际电子信息巨头企业将虚拟现实提升到战略高度,积极布局构建虚拟现实产业生态。Facebook、HTC、三星、索尼、微软、谷歌、苹果等国际巨头企业抢占身位,在立体显示、数据图像处理、体感控制、智能交互等方面进行了大量的技术和专利储备,推出桌面式、临镜式、头戴式、手套式、体感式等多个种类、多种款式的虚拟现实系统设备和开发平台;英特尔、英伟达、意法半导体等推出了虚拟现实专用GPU芯片和传感器件;高通连续发布了针对VR的旗舰级骁龙820和835处理器;谷歌、YouTube、索尼、福克斯等还推出了虚拟现实视频和游戏,加速了虚拟现实产业链的成熟与完善。


       在大众领域,2014年,影视作品开始登陆虚拟现实平台,《星际穿越》在全美四家影院推出Oculus Rift虚拟现实头盔特别版,让观众融入浩瀚无边的太空旅行;圣迭戈国际动漫展上,《环太平洋》和《X战警:逆转未来》通过Oculus Rift让观众欣赏片段。2017年,派拉蒙正与VR社交公司Bigscreen,以及Oculus、三星、HTC和微软等知名虚拟现实科技公司合作,计划推出首个VR影院。观众带上VR头显后,会发现自己坐在“影院”的大屏幕前,像在实体影院里一样观看电影。


       在工业领域,通过虚拟现实技术去复制和创造,是一个非常高效、耗能极少的过程,尤其适用于高风险、耗材成本高、低重复频率的应用场景。基于虚拟现实与增强现实技术开展的工业领域的数字展示服务,能够贯穿于整个生产制造环节,包括初期的市场研究、造型开发、工程开发以及市场开发阶段。奥迪、福特、宝马、克莱斯勒、丰田、沃尔沃等主流车企积极引入 VR 技术用于汽车研发、生产。在虚拟空间中构建出与物理世界完全对等的数字镜像,使得虚拟现实成为实现数字双胞胎(Digital Twins)的核心技术之一。虚拟现实还广泛应用于医疗领域包括手术培训/导航、心理治疗和康复训练等。


       VR五大技术体系包括近眼显示、内容制作、网络通信、渲染处理和感知交互。目前VR技术成熟度、硬件成本、产业链支持度、消费者认可度等因素仍制约着虚拟现实的广泛应用,关键挑战主要集中在三个方面:体验质量、网络传输、计算能力,这三个方面的挑战一定程度上限制了VR业务的快速发展,需要依赖产业链上各个环节共同发力去逐步解决这三方面的挑战。


       首先,体验质量对产业成功至关重要。目前市场上大部分普通VR产品的业务体验质量还不能满足广大用户的期望,其主要问题体现在视觉信息质量低,VR需要更高的分辨率、更广的视场角,8K内容分辨率仅是入门体验。视觉辐辏调节冲突,由于屏幕发出的光线并没有深度信息,眼睛的焦点调节与视觉景深不匹配,从而产生眩晕。目前的HMD受制于屏幕和光学的设计,体积较大,同时也较重,使用者长时间佩戴的HMD舒适度差。


       其次,VR业务对网络传输提出了更高的要求。VR业务改变了人机交互的方式,既包含传统的人机交互行为,又有VR特有的虚拟交互行为。不同的交互形式和预期带来了对网络传输的不同需求。VR业务所需要的网络,关键在于提供稳定的高带宽和低时延,以保障VR业务的每一次交互行为体验。


       最后,计算能力要满足VR沉浸式体验带来的海量数据计算以及实时性要求。目前,对计算能力的主要挑战体现在本地设备渲染能力及成本过高,限制了VR业务的普及。当前,手机式VR、一体式VR受限于有限的渲染能力,用户沉浸体验较差。PC VR需要借助性能强大的高端主机和GPU,才能渲染出靓丽的视觉画面,提供良好的交互体验。但由于高端主机的价格昂贵、技术门槛高,限制了VR业务在广大用户中的普及。当前VR渲染处理的矛盾集中于用户更高的体验需求与渲染能力的不足。因此优化渲染算法,减少计算开销,降低渲染时延成为发展趋势,如利用注视点渲染技术减少GPU开销,Multi-View渲染技术节省CPU资源,采用异步时间扭曲技术可以缓解端到端时延要求等。


4942148644104e6b903eb381850eaf69.jpg

虚拟现实技术五大技术体系


      3


       IPTV VR业务与体验


       依托IPTV业务、网络和终端在智慧城市家庭的规模化覆盖能力,以及IPTV领域的技术创新活力,结合VR近眼显示、感知交互、渲染处理、网络传输和内容制作等新技术的最新成果,通过标准化定制IPTV VR基础能力、应用场景、体验标准、业务实现,以应用为驱动,在应用中改进VR沉浸体验技术、提高VR虚实交互技术,可以率先迈出规模化部署VR+业务创新的步伐。


       IPTV VR业务分为不同的发展阶段,第一阶段为用户沉浸感增强阶段,随着在HMD分辨率、刷新率、FOV技术上的不断突破,端到端传输解决方案的推陈出新,逐渐克服用户眩晕问题,逐步提升用户沉浸感体验;第二阶段为用户交互体验增强阶段,根据用户行为,模拟现实世界中的语音、声音、光线、温度等各种感官触觉,结合无线网络的进展实现用户与虚拟环境交互的良好体验。


       3.1 IPTV VR:打开VR+时代普及之路


       VR 影视赋予了观众身临其境的沉浸体验,一方面表现为对分辨率、刷新率、色深、视场角、3D等更高画质的持续追求,这符合IPTV视频业务一贯提升用户体验的专注,通过虚拟巨幕影院作为IPTV VR应用的切入点,以攻克8K以上超高分辨率VR全景视频为技术的制高点,强化IPTV 机顶盒对虚拟巨幕视频的渲染处理和全景视频魔方最优化解码能力。随着IPTV机顶盒VR能力的标准化和提升,有机会演进成为家庭VR基础平台,巩固智慧家庭的入口地位。PC VR对主机成本和使用技术门槛要求高,用户群体难以普及,移动VR主机局限大,IPTV VR使能的机顶盒业务场景清晰,VR巨幕影院、VR全景视频、VR社交、VR购物存在无限可能性。未来家庭娱乐终端势必进一步分化为大屏电视、PC、移动终端、HMD终端,IPTV VR机顶盒可以巩固外接大屏电视、抢占HMD的主机地位;IPTV VR机顶盒规模化的普及能力和用户对视频体验追求的动力可以撬动体验优良的HMD市场。


       对于虚拟现实产业而言,显示硬件是堡垒。2016年前后,随着HTC Vive、Oculus Rift和索尼PSVR产品的相继推出,标志着虚拟现实的硬件门槛已经显著降低,但是这些HMD需要和高性能主机组合,这种硬件组合方式存在成本高、更新换代速度快、笨重不舒适等问题。Google率先推出眼镜盒子搭配手机的形式,但分辨率受限于手机屏幕,而且在透镜的视角边缘部分容易出现色散。


       IPTV 已经具备开展第一阶段沉浸体验业务的条件,以提供巨幕影院沉浸体验为支点,推动360度全景视频、高体验HMD的创新和提升,可率先打开VR+时代普及之门,引领创新型VR新业务。在HMD设备尚未普及时,IPTV凭借大屏电视分辨率足够,终端解码能力、网络带宽能力相对较强,而且没有眩晕问题的优势,将是对大规模用户进行VR业务体验培育引导的基础;随着HMD设备功能和体验的提升,尤其是头显分辨率和视场角的提升,VR巨幕视频的体验将超越大屏电视,大幅提升HMD在家庭显示的普及应用;IPTV VR终端通过标准化接口和协议,支持2.5K、4K、8K各类能力的HMD设备,可广泛激活用户的体验兴致。


       IPTV VR将大大加快虚拟现实产业的发展进程,给人们的生产方式和生活方式带来革命性变化。具体的应用场景包括:


      1)VR巨幕影院:借助IPTV机顶盒和宽视场高分辨率的HMD,可以渲染出IMAX巨幕影院的视听体验效果,用户在家里即可不受档期时间影响,享受媲美亲临影院的观影。


       2)VR全景视频:全景视频作为一种新的视频消费方式,在近几年受到了人们的广泛关注。在观看全景视频时,用户可以通过转动头部观看360度全景视频的不同内容,获得全方位沉浸式的体验。


       3)VR全景直播:在重要新闻事件、体育赛事、演唱会和发布会等大型赛事活动,结合VR全景直播可以实现足不出户即可感知事件现场,不仅了解,更是亲身参与。例如去年王菲“幻乐一场”演唱会VR全景直播,可以说VR全景直播将会成为娱乐赛事观看和交流的一个重要方式。


       4)VR社交:虚拟现实将开启社交网络 2.0 时代。VR 社交突破了传统社交的空间限制,通过虚拟化身、表情识别等更加精细丰富的交互方式,深化网络社交体验。比如Facebook倡导的VR space人们可以在里面获得类似现实生活却又超于现实的社交体验。


       5)VR游戏:虚拟现实与视频游戏的结合将为用户带来更为真实而强烈的感官刺激,而庞大的用户基数以及核心玩家对于新技术的开放性态度使得视频游戏有望成为最先发展起来的VR大众市场。


       IPTV的两大历史使命,一方面是挖掘体验领先的业务以提升用户粘性,实现价值变现,另一方面是需要创新领先的业务来普及百兆、迈向千兆,培育千兆宽带的需求。VR+时代的到来为IPTV实现两大历史使命提供了新的契机。以IPTV VR全景视频业务为例,可以让用户足不出户即可享受多种VIP服务:参与明星演唱会,实现与偶像明星近距离、无死角互动,营造出一种与乐队成员或明星一同在舞台上的“完全在场”的现场感,弥补因时间空间限制而无法亲临的遗憾;参与体育赛事,解决因座位数量、观看位置限制,以更低的付费成本,享受最佳的VIP视角体验;参与电竞游戏,选手和竞技场景融为一体,和身边的人做虚拟化的互动(击掌),对比赛数据和战术做多样化的交流,增强用户参与感和沉浸感,游戏具有高度可玩性和客户粘性;享受虚拟购物体验,仿佛置身于各种国内外百货超市、药妆店、专卖店和 Freedom Food 生态农场,利用消费者视点在显示物品信息,短时间内“穿梭”在世界各卖场,随心所欲地挑选中意的物品。


       3.2 VR巨幕影院:提供影院级视听体验成为可能


       传统而言,电视无法提供影院级的视听体验。影院级体验的核心主要体现在巨幕视觉、优质画面、灵动音效等方面,这些特性均是传统电视无法媲美的。然而影院观影有其局限性,那就是必须在特定的地点和时间观看。IPTV机顶盒加上体验优良的HMD,结合客厅电视的便利性,提供影院观影的优质体验,这就是VR巨幕影院。


       IPTV已经可以支持全4K视频,提供高动态和宽色域,也能够解码和播放多声道全景声音频。体验优质的VR头显可突破显示设备物理尺寸的限制,呈现巨幕视觉效果。通过高品质耳机实现虚拟空间音频回放,提供逼真的临场音效。这样用户即使坐在家中,也可以感受到类似巨幕影院一般的观影体验。同时,IPTV平台HD、4K视频资源丰富,用户选择自由、丰富,可以不受电影院放映时间及内容选择等限制。


15fb088e92bd464db8f6fe82d92caddd.jpg

VR巨幕影院效果图


       此外,VR巨幕影院还具有多项独特优势。借助IPTV机顶盒GPU的渲染能力,可以任意更换场景,比如将影院环境切换为客厅、泳池、街道、草地、山顶等任何用户喜欢的场景,一键“换肤”,这相比真实的影院具有独特优势。VR巨幕影院可以充分利用IPTV现有的一切视频和直播资源,这比真实影院的内容丰富得多。VR巨幕影院的音频采用耳机播放,私密性高,不会像传统电视机那样影响他人,用户可以随时观影。VR巨幕影院还可以承载社交功能,在虚拟场景中加入观影伙伴,可以将人物设定为观看者指定的虚拟角色,甚至将真实人物虚拟化后呈现出来,并允许观看者与虚拟人物互动,实现“共同观影”。另外VR巨幕影院场景中还可以加上形式灵活的商业广告,包括但不限于静态广告、2D/3D动态广告、互动广告等形式,具有特殊的商业价值。


       3.3 VR全景视频:布局8K高分辨率提升业务体验


       不同于VR巨幕影院,VR全景视频提供了观看者360 度环绕的画面,观看者通过改变头部的位置实现视角的切换,为观看者提供了虚拟现实沉浸式的“亲身体验”和“现实生活”,在VR的诸多应用形态中VR全景视频将成为最先繁荣的VR 应用。目前在线VR视频内容多样,包括舞台、旅游、纪录片等,可以满足观众的各类需求。在重要新闻事件、体育赛事、演唱会和发布会等大型赛事活动,结合全景视频直播可以实现足不出户即可感知事件现场,如同亲身参与,例如2017年央视春晚VR直播等。


55588879c0994b249c499440398cebea.jpg

VR全景视频效果图(2017年央视春晚VR直播)


       从用户体验角度,VR全景视频需要更大的视频分辨率(8K以上)才能带来更好的体验。用户观看VR全景视频时,单眼实际可视信息只是全部球面数据的一部分,如视场角(FOV)为90度,则单眼可视信息仅为球面信息的1/6。传统意义上说的视频分辨率对应于球面全视角分辨率,真正决定体验的是单眼分辨率。由于VR终端远高于传统终端的视场角,决定了对应同样的PPD,VR需要更高的分辨率。以FOV=90度为例,全视角360度8K分辨率,对应单眼分辨率2K、PPD=22,用户看到的画面质量实际只接近于在TV上观看480P的PPD效果。


       VR全景视频的高分辨率依赖内容、传输、终端等多方面的支持,IPTV率先布局支持8K以上高分辨率视频,将把VR全景视频的体验提升到可运营业务的级别,对满足用户对VR的预期和提升IPTV 业务的创新力具备重要的意义。


       VR全景视频业务的发展以用户体验提升为主线,是画质不断提升,沉浸感越来越好的演进过程。未来,单眼画质将逐步达到视网膜级,用户看到的画面质量将接近于在传统TV上观看4K的PPD效果。不仅如此,VR全景视频的体验还会从视频和音频两方面努力,采用如3D声场技术,做到不仅画质清晰,声音也更逼真。如采用3D声场技术的8K VR音乐视频,相比普通8K视频,其3D声场音效,包含声音的混响、方位、衰减、空间化及多角度的音效,大幅提升音乐的听觉体验,如同真正在现场听到的一样。


       4


       IPTV VR系统技术要求


      4.1 IPTV VR关键技术:基于OMAF视点全景视频魔方框架


      在VR全景视频应用场景中,VR全景视频把现场清晰(高分辨率、大景深)、完整(无死角无遮挡无裂痕)地记录下来,由用户自己决定看怎样的画面,它的核心是超高分辨率(8K以上)。IPTV VR系统如何实现对超高分辨率全景视频的传输和解码,并适配用户所用网络、终端、HMD能力的提升而提供更高更好的体验,是开展高体验VR全景视频业务的挑战。


      全景视频覆盖360度视场,而人眼的视角范围通常约为120度,因此人眼视角下看到的有效球面信号约为球面全景信号的27%。现有的VR终端设备(如电视、VR眼镜)可支持的视角大约在90°~110°之间,良好的视觉体验需要局部视场角输出的视频分辨率达到高清甚至4K分辨率,这就要求全景视频的分辨率远高于4K,达到8K甚至16K以上。


      全视角传输方案是将 360 度环绕的画面都传输给终端,当用户头部转动观看特定视角的画面时,终端即时(Just-in-time)完成包括码流解析、视频解码和画面渲染等处理。VR画面在相同单眼可视分辨率情况下,由于帧率、位深、360度全景等原因,码率要比普通TV视频大很多,一般是普通TV视频的5至10倍。这种方案特点是视角切换时画面过渡平滑,兼容行较好,但是对IPTV系统网络传输高带宽低时延、超高分辨率视频解码和渲染输出三个方面的能力提出了高难度的挑战。具体而言,如果将360度全景视频通过经纬图映射成常规的二维视频进行编码、传输、解码和呈现,首先由于分辨率的显著增加,编码处理能力和网络传输带宽将成数倍增加;更为严重的是在终端解码上需要解码超高分辨率的全视角视频内容,而呈现给用户的只是其中一部分内容,终端解码资源存在浪费,而终端解码能力正是目前开展超高分辨率全景视频业务的最短板。


      围绕这三个部分的挑战,,业界展开大量的研究,比如Facebook率先提出把经纬图重新映射到立方体的转换,使用多点投影的方式来进行二者之间的像素点切换。将经纬图顶部的25%转换为一个立方体面,将底部的25%转换为另一个面,中间的50%转换为四个面。通过这样的映射转换,每帧的像素数量减少了25%,从而提高了编码端的效率,并有效的降低了解码端的能力需求。为了进一步降低网络传输的浪费,近期基于动态视点(Field of View)的全景视频自适应传输方案成为热点和共识。如Facebook提出了金字塔模型,金字塔模型的底部为高质量用户视角区域,随着金字塔高度的上升,其他区域通过亚采样降低分辨率。当用户切换视角时,不是给用户看该金字塔其他表面的低质量视频,而是切换到另一个视角为底部高质量内容的金字塔模型视频。从而在不降低视窗质量的条件下,降低全景视频的码率。HHI提出了基于视频分块(Tile)的全景视频传输方案,思路是根据用户的观看视点和视角,只传输和解码FOV内的内容,采用部分传输和部分解码的方式减轻对网络带宽和终端解码的压力。


       4.1.1 基于视点的全景视频魔方编解码


       基于视点的全景视频魔方方案利用全景视频播放和显示局部视场角的特性,结合了视点自适应、MCTS(Motion-Constrained Tile Sets)编码、多分辨率和多Tile划分,把VR全景视频描述成魔方形态,终端播放根据用户头部朝向和芯片的解码能力约束进行最优化的视频分辨率/Tile的选择、解码、渲染和显示。


2031d27822124ab4b635121a47fe44dc.jpg

VR全景视频魔方编解码系统


      全景视频播放的最优化主要受限于解码器的解码能力与网络传输性能,为了获取最佳的体验效果,通过建立如下的目标函数


      其中表示解码的Tile,表示全景视频魔方,比如原始12K全景视频处理形成的8K/4K/2K组合的全部Tile集。表示基于视点的解码渲染输出,该函数值越大,表示通过解码这些Tile获取的用户体验越好。为了获取目标函数的最优值,可以从如下考虑:


       1)根据终端HMD设备的分辨率和视场角确定视点包含的Tile范围;


       2)在网络能力允许的条件下,获取更多视点内高分辨率的Tile;


        3)在解码能力允许的下,解码更多高分辨率的Tile用于显示。


        4.1.2 基于视点自适应的Tile-based传输方案


       在网络条件良好的情况下,传输全部全景视频魔方可以带来良好的视觉体验;在网络带宽不足的情况下,只传输用户视角观看范围内容的高质量Tile视频分块和最低质量全视角视频,可以有效保证在低带宽条件下优先给视角范围内的Tile视频分配带宽资源,被MPEG组织OMAF工作组在《ISO/IEC FDIS 23090-2 Omnidirectional Media Format》标准文档中采纳并推荐。


       按需传输、部分解码策略的基于视点自适应Tile-based传输方案可以有效解决IPTV VR业务应用中的高分辨率全景视频传输带宽、解码能力和渲染输出三大问题,根据用户的即时观看区域动态地选择传输全景魔方视频Tile视频分块,可以有效地节省网络流量开销。同时为了保障用户转头时,无察觉地切换新视点高质量内容,传输一个质量基本可接受的全景视频流。


4ee5cdff54c24cdb8a82e43c24f59769.jpg

VR全景视频魔方视点自适应传输


       基于视点的全景视频传输方案难以避免地会在用户快速转头时出现新旧视点的高质量Tile切换间隙,Tile-based方案采用基本质量的全景视频补充这一时间段内的视点内容,一定程度上缓解了切换时主观不适感。为了进一步提升用户主观体验,可以采用视点预测技术,对下一时刻的新视点进行预测,对新视点Tile内容实现预下载和预缓存。目前在部分头显和手机上已采用预测跟踪技术,包括Oculus公司开发的异步时间扭曲(ATW,Asynchronous Time Warp)功能,在画面渲染的同时,可以追踪用户的头部动作;高通公司在骁龙835芯片上集成了六自由度视觉惯性测距(6DOF)、眼部追踪和手势追踪功能。这些预测跟踪数据可以有效地指导VR传输系统对新视角进行预下载和预缓存,减低新旧视点高质量内容之间的切换时间。


       4.2 IPTV VR关键技术:基于解码渲染的机顶盒芯片架构


       IPTV VR对机顶盒芯片的挑战在于以尽可能低的成本代价实现新的解码渲染架构,提供足够的驱动力把HMD的性能和VR全景视频内容的效果充分发挥出来。


       与传统机顶盒芯片由专用定制电路ASIC进行视频解码、后处理和输出的处理流程不同,VR通常是依赖强大的GPU完成视频解码、立体建模、纹理映射、局部投影、双目渲染、反畸变、反色散、ATW等处理。与传统的PC主机VR需要完成各种实时复杂场景建模不同,IPTV VR重点在虚拟视频处理上,通过新的解码、渲染、显示架构,由专用定制电路ASIC完成解码,基础变换和渲染由GPU进行,双目输出、反畸变、反色散、ATW由专用定制电路的DPU模块完成。新的机顶盒芯片架构得以尽可能低的成本代价实现体验优良的VR视频处理能力,同时释放GPU的计算能力用于UI、背景、场景的渲染,这是推动IPTV VR普及的重要前提之一。


7cfe9675065d463aaa3b429a09ea8b18.jpg

机顶盒芯片架构的变化


       对机顶盒芯片架构的首要影响就是需要支持HMD设备,为了解决近距离观看和视场角的问题,通常会在HMD内部加入透镜,由于透镜光学特性会引起畸变和色散,造成观看者的不适。为了看到正常的图像,需要在机顶盒芯片DPU中加入对应的反向处理,如反畸变和去色散。要达到单眼2K@75Hz的显示,反畸变和去色散要处理的数据会达到600Mpix/s。


      引起眩晕的一个主要原因是MTP (Motion To Photon)时延大,目前公认的是MTP时延低于20ms能大幅减少晕动症的发生;另一方面,为减轻不流畅的画面引起的眩晕,HMD显示刷新率要达到75Hz以上。异步时间扭曲(ATW)是一种生成中间帧的技术,当解码或者GPU不能保持足够帧率的时候,ATW能产生中间帧,减少抖动,有效降低眩晕感。为提供更好的沉浸体验,IIPTV VR机顶盒芯片VR视频处理流程包括解码、ERP投影映射、反畸变、去色散、ATW、双目渲染,当用户头部转动,需要通过并行处理的架构在10-15ms内完成VR视频的处理。


451914c692e1438dbb8f9094ecb8e5c0.jpg

机顶盒芯片支持VR HMD显示交互


      基于解码渲染的IPTV VR机顶盒芯片架构能够提升图像清晰度,消除HMD带来的畸变和色散,降低时延,提高显示刷新率,提供更好的沉浸体验,与传统机顶盒GPU解决方案相比,具有低延时、低带宽、低内存、低成本、低功耗、高性能的优点,可以有效提升VR沉浸体验。


      1)降低视频处理延时


      将ATW、反畸变、去色散等VR全景视频处理子模块集成到VR处理模块内,在显示输出模块完成双屏同步的处理后输出到屏幕显示,相比传统架构GPU处理,集成了在线并行处理的VR处理模块的新架构可以有效地降低MTP时延。


       2)降低内存及带宽需求


       在线并行处理的VR处理模块,相比GPU处理,可以减少多次读写外部memory的带宽,同时精细的片外memory的访问行为控制,可以降低内存空间的需求。


      3)降低成本及功耗


      为了达到较好的沉浸效果,如果采用传统机顶盒架构,需要一个性能十分强大的GPU,成本和功耗都十分巨大。IPTV VR机顶盒芯片在使用GPU外,用VPU和DPU处理模块加速运算,可以大大降低芯片的成本; 所有模块可以采用并行架构,降低芯片的工作频率,有效降低芯片的功耗。


       另外,IPTV VR机顶盒芯片架构需要支持VR各种定位、传感、交互信息的处理和响应,包括从最基本的蓝牙手柄操控设备、头部姿态传感信息到inside-out定位跟踪处理。


65109e0189184ce48c727c9c15ff8064.jpg

机顶盒芯片支持定位跟踪


       机顶盒芯片作为IPTV VR主机的关键单元,未来在提升VR体验、丰富VR功能、降低成本的方向上,将随近眼显示、内容制作等技术的提升而迭代前进。


       4.3 IPTV VR业务平台技术要求


       以IPTV业务平台系统为基础、为承载,推动IPTV业务平台面向新兴媒体传播移动化、社交化、视频化的趋势演进,通过开放VR视频、直播、社交、游戏、电商内容入口,新增建设以VR视频内容预处理和VR云渲染为核心引擎的平台,规模部署VR使能机顶盒终端,支持进行“VR+” (泛指全景视频、VR社交、VR直播、VR游戏、VR购物等新业务新模式)创新业务。


f75bd15a92a04162b87bd0abce0ae2a7.jpg

IPTV VR业务平台系统


       VR全景视频预处理能力针对超高分辨率的ERP全景内容,进行全景视频魔方的转换处理,提供给CDN进行分发。以基于视点的全景视频魔方编解码方式为例,具体处理包括:


       1)超高分辨率视频的Tile划分和重新组合。考虑到ERP映射视频的特点,以12K视频为例,一种可行的划分方式是把12K视频整体划分为48个Tile,具体而言,将经纬图垂直方向分辨率进行六等分,水平方向分辨率按照12、8、4等分方式进行划分,划分后的Tile统一scale到最小Tile分辨率规格上。再按照相同顺序把scale后的Tile重新组合成新的8x6的矩形视频。


f50cdba561124964b6cc8142a8196ebf.jpg

全景视频的分Tile方式


       2)建立全景魔方,进行MCTS编码和DASH/HLS索引。考虑到分Tile划分后的全景视频需要适配多种解码能力和显示能力的场景,因此对原始分辨率视频进行1/2下采样后,进一步根据上述分Tile策略进行分Tile和组合,同时从原始分辨率视频scale一个2K分辨率的视频,三个视频构成了类似魔方式的视频组合,分别采用MCTS编码后,依据DASH或者HLS方式进行切片建立索引。


79eec5649cb44fee9fdd2645b6c36926.jpg

全景视频魔方的构建


      VR超高分辨率全景视频比普通平面视频的码率高出十倍以上,基于Tile-based划分的编码方式可以降低50%以上的码率传输,但也会存在多个Tile同时下载的问题(平均15个以上)。如果采用传统分发方式,寻址Tile文件全部传输将对CDN形成很大的压力。为了解决这些问题,CDN采用基于Tile的优化分发方法,主要思路在于:


      1)对超高分辨率全景视频按照MCTS进行编码,CDN只发送用户请求的Tile视频,降低全景视频网络传输的浪费,并减轻对CDN分发网络的冲击;


       2)提供多种分级的质量视频内容供分辨率格式给终端自适应请求。,网络拥堵、质量下降时,终端请求低质量分辨率视频减少卡顿现象,避免视频播放流畅度受到影响;


       3)采用多Tile预拼接技术,通过将用户索引的Tile进行预拼接,减少查询和读取CDN服务的次数,避免因为这种频繁小文件查询和读取对CDN性能造成影响非常大;


       4)引入大数据处理和深度学习等技术,获取用户观看的兴趣区域,并预估用户的观看内容,提前准备需要发送的内容,降低发送与请求之间的时延。


      当前IPTV支持VR视频的场景,主要包括VR点播、VR直播、VR游戏等三大场景。IPTV业务平台升级改造涉及到包括针对高分辨率VR全景视频预处理能力和针对渲染密集的VR云游戏渲染处理能力,对CDN提出更高的并行流化能力和对EPG提出VR UI及内容的展现能力的提升。面向VR业务,IPTV业务平台需要在组播能力、CDN提升、业务运维和保障等方面进行优化:


       提供组播能力承载VR视频直播业务


       使用组播来承载VR直播业务,网络流量和CDN负载不会随着VR直播接入的观看用户数的增加而增加,是IPTV保障用户体验的重要利器,然而VR直播业务需要更高的传输带宽和网络QoS保障。


      CDN 需要更高的并行出流能力以支持VR点播


       随着VR视频的分辨率提升,以及全景视频魔方的应用,单个用户从过去的请求一路CDN流,发展为同时请求多路CDN流,为了保证多个用户的观看体验,这就要求CDN具备更高的并发加速流化能力。


      面向VR业务的端到端运维能力与QoE评估体系


      相比于普通二维视频,VR业务从视频内容制作到终端观看的过程更加复杂。这种情况下带来故障种类多,视频体验劣化难定界,因此需要基于用户VR体验评估的基础上,实现端到端业务运维能力,做到故障快速感知和定界。


       针对VR提供不同的业务优先级保障


       无论VR直播,还是VR点播,若与其他视频业务一起无差异处理,无法保证业务端到端的质量。业务平台提供业务保障优先级确保系统内部资源分配到VR业务,确保VR视频业务的体验不劣化。


       未来IPTV VR 业务平台将随着VR技术的发展, 继续在下面几个方面进行增强演化:


       1)系统架构:面向媒体信息传播移动互联化、社交化和视频化的趋势,推动基于云计算、SDN/NFV 的IPTV系统架构演进。把新的系统架构在采用基于虚拟化能力共享及云化动态伸缩的NFV/SDN上,通过标准化的IPTV平台组件和高性能、标准化及能力开放的CDN部件,以开放架构、平台松耦合的方式实现业务的快速创新、弹性部署,应对海量突发业务与流量。


       2)服务模式:应对新兴媒体视频化、长尾化、即时传播、按需服务、海量传播的特点,基于大数据分析,在新的系统架构上构建弹性按需服务模式,以用户行为大数据分析优化计算和传输资源,以云资源的弹性应对用户服务按需请求处理的动态性和不可预测性。


       3)内容分发:面向用户视频服务超高清化、虚拟体验化的业务需求,通过优化8K以上超高分辨率全景视频流化服务和网络流量分布,在IPTV系统架构上建设存储高效、网络均衡、更智能调度和流媒体能力优化的CDN平台。


       4)业务创新:面向VR+业务创新需求和结合IPTV系统能力开放,构建VR能力开放体系,开放提供协同、跨界、融合的创新业务,探索“VR+X” (X泛指直播、社交、购物、游戏等新业务新模式)的融合服务的模式。


       4.4 IPTV VR内容技术要求


       全景视频与传统视频有明显的差别,传统视频制作是艺术创造过程,全景视频制作则是记录,核心是技术,不能用传统视频制作的思维制作全景视频。全景视频制作设备要求高,成像分辨率可通过增加摄像机个数积木式扩展。8K VR全景视频需要多个摄像头同时拍摄并实时处理。相比制作传统二维视频,技术挑战和难度更大,主要体现在:多摄像头空间位置统一校准;多摄像头采集画面的亮度和色彩一致性;相邻摄像头重叠画面的处理;将多摄像头画面拼接并映射到二维平面,以兼容已有编解码器;实时完成8K甚至更高分辨率视频内容编码压缩处理。


8ef270a4784a494bb0b6ef92ececa1c4.jpg

VR全景视频摄像机积木式扩展


        本文来源中国智慧家庭产业联盟发布的《IPTV:VR技术产业白皮书 》,下载请点击:

          《IPTV:VR技术产业白皮书 》



VR虚拟现实应该如何经营才能稳定盈利

来源:VR体验馆

日期:2019-02-03 12:00

点击:246

属于:公司新闻

广州铭尚科技有限公司成立于 2017 年,是国内知名的 VR 技术、VR 设备、游乐游艺设备及互动多媒体的公司。
公司自成立以来,以“策略先行,经营致胜,管理为本”的商业理念,一步一个脚印发展成为二手 VR 同类企业中经营范围最广、在行业内颇具影响力的企业。
广州铭尚科技有限公司专注于 VR 产品的研发和落地。尤其在二手 VR 产品领域突出,以其优质的货源,近乎完美的价格,贴心的售后服务稳占市场。公司重点加强在全新 VR 设备、软件系统、VR 行业应用方面建设,完善产品及系统,完善不同的市场和服务。
公司拥有专业的软件开发团队和技术团队,提供 VR 设备全新及二手设备,提供优质的运营方案及售后服务支持。满足不同需求。我们始终将客户的需求放在第一位。