中国智慧家庭产业联盟:《IPTV:VR技术产业白皮书 》(下)

来源:VR技术资讯网

   

作者:广州酷之乐动漫

   

日期:2019-09-17

关键词:VR设备,VR技术,VR虚拟现实

       拼接是全景视频制作过程中技术难度较高的环节,。目前一般采用全局直方图均衡化和色彩校正技术解决各摄像头由于各方面的差异性导致的亮度、色调不一致的问题,以保证待拼接的画面亮度和色调的一致性,降低拼接难度,保障拼接后良好的主观效果。涉及到各摄像头采集画面亮度不一致。通常先统计亮度直方图再统一调整,确保输出全景画面亮度均匀。各镜头采集的画面本身存在一定畸变,在拼接前需要先做畸变校正纠正再拼接,然后检测。相邻摄像头画面内容之间配对的特征点和线,对拼接之间有重合部分,需要精确标定锚点标定,然后对重叠区域进行细致融合,充分保证确保交界处无拼接痕迹没有痕迹且不降低清晰度。将拼接后的360度全景视频映射为二维平面视频,采用已有的编码器进行编码压缩后传输或存储。拼接环节通常会通过ERP映射生成一幅幅矩形画面,再进行编码。


       3D全景视频相比2D全景视频的优势在于能够提供立体感,但这也需要在画面采集时采用就用两双套摄像头装置分别模拟采集左眼和右眼,采取一定的视差对内容进行采集的画面,才能保留双眼视差信息,因而3D全景视频相比2D全景视频制作难度更高,不仅需要特殊的全景相机,而且左右眼画面都需要单独拼接和编码,需要处理的数据量像素量增加一倍。


       目前3DOF全景视频支持都是3DoF ,即观看者在roll、pitch、yaw三个方向维度可以旋转头部观看各视点的内容自由运动。为了提高交互性,未来6DoF6DOF视频将成为主流,代表全景视频下一步的发展方向。Facebook推出了一种初级的6DoF6DOF内容采集设备来自Facebook,它的其摄像头分为多组,每组拍摄不同深度的视频,再通过后期制作手段将这些不同深度的视频融合为6DoF6DOF视频。 另一种6DoF设备是Lytro的光场相机,它采用密集的镜头阵列捕捉不同景深深度画面,相比第一种设备优点是观看者可以小范围移动位置,不必固定视觉中心 ,而且不同景深画面的清晰度更高。还有来自Intel的Free-D,它围绕赛场布置多个摄像头来录制视频,观看者随时可以在这些摄像头之间选择位置最佳的一个进行观看。


       MPEG组织为VR内容的文件格式专门成立了一个独立的OMAF工作组,其主要任务是统一并规定VR多方面信号表达、文件逻辑嵌套关系等内容,例如规定了基本的视频内容映射格式、视角的表达方式、视角覆盖区域表述方式、3D视频交织存储方式。


      IPTV VR巨幕影院对内容没有要求,直接采用IPTV已有视频资源即可。VR全景视频则需要根据当前阶段的制作理念和制作技术水平,逐步探索高质量场景类和故事类全景视频内容领域,为用户提供最佳的VR视频体验。

    

      为了进一步提升全景视频的体验,现阶段建议VR全景视频内容从8K起步,具体技术要求如下:


e25fe11a452747bca1df63a4d751885c.jpg


       全景视频内容的规格受制于HMD的显示能力,未来IPTV VR 全景内容将随着HMD技术的发展和VR 沉浸感知提升的需求, 继续在下面几个方面进行提升:


      1)360度全景视频技术规格的提升和优化,包括以8K、12K、16K更高的分辨率支持HMD设备规格的提升,同时在单个视频像素质量上也会进一步提升到10bit、12bit,支持HDR高动态、WCG宽色域和更高的帧率。


      2)全景视频内容将从3DoF、3DoF+走向6DoF,尤其是全景视频内容将随着CG渲染技术、点云技术、光场技术的应用而提升。


      4.5 IPTV VR机顶盒技术要求


       传统IPTV机顶盒以电视视频业务为核心,对视频进行解码和后处理,再经HDMI输出到大屏电视机进行显示,目前机顶盒芯片、内存、Flash都以全4K能力为基础设计。典型配置如四个2.0G Cortex-A53性能级别的处理芯片、2-4核GPU处理器、1G内存、8G Flash、1个HDMI输出。


       IPTV VR机顶盒除了支持传统电视视频业务以外,核心是要支持HMD设备,以满足IPTV VR的业务应用场景,提供巨幕影院和8K VR全景视频能力,相比PC主机和GPU的配置,当前主流机顶盒硬件和软件能力明显不足。但是要大规模普及IPTV VR机顶盒又对成本非常敏感,不能采取简单堆叠硬件性能的方式来解决,因此IPTV VR应用对机顶盒解码硬件设计和软件设计提出了更高的挑战。



f45d2752bf25446abde7bbec5d373b71.jpg

IPTV VR机顶盒


      基于解码渲染的机顶盒芯片架构和基于OMAF视点全景视频魔方编解码方案,只解码用户可见视角的VR视频,可以在硬件成本和性能上获得竞争优势。但是依然需要在GPU性能、VR视频处理专用硬件、内存容量速率上提升规格。


c81444d195804ff184d286335ddcd3dd.jpg

IPTV VR机顶盒的视频处理


       VR机顶盒要具备连接大屏电视和HMD的能力,两路HDMI输出是基本要求,同时HMD通过USB将陀螺仪等传感器信息回传给机顶盒,由机顶盒进行对应处理。硬件接口上,VR机顶盒支持两个HDMI输出是基本要求。


      相对于传统电视视频业务,VR业务和用户位置、方向信息相关,所以传统上的遥控器操作模式不适合VR业务。现在用的比较广泛的操控外设是内置陀螺仪的蓝牙手柄,陀螺仪将运动信息送回给VR机顶盒,VR机顶盒通过计算来确定用户操控行为。


      随着AI技术的发展,语音识别和手势识别的效率和准确度大幅提高,正在逐步应用到VR业务中。语音识别和手势识无需额外设备,简单易用,将极大的提升VR业务的用户体验。未来,触觉手套,味觉传感器等备会使得虚拟体验更全面和真实。


       在软件架构上,VR机顶盒软件分为VR SDK层、中间件层和应用层。


738867771c944a50a8a9528d047dc516.jpg

IPTV VR机顶盒系统架构


       芯片对其硬件能力进行封装,提供VR SDK,其中的主要功能包括:基于OMAF视点的传输方案控制,根据按需使用的方式获取VR内容,并完成解码,映射、渲染等操作。


      中间SDK层,主要功能是,获取外部传感器信令,或者用户语音,手势等操控信息,定位用户位置或行为方向,识别用户命令,通过VR SDK控制底层VR设备


       应用层,提供一个用户可见的VR Launcher,来使用VR播放器和控制VR业务。其主要功能是,获取VR EPG内容,集成业务逻辑,通过Unity 3D等技术生成VR场景和VR电子菜单。


ab526f30e7b4421b8e56ec4c25b022fb.jpg

IPTV VR 的EPG示例


       VR机顶盒和HMD之间通过HDMI/USB线来连接,完成视频传输、传感信息回传和供电,这带来了使用者移动不便等问题,对用户体验影响严重。无线传输方式成为未来演进的一个重要方向。无线传输的两个重要指标是带宽和时延,VR视频的高分辨率和MTP20ms刚性约束,现有广泛应用的802.11ac WiFi协议远不能满足要求。


       正在发展有望满足要求的无线技术有:


       WiGig( 802.11ad ),是一种无线千兆比特网络通用标准, 工作于60Ghz频段,支持近距离高达7Gbps的传输速率,满足2K VR的要求。WiGig技术已被英特尔及其无线 VR 方案提供商 DisplayLink 所采用。2017年E3,英特尔展示的WiGig无线方案延迟为7ms。


       WirelessHD,是较早的一种专有标准,专用于短距离传输高清视频。WirelessHD 1.1版本采用了60Ghz频段,最高传输速率可达28Gbps。


       WirelessHD的解决方案需要一个接收器和一个发射器,其延时在5-15ms之间。TPCAST技术,是WirelessHD的一项应用,已经在HTC Vivo上实现,体验效果在2K VR水平,和有线传输区别不明显,但是成本非常高。


       此外,Li-Fi 可见光通讯技术,可以达到50Gbps的传输速率,当前还处于实验室阶段,也是未来可能的选项之一。


      4.6IPTV VR HMD技术要求


       HMD良好的沉浸体验需要从人眼视觉特性着手,提供与人眼类似的视场角、良好的显示效果(足够的分辨率和色彩还原性能),并满足人眼立体视觉、聚焦凝视、视觉融合等特性。目前技术可用成熟以光学屏幕技术为主,除了大视场角、高分辨率以外,解决会聚与聚焦的不匹配是提升HMD体验的主要难点,新型的甚至结合眼动跟踪功能的多焦面显示、视网膜投影、光场显示技术正在蓬勃发展。


       光学屏幕的HMD对屏幕的要求是高分辨率、高刷新率和小体积。理想的近眼显示屏幕分辨率应该达到16K,刷新率达到1KHz,以及1寸或以下体积。目前的屏幕技术尚待进一步提升。当前显示效果较好的OLED近眼显示屏幕,单眼分辨率在1K左右,刷新率达到90Hz,国际上主流厂商如Sony、VIVE和Oculus都在产品中使用OLED屏幕。随着LCD技术的发展,可以通过Fast LCD技术提升屏幕响应时间显著改善的产品。由于FastLCD屏幕在成本、产能上有显著优势,预计在将来的两到三年中成为主流,广泛的使用。将来,近眼显示屏幕需要的分辨率会进一步提升而尺寸进一步减小,现有的LCD和OLED技术都面临接近工艺单位尺寸分辨率的极限,能支持更小尺寸、更高分辨率的硅基OLED技术是一个值得期待的发展方向,随着这一类产品技术的成熟和价格的下降,在今后三到五年年中,硅基OLED有可能成为近眼显示的主流屏幕。


       良好的光学设计对于HMD至关重要,它有助于确定可获取的视场和整体图像清晰度。在HMD早期,简单的球面或者光滑非球面镜片由于设计简单、成本低成为了头显的主流选择。有代表性的产品包括Oculus DK2, 三星GearVR,以及Google的CardBoard等。随着VR的普及,用户对视场角大小和屏幕像素晶格感方面的有了进一步的要求,菲涅尔透镜由于具备短焦距和光学扩散的特点,成为新一代HMD的主流光学方案。当HMD的尺寸、重量进一步下降,屏幕的分辨率进一步提高,现有的菲涅尔透镜在尺寸、成像清晰度方面遇到挑战,而新型的菲涅尔结合非球面多透镜光学方案将会出现。


       在数据接口方面,头显的HDMI接口应不低于HDMI 1.4. 对于分辨率/刷新率综合指标高于2560x1440@70Hz的头显,其HDMI接口需要支持HDMI 2.0标准(或支持DP 1.3以上)。最新的HDMI2.1接口支持8K@60Hz的48Gbsp的传输速率,而2016年推出的DP1.4最高支持32Gbps的传输速率,如果使用90Hz屏幕,所能单眼分辨率极限约为4K。 如果需要支持16K@1kHz的屏幕,HDMI和DisplayPort等标准仍然需要多年的演进。在HMD的交互方面,USB3.0接口可以满足现有传感信息和inside-out摄像头数据的基本需求。交互的形式从HMD的按键,3Dof手柄,6Dof头盔/手柄组合都会得到相应的应用。实现的成本从简单按键到复杂的6Dof设备逐渐上升,而交互的体验也是逐渐上升的。


4e95b8073cee4a70a19040d3deee7720.jpg


       5


       IPTV VR对宽带网络的需求


       5.1 VR体验的持续演进成为宽带网络发展的主要动力


       当代信息通信的基础是互联网技术和移动通信技术,架构其上的无所不及的互联网应用已经深入到社会的方方面面,并正在改变着我们这个时代的面貌。回顾技术发展历程,应用和网络相互促进,螺旋上升,推动着技术创新和社会发展。VR虚拟现实技术以其沉浸性、交互性和构想性的体验,推动着网络向高带宽、低延时、无线化方向演进发展,为网络的质量保障、接入技术和网络架构的发展注入源动力。


bbfef6f7017c47e589ae2520037e9f64.jpg

VR体验提升与网络演进


       VR发展首要满足沉浸体验的要求,预计对网络带宽的需求达到100-500Mbps。提升沉浸感的需求促使VR分辨率和帧率越来越高,推动VR视频带宽需求的提高。根据计算,8K VR全景视频的传输带宽需求超过100Mbps,16K -32K VR全景视频的传输带宽需求更是高达1-4Gbps,即使采用基于视点自适应的传输模式,带宽需求依然高达500Mbps,需要千兆宽带才能提供支持;而更具沉浸感知体验的光场、全息VR,则需要现有基础上的100-1000倍的传输带宽需求。


       VR发展在沉浸体验达到一定程度时必然会对交互体验提出更高的要求,预计对网络时延的需求达到10-5ms。提升VR交互体验的需求,则更多的对网络延时带来挑战。在交互式VR场景中,显示的内容根据用户的位置和行为进行实时变化。对于实时内容的交互式业务,如VR社交、VR实时操控,过大的缓存和传输延时会造成交互不流畅而影响体验。为保证交互的基本的流畅性,网络传输延时不能大于20ms,而对于极致的VR交互体验,端到端延时应小于20ms,网络延时则需要降低到10ms以内。对于非实时内容的交互式业务,如6DoF场景,网络时延越大,则需要预先传输的视点内容越多,所需的传输速率越高,若1ms网络延时,所需的传输速率是100Mbps,在20ms网络延时,传输的速率要求将达到600Mbps。因此,网络延时20ms是基本要求,随着VR交互体验的提升,对网络时延的要求需要提升到小于10ms甚至5ms。


       在融合体验阶段,所需传输的数据不仅仅是视觉信息和听觉信息,还可能包括运动加速度、触觉甚至嗅觉等信息。但视觉信息仍是其中最主要的内容。这时,视觉信息的呈现方式将包括全息影像、光场等方式,这些方式的每个点都包含整个场景的部分或者全部信息,网络所需传输的信息成几何级数增加。技术的进步可以将所需传输的数据量大大压缩,但我们仍估计需要传统方式100~1000倍的带宽才能承载融合体验的VR业务。


e9075676972c4488a2b94dcb6ae3e3f5.jpg


       用户任何时候、任何地点观看高沉浸感VR内容的需求,对VR业务的便携性和可移动性提出要求,推动着网络固移融合的发展。固定宽带因其高带宽、低延时的特性,是IPTV VR率先迈出普及步伐的优势和基础,而包括WiFi和移动数据网络的无线接入承载会将VR的普及和体验推向更高的阶段。


7a880491197d4432beac7a65148a66ee.jpg

IPTV VR网络架构


       VR沉浸体验、交互体验和融合体验所需要的需要高带宽、低延时的承载网络,推动网络向计算边缘化,结构扁平化发展。VR内容场景的渲染需要高计算力的支撑,尤其对于CG内容和6DoF的场景,计算力云化和VR业务的低延时特性,对网络延时提出了更高的要求,当传统的集中式业务中心和多层的网络架构难以满足低延时要求时,就需要将业务节点逐步下沉到网络边缘,推动接入机房(AO)重构,提供多接入边缘计算(MEC)能力,并推动网络架构从传统的多层汇聚架构向扁平化网络演进。


       VR业务高带宽、低延时的需求,还推动着网络智能化的发展。一方面,VR业务是网络质量敏感业务,轻微的延时抖动、丢包就会对业务体验产生影响;另一方面,网络状态瞬息万变,只有实时地根据网络状态对VR流量进行智能化的动态监控和调度,才有可能对VR业务进行高效的保障,并将其对网络的冲击减到最小。网络的NFV和SDN化为网络智能化奠定了基础,5G引入的网络切片技术为端到端QoS保障提供了新的手段。通过大数据的网络状态和业务质量的识别,人工智能辅助的网络智能调度和运营保障,智能化的网络有能力为VR的沉浸体验、交互体验和融合体验提供高效的保障。


       5.2 10G PON接入成为IPTV VR业务的网络基础


       10G PON技术将成为满足IPTV VR第一阶段带宽要求的基础,目前固网接入方式依然为 GPON、EPON为主,难以满足第一阶段中8K、16K等 VR全景视频要求的百兆以上的家庭带宽接入能力。GPON单接口的下行总带宽按2.5G计算,收敛比按照50%计算,在1:64分光比下每用户带宽尚不足100Mbps,因此GPON/EPON技术难以满足IPTV VR的大规模普及,EPON向10G EPON演进,GPON向10G GPON演进已成为现阶段千兆入户的主要技术方向。10G PON分为非对称10GPON(XG-GPON)和对称10G PON(XGS-GPON),非对称10G PON提供1.5G(10G EPON)/2.5G(10G GPON)上行和10G下行,对称10G PON提供10G上行和10G下行,收敛比按照50%计算,则在1:64分光比下每用户带宽可达到300Mbps,将满足IPTV 8K到16K VR全景视频业务的带宽需求。


      下一代PON技术,一方面是通过单波长提速,实现25G PON,另一方面是通过多个25G波长堆叠实现100G PON。ITU已开始制定下一代PON标准,IEEE 802.3已开始着手制定25G/100G PON标准,ITU和IEEE的“PON融合”已成趋势,单波长25G正在成为标准, 25G PON可以在分光比1:32/64情况下给用户开通1Gbps以上带宽,100G PON则可以在分光比1:32/64情况下给用户开通4Gbps以上带宽。


       5.3 IPTV VR将促进家庭智能组网及WiFi千兆覆盖


       IPTV VR业务的普及必将推动家庭网络WiFi从百兆无缝覆盖进入千兆无缝覆盖。相比现阶段802.11n最大支持40MHz频宽、最大四个空间流的MIMO、SU-MIMO和64-QAM,难以提供家庭环境下用户体验速率100Mbps的无缝覆盖。802.11ac工作在信道多干扰少的5GHz频段,单天线(单空间流)最大物理速率可以达到433Mbps,实际数据速率可以达到100Mbps以上,通过2*2 以上的MIMO保证Wi-Fi的数据速率,不低于200Mbps,802.11ac将满足IPTV VR第一阶段带宽需求。而Wi-Fi带宽要求500Mbps以上千兆以下时,需要使用支持4*4 MU-MIMO的802.11ac wave2标准或者升级到下一代的802.11ax标准。


      预计2019年正式公布的802.11ax标准采用MU-MIMO、OFDM、1024-QAM等技术最大可实现10Gbps空口速率,同时具有更强的抗干扰能力、更强的并发能力、更远的传输距离,以保障丢包率、时延以及带宽稳定性等性能指标,可以在用户密集的环境下提供一致且稳定的传输速率。


       此外,IEEE 802.11目前在制订基于60GHz的下一代Wi-Fi标准802.11ay,通过channel bonding,MU-MIMO等技术可提供20-40Gbps带宽,可实现无压缩视频帧数据传输。802.11ay 技术可用于VR头显的无线化,是利用无线传输技术进行无损的视频传输以解决主机VR,头显与主机之间的连线影响用户体验的问题。


       5.4 VR时代的发展呼唤5G时代的低时延高带宽网络


       随时随地100Mbps 用户体验速率的覆盖是移动网络承载VR+时代的基础,VR从沉浸感知体验走向虚实融合体验,对无线移动通信网络承载能力提出了挑战。目前LTE商用环境的单用户理论峰值速率为100-300Mbps,然而受基站覆盖、小区用户数、信号强度、干扰等因素影响,用户体验速率为3~30Mbps,尚不具备承载初期8K VR全景视频带宽需求的能力。


       2017年12月ITU、3GPP相继发布了5G NR新空口技术需求和标准,随着5G新空口技术、网络架构和核心网络标准的演进和逐步商业部署,预计2020年起5G增强移动宽带场景(eMBB)将推动VR沉浸感知从8K、16K VR,走向光场、全息VR,进一步结合高可靠低时延场景(uRLLC)VR将进入与虚拟世界交互和融合的大发展主题。


       VR业务体验的提升和5G新技术的应用部署将进入相互促进匹配阶段。5G空口采用新型多址和多载波、高频段通信、高低频协同、超密集组网、大规模天线阵列等技术,可提供更高的网络能力,5G网络采用的边缘计算、网络切片等技术,可更好地承载VR社交、VR游戏、6DoF VR等延时敏感型VR业务。VR体验的每一步提升都将构成对5G网络流量密度(10Mbps/平米->100Mbps/平米)、用户体验速率(100Mbps->1Gbps)、数据面时延(10ms->1ms)的重要驱动。


       6


       总结与行动计划


       6.1 总结:VR赋能IPTV,IPTV普及VR


       VR时代大幕刚刚开启,抢占VR时代的新业务、新入口和新流量,VR+(视频、全景、直播、游戏、社交、电商)存在无限可能。随着经济的发展,已经进入消费升级的阶段,以VR创新形态推动IPTV业务,集成VR技术的最新成果,以提升用户沉浸体验为目标, 服务IPTV的战略又赋能IPTV的发展和演进。IPTV的发展面临如何进一步提升用户的观影体验,如何进一步促进宽带业务迈入千兆时代的挑战,VR的沉浸体验和高带宽需求恰好与IPTV的战略吻合。


       IPTV从推动用户视频体验提升出发,通过利用VR最新技术给用户提供沉浸级的视频体验,提升用户的感知。进而提供8K以上分辨率的全景视频业务,进一步满足用户对360度全景视频的新体验。以规模化、标准化为手段,降低产业成本,打通VR内容分发渠道,为高质量内容变现提供可能,进而以应用驱动,在应用中改进VR沉浸体验技术、提高VR虚实交互技术,推动VR生态的繁荣。IPTV VR的启航必将极大的推动VR时代的进程,拉动VR产业的发展,普及VR业务在公众/行业的应用,推动城市智慧服务、信息消费升级、信息化水平,在VR领域开创一条以应用驱动,在应用中发展技术的可持续创新。


      6.2 行动:挑起VR+时代的新扁担


       新一代信息通信产业发展已经进入“应用驱动,在应用中改进技术提高技术”的创新模式,业务应用的发展壮大和ICT技术的演进创新就如同扁担的两头。IPTV成为融合传统媒体和新兴媒体网络传播的重要渠道,具备应用创新的巨大优势:上亿用户规模、平台终端标准化规范、技术创新活跃、产业影响力强。2016年下半年,VR产业进入低谷,与承诺的用户预期落差较大,用户观望失落。值此产业黎明前,需要有担当的运营商的规模化能力和业界领袖企业的创新力联合,从上而下构筑联合产业共识,挑起VR+时代新扁担,鼓舞产业信心、解决技术难题、探索新的业务形态、推动IPTV VR从验证到兴起到繁荣到飞跃。


      2017年:充分调研现阶段VR技术的最新成果,搭建原型产品和业务,进行测试验证,以白皮书为抓手推进产业共识。


       2018年:在产业共识的基础上推进企业标准、行业标准和国际标准的制定和完善,基于标准化推动产业链进行产品化开发,在有意愿的省市开展现网试点、试商用,进行技术和业务的迭代创新。


       2019年:大力开展VR+创新业务,推动更多VR+业务的探索和试点,在应用中改进VR沉浸体验,走向VR+新时代。


        本文来源中国智慧家庭产业联盟发布的《IPTV:VR技术产业白皮书 》,下载请点击:

          《IPTV:VR技术产业白皮书 》






VR虚拟现实应该如何经营才能稳定盈利

来源:VR体验馆

日期:2019-02-03 12:00

点击:246

属于:公司新闻

广州铭尚科技有限公司成立于 2017 年,是国内知名的 VR 技术、VR 设备、游乐游艺设备及互动多媒体的公司。
公司自成立以来,以“策略先行,经营致胜,管理为本”的商业理念,一步一个脚印发展成为二手 VR 同类企业中经营范围最广、在行业内颇具影响力的企业。
广州铭尚科技有限公司专注于 VR 产品的研发和落地。尤其在二手 VR 产品领域突出,以其优质的货源,近乎完美的价格,贴心的售后服务稳占市场。公司重点加强在全新 VR 设备、软件系统、VR 行业应用方面建设,完善产品及系统,完善不同的市场和服务。
公司拥有专业的软件开发团队和技术团队,提供 VR 设备全新及二手设备,提供优质的运营方案及售后服务支持。满足不同需求。我们始终将客户的需求放在第一位。