11月3日-4日，2021年腾讯数字生态大会在武汉中国光谷科技会展中心举行。在今年大会的门口，腾讯云用6万块积木建起的一个6米高的大logo格外吸睛，成为一个热门打卡点，而用户得到的不只是一张静态的“游客照”，而是一段可以在终端自由切换观看角度的视频，这仿佛在现实生活中打开了王者荣耀的“自由视角”—— 而这个特殊的体验环节背后也是腾讯多媒体实验室自主研发的自由视角空间视频技术的支撑。
“产业数字化对于很多客户而言是一个理解过于繁复的过程。腾讯云希望像积木一样实现自由组合，即插即用，助力客户‘化繁为简，以小建大’，”积木云项目负责人之一，多媒体实验室业务负责人Jeff告诉36氪，“这也是我们为什么策划这样一个打卡体验的原因。自由视角背后原理很复杂，适应场景很多元，但这样一个专属的个人体验，能更简单直接感受自由视角的魅力，也有机会去让大家畅想它未来更‘大‘的魅力与前景应用。”
没有人走过的路
早在2018年，腾讯多媒体实验室就在腾讯杰出科学家刘杉博士带领下开始了对沉浸式媒体（包括自由视角、VR/AR等）技术的研发工作。作为一个提升用户沉浸式体验感的技术，但最开始，自由视角在国内似乎没什么关注度。
彼时，VR/AR领域经过几年的热炒，因为尚无法为用户带来较好的沉浸式体验，热度骤减，不论是投资机构还是科技公司都尚未清晰意识到构建沉浸式体验的价值。2018全年VR/AR领域的融资总额还不及2017年下半年融资数额的一半。
而相比VR技术，自由视角在技术难度上更大了。VR是固定观察者位置，从中心向四周看，模拟人在特定位置转动头部的观察体验。而自由视角则是相反，是从四周向中心看，即观察者除了可以通过转动头部变换视角，还可以变换位置进行视角切换。更多的视角自由度意味着需要更多的数据和更复杂的算法，因此自由视角在技术上更具挑战性。
在自由视角技术概念尚处于早期阶段，腾讯多媒体实验室就已经发现了这项技术背后的巨大潜力，将其作为沉浸式媒体产品线的一部分开始进行研发。同时，实验室标准团队还深度参与了国际自由视角相关技术的国际和国内标准制定。
2020年，5G技术开始逐步进入商用阶段，5G建设和应用持续推进，作为新一代的移动通讯技术，5G在传输速率、资源利用率方面相比4G均实现了较大提升。高可靠、低时延的5G技术满足了自由视角对网络带宽的要求，辅以显示技术的发展与成熟，自由视角又再次走到了台前。
经过3年的技术打磨，在2021年的腾讯数字生态大会，腾讯多媒体实验室研发的端到端自由视角解决方案“闪亮登场”，为颇为火热的“全真互联”概念迈出了实践性的一步。
《黑客帝国》如何从电影走入现实
相信许多80和90后关于科幻的最初概念都来自于《黑客帝国》系列电影。电影中由基努·里维斯饰演的主角尼奥在倾身躲子弹时仿佛时间静止，展现出的360度旋转全景场面过去了20年还是让人印象深刻。
通过多机位快速连续捕捉拍摄目标，并对拍摄内容进行处理是《黑客帝国》视觉效果总监约翰·盖特首先应用的， 2013年火遍全国的韩剧《来自星星的你》中都教授暂停时间时的全景视角应用的也是这种方法。而这也是自由视角技术的最初的原型。
（《黑客帝国》拍摄现场机位设置，和下图通过侧滑的形式呈现）
（《来自星星的你》拍摄现场机位设置，和上图通过侧滑的形式呈现）
自由视角技术链条较长，大致可以分为图像数据采集、网络传输、处理分析和客户端显示等多个环节。由于需要实现实时的视角切换，自由视角在技术实现难度上比后期制作时间充足的电影拍摄更胜一筹：
现实中的自由视角与王者荣耀等游戏中的自由视角模式最大的不同就在于需要对现实中的图像进行实时采集。在图像数据采集环节，需要围绕被拍摄物等距离放置摄像装置，以保证能够捕捉到拍摄物多角度的图像信息。由于需要在显示时实现实时切换，自由视角对摄像终端的同步性要求极高。如果数十、甚至上百台的终端设备传回的数据有时间差，则一个固定时间点上的图像信息则难以进行整合，为后续的图像渲染带来了巨大的困难，从而不能流畅切换。
在网络传输环节，由于终端设备的数量较多、单个设备采集的数据量也较大，保证终端采集的数据能够高质量、快速的传输到数据处理中心是网络传输环节的最大难点。随着5G技术的普及和6G技术时代的即将到来，自由视角在网络传输环节的难点正在逐渐被克服。
“面对超长的技术链条和众多关键节点的技术难题，腾讯多媒体实验室选择了端到端、从编解码器到上层实现的纯自研解决方案，以保障用户在应用自由视角技术时的完整顺滑体验。”多媒体实验室专家介绍。
从采集、传输，到云端处理、拼接画面，再到图像渲染、显示，腾讯均实现了技术突破，全流程保证了自由视角的体验质量。在画面采集与传输流程，该解决方案通过算法高效保证了摄像头信号的高效同步；在画面处理和渲染环节，腾讯多媒体实验室花费了较大的努力，对镜头间的画面畸变进行校准和优化，并利用深度学习自动的对多幅画面进行校准和匹配、拼接。结合视角预测、预加载优化等多种算法，该解决方案实现了多视角的实时切换。同时，针对不同的应用场景，腾讯的自由视角解决方案提供了不同的特异性优化算法，使得个性化场景下的处理效果更优；在显示方面，腾讯自研的播放器也可以为自由视角提供助力，多项技术结合，为用户提供低延时、高画质的视频观看体验。
随着未来硬件技术的进一步发展和迭代，腾讯将持续将更低成本、端到端的自由视角技术推向赛事直播、演唱会、活动直播、在线教学等各种侧重临场感和沉浸感的场景，让沉浸式体验走入生活，从而给从游戏、影视制作、社交、多人协作等各个领域带来全新改变和更深远的影响。
“元宇宙”很远，全真互联在当下
虽然今年“元宇宙”的热潮似乎概念大过实质，但追求沉浸式的“全真互联”技术却是共识的未来互联网技术的发展方向。马化腾在2020年底为腾讯年度特刊《三观》撰写的前言中，就提到了“全真互联网”的概念。
在未来，随着人们对于更沉浸、更自由的“全真”观看体验的需求不断增加，自由视角技术将成为很多场景中的首选甚至是必选。如在线上演唱会场景中，自由视角可以让观众无需出门，即获得比vip座位更接近舞台、比在现场座位更自由的观看角度，将大大提升观看体验，降低观众参与和欣赏表演的成本，实现千里之外，犹如身临其境，实现对舞台更还原、立体、忠实的影音记录。
在向“全真互联”时代迈进时，腾讯作为国内音视频领域的领导者，也一直走在沉浸式相关技术的研究前沿，稳步前行。腾讯多媒体实验室专家们在支持产品研发的同时，也积极参与20余项多媒体领域国际和国内标准制定，目前已有已有超过 500 项专利技术被多个国际标准采纳，为中国企业赢得了国际声誉。
当然，自由视角技术只是腾讯迈向“全真互联”一小步。在未来，腾讯多媒体实验室将能不断进行技术优化迭代，推动“自由视角”和其他提升用户体验感的沉浸式多媒体技术的创新，并提出更好的解决方案，促进“全真互联网”在更多应用场景下的落地，为用户、开发者和合作伙伴提供更有效的服务和支持。
