你有没有注意到，北京冬奥会冰壶、速度滑冰两项赛事的转播采用了自由视角技术，还配有“时间凝结”特效？它们让观众不再局限于一个视角观看比赛，还能多角度细看精彩瞬间的定格画面。这一技术创新是如何实现的？解放日报·上观新闻记者采访了叠境数字科技（上海）有限公司。
叠境数字成立于2016年，是上海科技大学孵化的第一家企业。上海科技大学信息学院执行院长虞晶怡教授带领科研团队，将光场技术、智能视觉、数字孪生等技术转化为生产力，为智慧城市、智能制造以及方兴未艾的“元宇宙”等领域服务。
“我们公司主要研发三维视觉的底层技术，对真实世界进行三维重建。”叠境数字副总裁石志儒博士说。本届冬奥会上，公司之所以能参与赛事转播，是因为他们拥有一种对比赛现场的三维重建能力——自由视角交互视频技术。
在冰壶赛场，这家企业与上海科技大学一起参与设计了自由视角采集系统，在“冰立方”部署了64套4K超高清多视角相机系统。在国家速滑馆，他们部署了80套4K超高清多视角相机系统，从各个方位和角度拍摄速滑运动员的身影。
上海科技大学科研人员介绍，自由视角转播有两项关键技术：一是相机系统的三维标定，使各个视角拍到的画面在空间上形成连续性，不会上下跳跃，从而能顺滑地进行视角切换；二是基于神经网络渲染（NeRF）的自由视点视频生成技术，让计算机系统根据转播画面，自动生成一些虚拟画面，与真实场景无缝衔接。马文广解释，海量数据与深度学习结合，可以让三维渲染的过程自动化智能化。因为4K多视角相机的部署成本颇高，要尽量减少设备数量，人工智能系统生成以假乱真的虚拟视角场景，就能降低自由视角转播的成本。
在硬科技的支撑下，叠境数字作为技术提供方，将冬奥会自由视角转播信号提供给奥林匹克广播服务公司（OBS），由后者向全球媒体平台分发，包括我国的央视和咪咕。
据介绍，这家上海企业2019年首次将自由视角技术应用于第十五届世界武术锦标赛转播，随后推广到腾讯《超新星运动会》、东方卫视《伟大舞者》等文体项目，形成了一套能同时提供“时间凝结”特效和自由视角直播、点播服务的一体化解决方案。在“时间凝结”特效制作中，研发团队还开发出对观众感兴趣区域的放大缩小、改变聚焦点以适应不同运动区域、虚拟视角生成等功能，进一步增强了视觉效果。
随着5G时代的到来，这种技术将得到越来越多的应用，并让移动客户端和智慧电视用户自主选择观赛视角，实现个性化、沉浸式智慧观赛。去年全运会上，叠境数字与咪咕文化合作，对篮球比赛进行了50个视角的转播，让移动客户端和智慧电视观众在5G网络支持下任意选择，获得了“上帝视角”和沉浸式体验。未来，叠境数字将持续致力于将人工智能、数字孪生、自由视角等技术应用于智慧场馆、智慧观赛等应用场景，为观众带来更创新、更具看点的新内容生成技术。
免责声明：本网转载自其它媒体的文章，目的在于弘扬科技创新精神，传递更多科技创新信息，宣传国家科技政策，展示国家科技形象，增强国家科技软实力，参与国际科技舆论竞争，提高国际科技话语权，并不代表本网赞同其观点和对其真实性负责，在此我们谨向原作者和原媒体致以崇高敬意。如果您认为本网文章及图片侵犯了您的版权，请与我们联系，我们将第一时间删除。
