刘军：元宇宙是数实融合的数字载体 需要强大算力基础设施

文/浪潮信息刘军

近日，浪潮信息副总裁、AI&HPC产品线总经理刘军受邀出席新智元“元宇宙 新人类”论坛，在《元宇宙服务器metaEngine》主题报告中，分享了浪潮信息对元宇宙的认知，元宇宙面临的技术挑战，以及如何打造元宇宙新型基础设施的见解。

【以下内容基于演讲实录整理】

　　元宇宙是数实融合的数字载体

数实融合当前已经成为一种潮流的趋势，当数字技术日益融入经济社会发展各领域、全过程，持续推动着物理世界数字化、数字世界智慧化，逐渐形成了一场涵盖个人生活方式、社会生产方式和国家治理方式的全面变革。

数实相融就是数字化世界同物理世界的融合，用数字世界来引导现实世界的运行，用数字世界的智慧化实现现实世界的智慧化。

元宇宙本质上是更高度的数实融合，它是数实融合的数字载体，这里我们以数字孪生和虚拟人为例来谈谈。

数字孪生是元宇宙的数字空间基础，它可以将物理对象以数字化的方式在虚拟空间进行动态呈现，它的应用体现在多个方面，比如孪生工厂，可以动态的呈现从生产制作的全过程动态管理，实现运转效率的大幅提升；孪生城市可以在数字世界推演天气环境、人口土地、产业交通等要素的交互运行，绘制城市画像，帮助城市规划、城市治理的效率提升；孪生基建可以让我们在修建高速公路、楼体建筑时，在数字世界对工程进行仿真模拟，评估结构和承力，在工程交付后的维护阶段评估工程是否可以承担特殊情况的压力，以及监测可能出现的事故隐患。

数字虚拟人是元宇宙的重要实体（Entity）和生态，就像是元宇宙世界中的公民，是人类身份在虚拟世界的载体。利用数字虚拟人，人们也可以提升很多工作效率，比如虚拟主播可以7*24小时的进行新闻播报，可以让人们全天候的了解天下大事，虚拟医生可以通过打通就诊数据、跟踪上万种细微指标特征差异，打破时间和空间，实现医生就诊病人从1对1转变为1对多管理，虚拟模特在疫情下缓解了模特紧缺的市场情况，解决模特的供不应求。

　　元宇宙：认知世界 再现世界

元宇宙，可以说是一个认知世界、再现世界的过程，这个过程涉及到在线协同建模、高精度仿真、实时渲染、智能交互等多个环节，每个环节下都有对应的关键技术、软件栈和算法工具。

首先，构建元宇宙需要进行3D建模，最近比较前沿的还有AIGC（利用GAN/多模态模型生成内容创作），这部分的工作需要多人在线协同构建。

由多人在线协同生成3D模型生成后，需要在元宇宙中仿真运行，通过结构仿真、感知仿真和控制仿真可以对模型进行验证，如果说建模是对物理实体理解的模型化，那么仿真就是验证和确认这种理解的正确性和有效性的工具。

通过光线追踪、光栅化、数据流传输可以让虚拟人、数字世界更加逼真，为用户带来超现实的感官体验，呈现出一个更加丰富多彩的数字世界，拥有逼近现实世界一样的沉浸感。

利用CV/NLP/ASR/TTS等AI技术，让数字世界的虚拟人可以能听、会说、能交互，从而打破数字世界和物理世界的边界，实现线上线下的交融。

元宇宙通过以上多个环节、多个工具才能达到超越感官、智能交互的水平，像现实世界一样丰富多彩。

　　元宇宙需要强大的算力基础设施

元宇宙的出现和发展带来的不仅有精彩，还有挑战，元宇宙构建的各个环节都需要用到不同类型的算力支撑，也就是元宇宙的算力基础设施。

大规模、高复杂的数字孪生空间、数字人和其他实体角色的建模需要众多设计师协同创作完成，现实世界和数字世界的交互则需要实时、高清的3D渲染算力和低延迟的网络数据传输，增加了云端协同的处理需求。

元宇宙的应用会涉及到动力、热力、流体等多类物理仿真，这需要用到高精度的数值计算，来支撑物理仿真和科学可视化。

让数字世界无限接近现实世界，需要高逼真、沉浸感的3D场景构建和渲染。举个iMax 3D电影的例子，比如《战斗天使阿丽塔》这部电影，其中阿丽塔高度拟真的视觉特效令人震撼，这样以假乱真的渲染效果来源于巨大的算力消耗：主角13万根发丝每根都需要进行单独渲染，仅1帧画面渲染就要耗费100个小时，而元宇宙的渲染不仅只涉及一个虚拟人，还包括建筑、城市等其他元素，这需要巨量的图形图像计算支撑。

同时，元宇宙还会涉及到人机交互等AI应用场景，由AI驱动的数字人往往需要结合语音识别、NLP、DLRM等AI算法从而实现交互能力，这些模型的背后需要强大的AI算力来支撑其训练和推理需求。

可以看到，要构建高度拟真的数字世界并实现数亿用户实时交互的“元宇宙”，当前面临着场景规模大、场景复杂度高，以及多设计师和多部门协作、极高逼真数字元素制作，实时渲染、仿真和交互等诸多挑战，并对支撑元宇宙构建和运转的核心源动力——算力提出更高的要求。这种要求不仅仅是高性能、低延迟、易扩展的硬件平台，还有端到端、生态丰富、高易用的软件栈。

　　浪潮元宇宙服务器metaEngine

浪潮元宇宙服务器metaEngine正是为满足这些苛刻要求而设计的软硬一体化基础设施。

作为元宇宙生态的底层算力支撑平台，metaEngine将承载元宇宙构建和运行所需的技术和工具，提供对AI、渲染、仿真、建模等负载的算力支持，满足元宇宙创建所需的“协同创建、实时渲染、高精仿真、智能交互”4大作业环节的不同类型算力需求，并通过高速、无阻塞的网络信道，按需扩展至大规模算力集群。浪潮元宇宙服务器结合业界最强软硬件生态，协同优化加速数字孪生世界构建，为用户打造高效的元宇宙协同开发体验。单台元宇宙服务器即可支持256位元宇宙架构师协同创作，每秒AIGC 2000个数字场景，1000位VR/AR用户共享10K超高清3D数字世界顺畅体验。

　　元宇宙服务器产品方案架构

在硬件上，metaEngine采用浪潮领先的异构加速服务器的旗舰系统，支持最先进的CPU和GPU，具有强大的RDMA通信和数据存储能力，支持强大的渲染和AI计算能力。

在软件上，可以支持对应每个作业环节的各类专业软件工具，用户可以根据使用习惯灵活选择，同时系统集成了NVIDIA Omniverse Enterprise，为用户准备了丰富的开发套件，包括专门用于结构、感知、控制仿真的Simulation SDKs，用于渲染、实时光追、AI降噪的SDKs，用户可以通过Kit功能将这些不同的SDK进行模块化的组合，快速完成定制化App或者微服务的开发，当然这里已经为用户准备好了一些广泛适用的App比如用于建模和渲染的Create，用于可视化的View，更为重要的是，用户通过App开发的内容可以通过数据库和协作引擎NUCLEUS，建模工具互联插件CONNECT与第三方专业软件工具无缝连接，目前CONNECT已经提供了20多种Plugins，支持与3DS MAX、UE、MAYA等软件互联。

metaEngine的目标是构建一个端到端、生态丰富和高易用的协作平台，为用户打造一站式元宇宙开发体验。

　　metaEngine全面支持Omniverse

当前，metaEngine已经全面支持英伟达的Omniverse Enterprise，将高性能 GPU 的图形计算、AI计算与高速存储访问、低延迟网络和精确计时相结合，是一个数据中心级的软硬一体解决方案，专用于为大规模数字孪生提供算力和应用支持，以实时创建和运行非常复杂的模型和逼真的仿真环境。

目前的metaEngine元宇宙服务器集成A40的专业GPU，CX6 Dx高速网卡，并与企业级管理和编排软件相结合，为用户准备了丰富的建模、渲染、仿真套件。同时，可以将32台metaEngine组合成为1个集群式的可扩展单元，多个可扩展单元可以继续横向扩展组成更大规模集群，可提供非凡的计算性能和超高的网络带宽，满足工厂、城市乃至更大规模复杂仿真和实时数字孪生的需求。

在这里，我也将为大家分享如何用浪潮metaEnigne创建数字孪生和虚拟人。

　　metaEngine创建数字孪生

首先，以新品设计、流水线调度生产、上市为例，谈一谈metaEngine如何创建运行数字孪生，来优化工作流，提高生产效率。当生产及需求达到一定规模时，生产、配送、分拣的过程就成为了一个系统工程性问题，如饮料、汽车等各行业的大规模制造公司。使用数字孪生让虚拟世界的高精仿真代替现实世界的运行，在产品设计生产、调配之前，模拟其过程取得物理装置最优的参数配置，提高效率赢得市场。

如何建造一个流水线上的数字孪生？metaEngine提供元宇宙构建所需的多元算力和Omniverse组件，为构建和运行该数字孪生提供基础能力。

首先是在线建模，按照1：1数字模型创建工厂的建筑、流水线等生产交付全过程。Connect组件提供20多个第三方建模软件的连接插件，允许用户使用第三方建模工具接入协同建模，Omniverse使用统一数据格式USD与第三方建模软件（SketchUp/Revit）进行数据交互，Nucleus数据库提供多人数据管理功能，允许多用户同时修改可视化、渲染3D-USD文件。

高精仿真阶段使用Simulation组件仿真新产品的材质及物理属性，根据高逼真的虚拟物品，使用Replicator完成仿真环境的部署、搭建。Omniverse丰富的材质库可以为设计模拟物品，提供更好的逼真度，配合使用物理仿真、动画制作的软件（Ansys/Houdini）可以完成整个流水线和物品的高精仿真；Replicator组件则根据仿真结果生成AI模型训练需要的合成数据环境。

实时渲染阶段，使用Renderer组件对仿真环境中的材质、光照条件实时渲染画面，生成用于训练AI模型的合成数据。根据合成数据在metaEngine中训练我们的AI视觉模型，提供物理实体及流水线流程的监控及理解。

智能交互阶段，将在metaEngine中训练完成的AI模型部署于物理环境与虚拟环境，虚拟环境中的AI推理指导物理实体行为，物理环境中实际反应再返回虚拟环境指导模型融合训练。虚拟世界中如检测到画面中的拥堵或者空闲，可以反馈到物理流水线改变作业状态，反之物理流水线上真实的结果可以生成真实数据继续更新AI模型。

　　metaEngine创建虚拟数字人

我们再以高逼真的交互型虚拟数字人的制作及使用为例，依然按照“协作建模---高精仿真---实时渲染---智能交互”的作业流程来看如何用metaEngine创建虚拟人。

首先可以使用UE metahuman/CHARACTER CREATOR配合Omniverse Nucleus/Connect进行3D人物形象及人脸建模。然后通过高精仿真，让虚拟数字人更加自然、真切的与我们交流，比如对毛发的模拟，12万根毛发如何在风中飞舞，这得需要强大的算力支撑，还需要借助AI模型生成逼真的手势和面部表情。

再就是实时渲染，metaEngine中的Omniverse RTX Renderer可以提供实时渲染能力，让人物动画及其场景实时立体地展示在我们面前，通过屏幕或XR设备进行沟通交流。

最后是智能交互使用，这块需要有大量的AI模型提供支撑，把整个智能交互的流程放大来看。用户首先通过语音和视频分别通过ASR 和 Vision AI模型进行推理，得到文本及视频动作理解；将文本、动作理解融合送入的NLP语言模型如源1.0生成语言文本，再将语言文本转化为语音或动作语言表述，通过TTS模型将文本转化为语音，语音驱动Avatar制作的虚拟数字人，产生面部行为（audio2face应用）动作手势（audio2gesture），并通过RTX Renderer实时渲染能力生成动画视频作为输出与用户交互。

当然，元宇宙不仅只有数字孪生和虚拟人。元宇宙要实时地映射现实世界，在元宇宙中再现工业、农业、服务业、社会、经济、文化、城市、乡村、地球等现实世界，用户“身临其境”地在其中社交、娱乐、会议、协作、旅游、购物、教育，所有人都可以在其中互动，要达到这样的目标，还有很长的路要去走，需要不断探索和发现更有效率的实现元宇宙的创新技术和方案。

如同发展汽车产业需要高速公路一样，汽车是应用，公路是基础设施，元宇宙也需要基础设施。metaEngine元宇宙服务器即是浪潮为加速元宇宙产业提出的算力基础设施。