云化AR总体技术方案

2021-02-10 来源:中国通信标准化协会

面对云化AR应用场景,梳理了云化AR总体方案。在平台侧,提供AR云化处理能力。将对时延敏感的能力下沉到边缘侧,包括AR数据处理、AR渲染以及边缘分发能力,将业务系统部署在中心云上,主要负责用户管理、AR数字资产管理以及边缘调度等业务相关服务。网络承载可以通过4G/5G网络或者在家中连接Wi-Fi接入。

1 云化AR总体架构

(一)终端处理能力云化降低端侧设备成本

当前的AR应用主要集中在手机端,主要原因在于一方面真正意义上的AR应用尚未普及,大众能够接触到的AR应用,主要集中在相对简单的AR滤镜类应用,以及小范围的AR展示等应用,对于终端性能要求不高。另一方面受限于AR眼镜终端的发展,目前的AR眼镜在性能、重量、轻便性以及价格上, 仍未被普通大众用户接受。 AR终端向轻便型过渡中,终端的计算能力将会大大降低, 终端的成本也会随之降低。 由于算力需求的骤减, 对于电量的消耗也大幅减小, 因此终端设备可以做得更加轻量化,或者更长的续航时间。

2 终端计算上云

复杂度高的数据处理能力上云,在减低终端设备成本的同时,促进平台能力技术的发展。使得AR产业链中终端设备厂商更好的聚焦当前的设备解决方案。在AR终端处理能力上云的过程中,终端只负责必要的信息处理,例如:传感器信息采集、交互信息反馈、视频流解码显示等。

(二)网络传输技术满足AR应用云化需求

交互式AR应用将虚拟场景与现实场景相结合,传感器的实时定位,画面的实时渲染显示,是典型的计算密集型的低时延应用。

15G网络的商用以及家宽业务的发展,在网络上,保障了AR应用数据传输的稳定性及安全性。

2)边缘计算的发展,促进云端计算和存储资源的进一步下沉,在AR内容传输及分发过程中, 降低了数据传输时延。

3 边缘计算部署位置图

3)优化的传输方案, 有效的保证数据的流化传输方案, 并行流化技术能够有效提高处理及传输效率, 大幅度减少云化时延。

1.传输内容

云化AR基于追踪计算、虚拟渲染上云的方式,为了达到近似或超越本地终端运行的效果,导致其对网络传输速率、传输时延和稳定性都具有较高的要求。结合AR服务的特征,其网络传输的主要信息包括:

1).终端向云端传输:本地化实景信息、终端测操控指令、交互同步信息等。

a)本地化实景信息:构建AR服务的真实世界信息

i.实景视频:即终端测将实际拍摄的视频上传到云端,并由云端完成针对实景视频实时位置追踪、三维重构和虚拟渲染等。

ii.实景逻辑:即终端本地完成实景视频的追踪和三维重构后,将相应的实景逻辑上传到云端,云端仅处理有关虚拟渲染部分。

iii.位置信息:即终端测只需传送与实景有关的位置信息(GPS/北斗等定位信息等),云端根据资源库已有的实景资源、实景逻辑,完成虚拟渲染。

注:上述三种情况,能够满足不同的AR应用场景需求,该部分相对云VR而言需要更大的上行带宽。

b)终端测操作指令:包括各种触屏操控、手柄、手势、语音等操作方式,主要是针对虚拟景象的操作指令。其数据包一般为KB级,上行带宽要求较低,主要对网络时延要求较高。

c)交互同步信息:是指多人AR场景中,彼此互动关联的逻辑和数据交换,包括云端和终端双向传输,其中终端向云端传输的是多人交互的逻辑信息。其主要对上行网络通道的时延具有要求。

因此,终端向云端传输过程中主要是对上行网络通道具有要求,尤其是实景视频实时上传的场景对上行带宽将带来相对云VR而言数百倍以上提升。

2).云端向终端传输:渲染处理结果、交互同步信息等。

a)渲染处理结果:云端完成相关的处理后,根据不同的技术处理方法和相应的应用场景,向终端传输的相关虚景、虚实融合或虚景逻辑等:

i.虚景:云端将完成渲染的虚景,包括虚拟场景、虚拟角色、光影特效等下发到终端,并由终端按照三维重构逻辑完成虚实结合。

ii.虚景逻辑:云端只需在位置追踪、三维重构技术基础上,完成虚景的逻辑计算,并将其下发到终端,由终端根据虚景逻辑完成虚景渲染和虚实融合。

注:其中云端下发虚景逻辑的场景,对终端的能力要求较高,一般应用于终端能力较强,且需要多终端超低时延互动的应用场景。

b)交互同步信息:包括平台向终端发送的通知、多用户之间的交流互动等信息。

因此,云端对终端传输过程中,主要是对下行网络通道具有要求,尤其是渲染处理结果下发过程中,如果需要将虚实融合结果下发,将对下行网络带宽具有较高的要求。

2.传输需求

针对不同的云化AR处理技术,云端和终端双向传输的内容具有较大差别,不过就当前终端能力普遍不足,为了更好实现多人低时延互动的目的,采取终端测将实景实时上传,由云端完成位置追踪、三维重构、虚景渲染以及虚实融合逻辑,最终通过网络将完成AR全部处理的数据(虚景)下发到终端,终端测仅做最终的展示。

相对于云VR而言,云AR可能存在云端和终端双向的高清视频流,对于网络传输速率、时延和稳定性等要求更好,需要采用超低时延流化处理和实时端边协同等技术创新,降低其对网络传输的压力,提升用户体验。

(三)云平台构建支撑多种云化AR应用

云化AR,不同于云VR强互动业务,例如云VR游戏等重度应用,更多是聚合众多创新小应用,这就造成了云化AR需要一个强有力的平台作为支撑。因此,云AR平台需要具备AR服务、内容聚合、服务分发、资源调度等能力。

4 云化AR平台架构

1).AR服务:云AR平台的核心能力,主要提供实时追踪、空间计算、对象识别、三维建模、虚景渲染和虚实融合等功能:

a)实时追踪:是指能够根据终端测实时上行的实景视频,并结合终端传感器或景深镜头信息,确定需要进行AR处理部分进行距离、方位、景深等定位标识。

b)空间计算:针对实景部分内容,根据实时追踪结果,通过数字化确定实景中锚定物品之间的实际位置关系。

c)对象识别:针对实景中的各种物品进行有效识别处理,主要包括平台识别、空间确定和虚景关联物品锁定等。

d)三维建模:将完成数字化位置和物品识别的实景,完成虚拟的三维模型建立,为虚景的渲染奠定基础。

e)虚景渲染:基于实景的三维模型,按照虚拟景象逻辑,渲染出相应的虚拟场景、虚拟角色和光影特效等。

f)虚实融合:将实景和虚景完成相互位置关系、图层关系、交互关系等方面进行对应,实现融合输出逻辑关系。

2).资源调度:作为云AR平台的资源调度和管理部分,只要负责节点监控、服务调度、运行控制和服务迁移等功能。

a)节点监控:是指针对AR服务节点进行状态监控,包括资源占用、设备故障、安全隐患等相关内容。

b)服务调度:响应终端测请求,按照就近、空闲和能力有效等原则,将服务分发到对应的服务节点上的过程。

c)运行控制:按照统一的能力分配,针对请求服务,完成对应服务端上的并发承载运行、状况监控等。

d)服务迁移:当出现某一具体AR服务或服务节点故障时,能够实时将该服务重新开启或迁移到其他服务节点。

3).内容聚合:是指为了实现AR能力开放和应用开发,面向内容提供商和开发商,提供开发环境、资源库、对接测试和在线发布等功能。

a)开发环境:是指基于平台开发所需的开发软件、软件开发工具包、编程接口等,为开发者提供一站式AR应用开发服务。

b)资源库:是指支持在线开发的实景视频库、虚拟资源库等,方便开发者在线调试和开发操作。

c)对接测试:开发者将其开发完成的AR应用,在云AR平台试运行,并与其本地连接进行功能测试等。

d)在线发布:开发者将完成测试,并经过平台方认证通过后的应用,在云AR平台对外发布。

4).服务分发:该部分主要完成云AR服务的交互、网络传输、云边协同、云网融合等功能。

a)场景交互:接收终端测的操控指令和传感器距离、方位信息,并完成针对AR虚景的操控转译,传递给AR服务部分,实现对用户操控的逻辑计算和场景渲染回应。

b)多人分发:针对同一AR应用需要同时提供给多个终端用户的场景,可采用CDN等方式实现多人同步、高效分发。

c)编码流化:是指将AR服务输出的画面、声音等,压缩编码成为视频流,并采用串流方式下发到终端测。

d)云边协同:针对多人互动场景,云端完成相关的AR逻辑运算后,将渲染任务发送给靠近服务对象的边缘节点。该功能就是针对这一场景的管理、协调和资源调度。

e)云网融合:实时采集云端和终端网络传输质量,并自适应网络状况调整云端输出的码流大小、云端协作分工等,以便实现最佳的用户体验效果。

(四)中心云能力下沉减轻云端压力

传统的AR应用,中心云的处理及分发压力,难以保证多终端低延时的业务应用需求。视频信息以及其他传感器采集的信息,需要上传到云端服务器,其中视频信息上传至视频服务中心,传感器数据上传到数据处理中心。当数据处理中心将2D数据转化为3D数据后,再将数据模型渲染到视频中,对视频信息进行编转码,以视频流的形式分发到客户端。

云化AR应用,AR云平台数据处理能力及渲染能力的下沉,减轻了中心云的压力。中心云集中负责业务处理,对外提供业务能力,对接各种AR应用内容,为其进行分发;对内中心云统一用户管理,AR终端设备管理,提供高效的运维服务,对边缘平台进行调度,优化AR内容分发链路。

(五)边缘云提供强计算能力

边缘计算在靠近数据源或用户的地方提供计算、存储等基础设施,并为边缘应用提供边缘能力服务和IT环境服务。相比于集中部署的云计算服务,边缘计算解决了时延过长、汇聚流量过大等问题,为实时性和带宽密集型业务提供了更好的支持。

AR业务云化,将原本位于端侧的传感器数据处理、复杂场景生成、复杂渲染功能移动至边缘侧,边缘侧同时配合具备2D3D编码、元数据生成能力。

1).降低时延:边缘实现实时位置注册,确保端侧呈现时延在30ms以内;

2).算力上浮:3D建模渲染计算从端侧上浮到边侧,降低端侧成本;

3).多终端数据共享:多个终端数据处理集中在边侧处理,为实现多人业务互动提供了条件。

5 云化AR技术方案框图

摘自中国通信标准化协会《云化增强现实关键场景及技术白皮书》