第二届大会回顾第23期虚实融合物理仿真与人机交互-电子发烧友网

演讲嘉宾 | 高阳

回顾整理 | 廖涛

排版校对 | 宋夕明

嘉宾介绍

OS内核及视窗分论坛

高阳，工学博士，博士生导师，虚拟现实技术与系统全国重点实验室副教授，入选首届中国科协青年智库人才支持计划。主要研究方向为面向医疗康复的虚拟现实应用技术，包括可视化三维几何、物理现象、人体运动建模与仿真，真实感渲染，智能人机交互等。在IEEE TVCG、IEEE VR、CVPR、AAAI等图形学、人工智能和VR/AR领域国内外知名期刊或会议中发表文章30余篇。曾获2020中国电子学会科技进步一等奖、2021年中国产学研合作创新成果一等奖等。主持国家自然科学青年基金、北京市自然科学奖基金、重点研发计划子课题、北京市科技计划课题等多个科研项目和课题。

视频回顾

打开哔哩哔哩APP，观看更清晰视频

正文内容

在复杂的工业制造中，基于建模与仿真技术进行前期测试与验证，能够缩短开发周期，降低安全风险，提高制造效率。随着计算机软硬件以及AI大模型的快速发展，建模与仿真技术有哪些新进展？北京航空航天大学副教授高阳在第二届OpenHarmony技术大会上进行了精彩分享。

可视化物理场景建模与仿真技术发展经历了二维图像、三维特效以及点触式交互（移动端呈现）等阶段，目前正在向虚实融合呈现与交互演进。目前，虚实混合增强场景计算和高效建模在物理仿真、算法优化、场景渲染以及人机交互方面均存在一定挑战。

一：复杂自然场景的物理建模与仿真

复杂的自然场景中，由于几何表示差异大、物理属性和材料各不相同，导致物理建模和仿真困难，主要应对策略有：

（1）多尺度混合固体材料模拟：多尺度混合固体材料包含了属性差异巨大、颗粒尺度多变的多种材质，建模和计算困难，且不同材质之间的相变与交互耦合行为难以描述。针对该问题，研究者所在团队研究并提出了一种粒子与密度场、网格模型混合的统一仿真模型：在基于APIC的流体仿真框架下实现了颗粒状材质在空气摩擦作用力下生成粉末状烟雾的转换过程，模拟了粉末状固体运动过程中从破碎到粉尘飘扬、再到粉尘沉淀为微小粒子，粒子在含水率控制下表现出类流体行为的完整过程。相比单一的粒子表示模型，该框架模型具有更加逼真的视觉效果和更丰富的细节表达。

（2）非牛顿行为统一建模与行为仿真：影视特效和动画中往往需要产生高质量的非牛顿流体仿真，但目前还没有能够模拟各种非牛顿现象的基于粒子的方法。针对该问题，研究者本人及其所在团队研究并提出了一种基于SPH的非牛顿流体统一求解框架。该求解器不仅能够处理依据剪切率变化的变粘度流体，还能仿真弹性、塑性与粘性共存的粘弹性和粘塑性体。通过Generalized Maxwell理论模型将粘性、弹性和塑性统一到一个框架中，能够模拟各类剪切变稀型、剪切变稠型、宾汉型等各类非牛顿行为。

二、数值算法优化与加速

在基于数据驱动的剧本化仿真过程中，往往数据与物理的联动较弱，导致需要消耗大量的计算资源和时间成本。主要应对策略有：

（1）基于物理感知的流体动态逆向建模：在流体动态逆向建模中，往往存在流场捕获困难、几何重建交互性和拓展性弱以及迭代优化计算量大且不能实时建模的问题。针对该问题，研究者本人及其研究团队研究并提出了基于物理感知的流体动态逆向建模的框架，即利用深度学习网络从表面几何序列中推断全部的速度场和流体的物理属性参数，据此利用物理仿真器在时间维度上推演模拟流场。该方法同时继承了深度学习和传统的物理仿真的优势，能够高效精准地再现与观测一致的流体运动。

（2）数据驱动的流固耦合场景高效仿真：与流体建模相比，动态流固耦合更加复杂，且在处理和耦合固体运动演化与相互作用时需要额外的计算资源。针对该问题，研究者本人及其所在团队研究并提出了一种基于物质点法的流固耦合加速算法，结合物质点法在易于处理自碰撞、拓扑变化和多材料相互作用等方面的优势特性和数据驱动模型的高效率。在保留物理精度的同时，以数据驱动的方式实现高效和准确的流固耦合求解。

三、基于物理的高真实感实时渲染

目前，基于物理的高真实感实时渲染存在计算模型复杂、计算量大、高真实感算法性能低以及难以平衡质量与性能等问题。主要应对策略有：

（1）基于注视点的VR场景渲染加速方法：虚拟现实（VR）对场景渲染的质量要求高，需要高刷新率和高分辨率。但由于场景和模型复杂，往往渲染速率较低，且计算量大。针对该问题，研究者本人及其团队研究并提出了根据人体视觉系统HVS对不同视觉区域的敏感度变化特性，设计了一种基于焦点区域的屏幕空间光线步进优化步骤，在边界区域进行步进缩减，显著提升计算效率。同时使用时间抗锯齿技术，结合三种内核函数，利用多帧历史数据对当前结果进行优化处理，达到实时目标。

（2）基于次表面散射的半透明材质实时渲染：传统表面光照模型不适用于半透明材质，且计算机硬件要求无法支撑实时光追。现有的半透明材质实时渲染方法也存在计算量大、物体表面细节被过度模糊以及渲染效率低等问题。针对该问题，研究者本人及其团队研究并提出了在将三维空间下的复杂光子束扩散存储与评估拓展到屏幕空间。利用纹理映射技术，使用二维图像集存储空间光子信息。根据屏幕空间有限信息，对双向散射表面反射分布函数进行有效评估。同时，通过拓展mip-map技术实现二维纹理空间上的光子聚类，进一步提升计算速率，支持任意半透明材质的高质量实时渲染。

四：虚实融合人机交互

在虚实融合的人机交互场景中，往往存在匹配程度弱、绘制效率低以及虚实融合效果差等问题。主要应对策略有：

（1）基于皮肤电和心率变异性评估的VR场景工作记忆训练与评估：目前，工作记忆训练方法的任务枯燥、迁移性弱，工作记忆评估方法依赖主观量表，标准单一。针对该问题，研究者本人及其团队研究并提出了一个用于工作记忆训练与评估的虚拟现实系统，结合符合日常生活习惯的物体陈列关系，可以随机生成用户熟悉且合理的场景，供用户完成工作记忆任务；设计并采用了贴近生活的记忆任务与更为综合的评估准则，并且结合了皮肤电与心率变异性对用户的工作记忆能力进行准确的评估。

（2）具身虚拟代理行为对VR交互真实感的影响评估：目前，尚未研究关注VR环境下MetaHuman与ChatGPT结合的具身虚拟代理，且没有系统的评估方法。针对该问题，研究者本人及其所在团队研究并提出了基于ChatGPT和MetaHuman的具身对话代理（ECA）MetaChatbot，分别设置其三个不同保真度的注视行为和身体动作，开展用户实验，结合主观评分和生理信号发现了身体动作相比注视行为在提高交互体验上的主导地位，为具身对话代理设计师提供相关建议。

（3）基于眼势的人机交互界面控制：眼动控制时，由于眼动速度过快，难以控制，眼势数据也难以收集，且目前缺乏通用的框架，阻碍交互。针对该问题，研究者本人及其所在团队研究并提出了基于眼势的人机交互界面控制方法，设计并采集数据特征简洁且具有通用性的眼势数据集。设计模板数据生成方法，使用GazePG网络对极少量眼势数据和大量模板数据域适应训练，进行眼势轨迹识别，以解决眼势数据难以采集，一般识别网络难以达到很好的识别效果的问题。

（4）基于物理的多材质物体与手势虚拟现实交互系统：目前，虚拟现实场景欠缺物理效果丰富性，人机交互的设备使用繁琐，场地限制较大，且复杂场景的实时渲染效果较差。针对该问题，研究者本人及其所在团队提出了一种新的多材质物体和物理交互框架，即将不同材质的真实物体和虚拟手模型体素化为粒子形式，利用手势识别工具进行人机交互，并基于物质点算法进行统一的模拟。该方法拥有物质点算法的丰富性和稳定性；此外，该方法还通过多样化的表面重建和渲染策略在虚拟现实场景内实现了高质量和高效率兼顾的画面表现；最后，自由便携的人机交互方式结合上述模拟和渲染策略，提供全新的虚拟现实体验。