快速任务规划解决方案：为任务训练和模拟演练提供综合训练环境

消化和迭代接近实时的地理空间数据的能力，将是未来多域场景中基于建模和仿真(M&S) 的任务规划和演练解决方案的核心。在建模和仿真应用程序中快速整合近期识别资产（identified assets）的能力则是一个与时间相关的瓶颈，只能通过自动获取及时的真实数据来解决。本文提出了一种端到端的地理空间管道，将当前的地理数据馈送到 3D 数字孪生环境中，用于任务训练和模拟演练。基于全球航空数据集（RGB、NIR、SAR）的全自动解决方案采用预先训练的机器学习（ML）模型来提取给定任务区域的 3D 基础设施地理定位和地形数据。该技术的一个核心功能是一个集成的无代码、可视化数据标记工具，它使未经人工智能与机器学习（AI/ML）培训的人员能够对当前图像应用ML分析，以识别大规模区域内的关键任务对象。这些检测到的关键对象会自动输入地理空间管道，在综合训练环境中进行地理参考和可视化表示。使用这种地理空间元宇宙方法，可以实时创建包含关键任务细节的综合训练环境。因此，未来的任务规划人员将能够以灵活的方式定制模拟演练。

时间关键场景中的建模和仿真

地理空间信息既能启用预警信号，又能提供作战见解，其重要性无须赘述。本文将对另一个应用领域进行介绍，以获取用于综合训练和模拟解决方案的地理空间信息。政府（即情报界）和商业地理空间数据提供商（例如麦克萨科技(MaxarTechnologies)）为其选定的关心领域提供了大量接近实时的数据。例如，Maxar的卫星舰队可以每天提供多个重访周期。生成的大量地理空间数据是现代大数据分析的一个典型应用领域，其背后由先进的机器学习模型进行支撑。考虑到这些技术进步，本文将展示一个端到端的地理空间平台来消化和分析捕获的数据（例如，通过无人机或卫星）并输出 3D 环境，以支持用于关键任务规划和模拟演练的下一代建模和仿真（M&S）解决方案。

该平台的核心功能是基于无代码的人工监督界面，可将新的素材集成到用于虚拟任务规划和排练的3D综合训练环境的创建中。这项获得专利的创新使作战规划人员能够将非预定义的地理素材集成到应用的机器学习模型的训练和检测周期中。例如，如果关键任务是在兴趣面 (AOI) 中寻找和保护水井，任务规划者可以通过简单地在给定地理区域提供的界面中标记示例来将此信息添加到综合环境中。然后，该模型将采用这些新的地理标签，将它们集成到其分析周期中，并将井的表示提供给 3D 综合训练环境。

正如本文所示，文中所提出的解决方案可以增强未来建模和仿真环境的合理性和范围。最重要的是，通过加速地理空间分析的采用周期以及真实 3D 环境的创建，数据采集、自动分析和任务规划之间的过程可能会大大增加。这将使未来的数字孪生生态系统能够在海陆空网等所有领域的安全性和防御能力得到增强。

建模和仿真在战术和作战程序层面具有悠久的历史。从早期的硬纸板立体模型到当前的计算机模拟，提前预测和预测无法估量的事物一直是其核心需求。通常情况下，现代 3D 环境的地理地形和其他组件是预先建模的。其他相关的信息（例如，相关点的位置、关键基础设施等）则是手动添加或导入的。这种方法通常依赖于场外人员提供的情报，并且需要很长时间才能将这些数据层加入到综合任务场景中。考虑到这些局限性和时间限制，不论是提供时间关键的应用程序的解决方案，还是适时的大规模方法的解决方案，都难以实现。本文将提出一项创新，通过实现快速、自动获取关键任务资产，填补3D仿真增强技术的空白。

应用于地理空间数据的机器学习能力

机器学习的进步使遥感卫星图像和航拍图像的全自动分析成为可能。这允许国家、大陆甚至全球范围内大规模的信息提取，从而使M&S应用程序能够覆盖比以往任何时候都更大的区域。可以说，机器学习（ML）是用来推导3D数字孪生的基础。鉴于云计算、无服务器计算、边缘计算等技术，M&S应用程序不再局限于小规模场景，而是可以无缝集成整个感兴趣的区域。

本章第一节主要描述了基于机器学习的分析平台；第二节给出了从输入图像中提取的特征的示例。这些特征随后被导入到三维建模与仿真环境中并实现可视化；第三节介绍了一种利用有限资源实时构建多样化地理典型 3D 环境的有效方法；第四节则强调了及时更新的重要性，以及改进下一章中讨论的标签和培训方法的必要性。

1.地理空间分析平台架构

图2-1展示了云原生地理空间分析平台的原型架构。其核心包括用于数据管理、工作流调度、训练和推演的组件，以及用于数据分析和质量保证以及标签的用户界面。值得注意的是，在典型的平台配置中，机器学习模型只是许多协调流程、功能和数据层的一个组件。使用 blob 存储等基于云的服务，Docker (https://docker.com/) 等容器技术、Kubernetes (https://kubernetes.io/) 等编排平台，以及 Flyte (https://flyte.org/) 等工作流引擎使处理 PB 级地理空间数据成为可能。

此类平台的核心任务是使用机器学习模型并确保其生命周期。典型的机器学习生命周期包含数据管理（包括典型的提取/转换/加载步骤）、模型学习（训练）、模型验证、模型部署和模型执行。此类处理步骤（例如建筑物覆盖区、植被遮罩、要素标签）的输出通常是栅格数据（例如 GeoTiff 或 COG）、矢量数据（例如 GeoJSON 或 GeoPackage）或是可供客户端应用程序使用的格式（例如，USD、CDB 或 3D Tiles）。

图2-1：基于云架构的典型地理空间分析平台2.提取的特征

所呈现的地理空间平台包含一个数据管理解决方案，该解决方案为 PB 级地理参考数据和数十亿个几何特征的存储和迭代而量身定制。主要流程包括将图像（或其他类型的数据）导入平台，然后运行机器学习模型和其他算法，随后将结果打包分发到3D建模和仿真环境中。图 2-2 显示了在人口密集区域进行基础设施检测所需的一般步骤。加载输⼊的图像，检测建筑结构，并对每个建筑物的分割进行分析；结果会被矢量化，随后推导出占用空间以及建筑物高度。通常用于此类任务的网络是卷积神经网络或框架场学习等更新的方法。

这一过程已经在商业案例中得到验证。例如，这一架构在一组共36台虚拟机上处理伊比利亚半岛（60万平方公里）的数据仅需18小时。一般来说，具有单个图形处理单元（GPU）的普通PC工作站可以通过本地安装的平台每秒分析几平方公里的数据。

图2-2：建筑特征提取步骤3.3D可视化与仿真

⼀旦从图像中提取了特征，它们就可以在建模和仿真环境中⽤于可视化、分析、规划、培训以及其他场景。如果双⽅就数据传输的通⽤格式达成⼀致，那么建模和仿真应⽤程序就可以完全独⽴于前面所提到的地理空间分析平台。在案例中使用了一种高度优化的格式，可以按需进行流式传输，传输所需的带宽低，但产生的结果丰富多样。随附的客⼾端软件可以集成到现成的 3D 引擎中，例如 Epic 的虚幻引擎或 Unity 的3D 引擎，以及专有渲染引擎和模拟应⽤程序。

专注于建筑物和其他基础设施，可以将现成的 3D 对象或程序生成的对象（从输入数据派生）放入模拟环境中。第一个选项的缺点是通常只有有限数量的 3D 对象可用。虽然这些对象可能具有非常高的保真度，但它们经常重复。程序生成的对象可以生成无限数量的符合输入数据的独特建筑和结构，例如，与检测到的占地面积、建筑高度、屋顶类型以及其他属性相匹配的建筑。

本文提到的方法使用了一种被称为程序语法生成器 (PGG) 的专利程序技术，该技术可以接收各种数据源，并实时生成匹配的数字孪生。除了从输入图像中检测到的要素外，其他数据源可能包括数字高程模型 (DEM)、公路和铁路网络、水体和兴趣点。数据表示非常⾼效，在移动设备上即可存储整个地球的数字孪生。PGG的灵活性是通过一种特定于领域的语言来实现的，该语言用于描述具有可塑性并可适应输入数据的建筑蓝图。这使得地球上的区域能够以具有地理特征的、多样化的方式呈现。图2-3显示了三个区域的示例。

图2-3：使用PGG的典型地质渲染:托斯卡纳(意大利)、开罗(埃及)和圣何塞(加利福尼亚州)4.更新的及时性

根据使用案例可知，更新的及时性至关重要。从捕获图像到在模拟环境中适用，这一时间应尽可能短。这就需要一种全自动化的方法。

鉴于上述架构，人们可以看到每个组件如何依次处理新图像。当摄取或更新大量数据时，这些步骤的顺序性可能会带来问题。虽然地理空间数据有助于轻松并行化，但问题出现在计划用于计算的离散工作项的边界上：后续步骤可能需要来自相邻工作项的附加上下文才能正常运行。例如，矢量化步骤需要跨越所述项目边界的结构的上下文。在传统的调度框架中，最佳并行化要么需要多次计算上下文区域，这完全是不必要的付出；要么在每个步骤内将调度简化为简单的并行化，按顺序处理每个步骤。这样则会不必要地延长第一次模拟结果的时间，并且可能无法最佳地使用可用的计算资源。本文在平台上部署一种地理空间感知调度算法，该算法可以减少周转时间，因为它可以在并行调度工作项时考虑地理空间上下文依赖性。使用这种方法，可以立即获得第一批结果。

这仍然存在问题：只有那些建模和仿真模型可用于检测的特征才能自动使用。新的特征需要漫长的训练过程才能生成可靠的建模和仿真模型。

接近实时的训练和检测

上一章概述的方法和程序假定机器学习模型已经针对所需的检测类别和特征进行了训练。虽然高效的模型可以提前采用（例如，通用基础设施和车辆的模型），但可能需要对新类别的模型进行专门培训。传统的做法是先由数据分析师生成一组训练数据，然后对模型进行训练，评估其质量，最终将其部署到现场。这是一个可能涉及很多人员并花费大量时间的过程。

1.即时反馈标注和训练

本文提出的解决方案使用一种称为“实时标记”的技术。这种方法包含一个无代码、可视化数据标记工具。通过这种方法，未受过 AI/ML 培训的人员仅需最先进的传统方法所需的一小部分时间，就能将ML分析应用于新的数据需求。凭借其较短的迭代时间、更少的人员需求以及与 3D 仿真环境的集成，这种方法非常适合时间紧迫的应用程序和场景。图 3-1 描述了与创建地理标签的经典标记方法相比，这种新方法的时间和资源效率。“实时标记法”在每个标签花费的时间以及相同持续时间内创建的标签的累积数量方面明显优于传统方法。

图3-1：传统方法与“实时标记法”的速度和输出比较

“实时标记法”的可视化界面如图3-2所示。只需几笔，分析师就可以识别出感兴趣的对象（左图）。右图显示了模型的当前推断。分析师可以缩放和平移图像，快速识别误报和漏报，并添加额外的标签来纠正这些错误。短短几分钟，该模型就能达到很高的准确性。

图3-2：正在运⾏的“实时标记法”UI：左边为用户的注释页面，右边是实时训练模型的预测掩码

ML 模型界面直观，并且由于其即时的视觉反馈，易于学习和理解。ML 模型不再是黑箱，因为数据标记者可以看到每个标签如何提高（或降低）模型的检测准确性。因此，根据检测类别、图像质量、所需的检测质量和受训者先前的领域知识，可以在几小时到几天的时间跨度内为该标记工具培训新的或额外的人员。根据以往的经验，可以在不到两天的时间内让新的数据分析师入职。加上标记的速度提升，这种易用性可以根据需要对人员进行临时培训。较小的标签团队也意味着更容易组建团队并找到具有必要安全许可的成员。

2.“实时标记法”架构

如图3-3所示，“实时标记法”通过将模型分成两个训练流来实现其即时反馈：一个全局模型，它在所有可用的训练数据上进行持续训练，以及一个用于可视化的迭代/局部模型。迭代模型仅将当前训练图像作为输入，具有非常高的学习率，因此放大了分析师添加的每个标签的影响。全局模型使用学习方式更为保守，因此能产生比迭代模型更高质量的检测。一旦满足质量标准，主模型就可以在同一界面内的大面积区域运行。

图3-3：机器学习概念的⾼级⽰意图3.使用接近实时对象检测的示例场景

“实时标记法”可以在带有消费级显卡的现成硬件上运行。因此，现场人员可以在没有网络连接到云的情况下离线使用。图3-4描述了一个无人机拍摄的本地最新图像的示例。该图像被导入，随后一个或两个数据分析人员开始标记新的检测类别，例如运输卡车。很快，第一批卡车和假正例被标记。从这里开始，“实时标记法”指导标记过程——通过为标记提供额外的不确定结果——并在更大的区域上运行推理，最终覆盖整个数据。然后将所有检测到的卡车的位置转发到 3D 仿真环境，并将现成的 3D 对象放置在数字孪生环境中的给定位置，如图 3-5 所示。在 3D 环境中，可以可视化运输卡车的数量和分布，例如，模拟它们的预测路线或路径中的障碍物。这种场景需要具有足够的磁盘容量的单个服务器，用于存储输入的图像和安装GPU。分析师可以使用计算机工作站或笔记本电脑进行数据输入以及 3D建模和仿真。

图3-4：近实时训练、⽬标检测和模拟的端到端⽤例

图3-5：端到端⽤例的数据和活动：输⼊图像、标记卡⻋、图像推理、M&S程序中的可视化

未来的工作

上一章中描述的方法已在多个业务案例中成功展示。当应用于分段要求无需标注类别间的像素级精确边界时，实时标注表现良好。目前，带有实例检测的目标检测和分割是独立于“实时标记法”的单独处理步骤。因此，未来的工作将集中于集成和增强实时标记工具的目标检测功能，以提供更广泛的用途。该工具的用户界面也在不断改进，以获得更好的反馈和用户体验。一般来说，拟议的地理空间端到端框架需要进一步推广以集成到多域环境中。目前，预训练的ML模型专门针对地球上的地理素材。多域模拟将需要更全面的检测能力，以涵盖海运等其他领域素材。

此外，为了与现有的 M&S 环境集成，需要支持 CDB 或 3D Tiles 等数据格式的导出。现有问题在于，当 3D 对象被改变成其他格式时，自定义方法（使用 PGG）不会保留其所有属性。此外，某些功能（如客户端着色和分层渲染）目前无法以这些格式表示，从而导致视觉效果较差。

结论

本文阐述了完全集成的地理空间端到端框架对于建模与仿真即服务(MSaaS)方法的潜在作用。有了合适的基础条件（计算资源、数据获取和访问、系统集成），就可以为国防和其他领域创建并即时交付及时的任务规划场景。通过对所描述的基于ML的人工参与方法进行改进，未来的培训环境将更接近现实，并可为非Al专家定制。因此，缩短从数据采集、分析到任务规划的周期将成为一个关键优势。本文所讨论的技术还可能产生更广泛的影响。通过使复杂的完全集成系统变得易于理解和管理，未来用于国防目的的数字孪生应用程序将更快地生成，从而创建更优质的任务场景。最终，实时任务和训练环境之间将实现无缝切换，甚至达到模糊真实世界作战和综合任务场景之间界限的程度。

审核编辑 ：李倩