人机混合智能核心技术进展及挑战分析

 

 

 

 

电话 | 010-82030532    手机 | 18501361766

微信 | tech9999    邮箱 | [e-mail]

来源：无人系统技术

作者：郭大宇  王鑫  欧阳小叶  

引用格式

郭大宇，王 鑫，欧阳小叶.人机混合智能技术主要发展动向分析［J］.无人系统技术，2023，6（1）：95-103.

人机混合智能技术主要发展动向分析

郭大宇1  王鑫2  欧阳小叶1 

（1. 中国电子科技集团公司电子科学研究院社会安全风险感知与防控大数据应用国家工程研究中心，北京 100041；2. 中国科学院沈阳自动化研究所工业控制网络与系统研究室，沈阳 110169 ）

摘 要 人机混合智能是由“人-机-环境”相互作用而产生的新型智能系统。对人机混合智能领域的最新研究与应用动向与进展进行了综合评述。首先介绍DARPA近年来在人机混合智能领域的加速布局；然后盘点了脑机接口、可信人工智能、虚拟现实、环境感知等人机混合智能核心技术的最新科研与应用进展；最后讨论人机混合智能面临的挑战与对未来军事发展的启示。综述表明，机器在未来将更多地用作人类“同事”，而不仅仅是“工具”，人机混合智能的各项核心技术已经不同程度地产生实战应用，而人、机之间的权责分工、能力分配、交互接口、伦理规制等将是人机混合智能进一步发展所需解决的关键问题，人机混合智能将加速军事变革进程，对作战样式、装备体系、战斗力生成模式等带来根本性变化。

关键词 人机混合智能；人工智能；军事应用；脑机接口；可信人工智能；虚拟现实；环境感知

 

1 引 言

人工智能只是人类智能可描述化、可程序化的一部分，而人类的智能是人、机（物）、环境相互作用的产物。人工智能（客观智能）与人类智能（主观智能）正在演变成为一对相生相克的“对立统一体”，即“人机混合智能”。当前，人工智能发展的主要方向应该是人机协同、人机合作、人机互信，而不是简单地用机器替代人类。因此，人机交互所产生的对双重智能的有机混合，已经成为人工智能未来发展的重中之重，旨在通过人机交互和协同，提升人工智能系统的性能，使人工智能成为人类智能的自然延伸和拓展，通过人机协同来更加高效地解决复杂问题，具有深刻的科学意义和巨大的产业化前景。2021年9月发布的《人工智能100年》报告将增强人类能力的人工智能列为“当前人工智能最具前途的机遇”，认为人类和人工智能具有互补的优势。2021年11月发布的《IEEE全球调研：科技在2022年及未来的影响》认为，未来10年将是人类与机器人更紧密协作的新时代，随着协作型机器人的批量化生产与广泛应用，机器人将能在未来10年内参与到更多、更重要的社会工作包括军事行动中，人机混合智能被寄予更高的期望。

 

2 DARPA在人机混合智能领域加速布局

美国国防预先研究计划局（Defense Advanced Research Projects Agency，DARPA）高度重视人机混合智能技术研发，近年来不断布局相关项目，应用领域主要集中在空战。早在2018年3月，DARPA便启动“下一代非侵入性神经技术（N3）”项目，旨在开发高分辨率的便携式神经接口，能够同时读取和写入人脑的多个位置，在非手术的情况下实现大脑和系统间的高水平通信，从而把先进神经技术应用于健康士兵；2018年8月，DARPA启动 “神经工程系统设计（NESD）”项目，旨在研发一种可植入人体的生物兼容神经接口（体积小于1 cm3），能够使人类大脑直接与电脑连接，在大脑神经元的电化学语言与电子信息技术语言（0和1）之间进行转化；2021年2月，DARPA信息创新办公室宣布启动“感知赋能任务指导（PTG）”项目，旨在开发人工智能技术，通过扩展技能包来提升士兵能力，并通过减少错误来提高士兵熟练度，使士兵适应更为复杂的任务，还将开发具有感知功能的人工智能任务指导助理（如图1所示），包括进行视频和语音分析的深度学习技术、进行任务和计划监视的自动推理技术以及用于人机界面的增强现实技术等；2022年6月，DARPA启动“可靠神经符号学习和推理（ANSR）”项目，旨在通过人机混合智能技术在军事场景中的评估，提高自主作战平台的透明度和互操作性，最终得到鲁棒、可靠、可信的技术解决方案。

图1   “感知赋能任务指导（PTG）”项目的人工智能任务指导助理（以UH-60“黑鹰”飞行员训练任务为例）Fig.1   AI task guidance assistant form PTG project (UH-60 "Black Hawk" pilot training)

在“空战演进（ACE）”项目中，尽管外界更多关注的是“阿尔法空中格斗”试验中人工智能打败人类飞行员，但DARPA立项的真正目的是探索人工智能如何与人类合作与互信。2021年3月，DARPA公布“空战演进”项目的若干关键阶段性成果，包括：人机混合飞行试验，以观测飞行员生理状况以及对人工智能的信任程度；对首架全尺寸教练机的初步修改，支持项目第三阶段的人工智能“飞行员”上机。“空战演进”项目旨在攻克人机协作的空中格斗难题，为空战开发可信任、可扩展、人类水平、人工智能驱动、人机混合的自主系统。作为里程碑式成果：该项目在2021年2月完成了更高层次的“Scrimmage 1”狗斗仿真测试，展示了两架蓝色F-16联合对抗一架红色敌方战斗机的过程，这标志着继“阿尔法空中格斗”试验之后人机虚拟混合对抗首次得以实现。此外，这次对抗中用到的武器系统也更为复杂，其中包括一个用于短距离精确攻击的机炮和一枚用于攻击远程目标的导弹。

 

3 人机混合智能核心技术进展概述

人机混合智能涉及非常丰富的技术方向。目前，脑机接口、可信人工智能、虚拟现实、环境感知等构成了当前人机混合智能领域的核心技术群，是人机混合智能研究最成熟、应用深入的典型技术。

3.1　脑机接口

脑机接口即大脑与机器相连的接口，在大脑与外部设备之间建立了一个能够直接传送信号的通路［1］。脑机接口技术从技术萌芽到快速发展已有一段时期：1924年，德国精神病学家汉斯·贝格尔（Hans Berger）发现脑电波，正式拉开脑机接口技术研究序幕；1970年，美国DARPA开始启动脑机接口相关项目；1973年，美国加利福尼亚大学洛杉矶分校首次提出“脑机接口”概念；2000年左右，脑电波检测等技术产生重大进展（例如1998年一位因脑干中风造成锁闭综合症的病人通过脑机接口控制了电脑光标），为脑机接口技术注入新的发展活力、相关技术标准和方向也逐渐明朗；2005年至今，脑机接口技术已超越科幻，渐渐逼近现实、走向临床（以2005年美国Cyberkinetics公司获得美国FDA批准为标志性事件）、掀起商业化大潮，在医疗监测、自动驾驶、教育培训、军事装备等领域具有极大研究价值与发展潜力［2］。

按侵入大脑程度，脑机接口主要可分为“侵入式”和“非侵入式”两种，分别对应不同的使用场景。其中，“非侵入式”脑机接口已经有了商业化应用推广；而由于技术及伦理原因，目前“侵入式”脑机接口仍停留在实验室阶段，未来可能在医疗场景下逐步实现技术落地应用［3］。QY Research的数据显示，预计全球脑机接口市场在2026年将达到27亿元，年复合增长率为12.4％。目前，美国在脑机接口领域遥遥领先。美国的脑机接口技术（尤其是神经界面技术）百花齐放，DARPA、Facebook、谷歌、亚马逊、Neuralink等科研及商业巨头也都在积极布局脑机接口领域，成果不断涌现，并已形成较高的技术壁垒。

“侵入式”脑机接口需要通过开颅手术或者钻透颅骨将脑电传感器植入脑内、具有更高的通信带宽，以美国Neuralink公司为代表［4］。Neuralink公司已在“侵入式”脑机接口产品研发领域取得一系列里程碑式成果，对脑机接口技术发展起到了引领效果：2019年3月，发布一项能够快速将电线植入老鼠大脑的方法，即在移除一块老鼠头骨并插入一根针头之后将柔性电极植入老鼠的脑组织，该成果被认为是向人类大脑直接插入计算机潜在应用系统迈出的重要一步；2019年7月，发布一项在截瘫病患身上植入设备以辅助其操控外部设备（例如手机或电脑等）的新技术；2020年8月，Neuralink公司发布新一代可植入脑部的 Neuralink 设备LINK V0.9，同期公布“三只小猪”实验（小猪大脑中被植入3000多个电极、可以同时监测1000多个神经元，通过数据分析可以知晓小猪的情绪变化等）；2021年3月，Neuralink公司宣布了其最新成果：将2个N1 Link脑机接口装置植入猕猴的手和手臂区域的运动皮层，实现用意念玩乒乓球游戏（如图2所示）。该实验旨在探索建立一个安全有效的、无线的、可植入的临床脑机接口系统。开颅手术的广泛创伤给“侵入式”技术的临床应用带来了困难，目前“侵入式”脑机接口技术正在探索尽可能避免开颅或者降低开颅风险的方案。

“侵入式”脑机接口需要通过开颅手术或者钻透颅骨将脑电传感器植入脑内，这可能会导致患者大脑的长期炎症，而“非侵入式”脑机接口虽然对人没有伤害，但是脑电信号微弱、识别准确率和实时性有限（“非侵入式”的代表性产品包括俄罗斯Neurobotics公司2019年10月推出的利用人工神经网络和脑电图将人脑中的图像实时可视化的脑机接口技术、美国Cognion公司2021年3月推出可以将思想转化为设备指令的脑机接口产品Cognixion ONE等）。如何构建一种能够平衡通讯速率（侵入式）和侵入性（非侵入式）的脑机接口系统——在“最低限度损伤大脑”和“最大限度利用大脑”之间达到平衡，是脑机接口研究中的一个重要挑战、也是未来重要的研究方向［5］。2021年12月，澳大利亚神经血管生物电子医学公司Synchron公司的脑机接口技术在人体上实验成功，通过推特直播的形式帮助渐冻症患者在30 min内发送了两条推特，实现人类史上首次靠“意念”发送推特；2022年5月，Synchron公司宣布开展名为“COMMAND”的人体临床试验，首位患者来自纽约西奈山医院；2022年7月，Synchron公司完成美国首例患者植入脑机接口手术。为了探索最小化颅内脑电创伤的脑机接口方案，2022年7月，清华大学联合团队通过手术前的功能磁共振影像精准定位目标脑区，只用3个颅内电极实现了微创植入脑机接口打字，速度达到每分钟12个字符，每个电极的等效信息传输率达到20 bit/min［6］。同样是专注于意念打字任务，2021年5月，斯坦福大学联合团队发布的基于脑机接口的手写体打字成果，使用了192个微针硅电极，每个电极的等效信息传输率约为2 bit/min，每分钟输入90个字符并且准确率超99%——这是此前使用脑机接口打字纪录的两倍多，接近同龄健全人每分钟115个字符的智能手机打字速度（过程如图3所示）。该成果的重要突破在于其速度与健全的同龄人在智能手机上发短信的速度相媲美，首次破译了与手写笔记有关的大脑信号［7］。

图3   基于脑机接口的意念打字过程Fig.3   Process of mental typing based on BCI 3.2　可信人工智能

可信人工智能是DARPA近年重点推动的研究方向，因为未来人类高效管理人工智能“伙伴”必须建立在双方信任和协作基础之上。该研究旨在探索建立在人机协同基础上的人机互操作和互信，能够将人类业务专家的业务经验反馈给机器，帮助机器自我革新和迭代升级，产生对人类来说可解释、可信的决策结果［8-10］。2022年6月，英国皇家联合军种研究所发布《人工智能中的信任：重新思考未来军事指挥》报告认为，各级（作战操作员、指挥官、政治领导人和公众等）的信任，是有效采用人工智能进行军事决策的至关重要的前提，人类操作员和人工智能体之间的共生关系将为未来的指挥带来巨大变革。

DARPA于2016年启动的“可解释人工智能（XAI）”（如图4所示）计划被公认为是为解决上述挑战而采取的最全面的军事举措［11］。该项目分为可解释的学习方法、可解释的心理学模型等两个技术领域和一个评估框架，于2021年结束。其中，在可解释的学习方法技术领域，该项目选择了11个研究团队探索了许多机器学习方法，例如易处理的概率模型和因果模型、强化学习算法生成状态机、贝叶斯规则列表、视觉显著图等解释技术。通过该项目，新的人工智能原型系统已经能够初步解释自身逻辑原理，描述自身的优、缺点，并解释未来的行为表现。

图4   DARPA“可解释人工智能（XAI）”项目概念示意图Fig.4   Conceptual diagram of DARPA’s XAI project

截至目前，可信人工智能已经成为学术界、军政部门共同关注的焦点［12］。2021年7月，美国密歇根州立大学从计算的角度全面概述了可信人工智能的前沿研究进展，并将可信人工智能的研究方向凝练为6个最重要的方面：隐私性、安全与鲁棒性、可解释性、非歧视与公平性、环境福祉性和问责性与可审计性［13］。对于近年来已经逐渐成为深度学习支撑技术之一的图神经网络，其可信性增强研究逐渐成为焦点：2022年4月，美国宾夕法尼亚州立大学认为在当前的图神经网络的应用中隐私和鲁棒性并不能得到保证，网络本身也有在公平性和可解释性的缺陷［14］；2022年5月，澳大利亚莫纳什大学与美国伊利诺伊大学厄巴纳-香槟分校联合团队发布了可信图神经网络综述成果，指出了图神经网络与其他常见人工智能技术在可信研究中的典型差异，将拥抱可信设计理念、探索其他可信维度、研究多样相互关系、设计模型不可知方法、建立可信技术生态5个方面视为基于可信人工智能的图神经网络未来发展方向［15］。

3.3　虚拟现实

虚拟现实（Virtual Reality，VR）、增强现实（Augmented Reality，AR）、扩展现实（eXtended Reality，XR）技术，是人机混合智能开展研究最早的技术方向［16］。2021年被认为是“元宇宙元年”，2021年10月，Facebook改名Meta，投资1000亿美元押注元宇宙，拉开了进军元宇宙的大幕。元宇宙被认为是将成为移动互联网的“继任者”，是一种全新的、以虚拟现实为主的新兴计算平台。彭博社估计，到2024年，元宇宙的市场规模可能达到8000亿美元。

在元宇宙概念的催动下，虚拟现实和增强现实技术在近期获得更多关注并取得一定成果，军事应用步伐不断加快，主要应用于军事训练［17］。传统训练方式往往要考虑训练地点、成本和后勤资源，存在客观衡量进展能力不足，缺乏精确反馈能力的问题；而采用沉浸式训练来增强（或取代）现场训练，充分利用虚拟现实/增强现实技术的进步，能够让作战人员身临其境，为作战人员提供互动体验和可持续学习的训练环境，让作战人员的大脑在体验、认知、行为和情感等多个层面上参与训练。

美国方面，空军和陆军是这些技术应用较为密集的军种。美国空军方面：早在2020年，美国空军宣布内利斯空军基地新的“虚拟测试与训练中心（VTTC）”正式落成，未来联合空中作战训练将在此进行。战斗机飞行员可在此通过虚拟现实技术模拟与实力相当国家及其他对手作战的情形，练习先进战术。2022年2月，美国诺斯罗普·格鲁曼公司宣布将在DARPA“感知赋能任务指导（PTG）”项目资助下开发嵌入到增强现实头盔的人工智能助理样机——“作战人员与背景自适应推理直觉助理（OCARINA）”，利用先进的信息处理和增强现实接口，人工智能助手将通过语音和图形在正确的地点和时间提供反馈和指导，以协助旋翼飞行员执行预期和意外任务。美国陆军方面：2022年1月，美军发布了美国陆军未来司令部 31 项标志性现代化计划之一的“集成视觉增强系统（IVAS）”成果，能够为士兵提供更清晰、数据更丰富的战场态势影像；为了满足在实况训练演习中更准确地模拟关键武器系统效果的需求，2022年6月，美国陆军开发了依托于“合成训练环境实兵训练系统（STE-LTS）”项目（如图5所示）和“模拟、培训和仪器仪表敏捷采集响应 （STAAR） ”项目的“合成训练环境实况训练系统”，地形成像和虚拟现实生态系统的最新进展为更精确的交互式技术打开了大门。

虚拟现实、增强现实等技术在各领域的应用还处于探索阶段，目前发展过程中遇到一些瓶颈性问题，主要存在于以下4个方面：（1）在技术革新层面，相关技术探索的不确定性较强，算力、网络带宽和时延的限制依然很大，特种设备对无线网络、非标准互联网的传输要求很高；（2）在能源供给层面，大规模连接的虚拟现实应用场景的平稳运行离不开数据中心、算力中心、网络设备、通信基站、电力能源等新型基础设施支撑，而这些基础设施的运转则需要更为庞大的能源供给；（3）在金融监管层面，虚拟现实场景（特别是元宇宙场景）中存在较多虚拟资产，然而虚拟资产的价值难以量化并可能伴随洗钱等问题；（4）法律规范层面，应用场景的多元化和沉浸式，会带来过度沉迷、虚拟犯罪、隐私保护等合规治理问题，虚拟数字人的产权继承，数字藏品的金融化等方面也存在法律合规风险。

3.4　环境感知

人机混合智能是由“人-机-环境”相互作用而产生的新型智能系统，如何强化对环境信息的感知、强化对环境变化的适应、强化与环境的交互与共生，是人机混合智能发展所必须解决的关键问题。Gartner在2022年10月发布的《2023年十大战略技术趋势》中，感知和适应外部环境快速变化、在环境中迭代升级的自适应人工智能（Adaptive AI）在列。

强智能体与环境进行充分交互的理念，最初体现在1950年艾伦·图灵提出的被称为“模仿游戏”的图灵测试；2022年，具身智能（Embodied AI）研究热潮再度掀起，成为当前最热门的人工智能研究方向之一。“具身”的含义不是身体本身，而是与环境交互以及在环境中做事的整体需求和功能。2022年10月，由图灵奖获得者Yoshua Bengio和Yann LeCun领衔的一批致力于机器学习与神经科学结合研究的科学家共同执笔，发布《迈向下一代人工智能：催化神经人工智能革命》白皮书［18］，提出通用智能的基本要素在于智能体与世界（环境）进行感觉运动交互的能力；提出作为通用人工智能的终极挑战标准之一的“具身图灵测试”。美国谷歌机器人团队在2022年4月和7月分别提出SayCan模型和LM-Nav模型，这两个模型均面向多模态复杂环境，通过自然语言形式的指令让机器人在真实环境中执行任务。2022年6月，美国艾伦人工智能研究院从与环境交互的角度提出一种在复杂环境中检测特定物体方面更准确的技术，检测准确率比传统方法高了近12%［19］。

近年来，DARPA不断强化环境感知方面研究。2019年基于“人工智能探索（AIE）”项目发布“基础性人工智能语言获取（GAILA）”项目，旨在使计算系统能够以类似于儿童的方式获取语言（儿童获得语言的基础是他们对周围环境的听觉和视觉信息的感知），进一步研究和开发一系列基础语言获取模型和自动语言获取原型，最终学习理解英语文本和语音。2022年9月，DARPA发布“环境驱动的概念化学习（ECOLE）”项目公告，旨在创建能够从环境中持续感知和学习语言和视觉的人工智能智能体，以便在时间敏感、任务关键的国防部分析任务期间，对图像、视频和多媒体文档进行可靠性和健壮性的人机协作分析。该项目对于改变当前的机器学习方法具有重要意义，可在保障计算系统需要能够与人类进行通信和合作的同时促进“人-机-环境”高效交互与协同，并随着时间的推移提高了计算系统性能。

4 人机混合智能的面临的挑战分析

当前人机混合智能所面临的挑战概述如下。

（1）人、机权责分工。当人和机器共同完成一项共同的任务时，首先需要进行分工，如果对任务目标、业务约束、可用资源等的理解不足、边界不清，那么就可能导致任务执行过程中，人、机的功能分配、权责划分不协调。轻则导致人、机、环境各自的优点都没有发挥出来，重则导致任务因组织混乱而失败，无法实现在开放真实环境下的智能程度和主动效力的最大化。

（2）人、机交互接口。作为通联人类智能和人工智能的桥梁，人机交互接口扮演着重要的角色，人类对于机器生成的结果（例如作战方案）的修改，需要通过人机交互接口反馈给人工智能算法，后者基于此完成增量重训练、重新学习人类经验与业务约束。图形化接口是当前人机交互接口的主流形态，但是存在可扩展性差的问题；自然语言（含语音）形式的人机交互接口将是未来的形态，作为其核心技术的智能语音助理技术虽然目前应用较广，但是在响应速度、处理复杂问答能力、利用历史问答能力等方面较弱。

（3）伦理规制。隐私和安全是目前各方关心的核心问题，如果人人都用意念交流，世界可能将会没有秘密可言，容易导致黑客入侵大脑；此外，相关技术可能加剧不平等，因为并非所有人都有实力拥有这项技术，它将进一步巩固精英阶层的优势。因此，研究者和开发者们需对这件事持严肃态度，关于机器伦理的每一个步骤，都需经过伦理委员会的审查，确保计算机在人类的控制下而不会出现计算机脱离人控制的现象、人机混合智能是对人的“增强”而非“干预”。

5 人机混合智能对未来军事发展的启示

人机混合智能必将加速军事变革进程，对作战样式、装备体系、战斗力生成模式等都会带来根本性改变，甚至会引发一场深刻的军事革命。

在情报智能分析方面，相关任务通常具有业务目标多样、分析结果未知、分析过程复杂等特点，因此既需要强大的系统分析能力对大数据进行关联分析和深度理解，同时亟需交互式、灵活性、可迭代的分析结果可视化，供业务人员依托业务常识与经验进行专业的业务判断并做出分析决策，以及通过人机交互接口对机器产生的决策方案进行修改、算法对修改内容进行自学习，实现人机智能混合协同处理。因此，以情报大数据深度分析应用为主要抓手，通过对多源异质多模态大数据的关联融合，利用融合了人、机智能的分析过程，辅助用户从大数据中萃取关键情报。

在作战辅助决策方面，不同类型、不同功能的无人装备协同合作完成不同场景和复杂程度的任务，已经成为当前战场常态，能够有效提升作战效率和资源利用率。在上述“机-机”配合基础上，把人的业务常识与经验引入到智能作战系统的攻防辅助决策生成的回路中，利用人对模糊、不确定问题分析与响应的优势，弥补机器智能在处理上述问题时的缺陷，最终形成“1+1>2”的增强智能形态。此外，机器所生成军事行动决策必须对业务人员可解释、可信。

在人机编队作战方面，无论在陆战、空战还是海战，特定装备的人机协同和互信关系发生了根本的变革，单纯的人工智能与人类智能都不能发挥最大效能，由人机混合编组共同承担作战任务将成为常态：大量的无人系统与装备在前沿局部自主交战，人在旁路调控将成为主要攻防模式——人由前置转为后置、由体力变为智慧、由具体执行变为指挥控制。

6 结束语

未来战争是人、机、环境融合的战争，它不仅仅是智能化战争，更是智慧化战争，未来的战争不但要打破形式化的数学计算，还要打破传统思维的逻辑算计。人类智能在感知、推理、归纳和学习等方面具有机器智能无法比拟的优势，机器智能则在搜索、计算、存储、优化等方面领先于人类智能，两种智能具有很强的互补性。人与机器协同融合、互相取长补短将形成一种新的“1+1>2”的增强型智能，也就是人机混合智能。这种智能是一种双向闭环系统，既包含人，又包含机器。其中，人可以接受机器的信息，机器也可以读取人的信号，两者相互作用、互相促进。在此背景下，人工智能的根本目标已经演进为提高人类智能，更有效地辅助人类完成复杂动态的智能任务。

编辑：黄飞