0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

认知域作战新利器—ChatGPT认知剖析及对策

AI智胜未来 来源:军事文摘 2023-10-29 10:49 次阅读

2022年11月30日,美国人工智能公司OpenAI正式发布大型自然语言交互程序聊天机器人ChatGPT(ChatbotGenerative Pre-training Transformer)。随后,又推出GPT-3.5并很快迭代到GPT-4。这对于信息生产、流通全过程的改变,不仅掀开了人工智能被用于现实传播问题的序幕,也将助长国际体系与社会生活中根深蒂固的系统性偏见、有意欺诈、政治造谣、伪造身份等问题。

这种强有力的变革对认知域作战同样会产生巨大影响,将会使得认知域作战的形式更加丰富、手段更加隐蔽、防范更加困难,其对于社会生活、政治生态和社会总体意识形态的影响也将会更加深入。需要深入分析其在认知域作战中的运用场景,把握认知规律、重塑认知内容、优化认知过程。

认知域作战视角下的ChatGPT主要特性

ChatGPT是在GPT(Generative Pre-trained Transformer)模型的基础上通过改进优化得到的,针对对话场景利用“人在回路”进行了优化。GPT是一种大型语言模型,是现阶段对于自然语言进行机器学习的主流思路,能够生成各种不同的文本类型。它可以根据上下文自动生成与人类语言类似的文本对话。

GPT模型主要思路是让AI在通用的、海量的数据上学习文字接龙,即掌握基于前文内容生成后续文本的能力。目前GPT模型已经发展到了第四代,是针对对话场景进行针对性优化的结果。相比于以往的固定对话式人工智能,ChatGPT拥有自己的思考逻辑,因此在不处于“人在回路”的监管时,系统可以对同一问题给出多种回答,只不过这些回答在系统偏好的作用下以概率分布的形式存在。

6d3af354-7569-11ee-939d-92fbcf53809c.png

GPT用海量数据学习“文字接龙”

ChatGPT作为新一代人工智能,在引入大数据进行自主学习时使用人工对系统学习结果进行评价,从某种意义上说,该过程正是赋予系统“灵魂”、完成画龙点睛的过程。但是由于人类本身固有的政治立场或倾向,使得在对学习结果进行筛选时,筛选结果不可避免地被打上了监督者的个人标签,从而在这一过程中给系统带入了一种“预设的价值观”,使其成为认知域作战的“新利器”。

一是难以抹去的价值底色。ChatGPT的价值观底色根植于参与该系统设计研发人员的价值观取向,即“硅谷价值观”,属于美国左派的温和派。这种底层逻辑的审视使得ChatGPT常常表现为美国精神的“卫道者”,在测试者的政治性话题中,ChatGPT对于涉美议题或涉及外国政治人物的话题上往往采取中立或避而不谈的态度,但是在关于美国正面话题的谈论上却表现得相对积极。除此之外,对于诸如少数族裔问题、枪支问题、堕胎问题、环保问题等争议性话题,ChatGPT也表现出相对保守的态度,并且在整体取向上更加偏向于温和左派。

在ChatGPT上线互联网后,世界各国的网民也都参与到了与ChatGPT的互动中来,并在大量的交流中逐渐发现ChatGPT在面对不同语言的提问时,同一问题往往会得到不同答案,并且这种改变是随着社会动态的变化而随时改变的。这种“见人下菜碟”的行为说明该智能系统仍处于成长学习阶段,且在该过程中系统所受到的人为干预远不止训练模型中标注出来的那么简单,这种实时且强有力的人为干预将ChatGPT的预设价值观推向了更加隐蔽、更加晦涩的深层次。

6d463958-7569-11ee-939d-92fbcf53809c.png

GPT与T5、BERT的演化

二是开放可塑的数据训练。ChatGPT本质上是基于GPT模型,针对聊天环境进行指向性优化的结果。GPT模型在面对不同来源的数据进行学习时,会根据数据本身“意义分布”的不同而学习得到不同的结果。这意味着,已经被ChatGPT证明相对成熟的GPT模型将可以在差异性数据来源的情况下,被培养成为适用于不同领域的特定人工智能。这种可塑性使得GPT系统的发展前景大大超过以往的自然语言学习系统,并且为GPT家族的发展壮大提供了可能性,也极大地拓宽了其市场前景与应用场景。

随着特定倾向性的数据训练,给定的价值观会演变成为工具本身的价值观,将会使ChatGPT以网络空间“虚拟人”的身份进行输出,而它所擅长的自然语言学习将会成为这种输出的主要路径与助力。以ChatGPT为代表的智能系统将会拓展现有网络空间,成为元宇宙的重要组成。在元宇宙中,ChatGPT可以催生出一种不具有现实映射的“虚拟人”,不仅仅以“系统的一部分”的形式存在,而是会基于其预设价值观,成为某种价值观的代言人,通过网络虚拟空间对现实世界产生巨大的影响。

三是高度逼真的自主输出。随着ChatGPT上线互联网,人们发现ChatGPT已经跨越了以往工具在面临“领会意图”这一问题上难以跨越的人机鸿沟,自然语言学习的过程赋予其超越指令的能力。若将其运用到认知域作战当中,将可替代目前进行流量攻击的“网络水军”。ChatGPT强大的数据产生能力与强自主性的概略意识,将使认知攻击的响应时间更短、行动更灵活、反馈更迅速,同时作战成本将会进一步降低,作战向无人化、智能化迈出了实质一步。

同时,ChatGPT所带来的深度造假技术的提升,使得认知域作战的进攻行动更加隐蔽。在现有的进攻行动中,敌方往往需要依托于热点事件,通过网络水军的集结来造成舆论攻势,进而造成部分民众的认知混乱。但是ChatGPT却能够脱离热点事件,取代网络水军的集结行动,将认知域作战的进攻行动以一种更加平滑的方式融入到日常生活中去。未来的认知域作战所依托的社会事件热度将会进一步降低,呈现出多点开花、多线出击的态势。

ChatGPT在认知域作战中的运用场景构设

在人类历史绝大部分时间内,科学技术发展的最新成果往往被最先应用于军事领域,ChatGPT的武器化势在必行,其在认知域作战中有着广泛的潜在应用场景。

利用沉锚效应,实现认知预设。沉锚效应是指:人们做决策前,思维往往会被所得到的第一信息所左右,第一信息就会像沉入海底的锚一样,把你的思维固定在某处,从而产生先入为主的歪曲认识。ChatGPT将会首先取代网络水军在认知域作战中的生态位置。强劲的系统架构、强大的数据处理能力,为ChatGPT带来的数据生产能力以及直接对接网络的机机交互模式,将会使得认知域进攻作战在时空上都更加平均,同时这种时空分布状态对进攻烈度进行积分所得到的总进攻强度又会远远高于以往。

这种变化所带来的直接影响就是日常生活中任何一起稍具影响力的社会事件都有可能成为认知域作战的战场。ChatGPT的预设价值观不再需要特定的社会事件才能进行表达,而是会广泛地渗透在社会的各个角落,通过扭曲、造谣、带节奏的方式从生活中的点滴小事上持续输出负面信息。

ChatGPT强大的信息生产能力,将进一步突破信息生产力的上限,加剧个体“信息过载”状态,并对社会信息构成产生影响。从个体微观视角来看,直观地感受就是负能量的戾气充斥在社会的方方面面,同时大量具有相同预设价值观的信息会在任何社会实践发生的时候扑面而来。而且ChatGPT的“不厌其烦”“潜移默化”将会使得这一过程更加平滑顺畅,负能量信息被包含在一次次看似正常的抱怨、内涵与“合理的利益诉求”中,悄悄烙入人们的潜意识,形成思维底色。这种潜在印象将会在长期的加强下慢慢毒化社会风气、影响对于特定事件的社会风评、建立“事件—情绪”的对应关系,在不知不觉中改变一个人的认知逻辑与行为方式。

打造信息茧房,形成认知依赖。信息茧房是信息时代不可避免的社会问题,是个体或群体在信息消费过程中因自身或外界的因素而形成的信息来源窄化和观念极化现象。认知域作战过程中,通过大数据对个体展开偏好分析,形成个性化的用户画像,为精准认知攻击提供可能。ChatGPT的强大数据处理能力以及较高的自主性使得其可以获得进行偏好分析以及后续包括相关信息生产、信息投送的能力。

ChatGPT的智能系统可以实现偏好抓取到信息投送一体化,具备自主、持续、自适应的认知作战能力。这将会大大提高现有的信息茧房制设效率。传统认知域作战中,对于个体或群体信息茧房的制设,一方面需要长期的用户跟踪、偏好分析和信息投送;另一方面需要借助热点事件或制造热点事件才能达到理想效果,这都要花费较大资源,且攻击过程易被识别、干扰和破坏。但ChatGPT以平滑的姿态进行进程设计,并将预设的价值观安插到任何一起稍具影响的社会事件中去,不需要借助或制造热点,使得信息茧房制设常态化;ChatGPT高度自主性、智能化,可针对受到影响的个体进行精准分类,加大信息投送,促使潜意识中被植入的印象逐渐成长并在个人的思想中占据主导地位,极大提高了信息茧房制设效率。同时基于分散社会事件的信息投送模式也更难被发现和监管,使得认知域作战的进攻成本与响应速度进一步缩减。

强化社群效应,塑造群体极化。社群效应是指:当一部分人群拥有相近的价值观时,就会在无形中产生相较于日常人际关系更为紧密的联系。在人口总基数相对不变的前提下,当越来越多的人群被剥离出主流价值观时,主流价值观的影响力就会受到削弱,一旦信仰主流价值观的人口基数在社会中不足以达到大多数时,主流价值观也会丧失其主流地位。在这一过程中如果不能确立出新的主流价值观或新的主流价值观与国家利益不匹配,那么就会在事实上造成社会凝聚力、向心力的丧失,也就是说在社群效应影响下的小团体分裂行为最终必然导向社会原子化,进而产生社会群体的极化。

在认知域作战过程中,认知预设旨在源源不断地制造特定人群,拥有“入群”潜力的个体会在相关信息所织造的信息茧房的不断提纯与筛选下,逐步形成对于这种特定价值观信息的认知依赖。最后这类经过特殊培养、培育的人就会在自觉或外力的助推下形成抱团取暖的小圈子,在被不断饲养下逐渐成长,并最终对主流价值观形成挑战或者与其他意见相悖的小圈子相互攻讦,用混乱的小团体乱斗搅乱社会思想的统一。ChatGPT所拥有的精准信息投送能力与人群分类能力在这一过程中将会切实高效地助长各类小团体的形成。同时通过向处于信息茧房中的特定人员不断投放对应信息来制造出一批拥有极化思想的个人。当该类人群人口基数达到临界值后,就通过网络将这一类人员组织成为小团体并持续投放相关信息,使得该团体不断地纯化、成长。这些受到ChatGPT培养的众多小团体都会在客观上削弱主流价值观的影响力,而这种隐晦繁杂的认知进攻方式的出现正是基于算力的进一步提升以及ChatGPT智能高效的算法架构。

应对ChatGPT的策略思考

健全网络监控体系,实时感知舆论态势。网络舆情态势感知和监测能力是夺取认知域作战主动权的前提条件,而高效舆论感知网络又是基于先进算法、具有一定自主分析能力的多维感知系统。需要进一步健全网络监控体系,使之具有网络舆论态势感知及溯源能力,并拥有从内容重复性、逻辑性、语法语义等方面开发的人工智能内容鉴别能力。实现准确识别由人工智能控制账号发布的虚假信息以及诱导性言论,对虚假消息源头进行“发送、甄别、封禁、溯源、抓捕”的快速反应,堵截ChatGPT发布虚假信息的渠道,削减其参与认知域作战的能力。加强专业人才队伍建设,形成一支快速反映、灵敏有效、忠诚可靠、技术过硬的认知域作战人才队伍,在网络环境下认知对抗的常规力量对比中占据优势。

坚决守住舆论阵地,深化教育宣传效果。深刻意识到网络空间所具备的主权特征,全社会多部门共同参与,将网络空间当作“数字领土”一样进行主权建设。维护以社会主义核心价值观为代表的主流价值观的主流地位,深化主流价值观的宣传教育,把宣传阵地牢牢掌握在自己手里。丰富拓展宣传部门的工作形式与宣传手段,发掘符合主流价值观的好人好事,树立典型、弘扬正气,主动掌握社会舆论的定义权与主导权。采取人民群众更加喜闻乐见的方式,深化宣传教育效果,实现中华民族传统文化、中国特色社会主义理论体系和国家建设社会实践三者有机结合,加快实现四个自信,正本清源,从根源上杜绝ChatGPT颠倒黑白的一切可能。

坚持开展技术研发,丰富拓展应用手段。实现以政府为主导、以企业为主体,构建“政产学军研用”六位一体的协同创新机制,推进高精尖技术的不断前进与应用技术的大规模应用,将平台建设、基础设施投资与科技进步有效转化成为政府面对网络新兴挑战的反击力量。在平台建设中借鉴民用互联网的先进经验,实现网络认知对抗诸多力量的扁平化管理;在基础设施投资上由政府牵头、多方参与,在硬件上确保监管系统的正常运转;在科技进步上以监管与军事需求为主导,院校与科研院所充分参与,尽快突破认知域作战态势感知、战场孪生、用户画像等技术瓶颈,下好应对ChatGPT用于网络认知对抗的先手棋。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器学习
    +关注

    关注

    66

    文章

    8425

    浏览量

    132774
  • 聊天机器人
    +关注

    关注

    0

    文章

    339

    浏览量

    12334
  • ChatGPT
    +关注

    关注

    29

    文章

    1564

    浏览量

    7822

原文标题:认知域作战新利器—ChatGPT认知剖析及对策

文章出处:【微信号:AI智胜未来,微信公众号:AI智胜未来】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    具身智能与人类认知能力的关系

    在人工智能和认知科学的交汇点上,具身智能这一概念应运而生。它挑战了传统的以大脑为中心的认知模型,强调身体和环境在智能行为中的核心作用。 一、具身智能的定义与起源 具身智能的概念最早由心理学家
    的头像 发表于 10-27 09:43 422次阅读

    莫拉维克悖论与多模态AI:迈向机器人认知的新时代

    莫拉维克悖论揭示了人工智能系统在处理高级推理与基本感知运动技能上的巨大差异。对于AI而言,复杂的逻辑任务似乎比人类习以为常的感知运动技能更容易实现。这一悖论凸显了当前AI与人类认知能力之间的鸿沟。
    的头像 发表于 10-26 15:00 648次阅读

    数据智能系列讲座第3期—交流式学习:神经网络的精细与或逻辑与人类认知的对齐

    鹭岛论坛数据智能系列讲座第3期「交流式学习:神经网络的精细与或逻辑与人类认知的对齐」(25日)20:00精彩开播期待与您云相聚,共襄学术盛宴!|直播信息报告题目交流式学习:神经网络的精细与或逻辑与人
    的头像 发表于 09-25 08:06 240次阅读
    数据智能系列讲座第3期—交流式学习:神经网络的精细与或逻辑与人类<b class='flag-5'>认知</b>的对齐

    全球人工智能认知与情感交织的2024年:益普索Ipsos报告揭示未来趋势

    随着科技的飞速发展,人工智能(AI)已不再是一个遥远的概念,而是日益渗透进我们生活的方方面面。益普索Ipsos于2024年发布的全球人工智能监测报告,为我们描绘了一幅全球消费者对AI认知、信任度
    的头像 发表于 07-24 16:35 569次阅读

    用launch pad烧录chatgpt_demo项目会有api key报错的原因?

    我用launch pad烧录chatgpt_demo项目问题会有api key报错;请问用launch pad要如何设置api key和调试?还是只能通过idf?
    发表于 06-27 07:59

    新一代智能插件AOI用极速编程颠覆了传统AOI认知

    为了解决传统AOI自动光学检测设备存在的问题,新一代AI视觉前沿技术公司将神经网路深度学习算法应用于AOI中,匠心打造了D系列产品,用极速编程颠覆了传统AOI认知
    的头像 发表于 06-25 15:00 795次阅读
    新一代智能插件AOI用极速编程颠覆了传统AOI<b class='flag-5'>认知</b>

    使用espbox lite进行chatgpt_demo的烧录报错是什么原因?

    我使用espbox lite进行chatgpt_demo的烧录 我的idf是v5.1release版本的,espbox是master版本的 在编译时似乎没有什么问题 在烧录时报错 请问这是什么原因
    发表于 06-11 08:45

    OpenAI 深夜抛出王炸 “ChatGPT- 4o”, “她” 来了

    当地时间5月13日OpenAI推出ChatGPT-4o,代表了人工智能向前迈出的一大步。在GPT-4turbo的强大基础上,这种迭代拥有显著的改进。在发布会的演示中,OpenAI展示该模型的高级
    发表于 05-27 15:43

    在FPGA设计中是否可以应用ChatGPT生成想要的程序呢

    当下AI人工智能崛起,很多开发领域都可看到ChatGPT的身影,FPGA设计中,是否也可以用ChatGPT辅助设计呢?
    发表于 03-28 23:41

    解锁AI时代的利器——讯飞AI鼠标AM30助你在AI时代脱颖

    飞AI鼠标AM30就是你在AI时代的利器,它凭借其出色的功能和特点,助你在激烈的竞争中脱颖而出。 讯飞AI鼠标AM30搭载了星火认知大模型AI,为你提供了多种强大的功能。 PPT制作、问答、写作还是绘画 ,AI都能帮你轻松搞定。你只需要输入相关指令,AI就会立即
    的头像 发表于 03-25 13:37 577次阅读
    解锁AI时代的<b class='flag-5'>利器</b>——讯飞AI鼠标AM30助你在AI时代脱颖

    搭载星火认知大模型的AI鼠标:一键呼出AI助手,办公更高效

    搭载星火认知大模型的AI鼠标:一键呼出AI助手,办公更高效 在这个AI时代,如果你想在激烈竞争的职场中不被淘汰,讯飞AI鼠标AM30就是你的不二选择。 这款鼠标搭载了星火认知大模型AI,为你提供了
    的头像 发表于 03-25 11:52 517次阅读
    搭载星火<b class='flag-5'>认知</b>大模型的AI鼠标:一键呼出AI助手,办公更高效

    爱立信推出认知软件新功能

    日前,爱立信宣布在其专为运营商设计的认知软件组合中,新增采用“可解释性人工智能(Explainable AI,XAI)”的新功能,进一步加速在网络设计和优化中采用人工智能后的价值转化。
    的头像 发表于 02-22 09:22 5268次阅读

    【国产FPGA+OMAPL138开发板体验】(原创)6.FPGA连接ChatGPT 4

    OMAP-L138(定点/浮点DSP C674x+ARM9)+ FPGA处理器的开发板。 编写一个用于FPGA访问ChatGPT 4的程序代码是一个相当复杂的任务,涉及到硬件设计、网络通信、数据处理等多个
    发表于 02-14 21:58

    科大讯飞星火认知大模型V3.5发布

    近日,科大讯飞举办了星火认知大模型V3.5升级发布会。在发布会上,科大讯飞董事长刘庆峰和研究院院长刘聪共同宣布了基于首个全国产算力训练的讯飞星火V3.5的全新升级。
    的头像 发表于 01-31 17:28 1441次阅读

    科大讯飞发布星火认知大模型V3.5

    科大讯飞近日发布了星火认知大模型V3.5版本,该版本基于全国产化算力底座“飞星一号”平台进行训练。与讯飞星火V3.0相比,V3.5在逻辑推理、文本生成、数学答题及小样本学习能力等方面均实现了显著提升。
    的头像 发表于 01-31 14:40 922次阅读