0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

对话式LLM用于硬件设计

sanyue7758 来源:ScienceAI 2023-06-15 09:49 次阅读

通常,开发任何类型的硬件(包括芯片,作为电子设备大脑的微小电子元件),都是从用正常语言描述硬件应该做什么开始的。然后,经过专门训练的工程师将该描述翻译成硬件描述语言(HDL),例如 Verilog,以创建允许硬件执行其任务的实际电路元件。

自动化此翻译可以减少工程过程中的人为错误来源。但是,直到最近,AI 才展示了基于机器的端到端设计翻译的能力。一些大型语言模型(LLM),如 OpenAI 的 ChatGPT 和谷歌的 Bard,声称能够生成各种编程语言的代码;但它们在硬件设计中的应用尚未得到广泛研究。

近日,来自纽约大学和新南威尔士大学的研究团队使用简单的英语「对话」与 AI 模型制造了一个微处理芯片,这是一项史无前例的成就,可以加快芯片开发速度,并允许没有专业技术技能的个人设计芯片。

研究团队展示了两名硬件工程师如何用标准英语与 ChatGPT-4「交谈」,以设计一种新型微处理器架构。然后,研究人员将设计送去制造。

在该研究中,LLM 能够通过来回对话生成可行的 Verilog。随后将基准测试和处理器发送到 Skywater 130 纳米穿梭机上进行流片(tapeout)。

研究共同作者 Hammond Pearce 说:「我们认为这项研究产生了第一个完全由 AI 生成的 HDL,用于制造物理芯片。这项研究表明,AI 也可以使硬件制造受益,特别是当它被用于对话时,你可以来回地完善设计。」

研究背景

随着数字设计的能力和复杂性不断增长,集成电路 (IC) 计算机辅助设计 (CAD) 中的软件组件已在整个电子设计自动化流程中采用机器学习 (ML)。传统方法试图对每个过程进行正式建模,而基于 ML 的方法则侧重于识别和利用可概括的高级特征或模式——这意味着 ML 可以增强甚至取代某些工具。尽管如此,IC CAD 中的 ML 研究仍倾向于关注后端过程。

在此,研究团队探索了将新兴类型的 ML 模型应用于硬件设计过程的早期阶段时面临的挑战和机遇:硬件描述语言 (HDL) 本身的编写。

虽然硬件设计以 HDL 表示,但它们实际上以自然语言(例如英语需求文档)提供的规范开始设计 lifecycle。将这些转换为适当的 HDL(例如 Verilog)的过程必须由硬件工程师完成,这既耗时又容易出错。使用高级合成工具等替代途径可以让开发人员使用 C 语言等高级语言指定功能,但这些方法是以牺牲硬件效率为代价的。这激发了对 AI 或基于 ML 的工具的探索,将其作为将规范转换为 HDL 的替代途径。

最新的 LLM (如 OpenAI 的 ChatGPT 和 Google 的 Bard)为其功能提供了不同的「会话」聊天界面。

会话式 LLM 用于迭代设计硬件

受 LLM 发展的启发,研究人员提出以下问题:将这些工具集成到 HDL 开发过程中有哪些潜在优势和障碍?

为了理解这项新兴技术的重要性,进行像这样的观察性研究至关重要。对会话式 LLM 对硬件设计的影响的调查既相关又及时。

0fde548e-0ac6-11ee-962d-dac502259ad0.png

图 1:会话式 LLM 能否用于迭代设计硬件?(来源:论文)

该研究的贡献如下:

首次对对话式 LLM 在硬件设计中的使用进行了研究。

开发基准以评估 LLM 在功能硬件开发和验证方面的能力。

利用 ChatGPT-4,对硬件中复杂应用程序的端到端协同设计进行观察性研究。

首次使用 AI 为流片编写完整的 HDL,实现了一个重要的里程碑。

为在硬件相关任务中有效利用尖端会话 LLM 提供实用建议。

研究人员进行了两个对话实验。第一个实验涉及预定义的对话流程和一系列基准挑战,而第二个实验需要一个开放式的「自由聊天」方法,LLM 在一个更大的项目中担任联合设计师。

从本质上讲,有无数种方法可以与对话模型「聊天」。为了探索使用会话式 LLM 实现「标准化」和「自动化」流程的潜力,研究人员定义了一个严格的「脚本化」对话基于一系列基准。

然后,研究人员使用一致的指标评估一系列 LLM,根据通过附带测试平台所需的指令水平确定对话的相对成功或失败。然而,虽然对话流在结构上保持相同,但它在测试运行之间固有地存在一些差异,这取决于评估者需要决定 (a) 每个步骤中需要什么反馈,以及 (b) 如何格式化人类反馈。

下图详细说明了与 LLM 对话以创建硬件基准的一般流程。

10015d9e-0ac6-11ee-962d-dac502259ad0.png

图 2:简化的 LLM 对话流程图。(来源:论文)

真实世界的硬件设计具有更广泛和更复杂的要求。考虑到以前使用的方法时,这是一个挑战,该方法编写并限制了人类与 LLM 交互的方式。然而,鉴于不同层次的人类反馈相对成功,研究人员试图研究非结构化对话是否可以带来更高水平的表现和相互创造力。对此进行调查通常会通过大规模的用户研究来完成,硬件工程师在开发过程中会与该工具配对。研究目标是通过执行概念验证实验来推动硬件领域的此类研究,将 ChatGPT-4 与经验丰富的硬件设计工程师(论文作者之一)配对, 并在执行更复杂的设计任务时定性地检查结果。

挑战与机会

挑战:虽然很明显,使用对话式 LLM 来协助设计和实现硬件设备总体上是有益的,但该技术尚不能仅通过验证工具的反馈来一致地设计硬件。当前最先进的模型在理解和修复这些工具出现的错误方面表现不够好,无法仅通过初始人机交互来创建完整的设计和测试平台。

机会:尽管如此,当人类反馈被提供给功能更强大的 ChatGPT-4 模型,或者用于协同设计时,语言模型似乎是一个「力量倍增器」,允许快速设计空间探索和迭代。总的来说,ChatGPT-4 可以生成功能正确的代码,这可以在实现通用模块时节省设计人员的时间。

未来可能的工作可能涉及更大规模的用户研究以调查这种潜力,以及开发特定于硬件设计的会话式 LLM 以改进结果。




审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • HDL语言
    +关注

    关注

    0

    文章

    46

    浏览量

    8908
  • OpenAI
    +关注

    关注

    9

    文章

    1042

    浏览量

    6403
  • ChatGPT
    +关注

    关注

    29

    文章

    1548

    浏览量

    7477
  • LLM
    LLM
    +关注

    关注

    0

    文章

    272

    浏览量

    304

原文标题:对话式 LLM 用于硬件设计,首个完全由 AI 辅助创建的微处理芯片诞生

文章出处:【微信号:处芯积律,微信公众号:处芯积律】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    【比特熊充电栈】实战演练构建LLM对话引擎

    大模型时代,安全问题不容小觑。但如果把大模型比作孙悟空,那 NVIDIA NeMo Guardrails 就是“安全护栏”,可以轻松的为基于 LLM对话系统添加可编程护栏,来避免大语言模型输出
    的头像 发表于 09-19 13:40 1000次阅读
    【比特熊充电栈】实战演练构建<b class='flag-5'>LLM</b><b class='flag-5'>对话</b>引擎

    对比解码在LLM上的应用

    为了改进LLM的推理能力,University of California联合Meta AI实验室提出将Contrastive Decoding应用于多种任务的LLM方法。实验表明,所提方法能有效改进
    发表于 09-21 11:37 585次阅读
    对比解码在<b class='flag-5'>LLM</b>上的应用

    对话系统最原始的实现方式 检索对话

    检索对话作为对话系统最原始的实现方式,又蕴涵着什么有意思的东西,我们来看看。 什么是对话系统 对话从来就不是一个简单的任务,这是一个涉及理
    的头像 发表于 09-25 17:08 2316次阅读
    <b class='flag-5'>对话</b>系统最原始的实现方式   检索<b class='flag-5'>式</b><b class='flag-5'>对话</b>

    Chameo:对话人工智能

    电子发烧友网站提供《Chameo:对话人工智能.zip》资料免费下载
    发表于 11-10 09:56 0次下载
    Chameo:<b class='flag-5'>对话</b><b class='flag-5'>式</b>人工智能

    用于各种NLP任务的开源LLM的finetune教程~

    ChatGLM2-6b是清华开源的小尺寸LLM,只需要一块普通的显卡(32G较稳妥)即可推理和微调,是目前社区非常活跃的一个开源LLM
    的头像 发表于 07-24 09:04 1682次阅读
    适<b class='flag-5'>用于</b>各种NLP任务的开源<b class='flag-5'>LLM</b>的finetune教程~

    Stability AI发布首个用于编程的生成LLM AI产品—StableCode

    Stability AI 近日宣布了他们首个用于编程的生成 LLM AI 产品 ——StableCode。该产品旨在帮助程序员完成日常工作,并为新手开发者提供实用的学习工具。
    的头像 发表于 08-24 11:27 844次阅读
    Stability AI发布首个<b class='flag-5'>用于</b>编程的生成<b class='flag-5'>式</b><b class='flag-5'>LLM</b> AI产品—StableCode

    在线研讨会 | 基于 Jetson 边缘计算平台构建 Azure OpenAI LLM 安全护栏

    NVIDIANeMo Guardrails 是一个开源工具库,致力于使 LLM 大语言模型的使用更加合法合规。它可以轻松地为基于 LLM对话系统添加可编程护栏,用以避免大语言模型输出违法违规内容
    的头像 发表于 10-21 16:35 389次阅读
    在线研讨会 | 基于 Jetson 边缘计算平台构建 Azure OpenAI <b class='flag-5'>LLM</b> 安全护栏

    育碧发布全新生成AI原型:NPC以自发行为展开对话

    近日,育碧巴黎工作室推出了一款名为 NEON NPC 的全新 AI 原型项目。借助 NVIDIA 的 Audio2Face 及 InWorld 的 LLM 大语言模型技术,NPC可以根据角色设定自发生成对话
    的头像 发表于 03-20 10:17 405次阅读

    Yellow.ai 推出业界首款 Orchestrator LLM

    无需培训即可产生情景与人性兼具的客户对话 通过准确的查询识别、保留对话历史记录以及跨渠道的无缝上下文切换来解决客户对话中断的问题,Orchestrator LLM 将客户满意度提高了
    的头像 发表于 05-09 10:52 481次阅读

    解锁LLM新高度—OpenVINO™ 2024.1赋能生成AI高效运行

    LLM 的发展仍保持着惊人的速度。尽管现有的 LLM 已经具备强大的功能,但通过 OpenVINO™ 的优化和推理加速,可以对这些复杂模型的执行进行精炼,实现更快、更高效的处理,减少计算开销并最大限度发挥硬件潜力,这将直接导致
    的头像 发表于 05-10 10:36 485次阅读

    什么是LLMLLM的工作原理和结构

    随着人工智能技术的飞速发展,大型语言模型(Large Language Model,简称LLM)逐渐成为自然语言处理(NLP)领域的研究热点。LLM以其强大的文本生成、理解和推理能力,在文本
    的头像 发表于 07-02 11:45 6836次阅读

    llm模型和chatGPT的区别

    LLM(Large Language Model)是指大型语言模型,它们是一类使用深度学习技术构建的自然语言处理(NLP)模型。LLM模型可以处理各种语言任务,如文本生成、文本分类、机器翻译等。目前
    的头像 发表于 07-09 09:55 910次阅读

    llm模型有哪些格式

    LLM(Large Language Model,大型语言模型)是一种深度学习模型,主要用于处理自然语言处理(NLP)任务。LLM模型的格式多种多样,以下是一些常见的LLM模型格式
    的头像 发表于 07-09 09:59 543次阅读

    如何训练自己的LLM模型

    训练自己的大型语言模型(LLM)是一个复杂且资源密集的过程,涉及到大量的数据、计算资源和专业知识。以下是训练LLM模型的一般步骤,以及一些关键考虑因素: 定义目标和需求 : 确定你的LLM
    的头像 发表于 11-08 09:30 320次阅读

    什么是LLMLLM在自然语言处理中的应用

    随着人工智能技术的飞速发展,自然语言处理(NLP)领域迎来了革命性的进步。其中,大型语言模型(LLM)的出现,标志着我们对语言理解能力的一次飞跃。LLM通过深度学习和海量数据训练,使得机器能够以前
    的头像 发表于 11-19 15:32 282次阅读