0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

清华光芯片取得新突破,迈向AI光训练

Felix分析 来源:电子发烧友 作者:吴子鹏 2024-08-13 01:23 次阅读

电子发烧友网报道(文/吴子鹏)近日,清华大学发布官方消息称,清华大学电子工程系方璐教授课题组、自动化系戴琼海院士课题组另辟蹊径,首创了全前向智能光计算训练架构,研制了“太极-II”光训练芯片,实现了光计算系统大规模神经网络的高效精准训练。

目前,这一研究成果已经于北京时间8月7日正式刊登在《自然》期刊上,主题为“光神经网络全前向训练”。

“太极”光训练芯片快速进化

去年10月,清华大学就发布消息称,方璐教授课题组、戴琼海院士课题组联合攻关,提出了一种“挣脱”摩尔定律的全新计算架构:光电模拟芯片,算力达到目前高性能商用芯片的三千余倍。

2023年10月26日,清华大学光电模拟芯片的研究成果发布在《自然》期刊上,这篇论文帮助大家科普了光电模拟芯片的理念和实现方式。根据论文,这是一种光电深度融合的计算框架,结合了基于电磁波空间传播的光计算,与基于基尔霍夫定律的纯模拟电子计算。在芯片制程上,该芯片不再受限于摩尔定律;在数据传输上,该芯片用光传输取代了电信号传输,打破了传统芯片架构中数据转换速度、精度与功耗相互制约的物理瓶颈。

今年4月份,这项研究正式推出了“太极”芯片,可实现160TOPS/W的系统级能效。论文第一作者、清华大学电子系博士生徐智昊表示,“太极”芯片采用的是干涉—衍射分布式广度光计算架构,自顶向下的编码拆分-解码重构机制,将复杂智能任务化繁为简,拆分为多通道高并行的子任务,构建的分布式‘大感受野’浅层光网络对子任务分而治之,突破物理模拟器件多层深度级联的固有计算误差。

从“太极”芯片到“太极-II”芯片,只有不到半年的时间,但是其中的进步是非常明显的。根据论文信息,“太极”芯片依然依赖传统的光通信架构,需要GPU进行离线建模,要求高度匹配的前向-反向传播模型,也就需要物理系统精准对齐,“太极-II”芯片不再依赖电计算进行离线的建模与训练,大规模神经网络的精准高效光训练终于得以实现。

据介绍,“太极-Ⅱ”芯片的面世,填补了智能光计算在大规模神经网络训练这一核心领域的空白。除了加速AI模型训练外,其还在高性能智能成像、高效解析拓扑光子系统等方面表现出卓越性能,为人工智能大模型、通用人工智能、复杂智能系统的高效精准训练开辟了新路径。

更进一步说,“太极-Ⅱ”芯片的发布对“光子传播对称性”研究有重要意义,将神经网络训练中的前向与反向传播都等效为光的前向传播。据论文第一作者、电子系博士生薛智威介绍,在太极-II架构下,梯度下降中的反向传播化为了光学系统的前向传播,光学神经网络的训练利用数据-误差两次前向传播即可实现。两次前向传播具备天然的对齐特性,保障了物理梯度的精确计算。如此实现的训练精度高,便能够支撑大规模的网络训练。

芯片制造上,“太极”芯片光学部分的加工最小线宽仅采用百纳米级,电路部分仅采用180nm CMOS工艺,已取得比7nm制程的高性能芯片多个数量级的性能提升。芯片成本仅为目前先进计算芯片的几十分之一,这是一种真正的芯片换道超车。

光芯片是计算芯片的未来?

曾几何时,摩尔定律被誉为“硅谷的节拍器”,但近年来业界关于“摩尔定律是否失效”的讨论越来越多。尤其是在AI时代,算力需求的爆发式增长让摩尔定律正在失效的影响被进一步放大。在过去的几十年中,摩尔定律一直被认为是计算机行业的基石之一,当其失效之后,会有更多的创新技术来引领高性能计算的发展,比如芯片制造层面的先进封装,再比如量子计算、光计算等。

在AI时代的未来里,光芯片被寄予厚望。微电子芯片采用电流信号来作为信息的载体,而光芯片则采用频率更高的光波来作为信息载体,具有更低的传输损耗 、更宽的传输带宽、更小的时间延迟,以及更强的抗电磁干扰能力。

光芯片的核心是用波导来代替电芯片的铜导线,来做芯片和板卡上的信号传输,因此光芯片主要由发光器件(产生光)和光波导(引导光传播的装置)组成。当光在波导里面传输的时候,波导和波导之间出现光信号干涉,用这个物理过程来模拟线性计算这一类的计算过程,即通过光在传播和相互作用之中的信息变化来进行计算。

光芯片的发展并不是完全革新微电子芯片的技术路径,而是一种融合,因此光电转化也很关键。在电转光部分,激光器芯片主要用于发射信号,原理是以电激励源方式,以半导体材料为增益介质,将注入电流的电能激发,通过光学谐振放大选模,从而输出激光,实现电光转换。激光器芯片用到的增益介质包括GaAs(砷化镓)、InP(磷化铟)、Si(硅基)等。在光转电部分,探测器通过光电效应识别光信号,转化为电信号。

光芯片的生产流程基本可以分为芯片设计、基板制造、磊晶成长和晶粒制造四个流程,主要技术壁垒在后两点,其中磊晶成长也称外延生长,是技术壁垒最高的环节。因此,与微电子芯片侧重于光刻工艺追求先进制程不同,光芯片性能的提升不完全依靠尺寸的减小,更注重外延结构设计与生长。

在光芯片的研发上,国内除了清华大学,中科院的进展也是非常快的。比如,去年6月中国科学院半导体研究所集成光电子学国家重点实验室微波光电子课题组李明研究员-祝宁华院士团队研制出一款超高集成度光学卷积处理器,实现了“传输即计算,结构即功能”的计算架构,具有大带宽、低延时、低功耗等优点。

目前,国内的光芯片和光模块厂商包括芯思杰、瑞识科技、新亮智能、度亘激光、长瑞光电、立芯光电、源杰半导体、锐晶激光、索尔思光电、长光华芯、华工科技、光迅科技、新易盛、云岭光电、敏芯半导体、博创科技、中际旭创、纵慧芯光、曦智科技、剑桥科技、凌越光电、盛为芯等。这些企业主要关注数通市场,应用领域包括5G和数据中心光通信等。

不过,在数通市场的企业端,目前国内也还处于落后的位置,高端光器件的国产化率还比较低,比如25G及以上的光芯片,‌国产化率就比较低,其中25G光芯片的国产化率为20%,更高速率的国产化率仅为5%。在25G及以上的光模块里,光芯片的成本占比超过了60%,且速率越高占比越高,可见光芯片的重要性。

在光计算芯片方面,国内光计算芯片公司光本位科技已完成首颗算力密度和算力精度均达到商用标准的光计算芯片流片,峰值算力为1700TOPS,对标的是英伟达的A100,产业落地也在破晓之际。

结语

根据LightCounting的数据测算,全球光芯片市场规模将从2022年的27亿美元增长至2027年的56亿美元,CAGR为16%。其中绝大部分的光芯片仍然主要用于数据传输,在计算层面光芯片还在起步阶段,但概念探索和成果落地的速度非常快,国内清华大学和中科院更是捷报频传,有望实现国产高性能计算芯片的换道超车。‌

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 光芯片
    +关注

    关注

    3

    文章

    95

    浏览量

    10891
收藏 人收藏

    评论

    相关推荐

    GPU是如何训练AI大模型的

    AI模型的训练过程中,大量的计算工作集中在矩阵乘法、向量加法和激活函数等运算上。这些运算正是GPU所擅长的。接下来,AI部落小编带您了解GPU是如何训练
    的头像 发表于 12-19 17:54 92次阅读

    亚马逊转向Trainium芯片,全力投入AI模型训练

    ,亚马逊AWS推出了两款芯片:Inferentia和Trainium。其中,Inferentia主要用于AI推理,而Trainium则专注于AI模型的训练。 然而,随着生成式
    的头像 发表于 12-13 14:14 268次阅读

    AI大模型的训练数据来源分析

    AI大模型的训练数据来源广泛且多元化,这些数据源对于构建和优化AI模型至关重要。以下是对AI大模型训练数据来源的分析: 一、公开数据集 公开
    的头像 发表于 10-23 15:32 556次阅读

    如何训练自己的AI大模型

    训练自己的AI大模型是一个复杂且耗时的过程,涉及多个关键步骤。以下是一个详细的训练流程: 一、明确需求和目标 首先,需要明确自己的需求和目标。不同的任务和应用领域需要不同类型的AI模型
    的头像 发表于 10-23 15:07 1311次阅读

    端到端InfiniBand网络解决LLM训练瓶颈

    ChatGPT对技术的影响引发了对人工智能未来的预测,尤其是多模态技术的关注。OpenAI推出了具有突破性的多模态模型GPT-4,使各个领域取得了显著的发展。 这些AI进步是通过大规模模型训练
    的头像 发表于 10-23 11:26 383次阅读
    端到端InfiniBand网络解决LLM<b class='flag-5'>训练</b>瓶颈

    AI for Science:人工智能驱动科学创新》第二章AI for Science的技术支撑学习心得

    训练和推理提供了强大的算力支持,使得AI在科学研究中的应用更加广泛和深入。 3. 数据驱动的研究范式 第二章还强调了数据在AI for Science中的核心地位。数据是AI模型的输
    发表于 10-14 09:16

    AI训练:清华光芯片研究取得突破

    行业芯事行业资讯
    电子发烧友网官方
    发布于 :2024年08月12日 10:58:43

    苹果承认使用谷歌芯片训练AI

    苹果公司最近在一篇技术论文中披露,其先进的人工智能系统Apple Intelligence背后的两个关键AI模型,是在谷歌设计的云端芯片上完成预训练的。这一消息标志着在尖端AI
    的头像 发表于 07-30 17:03 728次阅读

    AI训练的基本步骤

    AI(人工智能)训练是一个复杂且系统的过程,它涵盖了从数据收集到模型部署的多个关键步骤。以下是对AI训练过程的详细阐述,包括每个步骤的具体内容,并附有相关代码示例(以Python和sc
    的头像 发表于 07-17 16:57 1998次阅读

    世界首款!又是清华:类脑互补视觉芯片“天眸芯”

    近日,清华大学在类脑视觉感知芯片领域取得重要突破清华大学依托精密仪器系的类脑计算研究中心施路平教授团队,提出一种基于视觉原语的互补双通路类
    的头像 发表于 06-04 08:36 406次阅读
    世界首款!又是<b class='flag-5'>清华</b>:类脑互补视觉<b class='flag-5'>芯片</b>“天眸芯”

    清华类脑视觉芯片取得重大突破,“天眸芯”登上Nature封面

    电子发烧友网报道(文/李宁远)5月30日,来自清华大学类脑计算研究中心团队的类脑互补视觉芯片“天眸芯”登上了《Nature》封面。 文章名为“A vision chip
    的头像 发表于 06-01 00:54 4702次阅读
    <b class='flag-5'>清华</b>类脑视觉<b class='flag-5'>芯片</b><b class='flag-5'>取得</b>重大<b class='flag-5'>突破</b>,“天眸芯”登上Nature封面

    华光光电808nm高功率半导体激光芯片研究取得重大技术突破

    近日,华光光电808nm高功率半导体激光芯片研究取得重大技术突破。经过公司研发团队持续地科研攻关,华光光电成功研制出25W高功率高可靠性激光
    的头像 发表于 04-26 10:54 1351次阅读
    <b class='flag-5'>华光</b>光电808nm高功率半导体激光<b class='flag-5'>芯片</b>研究<b class='flag-5'>取得</b>重大技术<b class='flag-5'>突破</b>

    Open AI进军芯片业技术突破与市场机遇

    Sam希望获得资金支持一个雄心勃勃的项目,目的是创建先进芯片,减少对目前AI芯片市场领导者英伟达的依赖,芯片算力对于训练
    发表于 01-22 14:37 352次阅读
    Open <b class='flag-5'>AI</b>进军<b class='flag-5'>芯片</b>业技术<b class='flag-5'>突破</b>与市场机遇

    计算芯片AI芯片国产化的关键突破

    大模型训练和推理的硬件以通用图形处理单元(GPU)为主,2022年全球GPU市场规模达到448.3亿美元,美国AI芯片巨头英伟达公司占有80%的市场份额并仍在持续攀升。
    发表于 01-19 14:12 5405次阅读
    硅<b class='flag-5'>光</b>计算<b class='flag-5'>芯片</b>:<b class='flag-5'>AI</b><b class='flag-5'>芯片</b>国产化的关键<b class='flag-5'>突破</b>口

    AI芯片模块和芯片的发展趋势

    根据 OpenAI 官网,AI 模型训练计算量自 2012 年起每 3.4 个月就增长一倍。以 GPT-3 模型为例,根据 lambdalabs 数据,该模型参数规模达 1750 亿,完整训练运算量
    的头像 发表于 12-29 10:07 1714次阅读
    <b class='flag-5'>AI</b><b class='flag-5'>芯片</b>、<b class='flag-5'>光</b>模块和<b class='flag-5'>光</b><b class='flag-5'>芯片</b>的发展趋势