来源:逍遥科技 逍遥设计自动化
简介
随着人工智能(AI)应用的迅速发展,对大带宽、高效率数据传输解决方案的需求日益突出。目前用于AI训练和推理的成千上万个GPU正面临传统数据中心网络互联方案所带来的性能瓶颈。这些传统方案增加了功耗和成本,凸显了创新解决方案的迫切需求。
光I/O和光电共封装(CPO)解决方案是最有前途的技术进展之一。通过优化数据吞吐量和系统性能,促进了大型互联AI集群的发展。这些光学I/O和光电共封装解决方案需要创新和高度先进的激光封装策略,以提高系统的性能、可扩展性和可靠性,这对于当前盈利的AI基础设施部署非常重要。
硅基光电子中的激光封装硅基光电子通过使用光信号而非电信号,改变了逻辑芯片和存储芯片内部及之间的数据传输方式。这一技术对针对生成式AI的部署变得越来越重要。传统的基于铜的解决方案日益限制了这些系统的数据流,制约了计算设备和存储容量的集群规模和数据速率。
可插拔光模块一直是将电信号转换为光信号(反之亦然)的最常见方法。CPO技术成功地将I/O模块从面板上移开,将模块组件与计算或交换芯片集成到一个封装中。协同封装将可插拔收发器的功能直接集成到应用专用集成电路(ASIC)旁边,减少了高带宽下铜链路的信号损失。
光I/O为分布式计算系统(如需要高带宽密度、低能耗和低互连延迟的AI集群)提供了一种更集成、更节能的解决方案。这是通过将单个电光芯片与计算ASIC封装在一起来实现的,该芯片执行由分立模块构建的收发器的发送、接收和数据转换功能。
CPO和光学I/O解决方案可以使用集成或远程光源为其协同封装模块或芯片提供光学输入。让我们来研究这两种选择,并探讨它们的优势和权衡。
集成光源集成光源指的是光源与CPO模块或光I/O芯片共同定位,靠近GPU或其他计算ASIC的方法。这可以通过将激光器单独制造并与光电子集成芯片(PIC)共同封装,或者与PIC单片集成制造来实现。另一方面,远程光源(也称为分离式或外部激光器)是独立封装的,与CPO模块、光I/O芯片和ASIC物理分离。
现代AI系统需要非常高功耗的GPU或ASIC芯片,这会导致其周围环境温度很高。由于物理接近,集成光源会经历这些非常高的温度,而使用远程光源的系统可以设计为经历更好的热环境。
激光器,特别是在先进数据速率所需的高输出功率下,是光连接解决方案中在高温下最容易失效的组件,可能会导致整个链路失效。远程光源的优势在于其所处的热环境要求较低,延长了其使用寿命,大大降低了故障率和系统停机时间。
此外,远程激光器可以轻松移除、维修或更换,而不会干扰其他系统组件,如协同封装的GPU和CPO或光I/O芯片。集成光源可能无法维修,或需要对昂贵的ASIC封装进行重大修改,从而增加成本和系统停机时间。
业界已经制定了外部激光器小型可插拔(ELSFP)规范,认识到了外部激光器的重要性。这种通用外形因子利用了可插拔模块的可维修性、可更换性和易部署性优势,以及CPO解决方案的成本、延迟和信道损耗优势,同时将供应商和客户生态系统统一到一个单一的外形因子上。
需要考虑的因素从成本和可靠性的角度来看,光源通常是光连接解决方案中最敏感的组件。设计师和架构师应优先考虑多样化的供应商和标准化的波长网格,如使用了二十多年的O波段LR4网格。这种方法确保了低设计和供应风险,并建立了一个具有吸引力的大批量成本结构,这对于成功部署光学I/O重要。
连续波波分复用多源协议(CW-WDM MSA)汇集了广泛的行业利益相关者,包括激光器供应商、收发器制造商、CPO和光学I/O连接供应商等,以促进解决方案之间的互操作性,减少对任何单一供应商或技术的依赖。这种标准化努力对于支持AI、HPC和其他高价值、大批量应用的解决方案重要。
远程光源的作用AI技术的进步和大型语言模型(LLM)的指数级增长,要求在计算和存储元素之间有新的数据传输解决方案,来适应模型规模和令牌数量的指数级增长。远程光源是解决这些瓶颈的光学I/O解决方案的关键使能技术。
传统的网络系统在大型系统内部的连接高度依赖交换机,这会引入延迟并限制高带宽域的大小。光学I/O解决方案中通常具有的多波长、多端口功能使得在多个设备之间提供直接、低延迟、高带宽的连接成为可能。这种方法通过消除交换机简化了系统架构,提高了网络中数据交换的速度和可扩展性,从而增加了高带宽域的大小。
AI架构中最大的挑战之一是"内存墙",即快速增加的内存与计算比率导致操作效率受到与处理器芯片一起封装的高带宽内存(HBM)数量的限制。当远程光源作为光I/O解决方案的一部分时,通过启用通过超低延迟、高带宽链路连接到GPU的分离式内存集群,缓解了这一瓶颈。
激光封装技术现在是克服阻碍AI潜力发挥的瓶颈的关键构建块。远程光源在这一进程中发挥着重要作用,为未来AI系统的发展提供了强有力的支持。
参考来源
https://www.lightwaveonline.com/home/article/55131827/the-role-of-laser-packaging-in-advancing-ai-technologies?utm_content=303385105&utm_medium=social&utm_source=linkedin&hss_channel=lcp-6627049
【近期会议】
10月30-31日,由宽禁带半导体国家工程研究中心主办的“化合物半导体先进技术及应用大会”将首次与大家在江苏·常州相见,邀您齐聚常州新城希尔顿酒店,解耦产业链市场布局!https://w.lwc.cn/s/uueAru
11月28-29日,“第二届半导体先进封测产业技术创新大会”将再次与各位相见于厦门,秉承“延续去年,创新今年”的思想,仍将由云天半导体与厦门大学联合主办,雅时国际商讯承办,邀您齐聚厦门·海沧融信华邑酒店共探行业发展!诚邀您报名参会:https://w.lwc.cn/s/n6FFne
声明:本网站部分文章转载自网络,转发仅为更大范围传播。 转载文章版权归原作者所有,如有异议,请联系我们修改或删除。联系邮箱:viviz@actintl.com.hk, 电话:0755-25988573
审核编辑 黄宇
-
激光
+关注
关注
19文章
2994浏览量
63973 -
封装
+关注
关注
125文章
7580浏览量
142092 -
人工智能
+关注
关注
1787文章
45996浏览量
234643
发布评论请先 登录
相关推荐
【书籍评测活动NO.44】AI for Science:人工智能驱动科学创新
报名开启!深圳(国际)通用人工智能大会将启幕,国内外大咖齐聚话AI
FPGA在人工智能中的应用有哪些?
人工智能技术在集成电路中的应用
NLP技术在人工智能领域的重要性
传感器在人工智能领域:潜藏的市场机遇与发展趋势
![传感器<b class='flag-5'>在</b><b class='flag-5'>人工智能</b>领域:潜藏的市场机遇与<b class='flag-5'>发展</b>趋势](https://file1.elecfans.com/web2/M00/ED/5D/wKgZomZq1_OAL_bUAAA5YdEpe1M273.png)
5G智能物联网课程之Aidlux下人工智能开发(SC171开发套件V2)
人工智能芯片先进封装技术
![<b class='flag-5'>人工智能</b>芯片先进<b class='flag-5'>封装</b><b class='flag-5'>技术</b>](https://file1.elecfans.com/web2/M00/C2/90/wKgZomXloEyAGOUUAAAgu7pi_Ss694.png)
嵌入式人工智能的就业方向有哪些?
人工智能在软件测试中的应用
语音数据集在人工智能中的应用与挑战
智能运维技术的发展和设计资料
人工智能技术在军事情报领域的应用现状和发展趋势
![<b class='flag-5'>人工智能技术</b><b class='flag-5'>在</b>军事情报领域的应用现状和<b class='flag-5'>发展</b>趋势](https://file1.elecfans.com/web2/M00/A4/FB/wKgaomUH0maABMDgAAAiHvwbAgY198.png)
评论