开放原子开源大赛助力轻量级大语言模型应用落地

首届开放原子开源大赛系列成果

“Intel借助开源大赛在全国的影响力，吸引更多开发者加入大语言模型及其在人工智能领域的创新应用。”负责BigDL-LLM赛题运营的Intel工作人员表示。

2023年，大语言模型（LLM）及应用成为全球焦点，参数量激增至万亿级。随着模型参数数量的不断增加，推理时间变得越来越长，运行大模型所需的资源消耗也越来越多，导致其运行缓慢，这为AI应用开发者带来了极大的挑战。

为此，Intel开发并开源了BigDL-LLM，可借助Intel平台优势，助力AI开发者和研究者加速优化大语言模型，提升大语言模型的使用体验。

为了使BigDL-LLM服务更多开发者，并为大型语言模型的开源应用提供更多实际应用场景，Intel与开放原子开源基金会合作，通过举办开源大赛，激励开发者创新。2023年11月，“BigDL-LLM轻量级大语言模型应用开发创新赛”在开放原子开源大赛平台正式上线，致力于进一步推动大语言模型技术的发展和应用。

开源大赛

加速优化大语言模型

开放原子开源大赛——BigDL-LLM轻量级大语言模型应用开发创新赛，以30万奖金和Intel实习机会为激励，汇聚了全国120所高校与企业单位的163支团队，经过严格筛选，来自微软公司、华东师范大学、上海交通大学、北京航空航天大学、复旦大学、同济大学、浙江静好控股集团等单位的十强团队脱颖而出，进入决赛。

本次大赛要求参赛选手通过在Intel本地PC（无需独立显卡）或云端，开发基于大语言模型的创新应用，如智能语音助手、智能助理、聊天机器人、智能客服等。参赛作品应以可执行代码和文档为主，并可选包括演示、PPT、演示视频等形式。

在决赛上，上海交通大学的SJTUNavSailor团队使用BigDL-LLM量化后的int4模型，不仅内存占用大幅下降，对话响应时间也从原本超过5分钟（仍未响应）降至8秒；华东师范大学的VidBot团队则用BigDL-LLM将Whipser语音模型放在XPU加速推理后，转录时间提速了一倍；

“在使用BigDL-LLM模型加速后，效果显著，尤其是在Intel CPU平台上可以实现很大程度的加速效果，提升大模型在个人电脑运行的性能，降低AI PC的使用门槛。”同济大学、浙江静好控股集团等入围选手在路演现场接受采访时表示。

最终，获奖团队通过应用大语言模型技术，为教育、招聘和美容等行业提供了创新的技术解决方案，展现了高效、稳定和可靠的深度学习应用潜力。

开源大赛

助力轻量级大语言模型应用落地

在决赛的路演中，经过9位资深评委专家的细致评选，浙江静好控股集团的“美业AI大脑”团队脱颖而出，荣获一等奖。华东师范大学的OpenEduECNU和Vidbot团队也展现了卓越实力，共同荣获二等奖。

“美业AI大脑”团队负责人赛后总结时表示：“我们非常幸运能够参加开放原子开源大赛，此次获奖不仅将AI工具落地应用在美业领域，更是对美业产业未来转型升级的一种推动。”

据路演团队的介绍，“美业AI大脑”旨在全面覆盖美业的应用场景，打造一个全面、智能、互动的学习平台。该平台将为美业人员提供便捷、高效、有趣的学习体验，无论是解答日常疑问、查询专业知识、即时生成话术等，都能提供专业的解决方案。

华东师范大学OpenEduECNU团队的代表张豈明在接受采访时表示：“非常感谢开放原子开源大赛为我们提供了展示作品的平台。我们的方案利用BigDL-LLM轻量级大语言模型，结合华东师范大学的海量教育数据资源，开发出了集课程问答、试题生成和课件定制（教学大纲、教学PPT）等个性化功能于一体的教育工具，旨在帮助教育工作者提高教研效率，推动教学个性化发展，促进教育公平。”

为了深入挖掘如何运用BigDL-LLM轻量级大语言模型实现应用开发的实际应用，我们特别邀请了本次比赛的获奖团队代表，分享他们的开发流程和参赛经验！

来自华东师范大学的数据科学与工程学院硕士研究生张豈明，将直播分享《开放原子开源大赛获奖选手经验分享——Open Edu ECNU个性化课程智能助教》，回顾参赛心得与经验分享。