0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

讯飞星辰MaaS平台完成全新升级

讯飞开放平台 来源:讯飞开放平台 2024-11-22 10:38 次阅读

高质量数据的助攻,让微调大模型青出于蓝而胜于蓝!

海量数据的预训练,让通用大模型拥有十八般武艺,几乎能够轻松应对所有问题。但面向特定行业与场景,模型效果却难以让人满意,问题同样也是数据。

通过将特定数据“投喂”给通用大模型,在保持“通才”优势的基础上,微调大模型轻松兼容行业“专才”的优势,指哪打哪。但训练专属大模型,看似简单,背后需要从数据、算力到微调工具等一系列支撑。 讯飞星辰MaaS平台已汇集讯飞星火、Llama3、SD-XL等20+行业内知名的优质模型,无需复杂调整或重新训练,甚至零代码也可能完成微调。 围绕数据管理、模型微调、评估、托管、推理服务,讯飞星辰MaaS平台提供了完善大模型全生命周期管理,覆盖内容创作、代码、逻辑推理等多场景。近期,模型与数据集丰富度,以及功能特性再次完成全新升级。

微调模型更丰富:支持星火系列大模型及多个优质开源大模型

数据集构建更轻松:基本支持行业主流数据集,可实现数据批量处理

微调体验显著提升:提供灵活可用的全栈工具链,让大模型效果符合预期

01丰富模型,满足多样业务场景

讯飞星辰MaaS平台已汇集星火、Llama3等行业优质模型,让每一个场景需求都能找到合适的模型搭子。本次升级,新加入了Spark Max、Spark Mini、Spark Tiny等星火自研模型,让模型“队伍”再次壮大。

Spark Max适用于对内容质量和知识专业性要求高的业务场景,如高端内容创作、专业知识服务等。Spark Tiny的部署和精调成本在星火系列模型中最具性价比,在对成本较为敏感但又需要一定性能支持的场景表现良好,比如小型创业公司的在线客服系统,能在满足性能需求的同时节省成本。

同时,平台还引入了书生系列、Qwen2.5系列等多个开源模型的精调,给开发者提供更多选择。

模型学习如何在特定任务中做出正确的判断?首发文本分类的bert模型,可以分析文本特征后进行分类,将数据提供给bert模型进行微调后的分类器效果非常精准,而且能够直接在Spark API中进行应用。

02夯实数据工程,提效加速更易用

数据量的大小和质量高低是大模型产业发展的关键,也是决定大模型是「专家」或是「砖家」的一条分界线。大模型微调过程中,数据集就像老师教课时用的书和资料。这些书和资料里有很多例子和题目,可以帮助学生(也就是大模型)更好地学习和理解新知识。

通过选择合适的数据集构建方法,并遵循关键步骤进行操作,可以显著提升微调效果,使模型更好地适应新任务。但开发者在数据构建中很容易遇到不少难题:只有文本数据、无问答对数据,数据量少,没办法判断数据质量、不知道如何优化数据集、积累数据困难。

基于问答抽取、数据增强、prompt工程等维度出发,讯飞星辰MaaS平台构建了全方位的数据工程能力,帮助用户轻松构建高质量数据。以数据增强为例,支持常见文本生成、语义理解、知识问答数据泛化,扩展数据集数量;支持混合训练(平台自动添加数据集)。

大模型微调过程中,因为不同的任务需求、数据来源和处理方式会导致数据集的结构和内容有所不同。不同的微调框架可能支持不同的数据集格式。

现在,讯飞星辰MaaS平台的数据集格式扩充,已支持ShareGPT、Alpaca格式数据集,实现了对几乎所有行业主流数据集格式的支持。无论你的数据集什么样,在讯飞星辰MaaS平台上都能训。

如果你不想或者来不及准备测试集,也不用慌。讯飞星辰MaaS平台支持从训练集中拆分出一定比例,在训练完成后,平台会自动把拆出来的这部分数据拿去做验证,就可以直观的看到微调效果展示。

当我们有大量数据需要处理时,而不是一次只处理一条数据,可以把很多数据一起“放”进模型中,让模型一次处理多条数据。现在,讯飞星辰MaaS平台最多支持10个模型同时在线批量推理,大大提高了数据处理的效率。

03扩展功能边界,辅助创新更专业

选好了合适模型,数据准备好后,进入到具体的微调环节,如何让模型的功能更强大、效果符合预期?讯飞星辰MaaS平台还提供了多种让人惊喜的功能。

•兼容OpenAI协议,「丝滑」搬家国产大模型

今年6月,OpenAI 停止向中国大陆地区提供 API 服务,对于依赖 OpenAI API 构建产品和服务的企业来说,无疑是一次技术上的挑战。然而国内大模型已经大幅缩小了与 OpenAI 的差距,可以满足大部分日常的场景。10月24日发布的讯飞星火4.0 Turbo七项核心能力在中文领域已全面超过GPT-4 Turbo,代码能力和数学能力超越GPT-4o。

方便开发者进行能力迁移,讯飞星辰MaaS平台现已兼容OpenAI协议,用户之前用OpenAI的能力,可以一键切换成星火的能力,实现「丝滑」搬家。

•支持function_call 精调训练,高效调用独立工具

由于大模型的训练数据有时间期限,无法了解最近发生的事情。因此,当用户询问模型一些它不了解的数据信息时,模型本身就无法给出答案。此时,function_call 就像放大器一样,通过调用外部工具,增强大语言模型的能力。

使用function_call,可以让模型能够理解什么时候需要调用函数、调用哪种函数,以及如何正确地传递参数给函数,从而增强模型在实际应用中的实用性,使其能够更好地与外部工具或系统进行交互。

•支持Loss曲线展示和裁判员模型效果评估对比,模型效果随时评估

大模型的调试评估不能等精调完再检查,要在过程中就把握好。

讯飞星火系列模型已支持Loss曲线展示,在微调模态训练过程中即可通过精细化的数据配比和动态调整,在提升目标领域能力的同时,最大限度避免灾难性遗忘,保持模型的全面性能。

如果你选择了多个大模型进行微调训练,不知道最终该用哪一个。讯飞星辰MaaS平台提供了裁判员打分模型,基于星火最优模型提供的评估报告,评判模型效果的好坏。

面向专业开发者的更多需求,讯飞星辰MaaS平台还支持部分高级参数,支持分词长度、Lora Merge,UnSloth等特性配置。

讯飞星辰MaaS平台之外,讯飞星火还构建了丰富且高性价比API矩阵。目前,Spark Pro版本每百万token仅需5元,并支持128K上下文;Ultra和Max 均提供Batch版本 API。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 开源
    +关注

    关注

    3

    文章

    3323

    浏览量

    42473
  • 讯飞开放平台

    关注

    0

    文章

    13

    浏览量

    11536
  • 大模型
    +关注

    关注

    2

    文章

    2427

    浏览量

    2647

原文标题:大模型人人皆可“炼”,讯飞星辰MaaS平台精调门槛再降低

文章出处:【微信号:讯飞开放平台,微信公众号:讯飞开放平台】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    科大AI虚拟人交互平台荣获行业最高评级

    近日,科大的AI虚拟人交互平台顺利完成中国信通院人工智能研究所组织的大模型数字人基础能力分级测试,并获得最高等级L5认证,系国内首批。
    的头像 发表于 12-13 11:39 253次阅读

    科大发布星火4.0 Turbo大模型及星火多语言大模型

    近日,科大正式推出了其最新研发成果——星火4.0 Turbo大模型。这一发布不仅标志着科大飞在人工智能领域的又一次重大突破,也预示
    的头像 发表于 10-24 13:58 372次阅读

    科大发布星火4.0 Turbo:七大能力超GPT-4 Turbo

    10月24日,在科大全球1024开发者节上,科大董事长刘庆峰正式发布了星火大模型的最
    的头像 发表于 10-24 11:39 436次阅读

    星火大模型V4.0正式发布

    日前,星火V4.0正式发布,升级成为更懂你的AI助手!星火4.0 API同步上线,Ultra版本首次公开发布!
    的头像 发表于 10-14 10:06 801次阅读

    科大星火APP/Desk全新升级

    星火V4.0 如期而至,升级成为更懂你的AI助手。
    的头像 发表于 09-14 14:41 2217次阅读

    科大AI学习机暑期重磅升级

    。得益于这些大奖AI技术的支撑,科大AI学习机自2019年问世以来,即持续引领行业发展,开创了个性化精准学这一革命性学习方式。   6月27日,科大发布全面
    的头像 发表于 07-08 09:38 614次阅读

    中国电信与昆仑万维等联合发布星辰MaaS平台

    在近日于福州举办的第七届数字中国建设峰会智算云生态大会高峰论坛上,中国电信携手昆仑万维等合作伙伴,共同推出了星辰MaaS平台(Model as a Service,模型即服务)。该平台
    的头像 发表于 06-07 09:18 1111次阅读

    星火长文本功能全新升级

    科大近日宣布,其首个长文本、长图文、长语音大模型已完成全新升级。这一大模型不仅具备强大的学习能力,可以快速吸收海量文本、图文资料以及会议录音等多元化信息,更能在各行业场景中提供精准
    的头像 发表于 05-06 11:22 548次阅读

    科大华中总部已封顶 年内交付使用

    科大华中总部已封顶 年内交付使用 科大华中总部位于武汉经开区车谷资本岛,投资额50亿;计划建成科大
    的头像 发表于 04-16 14:49 1532次阅读

    云知声AIGC内容创作平台蓝藻AI全新升级

    近日,云知声AIGC内容创作平台蓝藻AI宣布完成全新升级,并推出超值会员服务,旨在为广大创作者提供更丰富多元的声音选择,助力内容创作更高效、更精彩。此次升级聚焦于AI声音克隆和AI配音
    的头像 发表于 03-16 14:05 1247次阅读

    医疗递交港股IPO申请

    近日,医疗AI解决方案提供商医疗正式向港交所递交了IPO申请,其IPO备案资料已由证监会接收。科大作为
    的头像 发表于 03-05 13:49 779次阅读

    科大子公司医疗正式申请港交所上市

    科大旗下控股子公司医疗已于1月26日正式向港交所递交上市申请,计划在香港主板上市。这是科大
    的头像 发表于 02-04 13:57 1270次阅读

    科大星火认知大模型V3.5发布

    近日,科大举办了星火认知大模型V3.5升级发布会。在发布会上,科大董事长刘庆峰和研究院院长刘聪共同宣布了基于首个全国产算力训练的
    的头像 发表于 01-31 17:28 1412次阅读

    科大发布星火认知大模型V3.5

    科大近日发布了星火认知大模型V3.5版本,该版本基于全国产化算力底座“星一号”平台进行训练。与
    的头像 发表于 01-31 14:40 891次阅读

    软通天璇MaaS平台2.0与华为昇腾AI完成兼容性测试认证

    近日,软通动力天璇MaaS平台2.0与华为昇腾Atlas 800训练服务器(型号:9000)、Atlas 800推理服务器(型号:3000)完成并通过相互兼容性测试认证。测试期间整体运行流畅稳定,未来将为客户业务国产化AI需求提
    的头像 发表于 01-05 11:41 905次阅读