0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

直播预约 |数据智能系列讲座第4期:预训练的基础模型下的持续学习

厦门市开源芯片产业促进会 2024-10-18 08:09 次阅读

鹭岛论坛

数据智能系列讲座第4期

「预训练的基础模型下的持续学习」

10月30日(周三) 20:00

精彩开播

期待与您云相聚,共襄学术盛宴!

4687624e-8ce5-11ef-b5cd-92fbcf53809c.jpg

| 直播信息

报告题目

预训练的基础模型下的持续学习

报告简介

虽然近年来神经网络,特别是预训练的基础模型研究得到了广泛的应用,但其仍然主要依赖于在大量样本上的批量式训练。

本报告将探讨实现模型的增量式训练,针对深度神经网络在增量式学习新任务时所面临的"灾难性遗忘"问题,介绍如何在预训练的基础模型上进行连续学习,包括基于重放的遗忘抑制机制、基于模型高效微调的连续学习框架,以及连续学习在计算机视觉上任务上的应用和部署等。

报告嘉宾

洪晓鹏

哈尔滨工业大学教授

特邀主持

黄礼泊

中国科学院计算技术研究所

特别研究助理

讲座时间

2024年10月30日(周三)2010

讲座环节及流程

◈讲座环节:

① 5 分钟主持人进行主题与嘉宾介绍

②55分钟报告嘉宾讲座环节

③ 10分钟互动问答环节

◈讲座流程:

① 19:45 开芯会视频号上线,欢迎观众朋友提前进入直播间候场

② 20:00 主持人开场

③ 20:05 主讲嘉宾开始讲座,持续55min

注:【在讲座过程中欢迎观众朋友通过各直播平台进行提问工作人员将收集和整理问题

③ 21:00主持人根据工作团队整理的问题与嘉宾进行问答互动,持续10min

讲座形式

视频号、B站、电子发烧友、蔻享学术等多平台同步直播

点击预约精彩不容错过!

474bf2d0-8ce5-11ef-b5cd-92fbcf53809c.jpg

直播海报

报告嘉宾

47c56ef8-8ce5-11ef-b5cd-92fbcf53809c.png

洪晓鹏

哈尔滨工业大学教授, IEEE资深会员。历任芬兰Oulu大学博士后、科研型副教授(Docent)和西安交通大学特聘研究员。斯坦福大学全球前2%顶尖科学家年度榜单入选者。已在顶级国际和国内刊物和国际会议上发表文章80余篇,相关工作见诸美国《麻省理工技术评论》等技术媒体专文报道。2次获得领域内国际权威期刊和会议的优秀论文奖,5次带队获得国际评测冠军。作为负责人主持了国家重点研发计划课题、国家自然科学基金、芬兰信息学会博士后基金等10余个项目。多次受邀担任ACM MM 、 AAAI/IJCAI的领域主席或资深程序委员以及CVIU和IVC等国际主流期刊的编委。中国图像与图形学学会情感计算与理解专业委员会副秘书长,黑龙江省计算机学会学术工作委员会副主任、奖励工作委员会秘书长。目前的研究领域包括:多模态目标感知、深度连续学习、智能决策与任务分配等。

主持嘉宾

481bacb4-8ce5-11ef-b5cd-92fbcf53809c.png

黄礼泊

博士,中国科学院计算技术研究所特别研究助理。主要研究领域为机器学习理论和深度学习应用,尤其是无监督学习、持续学习、最优化理论等方面的研究。在包括IEEE Transactions系列、AAAI、ICLR、CVPR、NeurIPS等国内外期刊和会议上发表论文20余篇。作为负责人承担国家领域预研课题、国家公派留学基金、北京市自然科学基金青年基金等多个项目。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4726

    浏览量

    100340
  • 数据
    +关注

    关注

    8

    文章

    6767

    浏览量

    88645
  • 模型
    +关注

    关注

    1

    文章

    3073

    浏览量

    48587
收藏 人收藏

    评论

    相关推荐

    数据智能系列讲座3—交流式学习:神经网络的精细与或逻辑与人类认知的对齐

    鹭岛论坛数据智能系列讲座3「交流式学习:神经网络的精细与或逻辑与人类认知的对齐」(25日)2
    的头像 发表于 09-25 08:06 118次阅读
    <b class='flag-5'>数据</b><b class='flag-5'>智能</b><b class='flag-5'>系列讲座</b><b class='flag-5'>第</b>3<b class='flag-5'>期</b>—交流式<b class='flag-5'>学习</b>:神经网络的精细与或逻辑与人类认知的对齐

    开源芯片系列讲座22:异步电路机制为RISC-V处理器赋能

    鹭岛论坛开源芯片系列讲座22「异步电路机制为RISC-V处理器赋能」明晚(31号)20:00精彩开播期待与您云相聚,共襄学术盛宴!|直播信息报告题目异步电路机制为RISC-V处理器
    的头像 发表于 07-31 08:37 293次阅读
    开源芯片<b class='flag-5'>系列讲座</b><b class='flag-5'>第</b>22<b class='flag-5'>期</b>:异步电路机制为RISC-V处理器赋能

    直播预告 |开源芯片系列讲座22:异步电路机制为RISC-V处理器赋能

    鹭岛论坛开源芯片系列讲座22「异步电路机制为RISC-V处理器赋能」7月31号(周三)20:00精彩开播期待与您云相聚,共襄学术盛宴!|直播信息报告题目异步电路机制为RISC-V处
    的头像 发表于 07-18 08:37 234次阅读
    <b class='flag-5'>直播</b>预告 |开源芯片<b class='flag-5'>系列讲座</b><b class='flag-5'>第</b>22<b class='flag-5'>期</b>:异步电路机制为RISC-V处理器赋能

    训练和迁移学习的区别和联系

    训练和迁移学习是深度学习和机器学习领域中的两个重要概念,它们在提高模型性能、减少
    的头像 发表于 07-11 10:12 587次阅读

    大语言模型训练

    能力,逐渐成为NLP领域的研究热点。大语言模型训练是这一技术发展的关键步骤,它通过在海量无标签数据上进行训练,使
    的头像 发表于 07-11 10:11 326次阅读

    训练模型的基本原理和应用

    训练模型(Pre-trained Model)是深度学习和机器学习领域中的一个重要概念,尤其是在自然语言处理(NLP)和计算机视觉(CV)
    的头像 发表于 07-03 18:20 1862次阅读

    开源芯片系列讲座21:RISC-V IP创新为本土带来独特价值

    鹭岛论坛开源芯片系列讲座21「RISC-VIP创新为本土带来独特价值」明晚(7月3号)20:00精彩开播期待与您云相聚,共襄学术盛宴!|直播信息报告简介当前,IP标准化与SoC集成
    的头像 发表于 07-03 08:37 213次阅读
    开源芯片<b class='flag-5'>系列讲座</b><b class='flag-5'>第</b>21<b class='flag-5'>期</b>:RISC-V IP创新为本土带来独特价值

    深度学习模型训练过程详解

    深度学习模型训练是一个复杂且关键的过程,它涉及大量的数据、计算资源和精心设计的算法。训练一个深度学习
    的头像 发表于 07-01 16:13 827次阅读

    直播预告 |开源芯片系列讲座21:RISC-V IP创新为本土带来独特价值

    鹭岛论坛开源芯片系列讲座21「RISC-VIP创新为本土带来独特价值」7月3日(周三)20:00精彩开播期待与您云相聚,共襄学术盛宴!|直播信息报告简介当前,IP标准化与SoC集成
    的头像 发表于 06-26 08:36 219次阅读
    <b class='flag-5'>直播</b>预告 |开源芯片<b class='flag-5'>系列讲座</b><b class='flag-5'>第</b>21<b class='flag-5'>期</b>:RISC-V IP创新为本土带来独特价值

    【大语言模型:原理与工程实践】大语言模型训练

    大语言模型的核心特点在于其庞大的参数量,这赋予了模型强大的学习容量,使其无需依赖微调即可适应各种下游任务,而更倾向于培养通用的处理能力。然而,随着学习容量的增加,对
    发表于 05-07 17:10

    【大语言模型:原理与工程实践】大语言模型的基础技术

    模型架构奠定基础。然后,引介一些经典的训练模型,如BERT、GPT等。最后,解读ChatGPT和LLaMA系列
    发表于 05-05 12:17

    【大语言模型:原理与工程实践】核心技术综述

    的复杂模式和长距离依赖关系。 训练策略: 训练是LLMs训练过程的第一阶段,模型在大量的
    发表于 05-05 10:56

    【大语言模型:原理与工程实践】揭开大语言模型的面纱

    大语言模型(LLM)是人工智能领域的尖端技术,凭借庞大的参数量和卓越的语言理解能力赢得了广泛关注。它基于深度学习,利用神经网络框架来理解和生成自然语言文本。这些模型通过
    发表于 05-04 23:55

    如何基于深度学习模型训练实现圆检测与圆心位置预测

    Hello大家好,今天给大家分享一如何基于深度学习模型训练实现圆检测与圆心位置预测,主要是通过对YOLOv8姿态评估模型在自定义的
    的头像 发表于 12-21 10:50 1595次阅读
    如何基于深度<b class='flag-5'>学习</b><b class='flag-5'>模型</b><b class='flag-5'>训练</b>实现圆检测与圆心位置预测

    深度学习如何训练出好的模型

    算法工程、数据派THU深度学习在近年来得到了广泛的应用,从图像识别、语音识别到自然语言处理等领域都有了卓越的表现。但是,要训练出一个高效准确的深度学习
    的头像 发表于 12-07 12:38 1012次阅读
    深度<b class='flag-5'>学习</b>如何<b class='flag-5'>训练</b>出好的<b class='flag-5'>模型</b>