算能开发者社区文章

• 探索ChatGLM2在算能BM1684X上INT8量化部署，加速大模型商业落地2023-10-10 10:18

  

  1.背景介绍在2023年7月时我们已通过静态设计方案完成了ChatGLM2-6B在单颗BM1684X上的部署工作，量化模式F16，模型大小12GB，平均速度约为3token/s,详见《算丰技术揭秘｜探索ChatGLM2-6B模型与TPU部署》。为了进一步提升模型的推理效率与降低存储空间，我们对模型进行了INT8量化部署，整体性能提升70%以上，模型大小降低到

  LLM 模型 编译器 3773浏览量

• “创客北京2023”算能·企业AI+TPU专项赛获奖名单出炉！2023-10-10 10:17

  

  近日，“创客北京2023”算能·企业AI+TPU专项赛决赛圆满落幕。417个各具特色的创新创业项目入选算能专项赛道，经过层层选拔，11个项目脱颖而出！算能大模型产品总监孙哲代表算能在活动上致辞，他表示，本届“创客北京”大赛是一项为促进创新和创业而举办的盛会，算能作为承办单位，致力于为每一位参赛者和企业提供一个全方位展示的平台，期望尽自己的绵薄之力推动创新、创

  AI TPU 模型 786浏览量

• TPU-MLIR量化敏感层分析，提升模型推理精度2023-10-10 10:17

  

  背景介绍TPU-MLIR编译器可以将机器学习模型转换成算能芯片上运行的bmodel模型。由于浮点数的计算需要消耗更多的计算资源和存储空间，实际应用中往往采用量化后的模型（也称定点模型）进行推理。相比于浮点数模型，量化模型的推理精度会有一定程度的损失。当精度损失较大时，需要搜索模型中对精度影响较大的层，即敏感层，将其改回浮点类型，生成混精度模型进行推理。以mo

  TPU 机器学习 模型 1397浏览量

• 大象转身，TPU-MLIR适配DragGAN模型前向操作2023-10-10 10:17

  

  DragGANDragGAN是由谷歌、麻省理工学院和马克斯普朗克研究所创建的一种新的人工智能模型。通过点击、拖动等简单的交互操作就能改变拍摄对象的姿势、形状和表情等。DragGAN改变了传统的PS操作流程，只需简单拖拽起点和终点，AI就会根据图像的变化自动生成和补全图像。DragGAN可处理的图像类型丰富多样，无论是人类表情的调整还是自然风景的变化，都可以在

  GaN 人工智能 模型 786浏览量