【AIBOX】装在小盒子的AI足够强吗？
Firefly推出大语言模型本地部署的产品：AIBOX-1684X，目前已适配主流的大语言模型，包括ChatGLM3-6B，以下是ChatGLM3在AIBOX-1684X上的实机演示：ChatGLM3-6B采用更多元的训练数据和策略，在不同角度的数据集，采用了全新设计的Prompt格式，支持工具调用(Function Call)、代码执行(Code Interpreter)和Agent任务等复杂场景
性能实测结果
更强大的基础模型
ChatGLM3-6B (Base) 在选取的8个中英文典型数据集中进行性能测试：
在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base具有在10B以下的基础模型中最强的性能
更全面的开源序列
除了对话模型ChatGLM3-6B外，还开源了基础模型ChatGLM3-6B-Base、长文本对话模型ChatGLM3-6B-32K。以下是ChatGLM3-6B-32K在LongBench评测集上对模型进行测试：
在多个长文本应用场景下的估测试中，与二代模型相比，其效果平均提升程度大于50%。在论文阅读、文档摘要和财报分析等应用中，提升尤为显著
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
AI
+关注
关注
87文章
31845浏览量
270672 -
语言模型
+关注
关注
0文章
545浏览量
10356 -
Firefly
+关注
关注
2文章
538浏览量
7147
发布评论请先 登录
相关推荐
AIBOX 全系产品已适配 DeepSeek-R1
国产AI大模型DeepSeek以出色的性价比和高效的模型技术，迅速成为全球AI关注的焦点。Firefly开源团队率先实现AIBOX系列产品对DeepSeek-R1的全面适配。R1模型性能数据
【AIBOX应用】通过 NVIDIA TensorRT 实现实时快速的语义分割
NVIDIA系列AIBOXAIBOX-OrinNano和AIBOX-OrinNX均搭载NVIDIA原装JetsonOrin核心板模组，标配工业级全金属外壳，铝合金结构导热，顶盖外壳侧面采用条幅格栅
【NVIDIA生态】具有100 TOPS强劲算力的AIBOX！
JetsonOrin模组的高算力AI主机：AIBOX-OrinNano和AIBOX-OrinNX英伟达系列AIBOX该系列可提供40或100TOPS的
深蕾半导体HDMI AI分析盒子
HDMI AI分析盒子，是专门针对视觉内容进行处理，集成了边缘计算和AI算法处理能力的设备。能够对HDMI RX输入内容进行AI分析、内容合成、编辑等操作。
该
AMD助力PlanetSpark公司开发AI边缘盒子EdgeAI Box X7
PlanetSpark 是一家总部位于新加坡的 AI 及物联网集成商，使用 AMD 的 Zynq UltraScale+ MPSoC 器件开发了一款手掌大小的 AI 边缘盒子 — EdgeAI
AIBOX旗舰版：内置NVIDIA核心模组
AIBOX-OrinNano和AIBOX-OrinNX均搭载NVIDIA原装JetsonOrin核心板模组，该系列可提供40~100TOPS的AI计算能力、大容量统一内存和全面的软件堆栈，能够以超高
边缘计算AI算法盒子在停放充电区域AI智慧监控的应用
随着新能源汽车的普及，停放充电区域的安全与效率问题日益凸显。边缘计算盒子（AI算法盒子）的引入，为这一领域带来了革命性的智慧监控解决方案，极大地提升了停放充电区域的管理水平。边缘计算盒子
AIBOX青春版上线！1399把AI带回家
自AIBOX-1684X上市后，这个小巧的盒子凭借本地化AI的能力，获得市场一致好评。现Firefly推出新一款入门级AI盒子：
ai边缘盒子有哪些用途？ai视频分析边缘计算盒子详解
近年来，随着人工智能和边缘计算的发展，一种名为AI边缘盒子的新型设备正逐渐引起广泛关注。作为一种集成了边缘计算和AI算法处理能力的设备，AI边缘盒子
AI边缘盒子在安全生产领域的应用
1.工业监控AI边缘盒子可以与视频监测设备结合使用，对工业生产现场进行实时监控。它能够通过图像识别和分析技术，检测出潜在的危险因素，如异物、堵塞、破损等，从而提前预警，防止事故的发生。这在保障生产
把大模型装进小盒子：这个小魔盒直击端侧AIGC的痛点！
私有本地化部署：智能硬件的未来随着当下数字化的高速发展，今年将会迎来“大模型应用爆发元年”。市面上不少大模型产品应运而生，在大模型普惠应用井喷的时代，这类产品的使用存在许多门槛和风险，比如高昂的服务器部署成本、在运行过程中会过度依赖网络状态、以及难以保障数据的安全性等问题。为了解决大模型产品使用期间所产生的算力成本高、网络波动、数据隐私等问题，Firefly
AI边缘计算盒子优势有哪些？如何实现低延迟处理？
AI边缘计算盒子作为一种集成人工智能技术的边缘计算设备，其优势主要体现在以下几个方面，万物纵横为您详细介绍： 边缘计算盒子 1. 低延迟处理：AI边缘计算
除英伟达Jetson系列外，AI边缘计算盒子还能搭载哪些算力芯片
电子发烧友网报道（文/李弯弯）过去几年，随着英伟达推出Jetson系列开始，搭载各种AI算力芯片的边缘设备相继问世。因为外观形似盒子，具备算法推理能力，为区分一般传统工控机，行业多称之为边缘盒子
AIBOX-1684X：把大语言模型“装”进小盒子
AIBOX-1684X支持主流大模型私有化部署，算力高达32TOPS，同时也支持CNN、RNN、LSTM等传统网络架构，支持TensorFNNX和Darknet等深度学习架构，并支持自定义算子开发
AI边缘盒子助力安全生产相关等场景
随着科技的迅猛发展和企业对安全生产管理的日益重视，以AI边缘计算为核心的边缘计算设备（内置灵活可配的AI算法库）已经在安全生产等相关场景得到广泛应用并取得了显著的成果。下面将为您介绍AI边缘盒
工商网监
评论