0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

双向赋能:AI与数据库的修行之道

爱云资讯 2024-06-28 23:07 次阅读

在这个数据为王的时代,数据是人工智能的三大支柱之一,其重要性不言而喻。最近,OpenAI收购了数据库初创公司Rockset,迅速引起了业内外的广泛关注。OpenAI早已在算法和计算能力方面遥遥领先,通过这次战略性的收购,OpenAI将在其产品中融合Rockset的先进数据索引和查询技术,帮助OpenAI将数据转化为“可操作智能”。

现代数据库与人工智能(AI)的融合,正如同一场席卷全球的技术革命,深刻地重塑着技术与产业的格局。

一方面,数据库技术的技术迭代需要更好地支持人工智能应用工作负责,比如向量数据库,也就是DB for AI;另一方面人工智能技术也更好地让数据库运维更方便,实现自动化和智能化,也就是AI for DB。

在这一个变革过程中,数据库产业正面临诸多挑战,比如海量数据高性能和大并发、大量数据库实例智能优化、保障数据安全防篡改的防护等。面对这种情况,企业如何通过技术创新和生态协同应对挑战并抓住其中的机遇呢?

作为数据库领域的领头羊,东方国信、PingCAP、云和恩墨通过自身的技术与产品实践给出了他们的答案,同时他们与英特尔的协同创新,也让我们看到了数据库生态的蓬勃生机。

新需求催生新挑战

在AI大模型时代,由于数据库的使用人数和数据量的爆炸性增长,数据库系统的并发度会极大提升。云和恩墨联合创始人兼CTO杨廷琨强调,数据量爆发性增长带来压力的同时,硬件技术的快速发展也促进了算力提升,为提升处理能力和性能提供了可能性。这时候,数据库厂商需从两方面着手应对:一方面增强单机性能,另一方面通过架构设计实现平滑扩展,以满足海量数据的处理需求。

同时,数据量的爆炸性增长也会带来极大的数据冗余。在此挑战下,用户从需求侧又提出了很多新的要求,东方国信副总裁兼CTO查礼表示:用户往往会希望数仓既能做数据加工,又能做分析和查询,这要求数据库系统具有高度灵活性和多功能性。

数据来源多样化和用户需求复杂化催生了对硬件越来越高的需求,数据库要保持高性能、高稳定性,开发和运维人员又需要简化数据库的使用,这构成了一种“悖论”。

为解决数据库行业“既要、又要”的问题,越来越多的数据技术公司让AI“入局”,让数据库越跑越“聪明”。PingCAP服务总经理林景旭表示,他们正探索利用AI技术增强数据库功能,同时简化用户操作。作为一家分布式数据库厂商,PingCAP提供的开源分布式数据产品与解决方案,通过分布式数据库架构,实现计算和存储分离,以动态扩展满足不同用户需求,这其中便可以通过AI算法来优化资源使用和性能评判。

数据库产业需要不断创新,开发更加高效、可靠、智能的数据库技术,才能满足新需求的挑战。同时,数据库产业链也需要紧密合作,共同推动数据库技术的发展,为数字经济的发展提供更加坚实的基础。

生态协同推动产业变革

数据库产业面临的挑战是多方面的,这些挑战并非单个企业能够独自解决,需要整个产业的协同合作,才能共同应对挑战,并抓住其中的机遇。

凭借先进的处理器技术、开源合作策略以及对客户需求的深刻理解,英特尔与数据库领域的合作伙伴一起构建了一个开源开放、合作共赢的生态环境,助力数据库技术的持续创新和应用落地。

英特尔中国云创中心技术总经理张晓军介绍说,第四代和第五代英特尔®️ 至强® 可扩展处理器内置了多项面向数据库优化的技术,例如英特尔® QAT(英特尔® 数据保护与压缩技术)用于数据压缩解压缩,以及英特尔® IAA(英特尔® 存内分析加速器)加速数据分析。在数据安全方面,英特尔也能通过英特尔® TDX(英特尔® 信任域扩展)和SGX(英特尔® 软件防护扩展)为使用中的数据提供端到端硬件级防护能力。

此外英特尔至强6处理器已于近期发布,提供了两种不同的 CPU 微架构版本,分别为性能核 (P-core) 和能效核(E-core),让多种工作负载的性能和能效表现再创新高。其全新功能和内置加速器为目标工作负载带来进一步助力,实现了更高的性能和能效。

wKgZomZ-0ZmAXpszAALAKKFfimY808.png

基于英特尔® 架构的加速器与软件工具

众多的合作伙伴正在借助至强处理器和加速器及软件工具增强自身的产品竞争力。

比如PingCAP推出的TiDB开源分布式数据库就得益于第四代英特尔® 至强® 可扩展处理器卓越的代际性能,其数据库的只读性能与读写性能分别达到基准配置的1.62倍与1.43倍。

wKgZomZ-0ZmAd4vGAAC0AyhEpBQ338.png

此外TiDB利用至强®️ 可扩展处理器搭载的英特尔®️ IAA提供的出色吞吐量压缩和解压缩功能,在不影响性能的前提下,提升了数据压缩率,节约了存储空间。PingCAP采用英特尔®️ IAA代替LZ4之后,TiDB压缩率为LZ4无损压缩算法的1.4倍。

wKgZomZ-0ZmAbuQKAAD6U5qW0Yc786.png

并结合CPU的迭代,性能提升可达到原配置的1.56倍 ,有助于客户化解数据压缩所带来的性能困扰。

wKgaomZ-0ZmAa7V8AAEZe0-RboQ070.png

虽然硬件性能的提升为数据库处理海量数据提供了基础,但要真正发挥这些算力,需要对数据库内核进行深度优化。云和恩墨通过改进数据库内核,使之更好地适应现代硬件,如多核CPU、大内存和高速IO子系统,从而实现单机性能的显著提升。

根据其透露的测试结果,在一颗至强®️ 双路服务器架构上,以50G内存配置,再加上一个NVMe的SSD闪存,云和恩墨达到了700万TPCC的指标,可以说是极大提高了单机能力。

东方国信适用于超大规模数据存储和在线分析的大数据 BEH平台企业版通过集成Gluten与Velox Backend向量化执行引擎,为Spark注入了原生矢量化执行的能力,同时结合第四代英特尔® 至强® 可扩展处理器,以及处理器集成的英特尔® QAT加速器,显著优化了Spark批处理计算、SparkSQL计算、SQL查询服务的执行效率。经测试,在相同硬件环境下,配合英特尔® QAT的加成,Spark计算性能可提升高达 2.9倍。

wKgaomZ-0ZmAT0OdAADj6_7f8dI573.png

除了硬件之外,英特尔还强化了在软件及数据库生态方面的投入。张晓军还强调了英特尔在开源领域的贡献,如Apache社区的Gluten项目,已经在很多客户系统里得到了广泛应用,相比传统的Spark,性能可以提高2-3倍,如果其运行在英特尔的硬件上预计取得更优性能,显著提升大数据处理效率。·

数据库与AI深度融合

随着大数据时代的到来,数据量及系统数量都呈指数级增长,数据类型也由结构化数据逐渐演变成了非结构化数据和半结构化数据,这就对数据库系统的稳定性和能力提出了更高的要求,数据库技术和人工智能技术相结合成为当前热门的研究主题之一。

在AI时代,数据已成为驱动企业发展的核心要素,而数据库作为存储、管理和分析数据的重要基础设施,与AI技术的深度融合将是大势所趋。这种融合不仅能够提升数据库的性能和智能化水平,还能够推动AI技术的应用落地。

数据库厂商在不同维度上探索和应用AI,东方国信正在利用AI技术,尤其是在智能取数方面,通过自然语言处理生成SQL语句,提高数据提取的灵活性和效率。同时,他们也在探索智能建仓,尝试通过AI技术自动化数据仓库的构建和维护流程,旨在实现数据仓库的自动化和智能化。

查礼表示,公司正积极研发解决方案,旨在通过AI辅助减少人工介入,提高效率,预计通过AI技术的引入,数仓维护成本能降低60%。

PingCAP利用AI算法进行资源管理,让数据库更适应复杂多变的业务场景。林景旭强调,通过集成AI技术,比如利用AI优化数据库内部管理,提升数据库本身的智能水平,使其在满足复杂业务场景的同时,降低使用门槛。这意味着数据库不仅要有强大的数据处理能力,还需具备自我管理和优化的能力,确保在面对日益复杂的业务需求时,能更加自主、高效地运行。

云和恩墨则推动自身“AI for DB”和“DB for AI”的双向促进,杨廷琨指出,云和恩墨利用AI提升数据库性能,尤其是在数据库智能资源管理、智能监控、智能根因追踪、智能参数调优、SQL智能优化以及自动驾驶等方面的应用潜能。

结语

现代数据库与人工智能的结合不仅对处理能力、架构灵活性和用户体验提出了更高要求,也为数据库产业带来了前所未有的发展机遇。

随着技术的不断进步和生态合作的深化,未来数据库将更加智能、灵活和强大,为数字经济的发展提供坚实的基础。英特尔与数据库领域的合作伙伴将一起共同推动数据库产业向智能化、高效化转型,满足客户的业务创新需求。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4257

    浏览量

    85649
  • AI
    AI
    +关注

    关注

    87

    文章

    30072

    浏览量

    268344
  • 数据库
    +关注

    关注

    7

    文章

    3759

    浏览量

    64266
  • OpenAI
    +关注

    关注

    9

    文章

    1041

    浏览量

    6401
收藏 人收藏

    评论

    相关推荐

    数据库数据恢复—通过拼接数据库碎片恢复SQLserver数据库

    一个运行在存储上的SQLServer数据库,有1000多个文件,大小几十TB。数据库每10天生成一个NDF文件,每个NDF几百GB大小。数据库包含两个LDF文件。 存储损坏,数据库
    的头像 发表于 10-31 13:21 131次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—通过拼接<b class='flag-5'>数据库</b>碎片恢复SQLserver<b class='flag-5'>数据库</b>

    数据库数据恢复—SQL Server数据库出现823错误的数据恢复案例

    SQL Server数据库故障: SQL Server附加数据库出现错误823,附加数据库失败。数据库没有备份,无法通过备份恢复数据库
    的头像 发表于 09-20 11:46 280次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—SQL Server<b class='flag-5'>数据库</b>出现823错误的<b class='flag-5'>数据</b>恢复案例

    数据库数据恢复—raid5阵列上层Sql Server数据库数据恢复案例

    数据库数据恢复环境: 5块硬盘组建一组RAID5阵列,划分LUN供windows系统服务器使用。windows系统服务器内运行了Sql Server数据库,存储空间在操作系统层面划分了三个逻辑分区
    的头像 发表于 05-08 11:43 474次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—raid5阵列上层Sql Server<b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复案例

    数据库数据恢复】Oracle数据库ASM实例无法挂载的数据恢复案例

    oracle数据库ASM磁盘组掉线,ASM实例不能挂载。数据库管理员尝试修复数据库,但是没有成功。
    的头像 发表于 02-01 17:39 466次阅读
    【<b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复】Oracle<b class='flag-5'>数据库</b>ASM实例无法挂载的<b class='flag-5'>数据</b>恢复案例

    星火夜话,论道国产数据库

    ”活动,希望能够传承薩师煊先生研究中国数据库之初心,共话国产数据库技术创新,共释填补福建省基础软件领域空白的技术路线,共谋福建省信创新质生产力发展之道,照亮我国数据库技术、产业传承奋进
    的头像 发表于 12-28 14:01 424次阅读
    星火夜话,论道国产<b class='flag-5'>数据库</b>

    无模式数据库的利与弊

    数据管理需求日益多样,无论是金融服务、游戏还是社交媒体行业,都要求支持实时数据处理和快速迭代,无模式数据库因其灵活性和易用性而逐渐成为开发者的新选择。那么,无模式数据库到底有哪些特性呢
    的头像 发表于 12-16 08:04 480次阅读
    无模式<b class='flag-5'>数据库</b>的利与弊

    数据库数据恢复—未开启binlog的Mysql数据库数据恢复案例

    mysql数据库数据恢复环境: 本地服务器,windows server操作系统 ,部署有mysql单实例,数据库引擎类型为innodb,独立表空间,无数据库备份,未开启binlog
    的头像 发表于 12-08 14:18 1081次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—未开启binlog的Mysql<b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复案例

    关于JSON数据库

    如何理解JSON数据库?作为NoSQL数据库的一种类型,JSON数据库有哪些优势呢?JSON数据库如何运作,它为应用程序开发者带来了哪些价值呢?
    的头像 发表于 12-06 13:46 835次阅读
    关于JSON<b class='flag-5'>数据库</b>

    mysql数据库基础命令

    MySQL是一个流行的关系型数据库管理系统,经常用于存储、管理和操作数据。在本文中,我们将详细介绍MySQL的基础命令,并提供与每个命令相关的详细解释。 登录MySQL 要登录MySQL数据库,可以
    的头像 发表于 12-06 10:56 548次阅读

    oracle数据库的基本操作

    Oracle数据库是一种关系数据库管理系统(RDBMS),广泛应用于企业级应用中。它具有强大的功能和灵活的配置选项,可以满足复杂的数据处理需求。本文将介绍Oracle数据库的基本操作,
    的头像 发表于 12-06 10:14 658次阅读

    oracle数据库的使用方法

    Oracle数据库是一种关系型数据库管理系统,它由Oracle公司开发和维护。它提供了安全、可靠和高性能的数据库管理解决方案,被广泛应用于企业级应用和大型数据库环境中。本文将详细介绍O
    的头像 发表于 12-06 10:10 1176次阅读

    什么是JSON数据库

    如何理解JSON数据库?作为NoSQL数据库的一种类型,JSON数据库有哪些优势呢?JSON数据库如何运作,它为应用程序开发者带来了哪些价值呢?文章速览:什么是JSON什么是JSON
    的头像 发表于 12-02 08:04 822次阅读
    什么是JSON<b class='flag-5'>数据库</b>

    AI与安全双向,微软Security Copilot守护你的数字生活

    随着网络攻击的急剧增加,AI与安全的双向已成为网络安全领域不可或缺的一环。 微软Security Copilot应运而生,通过创新手段引领安全范式的变革。业界首款生成式
    的头像 发表于 11-28 10:15 806次阅读
    <b class='flag-5'>AI</b>与安全<b class='flag-5'>双向</b><b class='flag-5'>赋</b><b class='flag-5'>能</b>,微软Security Copilot守护你的数字生活

    NoSQL 数据库如何选型

    什么是NoSQL数据库?为什么要使用NoSQL数据库?键值数据库内存键值数据库文档数据库列式数据库
    的头像 发表于 11-26 08:05 441次阅读
    NoSQL <b class='flag-5'>数据库</b>如何选型

    数据库数据恢复—SQLserver数据库被加密如何恢复数据

    一台服务器上的SQLserver数据库被勒索病毒加密,无法正常使用。该服务器上部署有多个SQLserver数据库,其中有2个数据库及备份文件被加密,文件名被篡改,数据库无法使用。
    的头像 发表于 11-23 14:42 880次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—SQLserver<b class='flag-5'>数据库</b>被加密如何恢复<b class='flag-5'>数据</b>?