0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

六大顶级、开源的数据可观测性工具

vliwulianw 来源:软件质量报道 作者:软件质量报道 2022-12-16 11:29 次阅读

最近两年,可观测性比较火,各种大会、沙龙中经常能见到这类主题,国内也有公司专门从事可观测性相关的业务,许多公司正在采用数据可观测性工具预防线上故障、及时排除数据中心的问题,也有公司采用数据可观测性工具构建良好的可观测性以开展混沌工程。

数据可观察性不仅仅是监控和记录、收集指标,而且具有洞察力,能够随着时间跟踪指标,解释、理解跟踪和监视的数据以及在各种数据源之间创建的关系。而数据可观察性工具允许组织通过使用集成的、单一来源的真实数据存储来解决问题。这些工具使用自动化和人工智能技术来筛选大量看似不同的数据流,对其进行分析,并将结果集中并集成到一个统一的洞察数据库(能揭示问题的本质、真相)中。

e874e188-7ce5-11ed-8abf-dac502259ad0.png

随着不同数据源数量的增长,企业必须提供其环境的总体视图,并支持更快、更自动化的解决方案来识别和修复问题。今天数据可观察性工具使企业能够积极主动,而昨天,许多企业往往处在被动之中。

为什么选择数据可观测性开源工具?

企业有很多商业数据可观测性工具可供选择。商业工具在可伸缩性、自动化和支持方面具有一些关键优势。然而,数据可观测性的开源工具允许团队在没有前期购买(获得使用许可)成本的情况下试验数据可观察性功能,还可以更好地补充现有的数据工程工作流和工具。许多公司都有高度定制的可观测性需求,那么结合内部开发和开源资源通常是最容易满足这些需求的。

开源平台往往具有比商业选项更灵活的体系结构,但开源平台可能还需要更深入的业务知识和技能,以便随着时间的推移定制和发展平台。开源工具还允许企业试验基本的数据可观察性特性,以了解哪些功能提供了最大的价值,以及它们如何补充现有的工作流。随着时间的推移,人们更喜欢探索和构建自己的数据可观测性实践,也进一步证明了:业务变化的需求和开源解决方案比商业工具提供了更多的灵活性。

但是,单一的开源数据可观测性工具通常不具备对企业数据系统实现完整可观测性所需的所有功能。一些工具有助于日志和度量数据收集,而其他工具则专门用于日志和事件跟踪。类似地,有些工具擅长可视化,而另一些工具则有效地存储事件和度量数据。企业通常必须结合使用这些工具中的一些来获得可观测性。

以下是该领域专家所强调的六个用于设置数据可观测性功能的顶级开源工具。这些开源工具都支持数据可观测性实践的关键方面,如日志和度量数据的收集、事件跟踪或可观测性数据的可视化。这些工具也有支持社区,借助社区来帮助实现这些工具并长期维护它们。我们可以将这些工具视为组件,然后我们根据需要,结合多个工具来实现工作数据可观测性实践。1. Fluentd

站点: https://www.fluentd.org/

文档: https://docs.fluentd.org/

开源代码: https://github.com/fluent

e9689e22-7ce5-11ed-8abf-dac502259ad0.png

Fluentd是一个开源的数据收集器,它还可以作为统一的日志记录层,以简化数据收集。日志层为到多个数据源的连接提供了一个抽象层。它支持与数据源和流媒体服务的500多个集成,所以当一个组织在许多不同的领域进行数据收集,管理员需要查看所有这些领域的数据以进行监控和优化时,它非常有用。 它使用可插拔的架构,允许团队将工具连接到新的资源。性能是其设计目标的关键标准。它可以在每个核心上每秒处理大约13000个事件,仅使用30- 40mb的内存。它还广泛使用JSON格式来简化收集、过滤、缓冲和输出日志的过程。

2. Loki

https://github.com/grafana/loki

https://grafana.com/docs/loki/

口号:like Prometheus, but for logs

e9d052ec-7ce5-11ed-8abf-dac502259ad0.png

Loki是一个通用日志聚合系统,它简化了各种日志记录过程,包括数据可观测性。它有助于简化跨各种应用程序、数据工具和云服务存储和查询日志的各种流程。 一个关键特性是能够摄取任何格式的日志。它可以将所有数据存储到持久对象存储中,在需要时可以处理pb级的数据。Loki还可以将来自Prometheus、Grafana和Kubernetes等不同来源的指标引入到普通用户体验中。它是Opstrace建立在Vector基础上并与Vector合作的另一个数据可观测性工具。 Grafana实验室负责维护项目,并为企业提供商业支持。

3. OpenTelemetry

https://github.com/open-telemetry

https://opentelemetry.io/docs/

e9f2575c-7ce5-11ed-8abf-dac502259ad0.png

OpenTelemetry(简写:OTel)提供了广泛的数据捕获、聚合和分析功能集合。它源于OpenCensus和OpenTracing的合并。它拥有一个由微软、谷歌、Dynatrace等公司支持的大型社区。尽管它开始于应用程序、性能和安全领域,但同样的组件也可以应用于数据可观测性。 OpenTelemetry使入门变得快速简单。数据工程师和开发人员可以使用系统提供的自动检测包将检测集成到他们的应用程序和数据管道中。这些工具帮助企业以与供应商无关的格式收集、处理和发布数据。这使企业不必支持和管理多种可观测性数据格式。 OpenTelemetry对于需要支持多种语言和框架的数据工程团队很有帮助。它使企业能够使用统一的规范来传输遥测数据,从而降低应用开销。 4. Opstrace

https://gitlab.com/gitlab-org/opstrace

https://opstrace.com/docs

ea1357e0-7ce5-11ed-8abf-dac502259ad0.png

Opstrace是一个通用的可观测性平台,也支持数据可观测性。它包括全面的安全功能、警报管理和收集集成从其他工具和服务收集数据。 Opstrace使入门变得非常简单。Opstrace集群可以在几分钟内建立并运行。如果企业已经建立了Prometheus,就会变得更简单。 企业可以在其谷歌Cloud或AWS帐户中安装Opstrace,将其用作功能齐全的基于云的可观测平台。与传输层安全(TLS)证书的集成简化了读写数据的安全配置。 5. Prometheus

https://github.com/prometheus

https://prometheus.io/docs/introduction/overview/

eae46448-7ce5-11ed-8abf-dac502259ad0.png

Prometheus是一个开源的监控工具,用于实现度量和触发警报,这对数据可观察性很有用。它包括分析时间序列数据并将其转换为基于各种标准的派生时间序列的重要功能。它带有PromQL查询语言,用于动态生成图形、表格和警报。它还支持各种可视化工具。

eb31d688-7ce5-11ed-8abf-dac502259ad0.png

当企业已经安装了Prometheus时,安装Opstrace等其他工具就比较简单了。企业只需要对Prometheus配置文件做一些小的修改,就可以将数据从Prometheus传输到Opstrace集群。 6. Vector

https://github.com/vectordotdev/vector

https://vector.dev/docs/

eb4a28aa-7ce5-11ed-8abf-dac502259ad0.png

Vector是一个帮助企业创建日志和分析数据管道的工具,帮助收集、处理和分配数据应用程序的跨度、轨迹、日志和指标到他们所选择的工具。

eb7a8d4c-7ce5-11ed-8abf-dac502259ad0.png

它使用基于有向无环图(Directed Acycling Graph,DAG)的方法来促进数据从一个阶段到另一个阶段的流动和转换。企业可使用TOML、YAML或JSON文件等格式定义DAG。矢量重映射语言(VRL)可以帮助转换可观察性事件,并为进一步过滤和路由事件设置标准。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据库
    +关注

    关注

    7

    文章

    3750

    浏览量

    64217
  • 开源
    +关注

    关注

    3

    文章

    3210

    浏览量

    42288

原文标题:六大顶级、开源的数据可观测性工具

文章出处:【微信号:软件质量报道,微信公众号:软件质量报道】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    破局新生丨基调听云可观测与应用安全技术研讨会在平潭圆满举办

    2024年10月24日,由中国信通院稳定性保障实验室、华为云、基调听云联合主办的“破局新生·可观测与应用安全技术研讨会”在福建平潭隆重举行。本次研讨会以技术研讨为本,以创新发展为翼,汇集了来自金融
    的头像 发表于 10-29 16:01 296次阅读
    破局新生丨基调听云<b class='flag-5'>可观测</b><b class='flag-5'>性</b>与应用安全技术研讨会在平潭圆满举办

    【质量视角】可观测背景下的质量保障思路

    目前质量团队正在积极建设和完善应用监控能力,旨在能及时发现并解决问题,为线上服务稳定性保驾护航。随着可观测概念的逐渐普及,监控的建设也有了新的挑战和使命。本文将探讨在可观测背景下,
    的头像 发表于 10-25 17:21 161次阅读
    【质量视角】<b class='flag-5'>可观测</b><b class='flag-5'>性</b>背景下的质量保障思路

    华为云发布全栈可观测平台 AOM,以 AI 赋能应用运维可观测

    应用可用与稳定性。 该平台发布标志着华为云在推动数字化转型和智能化运维领域的又一重大突破,全栈可观测平台的推出不仅为企业提供了更加全面和深入的系统监控和数据分析能力,还通过集成先进的人工智能技术,实现了对复杂应用环境的实时优化
    的头像 发表于 10-15 09:54 361次阅读
    华为云发布全栈<b class='flag-5'>可观测</b>平台 AOM,以 AI 赋能应用运维<b class='flag-5'>可观测</b>

    烧结银AS9378火爆的六大原因

    低温烧结银AS9378近年来在电子材料领域迅速崛起,其火爆程度令人瞩目。这款采用纳米技术和低温烧结工艺的高性能材料,凭借其独特的优势在众多应用中脱颖而出。以下,我们将深入探讨低温烧结银AS9378火爆的六大原因。
    的头像 发表于 09-20 17:27 196次阅读

    电机的六大分类形式

    电机,作为电能转换与传递的核心装置,广泛应用于各个领域,从家庭日常使用的家电到工业自动化的关键设备,都离不开电机的支持。电机的种类繁多,根据不同的分类标准,可以将其划分为多种类型。本文将详细解析电机的六大分类形式,并探讨其各自的特点、应用场景以及未来的发展趋势。
    的头像 发表于 06-14 10:33 2813次阅读

    DataDog和Dynatrace缺席,观测云成为中国峰会的明星

    在亚马逊云科技中国峰会的圆满落幕之际,国内监控观测服务的佼佼者——观测云,以其在中国可观测领域的杰出表现,荣获了中国峰会独家荣誉。尽管全球知名的监控
    的头像 发表于 06-04 17:13 372次阅读

    电路板检查故障的六大方法有哪些

    在这篇文章中,我们将详细介绍检查电路板故障的六大方法。这些方法将帮助大家更有效地诊断和修复电路板问题。以下是电路板检查故障的六大方法: 视觉检查 测量电压和电流 电阻测试 电容测试 信号追踪
    的头像 发表于 05-29 14:54 5037次阅读

    华为数据存储伙伴赋能六大亮点解读

    精彩回顾 | 华为数据存储伙伴赋能六大亮点解读
    的头像 发表于 03-28 11:33 516次阅读
    华为<b class='flag-5'>数据</b>存储伙伴赋能<b class='flag-5'>六大</b>亮点解读

    智慧能源管理系统的六大功能

    的监测管控一体化,实现能源数据的多维度统计与分析,具体来说,包括能耗数据监测、多维用能分析、定制报表服务、异常自动告警、设备智能控制以及系统综合管控六大功能。
    的头像 发表于 01-29 14:51 866次阅读
    智慧能源管理系统的<b class='flag-5'>六大</b>功能

    如何构建APISIX基于DeepFlow的统一可观测性能力呢?

    随着应用组件的可观测逐渐受到重视,Apache APISIX 引入插件机制丰富了可观测数据源。
    的头像 发表于 01-18 10:11 867次阅读
    如何构建APISIX基于DeepFlow的统一<b class='flag-5'>可观测</b>性能力呢?

    详解FPGA六大应用领域

    FPGA 所能应用的领域大概可以分成六大类,下面听我一一道来。 01 FPGA在通信系统的应用简介 FPGA 在通信领域的应用可以说是无所不能,得益于 FPGA 内部结构的特点,它可以很
    发表于 01-17 17:03

    揭秘整车试验:六大项目确保汽车质量与性能的极致追求

    随着汽车市场的日益竞争,整车试验作为评估新车质量、验证可靠以及推动新技术发展的关键手段,越来越受到汽车制造商的重视。我们深入了解了整车试验的六大核心项目,这些项目在汽车制造行业中具有广泛的应用,旨在确保每一辆新车都能达到极致的性能和安全
    的头像 发表于 12-22 17:09 1214次阅读
    揭秘整车试验:<b class='flag-5'>六大</b>项目确保汽车质量与性能的极致追求

    MES需求六大常见误区

    电子发烧友网站提供《MES需求六大常见误区.docx》资料免费下载
    发表于 12-21 11:08 0次下载

    实施MES过程存在的六大难点

    电子发烧友网站提供《实施MES过程存在的六大难点.docx》资料免费下载
    发表于 12-06 09:04 0次下载

    选择场效应晶体管的六大诀窍

    选择场效应晶体管的六大诀窍
    的头像 发表于 12-05 15:51 451次阅读