0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

服务器“异常”的几个可能性预警请重视!

恒创主机服务器 来源:恒创主机服务器 作者:恒创主机服务器 2023-04-06 17:05 次阅读

提到服务器宕机检测,大家会想到,宕机能够很快知道,这个有什么可做的?实际上,很多时候服务器宕机,并不总是被及时感知。服务器宕机,ping或者ssh这是最简单的做法,但真正的工程实践,没这么简单。

想要获知服务器宕机怎么办?可以通过服务器宕机实时检测

1)发现宕机。

2)提前告警。

3)告知宕机的详细原因,如硬件故障,内核bug,网络异常等等。

4)自动报修生成工单。

我们知道,进行全网物理机宕机准确探测与实时发现,可以给宕机分析提供第一现场,获取第一现场的日志。也可以尽早将宕机数据推送给业务或运营感知并处理,如自动报修,业务迁移等,从而尽可能将业务影响降到最低。

更重要的是,准确的宕机发现数据可以为宕机预测提供准确的标注数据,为后期宕机预测提供数据基础,并且这些数据提供给运营部门进行整体分析,提升处理效率。

那么,如何可以准确发现宕机,减少误报呢?我们可以有以下操作,比如:

心跳源检测异常

顾名思义,通过心跳源,初步发现异常。通常心跳变化会有三类消息,update消息,delete消息和insert消息。心跳逻辑在于,正常情况下SA服务端与NC建立长连接,每数秒缓存一次心跳,每几分钟打包上报一次,但当NC异常时,长连接感知后,立即上报异常,并修改路由表。所以心跳异常做到秒级感知。

update消息,在有心跳发生变化情况下都会有,心跳异常和心跳恢复正常时都会发起,是主要的心跳来源。

delete消息,在心跳异常,并且SA判断ping不通,且ssh不通情况下发起,删除该条消息,避免延迟太长。

insert消息,在新增加机器, 或者重装后重新上位的机器发起,该消息对宕机发现价值不大,配合uptime使用。

心跳源检测任务逻辑,主要是监听并缓存uptime消息,同时避免时间窗内多次消息冲突,导致信息被覆盖。

异常排除

排除非物理机器,将系统中暂时不关注的VM等产生的异常信息排除掉。

排除非业务状态的机器,如装机状态中的,包括生产中,维修中,迁移中,重装中,销毁中,重启中,无管控状态,只监控正常状态的机器。

排除非正在工作的机器,如非working状态机器。

网络干扰排除

宕机分析中,较多误报是由于网络问题干扰,无法准确判断出物理机是否宕机,有可能是网络问题。

排除上联网络设备异常导致的误报,包括机房断网演练,小面积网络故障,上联网络故障,如通过探测丢包情况,使用一些逻辑初步判断网络问题。

服务器本身未丢包的误报,除了需要过滤出网络问题,还要通过丢包数据分析,过滤掉SA误报问题, SA异常会上报心跳异常,被误理解为宕机。

icmp及tcp丢包分析,icmp采集频率为固定数秒,tcp采集频率固定数秒,包括多个不同大小包(16,32,64,128,256等)的丢包情况,根据分析时间窗内两项数据的丢包情况

特殊情况干扰排除

个别机房有时候会出现大面积风暴式的无故心跳异常,同时网络ping包异常,但上联网络设备ping包正常,这种误报,一般根据具体case具体进行针对性的分析。如根据监控每个机房的上报频率,排除干扰。

进一步识别误报

至此,大部分干扰已经过滤掉,但仍有一部分误报隐藏其中。比如心跳异常,ping异常,都合乎宕机判断的逻辑,会导致误判成宕机,如导致网卡被打爆,或者重试率高,这种是业务原因导致网络异常,但业务认为不是异常,需要排除掉。再例如服务器并没有挂掉,但是IO延时和资源占用率各项指标都不正常等场景。针对以上等情况,增加uptime判断以及带外日志分析排查。

宕机时间点探测uptime确定是否发生重启。

进一步通过分析日志是否连续,判断是否发生重启。

日志重启特征值匹配,确认是否发生重启。

如果还不能确定,使用uptime的时间窗技术进行重启。

仍不能确定的待处理,进入长尾处理名单。

长尾再次处理

未确认的待处理的,会加入到长尾列表中,像这种分钟级的心跳异常,ping异常,但串口日志一直正常输出的情况,一般就是某种死机,死到连网络都不通的场景。会观察一段时间,一个固定时间窗内仍未恢复或重启的话,就暂时报宕机。后期会把这种死机单独找划分归类。

讲了这么多,到底效果怎么样?

我们从准确率和覆盖率来看:

准确率:目前发现的宕机中有很高准确度,可以区分出真正宕机或者未宕机。而判断为宕机的数据中,也存在少量的,由于缺少相关信息导致误报,该部分将进一步优化,逐渐降低误报,在新的措施之后,该比例会接近0。

覆盖率:当前统计的覆盖率已经能很好的支撑日常宕机处理,该数据在有足够的特征后,会进一步提升。

目前,宕机感知是宕机分析的基础,通过服务器宕机实时检测,会把相应的宕机原因分布整理出来,明确具体的原因,达成服务器极致可靠性。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    7004

    浏览量

    88944
  • 服务器
    +关注

    关注

    12

    文章

    9124

    浏览量

    85331
  • TCP
    TCP
    +关注

    关注

    8

    文章

    1353

    浏览量

    79056
收藏 人收藏

    评论

    相关推荐

    SMTP服务器配置教程

    1. 了解SMTP服务器 SMTP服务器是用于发送电子邮件的服务器。它使用SMTP协议来处理邮件的发送。配置SMTP服务器需要了解以下几个
    的头像 发表于 10-30 16:16 885次阅读

    AI如何对产品设计带来更多的可能性

    AI(人工智能)对产品设计带来了广泛而深远的可能性,这些可能性主要体现在以下几个方面 1.创新设计的激发 创意生成:AI能够学习和模仿人类设计师的创作过程,通过深度学习等技术生成全新的、独特
    的头像 发表于 10-15 11:29 239次阅读

    gpu服务器与cpu服务器的区别对比,终于知道怎么选了!

    gpu服务器与cpu服务器的区别主要体现在架构设计、性能特点、能耗效率、应用场景、市场定位等方面,在以上几个方面均存在显著差异。CPU服务器更适合数据库管理和企业应用,而GPU
    的头像 发表于 08-01 11:41 484次阅读

    ai服务器和通用服务器的区别在哪

    AI服务器和通用服务器的区别主要体现在以下几个方面: 硬件配置 AI服务器和通用服务器在硬件配置上有很大的区别。AI
    的头像 发表于 07-02 09:46 995次阅读

    服务器数据恢复—EVA存储异常断电后出现故障的数据恢复方案

    数据库。 服务器存储故障&检测: 存储异常断电重启后,存储中一台虚拟机无法启动。工作人员推测故障原因是异常断电导致电源模块出现故障,清空cache后重新启动存储发现该虚拟机仍无法正常启动。
    的头像 发表于 05-28 10:29 348次阅读

    服务器数据恢复—异常断电导致RAID管理信息丢失的数据恢复案例

    使用。 服务器故障: 机房供电几次意外中断,服务器出现故障前最后一次异常断电重启后RAID报错,提示无法找到存储设备,进入RAID管理模块做任何操作都死机,重启服务器后问题依旧
    的头像 发表于 04-30 15:34 354次阅读

    服务器数据恢复—异常断电导致服务器raid卡硬件损坏的数据恢复案例

    由于机房多次断电导致一台服务器中raid阵列信息丢失。该阵列中存放的是文档,上层安装的是Windows server操作系统,没有配置ups。 因为服务器异常断电重启后,raid阵列可以正常
    的头像 发表于 03-20 17:38 724次阅读

    如何解决连接国外大带宽服务器可能遇到的问题

     相信很多小白用户会对如何解决连接国外大带宽服务器可能遇到的问题感兴趣,RAK部落小编就为您整理发布如何解决连接国外大带宽服务器可能遇到的问题。
    的头像 发表于 03-19 12:00 500次阅读

    服务器数据恢复—分享几个服务器数据恢复的案例

    服务器数据恢复案例之服务器raid6中3个磁盘离线导致阵列崩溃的数据恢复案例;服务器数据恢复案例之服务器RAID5两个磁盘指示灯显示红色导致服务器
    的头像 发表于 03-04 13:21 1152次阅读

    拥有美国洛杉矶RAKsmart云服务器:探索无限可能

    随着信息技术的飞速发展,云服务器已成为企业和个人用户不可或缺的重要工具。美国洛杉矶的RAKsmart云服务器,凭借其卓越的性能、稳定的网络环境和高级的安全,为用户提供了无尽的便利和可能性
    的头像 发表于 02-29 11:05 302次阅读

    服务器数据恢复-异常断电导致服务器故障的数据恢复案例

    服务器数据恢复环境: dell某型号服务器中有一组通过raid卡组建的raid10,该raid阵列中一共有4块磁盘。上层部署XenServer虚拟化平台,作为网站服务器使用。 服务器
    的头像 发表于 02-28 15:15 840次阅读
    <b class='flag-5'>服务器</b>数据恢复-<b class='flag-5'>异常</b>断电导致<b class='flag-5'>服务器</b>故障的数据恢复案例

    linux服务器和windows服务器

    应用和企业环境中使用,那么Win dows服务器可能更适合你的需求。 综上所述,Linux服务器和Windows服务器各有优劣,选择适合自己需求的
    发表于 02-22 15:46

    DNS服务器可能不可用什么意思

    与该域名相关联的IP地址。DNS服务器将IP地址返回给计算机,然后计算机使用该IP地址与目标服务器建立连接。 DNS服务器不可用的原因 硬件故障:DNS服务器也是一台物理设备,它们
    的头像 发表于 01-17 09:24 9905次阅读

    物理服务器和独立服务器的区别

    物理服务器和独立服务器本质上是同一种产品,也被称为传统服务器。它们都是可见可触的实体设备,包含处理、硬盘、内存和系统总线等硬件组件,类似于一台完整的计算机。这些设备通常放置在专业的机
    的头像 发表于 01-03 15:22 473次阅读

    【北亚服务器数据恢复】ZFS文件系统服务器RAIDZ数据恢复案例

    服务器数据恢复环境: 服务器中有32块硬盘,组建了3组RAIDZ,部分磁盘作为热备盘。zfs文件系统。 服务器故障: 服务器运行中突然崩溃,排除断电、进水、
    的头像 发表于 12-28 15:17 557次阅读
    【北亚<b class='flag-5'>服务器</b>数据恢复】ZFS文件系统<b class='flag-5'>服务器</b>RAIDZ数据恢复案例