0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Linux运维工程师的6类好习惯和23个教训

dyquk4xk2p3d 来源:入门小站 2023-07-17 15:47 次阅读

从事运维,遇到过各式各样的问题,数据丢失,网站挂马,误删数据库文件,黑客攻击等各类问题。

今天简单整理一下,分享给各位小伙伴。

一、线上操作规范

1、测试使用

当初学习 Linux 的使用,从基础到服务到集群,都是在虚拟机做的,虽然老师告诉我们跟真机没有什么差别,可是对真实环境的渴望日渐上升,不过虚拟机的各种快照却让我们养成了各种手贱的习惯,以致于拿到服务器操作权限时候,就迫不及待的想去试试,记得上班第一天,老大把 root 密码交给我,由于只能使用 putty,我就想使用 xshell,于是悄悄登录服务器尝试改为 Xshell + 密钥登录,因为没有测试,也没有留一个 SSH 连接,所有重启 SSHD 服务器之后,自己就被挡在服务器之外了,幸好当时我备份了 sshd_config 文件,后来让机房人员 cp 过去就可以了,幸亏这是一家小公司,不然直接就被干了…… 庆幸当年运气比较好。

第二个例子是关于文件同步的,大家都知道 rsync 同步很快,可是他删除文件的速度大大超过了 rm -rf,在 rsync 中有一个命令是,以某目录为准同步某文件(如果第一个目录是空的,那么结果可想而知),源目录(有数据的)就会被删除,当初我就是因为误操作,以及缺乏测试,就目录写反了,关键是没有备份…… 生产环境数据被删了。

没备份,大家自己想后果吧,其重要性不言而喻。

2、Enter 前再三确认

关于 rm -rf / var 这种错误,我相信手快的人,或者网速比较慢的时候,出现的几率相当大,当你发现执行完之后,你的心至少是凉了半截。

大家可能会说,我按了这么多次都没出过错,不用怕,我只想说当出现一次你就明白了,不要以为那些运维事故都是在别人身上,如果你不注意,下一个就是你。

3、切忌多人操作

我在的上一家公司,运维管理相当混乱,举一个最典型的例子吧,离职好几任的运维都有服务器 root 密码。

通常我们运维接到任务,都会进行简单查看如果无法解决,就请求他人帮忙,可是当问题焦头烂额的时候,客服主管(懂点 Linux),网管,你上司一起调试一个服务器,当你各种百度, 各种对照,完了发现,你的服务器配置文件,跟上次你修改不一样了,然后再改回来,然后再谷歌,兴冲冲发现问题,解决了,别人却告诉你,他也解决了,修改的是不同的参数…… 这个,我就真不知道哪个是问题真正的原因了,当然这还是好的,问题解决了,皆大欢喜,可是你遇到过你刚修改的文件,测试无效,再去修改发现文件又被修改的时候呢?真的很恼火,切忌多人操作。

4、先备份后操作

养成一个习惯,要修改数据时,先备份,比如. conf 的配置文件。另外,修改配置文件时,建议注释原选项,然后再复制,修改。

再者说,如果第一个例子中,有数据库备份,那 rsync 的误操作不久没事了吧。所以说丢数据库非一朝一夕,随便备份一个就不用那么惨。

二、涉及数据

5、慎用 rm -rf

网上的例子很多,各种 rm -rf /,各种删除主数据库,各种运维事故……

一点小失误就会造成很大的损失。如果真需要删除,一定要谨慎。

6、备份大于一切

本来上面都有各种关于备份,但是我想把它划分在数据类再次强调,备份非常之重要哇。

我记得我的老师说过一句话,涉及到数据何种的谨慎都不为过。我就职的公司有做第三方支付网站和网贷平台的,第三方支付是每两个小时完全备份一次,网贷平台是每 20 分钟备份一次。

我不多说了,大家自己斟酌吧。

7、稳定大于一切

其实不止是数据,在整个服务器环境,都是稳定大于一切,不求最快,但求最稳定,求可用性,所以未经测试,不要在服务器使用新的软件,比如 Nginx+PHP-FPM,生产环境中 PHP 各种挂啊。

重启下就好了,或者换 apache 就好了。

8、保密大于一切

现在各种艳照门漫天飞,各种路由器后门,所以说,涉及到数据,不保密是不行的。

三、涉及安全

9、SSH

更改默认端口(当然如果专业要黑你,扫描下就出来了)

禁止 root 登录

使用普通用户 + key 认证 + sudo 规则 + IP 地址 + 用户限制

使用 hostdeny 类似的防爆里破解软件(超过几次尝试直接拉黑)

筛选 / etc/passwd 中 login 的用户。

10、防火墙

防火墙生产环境一定要开,并且要遵循最小原则,drop 所有,然后放行需要的服务端口。

11、精细权限和控制粒度

能使用普通用户启动的服务坚决不使用 root,把各种服务权限控制到最低,控制粒度要精细。微信搜索公众号:网络安全与黑客技术,回复:黑客 领取资料

12、入侵检测和日志监控

使用第三方软件,时刻检测系统关键文件以及各种服务配置文件的改动,比如:/etc/passwd,/etc/my.cnf,/etc/httpd/con/httpd.con 等。

使用集中化的日志监控体系,监控 / var/log/secure,/etc/log/message,ftp 上传下载文件等报警错误日志。

另外针对端口扫描,也可以使用一些第三方软件,发现被扫描就直接拉入 host.deny。这些信息对于系统被入侵后排错很有帮助。

有人说过,一个公司在安全投入的成本跟他被安全攻击损失的成本成正比,安全是一个很大的话题,也是一个很基础的工作,把基础做好了,就能相当的提高系统安全性,其他的就是安全高手做的了。

四、日常监控

13、系统运行监控

好多人踏入运维都是从监控做起,大的公司一般都有专业 24 小时监控运维。系统运行监控一般包括硬件占用率,常见的有,内存,硬盘,CPU,网卡,OS 包括登录监控,系统关键文件监控。

定期的监控可以预测出硬件损坏的概率,并且给调优带来很实用的功能。

14、服务运行监控

服务监控一般就是各种应用,Web,DB,LVS 等,这一般都是监控一些指标。

在系统出现性能瓶颈的时候就能很快发现并解决。

15、日志监控

这里的日志监控跟安全的日志监控类似,但这里一般都是硬件,OS,应用程序的报错和警报信息。

监控在系统稳定运行的时候确实没啥用,但是一旦出现问题,你又没做监控,就会很被动了。

五、性能调优

16、深入了解运行机制

其实按一年多的运维经验来说,谈调优根本就是纸上谈兵,但是我只是想简单总结下,如果有更深入的了解,我会更新。在对软件进行优化之前,比如要深入了解一个软件的运行机制,比如 Nginx 和 Apache,大家都说 Nginx 快,那就必须知道 Nginx 为什么快,利用什么原理,处理请求比 Apache,并且要能跟别人用浅显易懂的话说出来,必要的时候还要能看懂源代码,否则一切以参数为调优对象的文档都是瞎谈。

17、调优框架以及先后

熟悉了底层运行机制,就要有调优的框架和先后顺序,比如数据库出现瓶颈,好多人直接就去更改数据库的配置文件,我的建议是,先根据瓶颈去分析,查看日志,写出来调优方向,然后再入手,并且数据库服务器调优应该是最后一步,最先的应该是硬件和操作系统,现在的数据库服务器都是在各种测试之后才会发布的

适用于所有操作系统,不应该先从他入手。

18、每次只调一个参数

每次只调一个参数,这个相比大家都了解,调的多了,你就自己就迷糊了。

19、基准测试

判断调优是否有用,和测试一个新版本软件的稳定性和性能等方面,就必须要基准测试了,测试要涉及很多因素。

测试是否接近业务真实需求这要看测试人的经验了。

我的老师曾说过,没有放之四海皆准的参数,任何参数更改任何调优都必须符合业务场景,所以不要再谷歌什么什么调优了,对你的提升和业务环境的改善没有长久作用。

六、运维心态

20、控制心态

很多 rm -rf /data 都在下班的前几分钟,都在烦躁的高峰,那么你还不打算控制下你的心态么?

有人说了,烦躁也要上班,可是你可以在烦躁的时候尽量避免处理关键数据环境,越是有压力,越要冷静,不然会损失更多。

大多人都有 rm -rf /data/mysql 的经历,发现删除之后,那种心情你可以想象一下,可是如果没有备份,你急又有什么用,一般这种情况下,你就要冷静想下最坏打算了,对于 MySQL 来说,删除了物理文件,一部分表还会存在内存中,所以断开业务,但是不要关闭 MySQL 数据库,这对恢复很有帮助,并使用 dd 复制硬盘,然后你再进行恢复。

当然了大多时候你就只能找数据恢复公司了。

试想一下,数据被删了,你各种操作,关闭数据库,然后修复,不但有可能覆盖文件,还找不到内存中的表了。

21、对数据负责

生产环境不是儿戏,数据库也不是儿戏,一定要对数据负责。不备份的后果是非常严重的。

22、追根究底

很多运维人员比较忙,遇到问题解决就不会再管了,记得去年一个客户的网站老是打不开,经过 PHP 代码报错,发现是 session 和 whos_online 损坏,前任运维是通过 repair 修复的,我就也这样修复了,但是过了几个小时,又出现了。反复三四次之后,我就去谷歌数据库表莫名损坏原因:一是 myisam 的 bug,二是 mysqlbug,三是 MySQL 在写入过程中被 kill,最后发现是内存不够用,导致 OOM kill 了 mysqld 进程,并且没有 swap 分区,后台监控内存是够用的,最后升级物理内存解决。

23、测试和生产环境

在重要操作之前一定要看自己所在的机器,尽量避免多开窗口。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • Linux
    +关注

    关注

    87

    文章

    11298

    浏览量

    209392
  • 服务器
    +关注

    关注

    12

    文章

    9138

    浏览量

    85371

原文标题:经验之谈: Linux 运维工程师的 6 类好习惯和 23 个教训

文章出处:【微信号:良许Linux,微信公众号:良许Linux】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    【上海】高级工程师

    猎头职位:高级工程师工作职责:1.各种项目实施;2.基础服务日常维护工作,保障业务稳定可靠;3.持续改进
    发表于 07-13 15:38

    2019年Linux工程师的高薪出路在哪?

    早在2015年国家就提出了“供给侧”改革思想,简言之,就是告诉企业里的Linux工程师要从以往平时人肉部署各种业务环境,处理各种故障(负载高、CPU高、服务宕机、被攻击),每天火烧
    发表于 01-17 14:52

    2019年Linux工程师的高薪出路在哪

    早在2015年国家就提出了“供给侧”改革思想,简言之,就是告诉企业里的Linux工程师要从以往平时人肉部署各种业务环境,处理各种故障(负载高、CPU高、服务宕机、被攻击),每天火烧
    发表于 01-28 18:02

    PCB layout工程师的7好习惯

    ,兼顾性能、工艺、成本等各方面,同时还要注意板子布局的合理整齐。作为一名优秀的PCB layout工程师,好的工作习惯会使你的设计更合理,性能更好,生产更容易。下面罗列了PCB layout工程师的7
    发表于 01-29 07:43

    PCB工程师的应该具备的好习惯

    ,兼顾性能、工艺、成本等各方面,同时还要注意板子布局的合理整齐。作为一名优秀的PCB layout工程师,好的工作习惯会使你的设计更合理,性能更好,生产更容易。下面罗列了PCB layout工程师的7
    发表于 06-17 15:20

    资深linux工程师的工作经验分享

    本人是linux工程师,对这方面有点心得,现在我说说要掌握哪方面的工具吧
    的头像 发表于 10-15 09:20 1.8w次阅读

    工程师的四阶段

    Linux系统目前主要应用在企业服务器上,学习Linux,更多的是向Linux系统/工程师
    的头像 发表于 03-26 16:22 5873次阅读

    汇总PCB layout工程师的7好习惯 你有没有学会?

    ,兼顾性能、工艺、成本等各方面,同时还要注意板子布局的合理整齐。作为一名优秀的PCB layout工程师,好的工作习惯会使你的设计更合理,性能更好,生产更容易。下面罗列了PCB layout工程师的7
    的头像 发表于 04-06 16:44 4486次阅读

    怎样成为一合格的工程师

    如果想成为一名合格的工程师,首先我们需要了解运主要是做什么的?如何成为一合格的
    的头像 发表于 04-28 15:52 3863次阅读

    做最优秀的Linux工程师,从删库开始!

    没有删过库的Linux管理员,不是好的Linux工程师
    的头像 发表于 06-05 17:44 3829次阅读

    如何定义linux工程师

    相信读者们必定听说过linux,也听说过工程师。那么
    的头像 发表于 08-21 15:51 3116次阅读

    Linux工程师的发展前景

    它是一非常新颖的岗位,目前从行业角度分析,随着国内软件行业不断发展壮大,越来越多的复杂系统应运而生,为了保证系统的稳定运行,必须要有足够多的linux
    的头像 发表于 08-21 15:57 3717次阅读

    Linux工程师的定义

    作爲互联网的幕后英雄,Linux工程师临时藏匿在群众认知范围之外,关于的讨论依旧是一片无
    的头像 发表于 08-31 11:34 3850次阅读

    PCB layout工程师的7好习惯

    作为一名优秀的PCB layout工程师,好的工作习惯会使你的设计更合理,性能更好,生产更容易。本文罗列了PCB layout工程师的7好习惯
    的头像 发表于 02-16 15:46 2896次阅读

    PCB layout工程师的7好习惯,来看看你都占了几个吧!

    作为一名优秀的PCB layout工程师,好的工作习惯会使你的设计更合理,性能更好,生产更容易。本文罗列了PCB layout工程师的7好习惯
    发表于 01-22 06:43 6次下载
    PCB layout<b class='flag-5'>工程师</b>的7<b class='flag-5'>个</b><b class='flag-5'>好习惯</b>,来看看你都占了几个吧!