0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何理解服务器的高性能

454398 来源: Chinaunix 作者:Moonecho 2020-09-25 14:53 次阅读

对于大部分应用来说,想要高性能,主要是要做到尽可能的减少网络请求(含DB、Redis、MongoDB、MQ)等。几乎所有的应用,性能瓶颈永远是在带宽那里;关于各个组件到CPU的时间周期,文字描述如下:L1>L2>memory>disk>internet。

大家都知道IP是逐跳协议,也就是说我只能从一个路由器,到下一个路由器,再到下一个路由器,如果你的电脑到服务器,中途要经过很多个路由器,那时间周期就会长很多很多很多。为什么要做CDN、P2P等也是这个考虑,缩短网络的路径(降低带宽承载也是一方面)。

就像是我有一个游戏服务器,在线人数约4000,里面是一个状态机在跑,需要不断的去检测各种状态、经验、星座、任务开放、技能开放等。一个玩家大约10个状态的判定,4000个玩家必须在200ms之内检测完毕,不然延迟会很严重,那1s就是大约执行5次,如果每一次数据都去Redis去取,大约是5*10*4000 = 200k次,别说Redis,再牛的服务器都顶不住!

遇到这种情况,建议把数据放在内存里面,直接从内存取,然后foreach。大部分的应用优化到这里,基本上应付所谓的日pv百万,就不是什么问题了。

到了这一步,那么问题来了,对于内部应用,比如分布式文件存储、数据分析、任务调度,咋整?

对于大数据,其实一直是一个伪命题,数据量太大属于硬伤。所有的做大数据处理的,都是把数据分成小数据,然后分块来处理,最后再合并。其实从MySQL、Oracle、msSQL等一系列人RMDB的分区,分库上的处理就可以看出来。想要提高性能,必须要做到,每个模块处理的数据量,都是细分到了一定粒度的。这个时候index、group、hash等的重要性,在这里就体现出来了。

若我有一个业务系统,每天的日志大约是10个G,一个月就大约是300G,一季度大约1T,我需要看每小时/每天/每周/每月/每季度的各种报表,每次都去数T里面去找,肯定是不可能的。

一般按业务分析每分钟的数据,10G/24/60大约7M,然后生成一个分析后的结果文件,大约几K,1小时就是60个文件,需要查看每小时的数据,则将60个文件的结果合并。

那我需要查看某一个用户,最近10天来的所有操作/订单,那原分组方式,已经无法满足,这个时候怎么办呢?

在插入用户数据的时候,可以按照一定规则,比如用户编号的后两位取摸,去存储在某一个文件里面,10G的数据,则可以相对平均的分配到100个文件里面去,需要查看某用户时,则可以针对用户编号取摸,直接定位到那个文件,然后再去里面查询数据。这个是比较简单的gourp+index。这一块想明白以后,你就可以在这个基础上面,写个定制化的简单的fs了

经常听到有人说,多线程的程序还不如单线程的程序性能高。那如何编写一个能合理利用CPU资源的多线程程序?

大家都知道,线程切换是需要额外的开销,所以在编写多线程程序的时候,就需要尽可能的避免共享式资源,这样就可以在保证数据一致性的同时,而又避开线程等待的时间。

举个简单的例子:

我有个大的字典(Dictionary/Map)存放用户的会话数据,每个线程,去这个字典里面去读/写数据的时候,都需要去上锁,才能保证数据的一致性,如果两个(更多)线程同时去读/写数据,其他的线程就需要去等待当前线程释放资源,线程越多,则等待的几率越大,性能则越差,多线程处理变成了单线程处理,且等待完了以后,能否再切换回来这个线程继续执行,又是另外一个开销,这一部分属于系统拖托管,属于不可控的。

那么问题来了:怎么解决呢?

根据硬件和实际测试数据,合理分配线程资源,比如,我初始化了8个线程,每个用户的请求,对于线程总数取模,保证每个用户的请求,同一个线程处理,则可以在每个线程内部,存放这些用户数据,每个线程在自己内部进行存取,避开了lock,也避开了线程等待/切换带来的资源开销。不取模,随机分配线程,然后用一个hash表来存放,也可。让每个线程,专注于做自己的事情,任务调度作业,也是基于这个处理。把线程处理机制,放大到虚拟机/物理机之间的消息分发,也是如此。

总体来说,避开网络开销,避开海量数据,避开资源争夺 是所有高性能的几个基本要素。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • cpu
    cpu
    +关注

    关注

    68

    文章

    10855

    浏览量

    211601
  • 服务器
    +关注

    关注

    12

    文章

    9129

    浏览量

    85338
  • 路由器
    +关注

    关注

    22

    文章

    3728

    浏览量

    113708
  • 数据分析
    +关注

    关注

    2

    文章

    1446

    浏览量

    34050
收藏 人收藏

    评论

    相关推荐

    海单路高性能服务器主板

    服务器
    jf_10805031
    发布于 :2024年04月26日 14:23:58

    服务器技术基础

    中国高性能计算机标准1.1 什么是服务器服务器Server从功能上说,它负责侦听网络上其它客户机(Client)提交的服务请求,并提供相应的
    发表于 09-12 22:55

    华为服务器为什么可以保持高性能和高可靠性

    通过第三方调研机构数据可以看出,华为服务器出货量不断攀升,得益于其持续通过高强度的研发投入和聚焦创新,从而为用户提供高可靠、高性能、简单易用的计算平台。
    发表于 08-02 07:19

    高性能服务器开发2018年的原创汇总

    高性能服务器开发 2018 年原创汇总
    发表于 06-10 12:33

    什么是服务器

    大数据_02【大数据基础知识】01 什么是服务器02 服务器类型03 存储磁盘(硬盘)01 什么是服务器服务器: 也称伺服,是一种
    发表于 07-16 07:35

    高性能高并发服务器架构分享

    由于自己正在做一个高性能大用户量的论坛程序,对高性能高并发服务器架构比较感兴趣,于是在网上收集了不少这方面的资料和大家分享。希望能和大家交流 msn: ——————————————————————————————————————
    发表于 09-16 06:45

    详解Nginx高性能的HTTP和反向代理服务器

    Nginx 是一个高性能的 HTTP 和反向代理服务器,特点是占用内存少,并发能力强,事实上 Nginx 的并发能力确实在同类型的网页服务器中表现较好。
    的头像 发表于 03-16 11:23 2448次阅读

    如何监控服务器性能

    无论您的服务器是在Windows还是Unix上运行,这些关键性能领域都可以作为任何服务器监控策略的良好起点,跟踪这些性能指标作为性能瓶颈的指
    的头像 发表于 07-19 16:01 6258次阅读

    如何理解高性能服务器高性能、高并发?

    当前,随着“东数西算”政策的落地,算力时代正在全面开启。随着机器学习、深度学习的快速发展,人们对高性能服务器这一概念不再陌生。伴随着数据分析、数据挖掘数目的不断增大,传统的风冷散热方式已经不足以满足散热需要,这就需要新兴的液冷散热技术以此满足节能减排、静音高效的需求。
    的头像 发表于 01-13 09:45 2226次阅读
    如何<b class='flag-5'>理解</b><b class='flag-5'>高性能</b><b class='flag-5'>服务器</b>的<b class='flag-5'>高性能</b>、高并发?

    高性能整流显著提高服务器供电效率

    电子发烧友网站提供《高性能整流显著提高服务器供电效率.pdf》资料免费下载
    发表于 07-26 09:46 0次下载
    <b class='flag-5'>高性能</b>整流<b class='flag-5'>器</b>显著提高<b class='flag-5'>服务器</b>供电效率

    gpu服务器是干什么的 gpu服务器与cpu服务器的区别

     相比于传统的CPU服务器,GPU服务器支持同时计算大量相似的计算操作,可以实现更强的并行计算性能。GPU服务器通常配备多个高性能的GPU,
    的头像 发表于 12-02 17:20 1914次阅读

    人工智能服务器高性能计算需求

    人工智能(AI)服务器是一种专门为了运行人工智能应用和提供大数据处理能力而设计的高性能计算机。它既可以支持本地应用程序和网页,也可以为云和本地服务器提供复杂的AI模型和服务
    的头像 发表于 12-08 09:44 524次阅读

    国产高性能温补晶振用于服务器光模块,替换SiTime

    国产高性能温补晶振用于服务器光模块,替换SiTime
    的头像 发表于 08-09 09:41 337次阅读
    国产<b class='flag-5'>高性能</b>温补晶振用于<b class='flag-5'>服务器</b>光模块,替换SiTime

    GPU高性能服务器配置

    GPU高性能服务器作为提升计算速度和效率的关键设备,在各大应用场景中发挥着越来越重要的作用。在此,petacloud.ai小编为你介绍GPU高性能服务器的配置要点。
    的头像 发表于 10-21 10:42 192次阅读

    高性能服务器有什么用处?

    高性能服务器是一种基于云计算技术的虚拟化服务器,具有高性能、灵活性、可靠性和安全性等特点。它广泛应用于网络托管服务、数据备份与恢复、大数据
    的头像 发表于 11-04 10:22 182次阅读