0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

有方法能让用户空间的应用程序可以调优内核中的并发控制吗?

Linux阅码场 来源:ArchiSelf 2023-06-13 09:14 次阅读

性能为王,系统的性能提升是每一个工程师的追求。目前,性能优化主要集中在消除系统软件堆栈中的低效率上或绕过高开销的系统操作。例如,内核旁路通过在用户空间中移动多个操作来实现这个目标,还有就是为某些类别的应用程序重构底层操作系统.

在许多领域中,专有化似乎是追求更好性能的答案,集中在应用程序和内核,甚至是在不同的内核子系统之间。特别地,专有化可以构建应用程序向系统请求某些功能的上下文。虽然,应用程序专有化和内核绕过了存储、网络化和加速器,但是,内核中的并发控制可能是整体性能的关键。

1. 操作系统的性能:内核锁

内核锁是一种用于控制进程访问共享资源的机制。在Linux内核中,内核锁是通过在进程创建时分配一个特殊的锁来实现的。当一个进程需要访问共享资源时,内核会检查该进程是否已经持有该锁,如果没有,则将该进程加入到等待锁定的队列中,等待其他进程释放该锁。

内核锁对于实现应用程序的良好性能和可伸缩性至关重要.然而,内核同步原语通常是不可见的,并且是应用程序开发人员无法触及的。设计锁定算法并验证它们的正确性已经具有挑战性,而增加硬件的异构性使其更加具有挑战性。开发人员缺乏对锁正在操作的环境的认识,如优先级倒置和锁持有人优先等问题,本质上是缺乏上下文。

能否有一种方法能让用户空间的应用程序可以调优内核中的并发控制呢?

例如,用户可以对持有一组锁的特定任务或系统调用进行优先级排序。用户可以强制执行特定于硬件的策略,例如非对称多处理感知锁定,并且可以根据给定的工作负载决定对读写的优先级。如果允许开发人员调优内核中的各种锁,更改它们的参数和行为,甚至在不同的锁实现之间进行更改,或许可以进一步提升系统的性能。

软件堆栈专有化是提高应用程序性能的新方式,提出为了性能目的将代码推送到内核,通过避免增加内核数量瓶颈来提高应用程序的可伸缩性。随着时间的推移,即使是像Linux这样的宏内核,也已经开始允许用户空间的应用程序自定义内核行为。开发人员可以使用eBPF为跟踪、安全甚至性能目的定制内核。

除了eBPF,Linux的开发人员也在使用io_uring,一个在用户空间和内核之间的共享内存环缓冲区,以加快异步IO操作。此外,如今的应用程序可以完全在用户空间中处理按需分页。

应用程序来控制底层内核的并发机制,这为锁的设计者和应用程序开发人员提供了各种机会。

2. 锁:过去、现在和未来

硬件是决定锁的可伸缩性的主要因素,从而影响应用程序的可伸缩性。例如,对于基于队列的锁,当多个线程同时获得锁时,可以减少过多流量。同时,分层锁使用批处理来使高速缓存线抖动的问题最小化。

SHFLLock提出了一种通过解耦锁策略与实现来设计锁算法的新思想,实现较少的内核内存开销和性能下降。主要引入了一个shuffler程序的概念,它重新排序队列或修改等待线程的状态。尽管ShflLocks提供了一种强制执行策略的方法,但还可以试图将重点放在一组简单的锁获取/发布API上的通用策略上。为了迎合应用的需求,通过分析影响给定工作负载的特定内核锁,应用程序的开发人员应该以受控和安全的方式定义他们的策略,并动态地更新锁获取策略,使用shuffler执行政策。

3 典型场景:调度等待锁的线程

等待锁的线程可以以两种不同的方式进行调度:基于锁的获取顺序的获取感知调度,以及基于线程在关键段内花费的时间的占用感知调度。

3.1采集感知的调度

锁开关,使开发人员能够在各种锁的算法之间进行切换。有三种突出的情况:

从中性的读写器锁设计切换到每个cpu或基于numa的阅读器设计,以满足读密集型工作负载.例如,页面错误和枚举一个目录中的文件.另一种情况是从中立的读写锁切换到纯粹的写锁;一个例子是在一个目录中创建多个文件。

从基于Numa的锁设计切换到具有Numa感知的组合方法,其中锁持有人代表等待线程执行操作.这种方法具有更好的性能,因为它至少删除了一个高速缓存的传输。

之间的开关阻塞和非阻塞锁,反之亦然,例如,通过关闭SHFLLock的shuffler功能的停止/唤醒策略,将阻塞读切换为非阻塞读写锁(rwlock)。

这种方法带来了两个好处:首先,开发人员可以删除临时同步,例如使用非阻塞锁和使用等待事件实现停止/唤醒策略,这在Btrfs文件系统中是常用的。第二,允许开发人员通过动态地多路复用多个策略来统一锁的设计。

3.1.1 锁继承

一个进程可能会获取多个锁来执行一个操作。例如,Linux中的一个进程最多可以获得12个锁(例如,重命名操作),或者平均获得4个锁来执行内存或文件元数据管理操作。

不幸的是,这种锁的模式引发了基于队列的锁问题,一些线程必须等待更长的时间才能获得顶级锁,这是由另一个线程等待另一个锁。例如,假设线程t1想要获得两个锁,L1,然后L2作为一个操作,而t2只想收回L1的操作。由于这些锁定协议是基于fifo的,所以t1可能在队列的最后获得L2,而t2正在等待获得L1。开发人员可以为内核提供更多的上下文:要么是t1获取所有锁在一起,或t1声明它已经持有的锁,可以给它一个更高的优先级来获得下一个锁L2。

应用程序可能希望优先考虑系统调用路径或一组任务,以获得更好的性能。开发人员可以通过对任务优先级上下文进行编码,并将此信息传递给受影响的锁。对于系统调用,开发人员可以共享关于一组锁和关键路径上的优先级线程的信息。然后,shuffler程序将优先考虑这些线程,而不是等待指定应用程序的锁的其他线程。

3.1.2 公开调度程序的语义

通常,超额订阅硬件资源,如CPU或内存,可以得到更好的资源利用率,对于两个用户空间运行时系统,以及虚拟机。虽然超额订阅提高了硬件利用率,但它也引入了双重调度问题。系统监控程序可以安排一个vCPU作为锁持有人或VM中的下一个锁服务。管理程序可以将vCPU调度信息公开给shuffler程序,以根据服务的运行时间配额对其进行优先排序。

3.1.3 可适应的停止/唤醒策略

所有的封闭锁都遵循旋转后停车的策略,即它们在旋转一段时间后自己停车。这个旋转时间主要是特别的,也就是说,服务员要么根据时间配额旋转一定时间,要么在没有任务要执行的情况下继续旋转。现在,应用程序开发人员可以在分析关键部分的长度后公开时间上下文,以最小化能源消耗和唤醒信息,以按时安排下一个服务员,以最小化唤醒延迟。此外,开发人员可以进一步对睡眠信息进行编码,在锁定之前唤醒服务员,以减少长时间的唤醒延迟。该方法也适用于副虚拟化的自旋锁以避免护航效应.

3.2 占用调度

3.2.1 优先级继承

当持有锁的低优先级任务被正常优先级任务调度出去,等待同一锁时,就会发生优先级反转。在Linux IO堆栈中说明了这个问题:当调度IO请求时,一个想要获得一个锁的正常任务可以调度一个持有相同锁的较低优先级的后台任务。锁的调度即后台任务,导致IO性能下降。

3.2.2 任务公平的合作调度

这引入了一类新的问题,称为调度器颠覆问题,其中两个任务在不同的时间内获得锁。保持时间较长的任务颠覆了操作系统的调度目标。操作系统通过跟踪关键区域大小和惩罚长时间的任务来解决这个问题。尽管这个解决方案解决了这个问题,但即使对于可能不会从中受益的应用程序,它也加强了调度的公平性。

3.2.3 在非对称多核处理器(AMP)机器上的任务公平锁定

在一个处理器中具有不同的计算能力核心,这种体系结构上使用的基本锁原语存在一种调度程序颠覆问题,应用程序吞吐量可能由于较弱内核的计算能力较慢而崩溃。为了实现更快的进程,开发人员可以在更快的核心上分配关键锁,也可以重新排序等待获得锁的线程队列,以改进整个锁。

3.2.4 实时调度

与实时系统中的调度类似,应用程序开发人员可以创建锁策略,总是调度线程以保证SLO。在这里,锁可以设计为一个基于阶段公平的算法.这种方法还允许消除抖动,并保证延迟关键应用程序的尾部延迟的上限。

3.3 动态锁的分析

应用程序开发人员可以配置文件有关任何内核锁的信息。选择要配置的锁使开发人员能够在不同的粒度级别上配置。例如,它们可以配置在内核中运行的所有自旋锁、特定函数中的锁、代码路径或名称空间,甚至是单个锁实例。这种方法使应用程序开发人员受益,能够通过只分析感兴趣的部分来更好地理解底层同步。

开发者也可以对性能合约进行推理,基于各种shuffler策略甚至是一组策略提供的某些担保,这些性能合约会影响应用程序的性能。

4.一种内核锁的优化框架

重新定义内核锁所使用的决策和行为,并公开为API,用户定义的代码替换这些公开的API,用户可以根据自己的需要定制锁定功能。例如,在加入等待队列之前是否要旋转可以是一个API,这样用户就可以做出决定。用户首先编写自己的代码来根据用例修改内核中的锁协议,然后操作系统替换内核内部带注释的锁函数,流程示意如下:

6609f8de-097e-11ee-962d-dac502259ad0.jpg

用户指定了一个锁策略(1),eBPF验证者在编译后验证它,同时考虑到eBPF限制和互斥安全属性(2,3)。然后,验证者将通知用户验证结果(4),如果成功,则将编译后的eBPF代码存储在文件系统(5)中。最后,使用现场补丁模块替换指定锁(6)的注释函数。

4.1 API

各种API支持了锁策略的灵活实现,同时保障了安全,操作系统底层实现依赖于eBPF来修改内核锁。通过使用eBPF和锁API,为内核中的一组锁实例实现了所需的策略。一个用户可以编码多个策略,它被转换为原生代码,并由eBPF验证者进行安全检查。验证器在将本机代码加载到内核中之前执行符号执行,例如内存访问控制或只允许白名单的辅助函数。

662b2d38-097e-11ee-962d-dac502259ad0.jpg

4.2 安全性

除了eBPF验证器,ShflLocks有单独的锁获取阶段和一个重新排序等待队列的阶段。用户依赖API函数来比较当前节点和洗牌器节点与是否对当前节点进行重新排序,也可以设计调度器协同锁,通过对临界切片长度较小的节点进行优先级排序,从而降低对节点的优先级。

虽然不正确的用户实现可能会破坏公平性保证的策略,但是可以在运行时检查并确保互斥属性。此外,内核没有任何死锁问题,API不修改锁行为,只返回移动节点的决定。开发人员能够通过实现每个调用所需的行为,以细粒度的方式配置他们的锁。虽然不会改变锁函数的行为,但重量配置分析策略可能会增加关键部分的长度,从而导致性能下降。

此外,eBPF公开了链接多个eBPF程序的功能,用户可以使用这些程序来编写策略。最后,我们还依赖于现场调度的数据结构,用于修改锁定原语所使用的数据结构。例如,可以扩展基于队列的锁节点数据结构,并将额外的信息用于为特定的用例编码信息。在不执行用户空间代码的最坏情况下,动态修改锁算法可能会产生高达20%的开销。

4.3 组合策略

通过调优内核并发控制,应用程序可以对软件堆栈有更多的控制。应用程序开发人员提供了一组需要应用锁的策略。组合多个策略是一项困难的任务,特别是当某些策略可能发生冲突的时候。通过利用程序合成来自动化这个过程,或许可以将安全属性完全移动到用户空间中的验证,也可以提供一种安全的方式来组成相互冲突的策略。

用户不能添加太多的策略,因为它们的执行可能会落在关键路径上。允许一个特权用户修改内核锁,该模型仅适用于使用整个系统的一个用户。然而,为了处理云环境中的多租户,需要一个感知租户的策略编写器,它不违反用户之间的隔离。在用户空间中综合策略以避免此类冲突,并在锁算法中添加运行时检查,这些检查只在策略可以影响特定行为时使用。

除了锁之外,还有其他在内核中大量使用的同步机制,如RCU, seqlocks ,等待事件等扩展,将进一步允许应用程序提高其性能。也就是说,用户空间应用程序还有它们自己的、本质上是通用的锁。相比之下,现有的技术,如库插入,只允许在应用程序开始执行时对不同的锁实现进行一次更改。

5.小结

内核锁的同步原语对一些应用程序的性能和可伸缩性有巨大的影响,然而,控制内核同步原语对于应用程序开发人员来说是无法实现的。如果使用上下文并发控制,它允许用户空间应用程序微调内核并发原语。这是一种思考软件堆栈专有化的方法,在一定程度上加速了内核同步领域的创新。





审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 加速器
    +关注

    关注

    2

    文章

    797

    浏览量

    37840
  • 读写器
    +关注

    关注

    3

    文章

    656

    浏览量

    38842
  • FIFO存储
    +关注

    关注

    0

    文章

    103

    浏览量

    5968
  • LINUX内核
    +关注

    关注

    1

    文章

    316

    浏览量

    21644
  • rcu
    rcu
    +关注

    关注

    0

    文章

    21

    浏览量

    5446

原文标题:操作系统性能提升之内核锁优化

文章出处:【微信号:LinuxDev,微信公众号:Linux阅码场】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    Linux内核模块与应用程序的对比

    和系统调用的区别: 库函数是高层的,完全运行在用户空间,为程序员提供调用更方便的接口,而真正在幕后完成实际事务的是系统调用。系统调用在内核态运行并且由
    发表于 07-03 03:15

    用户空间内核通信方式是什么

    用户空间内核通信方式有哪些?系统调用,提供特定的用户空间内核
    发表于 12-20 08:06

    用户空间如何访问内核空间

    学习嵌入式系统就是学习用户编程API通过内核提供的服务实现相应的功能C语言程序设计:无os 语法!!1、Linux系统构成划分:用户空间
    发表于 12-27 06:15

    嵌入式VTL应用程序内核通讯的设计

    在嵌入式虚拟磁带库(VTL)的设计应用程序内核之间的通讯是一个核心问题。本文提出了基于共享磁盘和共享内存的应用程序内核之间的通讯方案
    发表于 05-25 15:24 14次下载

    操作系统内核中高效保护应用程序方法

    AppFort.针对现有方法的高开销问题,AppFort结合x86硬件机制(操作数地址长度)、内核代码完整性保护和内核控制流完整性保护,对不可信内核
    发表于 01-15 16:45 0次下载
    操作系统<b class='flag-5'>内核</b>中高效保护<b class='flag-5'>应用程序</b>的<b class='flag-5'>方法</b>

    高端内存的详解:linux用户空间内核空间

    Linux 操作系统和驱动程序运行在内核空间应用程序运行在用户空间,两者不能简单地使用指针传递
    发表于 04-28 17:33 984次阅读
    高端内存的详解:linux<b class='flag-5'>用户</b><b class='flag-5'>空间</b>与<b class='flag-5'>内核</b><b class='flag-5'>空间</b>

    需要了解linux内核空间用户空间的基本原理

    linux驱动程序一般工作在内核空间,但也可以工作在用户空间。下面我们将详细解析,什么是
    发表于 05-06 16:13 731次阅读

    如何通过多线程并发设计来提高应用程序的性能

    这里我们简单总结了一下,在现代多处理器或多内核环境下,如何通过多线程并发设计来提高我们应用程序的性能和响应性。
    的头像 发表于 09-28 02:13 5302次阅读

    Linux用户空间内核空间

    应用程序运行在用户空间,而Linux 驱动属于内核的一部分,因此驱动运行于内核空间。当我们在
    发表于 05-20 10:58 1029次阅读
    Linux<b class='flag-5'>用户</b><b class='flag-5'>空间</b>与<b class='flag-5'>内核</b><b class='flag-5'>空间</b>

    Linux系统为什么需要区分内核空间用户空间

    ,或叫线性地址空间)为 4G(2的32次方)。也就是说一个进程的最大地址空间为 4G。 操作系统的核心是内核(kernel),它独立于普通的应用程序
    的头像 发表于 10-14 14:38 3604次阅读
    Linux系统为什么需要区分<b class='flag-5'>内核</b><b class='flag-5'>空间</b>与<b class='flag-5'>用户</b><b class='flag-5'>空间</b>?

    以32位系统为例介绍内核空间用户空间

    4G(2的32次方)。也就是说一个进程的最大地址空间为 4G。 操作系统的核心是内核(kernel),它独立于普通的应用程序可以访问受保护的内存
    的头像 发表于 11-12 17:41 2992次阅读
    以32位系统为例介绍<b class='flag-5'>内核</b><b class='flag-5'>空间</b>和<b class='flag-5'>用户</b><b class='flag-5'>空间</b>

    javajvm有几种方法

    JVM是Java应用程序性能优化过程的重要步骤,它通过针对JVM进行优化来提高应用程序的性能和可靠性。JVM
    的头像 发表于 12-05 11:11 2110次阅读

    什么场景需要jvm

    JVM是指对Java虚拟机进行性能优化和资源管理,以提高应用程序的运行效率和吞吐量。JVM的场景有很多,下面将详细介绍各种不同的场景
    的头像 发表于 12-05 11:14 1431次阅读

    jvm参数

    JVM(Java虚拟机)是Java程序的运行环境,它负责解释Java字节码并执行相应的指令。为了提高应用程序的性能和稳定性,我们可以JV
    的头像 发表于 12-05 11:29 623次阅读

    jvm工具有哪些

    JVM是提高Java应用程序性能的重要手段,而JVM工具则是辅助开发人员进行
    的头像 发表于 12-05 11:44 1069次阅读