0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

malloc在Linux上执行的是哪个系统调用

科技绿洲 来源:Linux开发架构之路 作者:Linux开发架构之路 2023-11-13 10:36 次阅读

malloc底层为什么是内存池

malloc大家都用过,其是库函数。我们都知道库函数在不同的操作系统中其实执行的是系统调用,那么malloc在Linux上执行的是哪个系统调用呢?

brk()和mmap(),至于为什么是两个,这跟ptmalloc内存池的分配策略有关,稍后介绍。

既然是系统调用,那么就必须处于内核态去处理,而系统内核态的进入往往又经过中断机制。

其大概来说是这么个经过:

1.保存用户当前栈esp和页ss

2.切换到内核态

3.根据中断号找到相应的处理函数

4.执行完后恢复栈esp和页ss

所以说,这个系统调用的开销是比较大的。看一下以下代码:

for(int i=0;i< 100000;i++)
{
	int* p = (int*)malloc(sizeof(int)); 
}

如果不采用内存池的设计,这个代码就会执行10w次系统调用,这无疑是非常大的开销。

ptmalloc的设计概念

Linux下的内存分配

刚刚说了malloc执行的是两个系统调用,分别是brk和mmap,那么这两个又有什么区别呢?

先来看看Linux下内存的一个布局:

图片

在这里我们可以着重关注两个区:heap(堆区) memory mapping(内存映射区)

为什么着重说他们两个呢?

因为与ptmalloc分配策略息息相关。

brk函数其实就是在heap分配空间,在ptmalloc的设计中有start_brk和brk两个标志,他们两个的差值标记着堆区的大小。一开始这两个值是相同的,但是随着ptmalloc去调用brk函数,brk标记不断向高地址区域偏移,标记着heap堆区被分配出去了。

mmap函数则是在memory mapping区域分配空间,memory mapping区域除了我们常知道的映射动态库对象或者文件,其空间还可以被mmap映射至物理内存。

分配区

分配区的概念是针对多线程来说的,当在多线程的条件下,一个进程会有一个一个主分配区和0至多个从分配区。为什么要这么设计呢?

主分配区和从分配区:
主分配区一个进程只能有一个,其是调用brk,从堆区去分配内存。
从分配区一个线程可以拥有多个从分配区,其调用mmap从memory mapping区域去分配一个sub-heap

因为内存是存在竞争的,为了线程安全,当一个线程在使用这个分配区的时候,其他线程不可访问,这个时候又不可能给这个线程挂起,挂起多线程存在的意义何在?

所以,ptmalloc这里的策略就是开辟一个新的分配区,这个新的分配区一定是从分配区。一般来说,从分配区的数量不会超过线程数。

而所有的分配区会被指针相连,形成一个环形链表,保证每个分配区都尽可能的被用到。

图片

chunk块是什么?

chunk块是ptmalloc中最基本的内存单元,ptmalloc把它组织成一个双向链表,每次分配都是从这个链表的尾部去取chunk块,用完了再把它插入到链表的头部。

图片

bins又是什么?

bins是ptmalloc用来维护chunk的一个数据结构,其和哈希思想十分相似。bins本身可以看成一个数组,这个数组总共有128个整型数据,每个整型数据叫bin,其中第1个整型数据表示unsorted bin,其是用来chunk复用或者释放策略实施的。从第2个bin到第64个bin统称为small bins,每个相邻的samll bin相差8,这个bin上代表的数据就是其维护的chunk中可用给用户的字节大小。从第65个开始到127个就属于large bins了,每个相邻的large bin相差64。

图片

Fast Bins

一般情况下,程序其实对小块内存是十分热衷的。当分配其刚刚合并了几块小的chunk之后,也许又有一个小块内存的需求,那么这个时候我又需要去切割chunk块,这想想就挺低效的。

所以ptmalloc的策略是维护一个Fast Bin,这个bin中维护小于等于64B的chunk。

当一个小于64B的chunk被释放后,首先会被放在Fast Bin中斌给不改变其标志位P,这样也就无法去合并这个chunk块。但是在一个特定的时候,ptmalloc会便利fast bins中的chunk块,合并相邻的空闲啊chunk块,并且将其添加到unsorted bin 中,然后加入到相应的bins中。

unsorted bin

unsorted bin的队列中使用bins数组的第一个,如果是释放的chunk大于64B,这个chunk就会被放在这里。

当分配的时候,优先去fast bins中去找,没有找到就去unsorted bin,如果这里也没找到,ptmalloc就会将unsorted bin中的代码加入bins中,然后去bins中找。

top chunk

并不是所有的chunk都是由bin去维护的,有三个例外情况:top chunk,mmaped chunk和last remainder(不讲)。

刚刚说了,从分配去会从memory mapping区域去分配一个sub-heap。在这个内存的最高处就会存在一个top chunk,当bins也不能满足用户需求的时候,才去这个top chunk去分配空间,如果top chunk也不够,那么再分配一个sub-heap,合并。

图片

mmaped chunk

如果top chunk也不能满足要求,那么ptmalloc就会使用mmap直接去将页映射到内存空间,这个chunk在被free的时候直接解除映射。

ptmalloc 的分配策略

  1. 获取分配区锁,加锁成功则使用该分配区分配内存,否则就遍历分配区的环形链表。如果链表中没有空闲的,就开辟一个新的分配区,把其加入线程私有实例并且加入到环形链表。
  2. 将用户请求的字节向上对齐到bins中的最近字节。
  3. 如果小于64B就在fast bin中分配内存,如果大于再去判断是否小于512B,如果小于就去small bin中分配大小,如果大于就说明此时分配的是大内存。
  4. 首先会将fast bin中的chunk进行合并,然后链接至unsorted bin,再将其链接到相应的bin中
  5. 然后去large bins中进行寻找,如果够用结束,不够下一步。
  6. 这个时候就需要判断top chunk是否够用,不够用下一步
  7. 有两种选择,判断分配的字节大小是否大于等于mmap分配阈值,如果小于根据分配区去选择brk还是mmap去增加top chunk的大小;如果大于就直接调用mmap去映射。

图片

ptmalloc 的内存释放策略

  1. 获取分配区的锁
  2. 判断free参数是否位nullptr,如果为nullptr则什么都不做
  3. 如果释放空间为mmaped chunk,直接使用munmap释放
  4. 如果size < 64B且不和top chunk相邻,放入fast bin
  5. 判断前一个块是否空闲,空闲则合并
  6. 判断下一个是否空闲,空闲则合并放入unsorted bin,然后放入相应的bin中
  7. 判读合并后是否大于64kb,如果大于fast bin中chunk进行合并,放入unsorted bin,然后下一步。
  8. 判读top chunk是否大于128kb,如果大于就会归还给操作系统。注意:如果为非主分配区,就只会归还一部部分。

图片

可以看到,只有当chunk前后合并之后大于64k才会进行堆收缩策略,但是实际上,这个条件比较难以触发,ptmalloc管理的内存是越分配越多的。

在这个时候,一般都会给项目配上自己相应的内存池。这个就是二级空间配置器。

SGI STL 二级空间配置器

SGI也实现了自己相应的内存池,称为二级空间配置器。而malloc所依赖的ptmalloc则是一级空间配置器。

SGI这里的策略是,对于大于128字节的数据,调用malloc进行分配,而小于的,则是在自己实现的内存池中进行分配。

这个自己实现的内存池,基本和ptmalloc中bin的思想一致。

但是这里有一点是要注意的,它不是从尾部分配,其每个bin的指针指向了下一个空闲的chunk,如果归还了,则使用链表的头插法。而在一开始,以8字节为例,他会分配20个chunk块,其中10个返回给用户使用,剩下10个备用。如果下次分配24字节,则会从备用的chunk中分出3*8=24,三个chunk块。

图片

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • Linux
    +关注

    关注

    87

    文章

    11219

    浏览量

    208879
  • 操作系统
    +关注

    关注

    37

    文章

    6727

    浏览量

    123182
  • 函数
    +关注

    关注

    3

    文章

    4303

    浏览量

    62411
  • 系统调用
    +关注

    关注

    0

    文章

    28

    浏览量

    8320
  • malloc
    +关注

    关注

    0

    文章

    52

    浏览量

    67
收藏 人收藏

    评论

    相关推荐

    Linux内核中系统调用详解

    Linux内核中设置了一组用于实现各种系统功能的子程序,称为系统调用。用户可以通过系统调用命令
    发表于 08-23 10:37 762次阅读
    <b class='flag-5'>Linux</b>内核中<b class='flag-5'>系统</b><b class='flag-5'>调用</b>详解

    添加Linux系统调用与利用QEMU测试

    添加Linux系统调用与利用QEMU测试
    发表于 10-01 12:19 667次阅读
    添加<b class='flag-5'>Linux</b><b class='flag-5'>系统</b><b class='flag-5'>调用</b>与利用QEMU测试

    C语言入门教程-malloc函数和free函数

    malloc函数和free函数 假设您的程序执行过程中需要分配一定量的内存。您可以随时调用malloc函数从堆中申请一块内存。
    发表于 07-29 11:58 4640次阅读

    基于linux系统实现的vivado调用VCS仿真教程

    linux系统实现vivado调用VCS仿真教程 作用:vivado调用VCS仿真可以加快工
    的头像 发表于 07-05 03:30 1.1w次阅读
    基于<b class='flag-5'>linux</b><b class='flag-5'>系统</b>实现的vivado<b class='flag-5'>调用</b>VCS仿真教程

    linux操作系统中如何截获系统调用

    分享到: 使用Linux Kernel Module的一般目的就是扩展系统的功能,或者给某些特殊的设备提供驱动等等。其实利用Linux内核模块我们还可以做一些比较黑客的事情,例如用来拦截系统
    发表于 11-07 09:58 0次下载

    通过实现一个简单的malloc来描述malloc背后的机制

    甚至把malloc当做操作系统所提供的系统调用或C的关键字。实际malloc只是C的标准库中
    的头像 发表于 01-27 23:30 4170次阅读
    通过实现一个简单的<b class='flag-5'>malloc</b>来描述<b class='flag-5'>malloc</b>背后的机制

    透了解系统调用助你成为Linux下编程高手

    Linux内核中设置了一组用于实现各种系统功能的子程序,称为系统调用。用户可以通过系统调用命令
    的头像 发表于 05-11 11:27 3411次阅读
    透了解<b class='flag-5'>系统</b><b class='flag-5'>调用</b>助你成为<b class='flag-5'>Linux</b>下编程高手

    Linux系统ELF程序的执行过程

    我们知道linux系统中可以通过诸如"./debug"方式执行一个程序,那么这个程序的执行过程中lin
    发表于 04-27 19:48 3449次阅读

    linux设备驱动模型一字符设备open系统调用流程

    Linux系统进程中,分为内核空间和用户空间,当一个任务(进程)执行系统调用而陷入内核代码中
    发表于 04-26 16:56 2561次阅读

    Linux系统调用的技巧

    ()展开,则用户程序必须包含该文 件。当进程执行到用户程序的系统调用命令时,实际执  行了由宏命令_syscallN()展开的函数。系统
    发表于 04-02 14:36 382次阅读

    如何区分xenomai、linux系统调用/服务

    对于同一个POSIX接口应用程序,可能既需要xenomai内核提供服务(xenomai 系统调用),又需要调用linux内核提供服务(linux
    的头像 发表于 05-10 10:28 2004次阅读

    Linux内核系统调用概述及实现原理

    本文介绍了系统调用的一些实现细节。首先分析了系统调用的意义,它们与库函数和应用程序接口(API)有怎样的关系。然后,我们考察了Linux内核
    的头像 发表于 05-14 14:11 2178次阅读
    <b class='flag-5'>Linux</b>内核<b class='flag-5'>系统</b><b class='flag-5'>调用</b>概述及实现原理

    Linux系统调用的具体实现原理

    文我将基于 ARM 体系结构角度,从 Linux 应用层例子到内核系统调用函数的整个过程来梳理一遍,讲清楚linux系统
    的头像 发表于 09-05 17:16 1061次阅读
    <b class='flag-5'>Linux</b><b class='flag-5'>系统</b><b class='flag-5'>调用</b>的具体实现原理

    Linux系统调用概述

    系统调用概述 计算机系统的各种硬件资源是有限的,现代多任务操作系统同时运行的多个进程都需要访
    的头像 发表于 11-09 10:27 514次阅读
    <b class='flag-5'>Linux</b><b class='flag-5'>系统</b><b class='flag-5'>调用</b>概述

    如何实现一个malloc

    甚至把malloc当做操作系统所提供的系统调用或C的关键字。实际malloc只是C的标准库中
    的头像 发表于 11-13 14:31 732次阅读
    如何实现一个<b class='flag-5'>malloc</b>