Linux 支持以下命名空间类型:
- Mount (CLONE_NEWNS;2.4.19,2002)
- UTS (CLONE_NEWUTS; 2.6.19,2006)
- IPC (CLONE_NEWIPC; 2.6.19,2006)
- PID (CLONE_NEWPID; 2.6.24,2008)
- Network(CLONE_NEWNET;2.6.29,2009)
- User (CLONE_NEWUSER;3.8,2013)
- Cgroup(CLONE_NEWCGROUP;4.6,2016)
命名空间 API 由三个系统调用(clone()、unshare()和setns())以及许多/proc文件组成。CLONE_NEW* 常量包括:
CLONE_NEWIPC,CLONE_NEWNS , CLONE_NEWNET , CLONE_NEWPID ,CLONE_NEWUSER和 CLONE_NEWUTS 。
int clone(int (*child_func)(void *), void *child_stack, int flags, void *arg);
有二十多个不同的CLONE_*标志 控制clone()操作的各个方面,包括父进程和子进程是否共享资源,例如虚拟内存、打开的文件描述符和信号配置。
如果在调用中指定了CLONE_NEW* 之一,则会创建相应类型的 新命名空间 ,并且新进程将成为该****命名空间的成员;可以在flags中指定多个 CLONE_NEW* 。
在本文中,我们将研究 clone系统调用的 PID 命名空间部分,以及内核如何组织 PID 命名空间的各种ID。本文分析基于内核版本 linux-5.15.60。
一、PID命名空间基本概念
PID命名空间隔离的全局资源是“进程ID编号”空间。这意味着“不同PID命名空间”中的进程可以具有“相同的进程ID”。PID命名空间用于“在主机系统之间迁移的容器”,同时保持容器内部进程的相同进程ID。
与传统Linux(或UNIX)系统上的进程一样,在PID命名空间中的进程ID是唯一的,并且从 PID 1开始按顺序分配。同样地,与传统Linux系统一样,PID 1——init进程是特殊的:它是在命名空间内创建的第一个进程,并且在命名空间内执行某些管理任务。
通过调用带有 CLONE_NEWPID 标志的clone()函数可以“创建一个新的PID命名空间”。我们将展示一个简单的示例程序,使用clone()函数创建一个新的PID命名空间,并使用该程序来解释PID命名空间的一些基本概念。
主程序使用clone()函数创建一个新的PID命名空间,并显示生成子进程的PID:
child_pid = clone(childFunc,
child_stack + STACK_SIZE, /* Points to start of downwardly growing stack */
CLONE_NEWPID | SIGCHLD, argv[1]);
printf("PID returned by clone(): %ldn", (long) child_pid);
新创建的子进程在childFunc()中开始执行,该函数接收clone()调用的最后一个参数(argv[1])作为它的参数。这个参数后面再解释。childFunc()函数显示由clone()创建的子进程的进程ID和父进程ID,并最后执行标准的sleep程序:
printf("childFunc(): PID = %ldn", (long) getpid());
printf("ChildFunc(): PPID = %ldn", (long) getppid());
...
execlp("sleep", "sleep", "1000", (char *) NULL);
当我们运行这个程序时,输出的前几行如下:
[root@haha demo]# ./pidns_init_sleep /proc30
PID returned by clone(): 25070
childFunc(): PID = 1
childFunc(): PPID = 0
Mounting
procfs at /proc30
前两行输出显示了从两个不同PID命名空间的角度来看子进程的PID:调用clone()的“调用者的命名空间”和“子进程所在的命名空间”。
换句话说,子进程有两个PID:在父命名空间中为 25070,在clone()调用创建的新PID命名空间中为1。下一行输出显示了子进程在所在PID命名空间中的父进程ID(即getppid()返回的值)。
父进程PID为0,展示了PID命名空间操作的一个小特殊情况。
正如我们后面详细介绍的那样,PID命名空间形成了一个层次结构:一个进程只能看到“自己所在的PID命名空间”和 嵌套在该PID命名空间下的“子命名空间中”的进程。
由于由clone()“创建的子进程的父进程”处于不同的命名空间中,子进程无法“看到”父进程;因此,getppid()将父进程PID报告为零。
要解释pidns_init_sleep的最后一行输出,我们需要回到一个我们在讨论childFunc()函数实现时跳过的代码片段。
在Linux系统上,每个进程都有一个特殊的目录路径"/proc/PID",其中PID表示进程的ID。这个目录包含了描述该进程的虚拟文件。
这个机制被称为PID命名空间模型。在一个PID命名空间中,只有属于该命名空间或其子命名空间的进程的信息会显示在对应的"/proc/PID"目录中。
[root@haha linux-5.15.60]# mount |grep "proc on /proc"
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
proc on /proc2 type proc (rw,relatime)
proc on /proc2 type proc (rw,relatime)
proc on /proc10 type proc (rw,relatime)
proc on /proc20 type proc (rw,relatime)
proc on /proc30 type proc (rw,relatime)
[root@haha linux-5.15.60]#
但是,要使与PID命名空间对应的"/proc/PID"目录可见,需要将proc文件系统挂载到该PID命名空间。我们可以在一个PID命名空间内的shell中,运行 mount命令来实现:
mount -t proc proc /mount_point
另外,也可以使用mount()系统调用来挂载procfs,我们程序的childFunc()函数就是这样的:
char *mount_point = arg;
if (mount_point != NULL) {
mkdir(mount_point, 0555); /* Create directory for mount point */
if (mount("proc", mount_point, "proc", 0,NULL) == -1)
errExit("mount");
printf("Mounting procfs at %sn", mount_point);
}
在我们的shell会话中,在/proc上挂载的procfs将显示父PID命名空间中可见的进程的PID子目录,而在/proc30 上挂载的procfs将显示驻留在子PID命名空间中的进程的PID子目录。
让我们回到运行pidns_init_sleep的shell会话。我们停止程序并使用ps命令在父命名空间的上下文中检查父进程和子进程的一些细节。
上述输出的最后一行中的"PPID"值(25069)显示“执行sleep的进程”的父进程是执行pidns_init_sleep的进程。
通过使用readlink命令来显示/proc/PID/ns/pid符号链接,我们可以看到这两个进程位于不同的PID命名空间中:
[root@haha demo]# readlink /proc/25069/ns/pid
pid:[4026531836]
[root@haha demo]# readlink /proc/25070/ns/pid
pid:[4026537948]
[root@haha demo]#
此时,我们还可以使用新挂载的procfs来获取有关新PID命名空间中进程的信息,从该命名空间的角度来看。首先,我们可以使用以下命令获取该命名空间中的PID列表:
[root@haha demo]# ls -d /proc30/[1-9]*
/proc30/1
如上所示,PID命名空间只包含一个进程,其PID(在该命名空间内)为1。我们还可以使用/proc/PID/status文件作为另一种方法,获取关于该进程的一些相同信息,就像我们之前在shell会话中看到的那样:
[root@haha demo]# cat /proc30/1/status | egrep '^(Name|PP*id)'
Name: sleep
Pid: 1
PPid: 0
[root@haha
demo]#
文件中的PPid字段为0,与getppid()报告子进程的父进程ID为0的事实相匹配。(子命名空间看不到父命名空间的进程)
二、嵌套的PID命名空间
如前所述,PID(进程标识符)命名空间以父子关系的层级嵌套方式存在。在一个PID命名空间内,可以看到同一命名空间中的所有其他进程,以及属于后代命名空间的所有进程。
在这里,“看到”意味着能够进行基于特定PID的系统调用(例如,使用kill()向进程发送信号)。子PID命名空间中的进程无法看到仅存在于父PID命名空间(或更远的祖先命名空间)中的进程。
一个进程在PID命名空间层级中的每一层都会有一个PID,从其所在的PID命名空间一直到根PID命名空间。调用getpid()始终报告与进程所在命名空间相关联的PID。
我们可以使用这里显示的程序(multi_pidns.c)来展示进程在每个可见的命名空间中具有不同的PID。为简洁起见,我们将简单地解释程序的功能,而不是逐行解析其代码。
该程序以嵌套PID命名空间中的子进程递归方式创建一系列子进程。在调用程序时指定的命令行参数确定要创建多少个子进程和PID命名空间:
./multi_pidns 5
除了创建一个新的子进程,每个递归步骤还在一个唯一命名的挂载点上挂载procfs文件系统。在递归的最后,最后一个子进程执行了sleep程序。上述命令行输出如下:
[root@haha demo]# ls -d /proc4/[1-9]*
/proc4/1 /proc4/2 /proc4/3 /proc4/4 /proc4/5
[root@haha demo]# ls -d /proc3/[1-9]*
/proc3/1 /proc3/2 /proc3/3 /proc3/4
[root@haha demo]# ls -d /proc2/[1-9]*
/proc2/1 /proc2/2 /proc2/3
[root@haha demo]# ls -d /proc1/[1-9]*
/proc1/1 /proc1/2
[root@haha demo]# ls -d /proc0/[1-9]*
/proc0/1
查看每个procfs中的PID,我们可以看到每个连续的procfs "级别"包含的PID越来越少,这也表示了每个PID命名空间只显示属于该PID命名空间或其后代命名空间的进程。
让我们看下在所有可见的命名空间中,递归结束时的PID:
[root@haha demo]# grep -H 'Name:.*sleep'/proc?/[1-9]*/status
/proc0/1/status:Name: sleep
/proc1/2/status:Name: sleep
/proc2/3/status:Name: sleep
/proc3/4/status:Name: sleep
/proc4/5/status:Name: sleep
[root@haha demo]#
换句话说,在最深层嵌套的 PID 命名空间 ( /proc0 ) 中,执行sleep的进程的 PID 为 1,而在创建的最顶层 PID 命名空间 ( /proc4 ) 中,该进程的 PID 为 5。
三、内核实现PID命名空间
要了解内核如何组织和管理进程ID,首先要知道进程ID 的类型:
内核中进程ID 的类型用 pid_type 来描述,它定义在 includelinuxpid.h 中
enum pid_type {
PIDTYPE_PID,
PIDTYPE_TGID,
PIDTYPE_PGID,
PIDTYPE_SID,
PIDTYPE_MAX,
};
- PID 是内核唯一区分每个进程的ID。使用 fork 或 clone 系统调用时生成的进程将被内核分配一个新的唯一 PID 值。
- TGID 是线程组ID。在一个进程中,如果使用 clone_THREAD 标志来调用 clone创建的进程,那么它就是该进程的一个线程(即轻量级进程,Linux没有严格的进程概念),它们在一个线程组中。同一线程组中所有进程都有相同的TGID,但由于是不同的进程,所以它们的PID不同;线程的领导者(也称为主线程)的TGID 与其 PID 相同。
- PGID 独立进程可以组成进程组(使用 setpgrp 系统调用),进程组可以简化向组内所有进程发送信号的操作。例如,通过管道连接的连接属于同一个进程组。进程组ID 称为 PGID。进程组中所有的进程都有相同的 PGID,等于组长的 PID。
- SID 可以将多个进程组组成一个会话组(使用 setsid 系统调用),可用于终端编程。会话组中所有进程都有相同的SID,该SID 存储在 task_struct 的 session 成员中。
PID命名空间的层级关系如下:有 4 个命名空间。父命名空间派生两个子命名空间,其中一个子命名空间派生另一个子命名空间。
由于每个命名空间是相互隔离的,所以每个命名空间可以有一个 PID 为1的进程。由于命名空间的层次性,父命名空间是知道子命名空间的存在的,所以子命名空间需要映射到父命名空间,
因此上图中 第 1 级 的两个两个子命名空间中的 6 个进程 都映射到 其父命名空间的 PID 号 5~ 10.
系统使用 struct task_struct 表示一个进程,进程中存储了全局ID 和 本地ID。
全局ID ---- 内核本身和初始命名空间中的唯一ID。 系统启动时 init 进程属于初始命名空间。全局ID 包括 pid_t pid 和 pid_t tgid 。默认情况下 pid_t 用 int 表示。
本地ID ---- 对于一个特定的命名空间来说,它在其命名空间中分配的ID就是本地ID。本地ID 用 struct pid * thread_pid 表示。
PID 数据结构
成员 tasks 是一个数组,每个数组项是一个哈希表头,对应一个ID 类型,因此一个ID 可用于多个进程(比如多个进程的进程组相同)。
struct upid {
int nr;// ID 的具体值
struct pid_namespace* ns;
};
struct pid {
refcount_t count;// 引用数, 一个PID 可能用于多个进程
unsigned int level;
spinlock_t lock;
/* lists of tasks that use this pid */
struct hlist_head tasks[PIDTYPE_MAX];
struct hlist_head inodes;
/* wait queue for pidfd notifications */
wait_queue_head_twait_pidfd;
struct rcu_head rcu;
struct upid numbers[1]; // 柔性数组,特定命名空间可见的信息, 数组大小为level
};
PID 命名空间结构
struct pid_namespace {
struct idr idr;
struct rcu_head rcu;
unsigned int pid_allocated; // 已分配多少个pid
struct task_struct* child_reaper; // 指向当前命名空间的 init 进程,每个命名空间都有一个相当于全局init进程的进程
struct kmem_cache* pid_cachep; // 指向分配pid 的slab地址
unsigned int level;// 当前命名空间的级别。初始命名空间的级别为0,其子命名空间级别为1,依次递增。
struct pid_namespace* parent; // 指向父命名空间
#ifdefCONFIG_BSD_PROCESS_ACCT
struct fs_pin* bacct;
#endif
struct user_namespace* user_ns;
struct ucounts* ucounts;
int reboot;/* group exit code if this pidns was rebooted */
struct ns_common ns;
} __randomize_layout;
假设一个进程组中有A、B 两个进程,且进程组组长为A,进程A 是在 2 级命名空间中创建的,它的pid为45 ,映射到1级命名空间,分配给它的pid为123;然后它被映射到级别 0 的命名空间,分配给它的 pid 是 27760。
进程A 创建了一个线程 A1, 那么 A, A1, B 的命名空间和进程的关系如下图所示:
- 进程 A 的成员 struct pid* thread_pid 是内核对进程标识符的内部表示方式。
- struct pid 以哈希链表的方式存储,可以通过数字pid值快速找到它和它所引用的进程。
- struct pid 保存了 嵌套的多个命名空间的指针 和 进程在此命名空间的进程标识符 nr。
- 命名空间使用基数树保存当前命名空间的 所有 struct pid,基数树的索引就是 进程在此命名空间的进程标识符。
最后有个问题:如何通过PID 快速找到 task_struct?
内核代码通过 find_task_by_vpid 来实现这个功能,其实通过上面这张图就可以得出结论,简单的步骤如下:
首先,通过 pid 和 命名空间nr,在基数树上找到对应的 struct pid;
然后,通过 pid_type 在 struct pid 找到对应的节点struct hlist_node;
最后,根据内核的 container_of 机制 和 struct hlist_node 可以找到 struct task_struct 结构体。
struct task_struct* find_task_by_vpid(pid_t vnr) {
return find_task_by_pid_ns(vnr,task_active_pid_ns(current));
}
struct task_struct* find_task_by_pid_ns(pid_t nr, struct pid_namespace* ns) {
RCU_LOCKDEP_WARN(!rcu_read_lock_held(), "find_task_by_pid_ns() needs rcu_read_lock() protection");
return pid_task(find_pid_ns(nr, ns),PIDTYPE_PID);
}
struct pid* find_pid_ns(int nr, struct pid_namespace* ns) {
return idr_find(&ns- >idr, nr);
}
struct task_struct* pid_task(struct pid* pid, enum pid_type type) {
struct task_struct* result = NULL;
if (pid)
{
structhlist_node* first;
first = rcu_dereference_check(hlist_first_rcu(&pid- >tasks[type]),
lockdep_tasklist_lock_is_held());
if (first)
result =hlist_entry(first, struct task_struct, pid_links[(type)]);
}
return result;
}
#define hlist_entry(ptr, type, member) container_of(ptr,type,member)
-
存储器
+关注
关注
38文章
7492浏览量
163850 -
Linux系统
+关注
关注
4文章
593浏览量
27403 -
PID控制
+关注
关注
10文章
460浏览量
40100
发布评论请先 登录
相关推荐
评论