如何在Linux下使用TC优雅的实现网络限流

1. Linux 下的流量控制原理

通过对包的排队，我们可以控制数据包的发送方式。这种控制，称之为数据整形，shape the data，包括对数据的以下操作:

增加延时

丢包

重新排列

重复、损坏

速率控制

在 qdisc-class-filter 结构下，对流量进行控制需要进行三个步骤:

创建 qdisc 队列

上面提到 Linux 是通过包的排队进行流量的控制，那么首先得有一个队列。

创建 class 分类

class 实际上，就是划分流量策略分类。比如划分两档流量限速 10MBps、20MBbs。

创建 filter 过滤

虽然创建了 class 分类，但是并没有将任何的 IP、Port 绑定到 class 上，此时并不会有控制作用。还需要创建 filter 将指定的 IP、Port 绑定到 class 上，才能使流量控制 class 生效于资源。

TC 是 Linux 下提供的流量控制工具，也是 Cilium/eBPF 等网络组件的核心基础设施之一。

2. 限制指定 IP、Port 对本机的访问速度

2.1 查看网卡

ifconfig

eth0:flags=4163mtu1500
inet1.1.1.1netmask255.255.254.0broadcast1.1.1.1
inet61:11prefixlen64scopeid0x20
ether111:1txqueuelen1000(Ethernet)
RXpackets2980910bytes2662352343(2.4GiB)
RXerrors0dropped0overruns0frame0
TXpackets1475969bytes122254809(116.5MiB)
TXerrors0dropped0overruns0carrier0collisions0

2.2 配置 qdisc-class-filter

创建 qdisc 根队列

tcqdiscadddeveth0roothandle1:htbdefault1

创建第一级 class 绑定所有带宽资源

注意这里的单位是 6 MBps，也就是 48 Mbps。

tcclassadddeveth0parent1:0classid1:1htbrate6MBpsburst15k

创建子分类 class

可以创建多个子分类，对资源的流量进行精细化管理。

tcclassadddeveth0parent1:1classid1:10htbrate6MBpsceil10MBpsburst15k

这里 ceil 设置的是上限，正常情况下限速为 6MBps，但网络空闲时，可以达到 10 MBps。

创建过滤器 filter，限制 IP

tcfilteradddeveth0protocolipparent1:0prio1u32matchipdst1.2.3.3flowid1:10

这里对 1.2.3.4 进行限制带宽为 1:10，也就是 6MBps。当然，你也可以直接给网段 1.2.0.0/16 加 class 策略。

2.3 查看并清理配置

查看 class 配置

tcclassshowdeveth0

classhtb1:10parent1:1leaf10:prio0rate48Mbitceil80Mbitburst15Kbcburst1600b
classhtb1:1rootrate48Mbitceil48Mbitburst15Kbcburst1590b

查看 filter 配置

tcfiltershowdeveth0

filterparent1:protocolippref1u32chain0
filterparent1:protocolippref1u32chain0fh800:htdivisor1
filterparent1:protocolippref1u32chain0fh800::800order2048keyht800bkt0flowid1:10not_in_hw
match01020303/ffffffffat16

清理全部配置

tcqdiscdeldeveth0root

3. 限制本机对指定 IP、Port 的访问速度

由于排队规则主要是基于出口方向，不能对入口方向的流量（Ingress）进行限制。因此，我们需要将流量重定向到 ifb 设备上，再对 ifb 的出口流量（Egress）进行限制，以最终达到控制的目的。

3.1 启用虚拟网卡

将在 ifb 设备

modprobeifbnumifbs=1

启用 ifb0 虚拟设备

iplinksetdevifb0up

3.2 配置 qdisc-class-filter

添加 qdisc

tcqdiscadddeveth0handleffff:ingress

重定向网卡流量到 ifb0

tcfilteradddeveth0parentffff:protocolipu32matchu3200actionmirredegressredirectdevifb0

添加 class 和 filter

tcqdiscadddevifb0roothandle1:htbdefault10
tcclassadddevifb0parent1:0classid1:1htbrate6Mbps
tcclassadddevifb0parent1:1classid1:10htbrate6Mbps
tcfilteradddevifb0parent1:0protocolipprio16u32matchipdst1.2.3.4flowid1:10

3.3 查看并清理配置

下面是限速本机对指定 IP 访问的监控图

进入的流量被限制在 6 MBps 以下，而出去的流量不被限制。

查看 class 配置

tcclassshowdevifb0

classhtb1:10parent1:1prio0rate48Mbitceil48Mbitburst1590bcburst1590b
classhtb1:1rootrate48Mbitceil48Mbitburst1590bcburst1590b

查看 filter 配置

tcfiltershowdevifb0

filterparent1:protocolippref16u32chain0
filterparent1:protocolippref16u32chain0fh800:htdivisor1
filterparent1:protocolippref16u32chain0fh800::800order2048keyht800bkt0flowid1:10not_in_hw
match01020304/ffffffffat16

清理全部配置

tcqdiscdeldeveth0ingress
tcqdiscdeldevifb0root
modprobe-rifb

审核编辑：汤梓红