本文的开篇,我们先从 sysctl
这个命令开始。
sysctl 使用
sysctl
是一个 Linux 系统工具,后台实际上是 syscall,它允许用户查看和动态修改内核参数。
# 查看当前设置的所有内核参数 sysctl -a # 查看特定参数的值 sysctl net.ipv4.conf.all.forwarding # 临时修改内核参数 sysctl net.ipv4.conf.all.forwarding=1 # 重新加载配置文件,默认是 /etc/sysctl.conf sysctl -p
修改 sysctl
的三种方式:
1)sysctl
命令直接修改(重启后失效)
2)echo 1 > /proc/sys/net/ipv4/ip_forward
(重启后失效)
3)vim /etc/sysctl.conf
,手动加入,sysctl -p
重新加载(永久生效)
到这里,实际上可以给出一个结论:这几种方式,在原理上,都直接或间接更改了 Linux 中 /proc 文件系统下面的 /proc/sys/net/ipv4/ip_forward
文件。
那么,/proc 文件系统下的文件是如何影响到内核参数的?我们以 ip_forward
参数为例,来追踪一下。
ip_forward 参数
这个参数是内核 ip 报文转发开关。
这个参数有 2 个开关(ipv4 为例,ipv6 同理):
1 - /proc/sys/net/ipv4/ip_forward 2 - /proc/sys/net/ipv4/conf/=={all/default/enp8s0}==/forwarding
有几条规则:
1)/proc/sys/net/ipv4/ip_forward
等价于 /proc/sys/net/ipv4/conf/all/forwarding
。
可以验证,设置 sysctl net.ipv4.conf.all.forwarding=1
后,查看这两个值:
2)实际真正控制网卡启用 ip 转发的,是网卡对应的 forwarding 参数:/proc/sys/net/ipv4/conf/enp8s0/forwarding
。
3)对于新创建的网卡设备,会启用 default/forwarding 参数来配置:/proc/sys/net/ipv4/conf/default/forwarding
。
4)conf/all/forwarding
可以配置当前所有设备,例如将 all 参数配置从 0 修改为 1,则包括 default 在内的所有 forwarding 配置都将被改成 1。要注意的是 all 配置只有在值被修改时才有效,重复写入 all 当前值不会对其他 forwarding 配置产生任何影响。
5)all/forwarding
配置只对当前 net namespace 生效,每个 netns 有自己的独立配置。
ipforward 参数如何影响 ip 转发?
关键内核函数在 ip_route_input_slow()
。<以下内核版本为 4.18>
这个函数中,会根据当前网络设备 in_dev 的 forwarding 参数,来决定是继续转发,还是跳转到 ip_error。
内核通过一个宏定义 IN_DEV_FORWARD(in_dev)
来判断设备 in_dev
是否开启了转发属性。
这个宏定义在 include/linux/inetdevice.h
文件中,指向了一个 IN_DEV_CONF_GET()
宏。后者继续指向了一个 ipv4_devconf_get()
函数。
在同文件中,ipv4_devconf_get()
函数给出了以下定义:
实际上是获取了这个网络设备 in_dev
的 cnf
结构体成员的 data
数组。传入的 index
实际上是字符串 IPV4_DEVCONF_
和 FORWARDING
的拼接。
我们来看一下这个 data
数组的结构:
在 include/uapi/linux/ip.h
中,定义了 ipv4_devconf
结构体的 data
变量 index
:
最后,总结来看,内核是通过 IN_DEV_CONF_GET
宏来获取网卡设备的 forward 参数的。
pforward 参数如何被设置的
首先,我们都知道,/proc/sys
目录实际上是一个虚拟文件系统,里面保存了实时生效的内核参数。这个机制允许我们实时查看和修改内核的参数,从而影响系统的运行行为。
和 ipv4 网络相关的参数位于 /proc/sys/net/ipv4
目录下, 如下(5.10 内核):
如何修改?上文已经说了,可以通过直接 echo,或者 sysctl 系统调用,亦或修改 /etc/sysctl.conf
配置文件,即可在不同的级别使他们生效。
/proc/sys/net/ipv4
目录下保存着很多全局变量,例如全局的 ip_forward
。和具体网卡设备相关的变量保存在了其子目录 conf/ 下。
内核中的 ctl_table
其中,每一个目录代表当前系统的一个网络设备。当一个新的网络设备被注册或除名时,该目录下也会随之调整。
在内核中,/proc/sys/
中的文件和目录都是以 ctl_table
结构定义的。下面是 devinet.c
文件中对于 /proc/sys/net/ipv4/ip_forward
这个变量的定义。
其中关键字段的含义为:
const char* procname; // 参数文件名 void* data; // 参数文件值 int maxlen; // 参数大小 mode_t mode; // 文件或目录权限 proc_handler* proc_handler // 处理读写请求的回调函数
具体解释为:当前文件名为“ip_forward”;参数值绑定为ipv4_devconf
的data[0]
的位置;644 代表root可读写,其他只读;最后,为这个参数文件绑定了一个读写回调函数 devinet_sysctl_forward
。
目录定义的 ctl_table 和文件的不太一样,多了个 child 字段:
{ .procname = "dev", .mode = 0555, .child = dev_table, }
/proc/sys/net/ipv4/ip_forward 如何被创建的?
上一节我们了解了,例如 /proc/sys/net/ipv4/ip_forward
文件,在内核中实际上是一个 ctl_table
结构。
ctl_table
的创建,在 fs/proc/proc_sysctl.c
文件的 __register_sysctl_table()
中完成。其函数注释如下:
/** * __register_sysctl_table - register a leaf sysctl table * @set: Sysctl tree to register on * @path: The path to the directory the sysctl table is in. * @table: the top-level table structure * * Register a sysctl table hierarchy. @table should be a filled in ctl_table * array. A completely 0 filled entry terminates the table. */ struct ctl_table_header *__register_sysctl_table( struct ctl_table_set *set, const char *path, struct ctl_table *table ) {...}
该函数的操作过程大体可以概述为:
- 寻找
ctl_table
合适的目录, - 然后将其插入。
关于这个函数,本文不再赘述了,可以去相关文件中详细了解。下面我们来看 /proc/sys/net/ipv4/ip_forward
的创建过程。
网络设备初始化函数 devinet_init
执行时,将调用 register_pernet_subsys
函数,传入 devinet_ops
结构,并执行其 init 函数。devinet_ops
结构体绑定了 init 和 exit 两个函数,其 init 函数为 devinet_init_net
。当他最终被调用执行时,会依次唤起 __devnet_sysctl_register()
和 register_net_sysctl()
分别创建 all/
、default/
以及 net/ipv4/
三个目录。如下图。
实际上,__devnet_sysctl_register()
最终调用的也是 register_net_sysctl()
函数,完成 sysctl 目录的注册。
register_net_sysctl()
函数在 sysctl_net.c
文件中最终调用 __register_sysctl_table()
接口真正去注册一个 sysctl table 子项。
/proc/sys/net/ipv4/ip_forward 如何被读写?
我们再回到 ctl_table
的结构定义:
其中一个非常重要的函数 devinet_sysctl_forward()
就是 ctl_table
结构的读写回调函数。也就是说,当 /proc/sys/net/ipv4/ip_forward
文件被读或写时,会触发这个函数的调用。
我们来详细看一下这个函数的实现:
devinet_sysctl_forward()
接收几个参数,重要的,write
表示当前操作:1 代表写,0 代表读;后面几个代表用户空间缓冲区,用于传递数据(buffer:缓冲区地址,lenp:缓冲区大小,ppos:文件偏移量)。
/proc/sys/net/ipv4/ip_forward
内核变量类型为一个整数,因此其默认的读写函数为 proc_dointvec()
。类似的,字符串内核变量读写函数为 proc_dostring()
,整数数组读写函数为 proc_dointvec_jiffies()
等等。这些函数的具体定义在 kernel/sysctl.c
中,如下:
在写入 ip_forward
变量时,不仅仅要调用 proc_dointvec()
来写入具体 proc 文件,还需要写入所有网卡设备 cnf 的 data 数组,我们在上文中给出了这部分的接口和介绍。
具体流程详见上面的伪代码,当写入 ip_forward
变量时,最终会遍历所有网卡设备,并调用 IN_DEV_CONF_SET()
宏执行写入操作。
总结:网卡设备配置参数
网卡设备的结构体 in_device
中有一个配置属性 ipv4_devconf
,后者的结构中定义了一个 data[]
数组,里面存储了当前网卡的配置参数实际值。
内核中读写这个 data[]
数组,一般会用到 IN_DEV_CONF_GET()
和 IN_DEV_CONF_SET()
。
如何在 proc/sys/net/ 中自定义一个参数文件?
我们来实战一下,从现在起,下文基于 kos5.8,kernel-5.10.134。
题目,通过编写一个内核模块,实现以下功能:
1)该模块加载时,在 /proc/sys/net/ 目录下创建一个文件 flag,卸载时该文件也随之移除。
2)flag 作为一个内核参数,其参数类型为 int,所有用户可对其读写。
3)当 flag 参数被写入时,向 messages 中打印一条日志。
代码样例:
#include <linux/module.h> #include <linux/kernel.h> #include <linux/init.h> #include <linux/sysctl.h> #include <linux/proc_fs.h> static int flag = 0; // 用于存储 flag 的值 // 自定义的 proc_handler 函数 static int flag_handler(struct ctl_table *table, int write, void __user *buffer, size_t *lenp, loff_t *ppos) { int ret; loff_t pos = *ppos; // 使用 proc_dointvec 处理实际的读取/写入操作 ret = proc_dointvec(table, write, buffer, lenp, ppos); // 当执行写操作时 if (write) { // 打印日志,指示写操作发生 printk(KERN_INFO "Writing to /proc/sys/net/flag, new value: %sn", (char *)buffer); } return ret; } // 定义 sysctl 的控制表 static struct ctl_table sysctl_table[] = { { .procname = "flag", // 创建的 sysctl 路径 .data = &flag, // 要处理的内核变量 .maxlen = sizeof(flag), // 数据的最大长度 .mode = 0666, // 权限设置 .proc_handler = flag_handler, // 使用自定义的 proc_handler }, { } // 结束符 }; // 定义 sysctl 目录 static struct ctl_table_header *header; static int __init proc_flag_init(void) { printk(KERN_INFO "Initializing proc_flag_sysctl module...n"); // 使用 register_sysctl 创建 proc 文件 header = register_sysctl("net", sysctl_table); // 在 /proc/sys/net/ 目录下创建 flag 文件 if (!header) { printk(KERN_ERR "Unable to register sysctl tablen"); return -ENOMEM; } printk(KERN_INFO "Proc file /proc/sys/net/flag created successfullyn"); return 0; } static void __exit proc_flag_exit(void) { // 卸载 sysctl 表 unregister_sysctl_table(header); printk(KERN_INFO "Sysctl table for /proc/sys/net/flag removedn"); } module_init(proc_flag_init); module_exit(proc_flag_exit); MODULE_LICENSE("GPL"); MODULE_AUTHOR("Hong"); MODULE_DESCRIPTION("A simple kernel module for flag using custom handler and sysctl");