探索Linux内核:Kconfig的秘密

深入了解Linux配置/构建系统是如何工作的。

自从Linux内核代码迁移到Git之后,Linux内核配置/构建系统(也称为Kconfig/kBuild)已经存在了很长时间。然而,作为支持基础设施,它很少受到关注;即使在日常工作中使用它的内核开发人员也从未真正考虑过它。

为了探索Linux内核是如何编译的,本文将深入研究Kconfig/kBuild内部进程,解释.config文件和vmlinux/bzImage文件是如何生成的,并介绍一个用于依赖性跟踪的智能技巧。

Kconfig

构建内核的第一步总是配置。Kconfig帮助使Linux内核高度模块化和可定制。Kconfig为用户提供了许多配置目标:

config 使用面向行的程序更新当前配置
nconfig 使用基于ncurses菜单的程序更新当前配置
menuconfig 使用基于菜单的程序更新当前配置
xconfig 利用基于qt的前端更新当前配置
gconfig 利用基于GTK+的前端更新当前配置
oldconfig 使用提供的.config作为基础更新当前配置
localmodconfig 更新未加载的当前配置禁用模块
localyesconfig 更新当前配置,将本地MODS转换为核心
defconfig 从Arch提供的Defconfig中获得默认配置的新配置
Savedefconfig 将当前配置保存为./defconfig(最小配置)
allnoconfig 使用“no”回答所有选项的新配置
allyesconfig 新配置,在该配置中,所有选项都以“是”接受
allmodconfig 在可能的情况下选择新的配置模块
alldefconfig 将所有符号设置为默认值的新配置
randconfig 具有对所有选项的随机答案的新配置
listnewconfig 列出新选项
olddefconfig 与oldconfig相同,但在不提示的情况下将新符号设置为默认值
kvmconfig 为kvm客户端内核支持启用其他选项
xenconfig 启用Xen dom0和来宾内核支持的其他选项
tinyconfig 配置尽可能小的内核

我认为menuconfig是这些目标中最受欢迎的。目标由不同的主机程序进行处理,这些程序由内核提供,并在内核构建过程中生成。一些目标有一个GUI(为了用户的方便),而大多数没有。与kconfig相关的工具和源代码主要位于scripts/kconfig/在内核源代码中。我们可以从scripts/kconfig/makefile,有几个主机程序,包括CONF, mconf,和nconf。除了CONF,它们每个都负责基于GUI的配置目标之一,因此,CONF和他们中的大多数人打交道。

从逻辑上讲,Kconfig的基础结构有两个部分:一个实现了新语言要定义配置项(请参阅内核源代码下的Kconfig文件),而其他配置项则解析Kconfig语言并处理配置操作。

大多数配置目标的内部流程大致相同(如下所示):

注意,所有配置项都有一个默认值。

第一步读取源根下的Kconfig文件以构造初始配置数据库;然后根据此优先级读取现有配置文件来更新初始数据库:

  • .config
  • /lib/Module/$(shell,uname-r)/.config
  • /etc/kernel-config
  • /boot/config-$(shell,uname-r)
  • ARCH_DEFCONFIG
  • ARCH/$(ARCH)/Defconfig

如果您正在进行基于GUI的配置,则通过menuconfig或基于命令行的配置oldconfig,数据库将根据您的自定义进行更新。最后,将配置数据库转储到.config文件中。

但是.config文件不是内核构建的最终素材;这就是为什么syncconfig目标存在。syncconfig以前是一个名为silentoldconfig,但是它不像旧名字说的那样,所以它被重命名了。此外,由于它是内部使用(而不是为用户),它被从列表中删除。

下面是一个例子syncconfig作用:

syncconfig接受.config作为输入并输出许多其他文件,这些文件分为三类:

auto.conf & tristate.conf用于生成文件文本处理。例如,您可能在组件的makefile中看到这样的语句:

obj-$(CONFIG_GENERIC_CALIBRATE_DELAY) += calibrate.o

autoconf.h在C语言源文件中使用。

空头文件include/config/用于在kbuild期间进行配置依赖项跟踪,下面将对此进行解释。

配置之后,我们将知道哪些文件和代码段没有编译。

KBuild

组件式建筑,称为递归制作,是GNU的一种常见方式。制作,使管理一个大型项目。KBuild是递归make的一个很好的例子。通过将源文件划分为不同的模块/组件,每个组件都由自己的Makefile管理。当您开始构建时,顶级Makefile按正确的顺序调用每个组件的makefile,构建组件,并将它们收集到最终的执行程序中。

KBuild指的是不同类型的makefile:

  • Makefile位于源根中的顶部makefile。
  • .config是内核配置文件。
  • ARCH/$(ARCH)/Makefile是拱形Makefile,这是对顶部makefile的补充。
  • scripts/Makefile*描述所有kbuild makefile的通用规则。
  • 最后,大约有500个Kbuildmakefiles.

顶部的makefile包含archmakefile,读取.config文件,进入子目录,调用制作,使中定义的例程的帮助下实现每个组件的makefile。scripts/Makefile*,构建每个中间对象,并将所有中间对象链接到vmlinux。核心文件Documentation/kbuild/makefiles.txt描述这些制作文件的所有方面。

例如,让我们看看在x86-64上如何生成vmlinux:

(插图是根据理查德·Y·史蒂文(Richard Y.Steven)的博客。经提交人许可后予以更新和使用。

所有.o进入vmlinux的文件首先进入它们自己的built-in.a,这是通过变量表示的。KBUILD_VMLINUX_INIT, KBUILD_VMLINUX_Main, KBUILD_VMLINUX_LIBS,然后收集到vmlinux文件中。

看看如何在Linux内核中实现递归make,并借助简化的Makefile代码:

# In top Makefile
vmlinux: scripts/link-vmlinux.sh $(vmlinux-deps)
        +$(call if_changed,link-vmlinux)
# Variable assignments
vmlinux-deps := $(KBUILD_LDS) $(KBUILD_VMLINUX_INIT) $(KBUILD_VMLINUX_MAIN) $(KBUILD_VMLINUX_LIBS)
export KBUILD_VMLINUX_INIT := $(head-y) $(init-y)
export KBUILD_VMLINUX_MAIN := $(core-y) $(libs-y2) $(drivers-y) $(net-y) $(virt-y)
export KBUILD_VMLINUX_LIBS := $(libs-y1)
export KBUILD_LDS     := arch/$(SRCARCH)/kernel/vmlinux.lds
init-y     := init/
drivers-y    := drivers/ sound/ firmware/
net-y      := net/
libs-y     := lib/
core-y     := usr/
virt-y     := virt/
# Transform to corresponding built-in.a
init-y     := $(patsubst %/, %/built-in.a, $(init-y))
core-y     := $(patsubst %/, %/built-in.a, $(core-y))
drivers-y    := $(patsubst %/, %/built-in.a, $(drivers-y))
net-y      := $(patsubst %/, %/built-in.a, $(net-y))
libs-y1     := $(patsubst %/, %/lib.a, $(libs-y))
libs-y2     := $(patsubst %/, %/built-in.a, $(filter-out %.a, $(libs-y)))
virt-y     := $(patsubst %/, %/built-in.a, $(virt-y))
# Setup the dependency. vmlinux-deps are all intermediate objects, vmlinux-dirs
# are phony targets, so every time comes to this rule, the recipe of vmlinux-dirs
# will be executed. Refer "4.6 Phony Targets" of `info make`
$(sort $(vmlinux-deps)): $(vmlinux-dirs) ;
# Variable vmlinux-dirs is the directory part of each built-in.a
vmlinux-dirs  := $(patsubst %/,%,$(filter %/, $(init-y) $(init-m) \
           $(core-y) $(core-m) $(drivers-y) $(drivers-m) \
           $(net-y) $(net-m) $(libs-y) $(libs-m) $(virt-y)))
# The entry of recursive make
$(vmlinux-dirs):
        $(Q)$(MAKE) $(build)=$@ need-builtin=1

递归的配方扩展,例如:

make -f scripts/Makefile.build obj=init need-builtin=1

这意味着make将进入scripts/Makefile.build继续建造每一个built-in.a。在.的帮助下scripts/link-vmlinux.sh,vmlinux文件最终位于源根下。

理解vmlinux与bzImage

许多Linux内核开发人员可能不清楚vmlinux和bzImage之间的关系。例如,以下是它们在x86-64中的关系:

源根vmlinux被剥离、压缩、放入piggy.S,然后将其他对等对象链接到arch/x86/boot/compressed/vmlinux。同时,下面生成一个名为setup.bin的文件arch/x86/boot。可能有一个包含重定位信息的可选的第三个文件,具体取决于config_x86_RELOCS.

一个名为build由内核提供,将这两个(或三个)部分构建到最终的bzImage文件中。

依赖跟踪

KBuild跟踪三种依赖关系:

  1. 所有的前提文件(*.c和*.h)
  2. CONFIG_在所有先决条件文件中使用的选项
  3. 用于编译目标的命令行依赖关系。

第一个很容易理解,但是第二个和第三个呢?内核开发人员经常看到这样的代码片段:

#ifdef CONFIG_SMP
__boot_cpu_id = cpu;
#endif

什么时候CONFIG_SMP更改后,这段代码应该重新编译。编译源文件的命令行也很重要,因为不同的命令行可能导致不同的对象文件。

当.C文件通过#include指令,您需要编写这样的规则:

main.o: defs.h
recipe...

在管理一个大型项目时,您需要很多这样的规则;所有这些规则都会乏味。幸运的是,大多数现代C编译器可以通过查看#include源文件中的行。对于GNU编译器集合(GCC),只需添加一个命令行参数:-MD depfile

# In scripts/Makefile.lib
c_flags    = -Wp,-MD,$(depfile) $(NOSTDINC_FLAGS) $(LINUXINCLUDE)   \
         -include $(srctree)/include/linux/compiler_types.h    \
         $(__c_flags) $(modkern_cflags)              \
         $(basename_flags) $(modname_flags)

这将生成一个.D文件的内容如下:

init_task.o: init/init_task.c include/linux/kconfig.h \
include/generated/autoconf.h include/linux/init_task.h \
include/linux/rcupdate.h include/linux/types.h \
...

然后主机程序fixdep通过获取其他两个依赖项来处理其他两个依赖项。depfile命令行作为输入,然后以makefile语法输出.cmd文件,它记录目标的命令行和所有先决条件(包括配置)。看起来是这样的:

# The command line used to compile the target
cmd_init/init_task.o := gcc -Wp,-MD,init/.init_task.o.d -nostdinc ...
...
# The dependency files
deps_init/init_task.o := \
$(wildcard include/config/posix/timers.h) \
$(wildcard include/config/arch/task/struct/on/stack.h) \
$(wildcard include/config/thread/info/in/task.h) \
...
 include/uapi/linux/types.h \
 arch/x86/include/uapi/asm/types.h \
 include/uapi/asm-generic/types.h \
...

在递归生成过程中将包含一个.cmd文件,提供所有依赖项信息,并帮助决定是否重新构建目标。

这背后的秘密是,Fixdep将解析depfile(.d文件),然后解析其中的所有依赖文件,搜索所有config_string的文本,将它们转换为相应的空头文件,并将它们添加到目标的先决条件中。每次配置更改时,相应的空头文件也将被更新,因此kbuild可以检测到该更改并重新构建依赖于它的目标。因为还记录了命令行,所以很容易比较最后的编译参数和当前的编译参数。

展望未来

Kconfig/kbuild很长一段时间没有变化,直到新的维护者山田正一郎(Masahiro Yamada)在2017年初加入,现在KBuild又在积极发展。如果你很快看到了与本文不同的东西,不要感到惊讶。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对我们的支持。如果你想了解更多相关内容请查看下面相关链接

(0)

相关推荐

  • 浅谈安装ORACLE时在Linux上设置内核参数的含义

    前两天看到一篇Redhat官方的Oracle安装文档,对于Linux内核参数的修改描述的非常清晰. 安装Oracle之前,除了检查操作系统的硬件和软件是否满足安装需要之外,一个重点就是修改内核参数,其中最主要的是和内存相关的参数设置. SHMMAX参数:Linux进程可以分配的单独共享内存段的最大值.一般设置为内存总大小的一半.这个值的设置应该大于SGA_MAX_TARGET或MEMORY_MAX_TARGET的值,因此对于安装Oracle数据库的系统,shmmax的值应该比内存的二分之一大一些

  • 详解Linux内核进程调度函数schedule()的触发和执行时机

    内核的调度操作分为触发和执行两个部分,触发时仅仅设置一下当前进程的TIF_NEED_RESCHED标志,执行的时候则是通过schedule()函数来完成进程的选择和切换.当前进程的thread_info->flags中TIF_NEED_RESCHED位表示需要调用schedule()函数进行调度.内核在两种情况下会设置该标志,一个是在时钟中断进行周期性的检查时,另一个是在被唤醒进程的优先级比正在运行的进程的优先级高时. 周期性地更新当前任务的状态时: 定时中断处理函数中会调用schedule_t

  • Linux内核设备驱动之Linux内核基础笔记整理

    1. Linux内核驱动模块机制 静态加载, 把驱动模块编进内核, 在内核启动时加载 动态加载, 把驱动模块编为ko, 在内核启动后,需要用时加载 2. 编写内核驱动 #include <linux/module.h> #include <linux/init.h> static int __init test_init(void) { return 0; //返回0表示成功, 返加负数退出加载模块 } //__init 当内核把驱动初始化完后, 释放此函数的代码指令空间 stat

  • Linux利用Sysctl命令调整内核参数

    前言 sysctl 命令被用于在内核运行时动态地修改内核的运行参数,可用的内核参数在目录 /proc/sys 中.它包含一些TCP/IP堆栈和虚拟内存系统的高级选项, 这可以让有经验的管理员提高引人注目的系统性能.用sysctl可以读取设置超过五百个系统变量. 1.常见用法 列出所有的变量并查看 sysctl -a | less 修改某变量的值 sysctl -w 变量名=变量值 #sysctl -w vm.max_map_count=262144 读一个指定的变量,例如 kernel.msgm

  • Linux内核参数调整方法

    ulimit设置 ulimit -n 要调整为100000甚至更大. 命令行下执行 ulimit -n 100000即可修改.如果不能修改,需要设置 /etc/security/limits.conf,加入 * soft nofile 262140 * hard nofile 262140 root soft nofile 262140 root hard nofile 262140 * soft core unlimited * hard core unlimited root soft co

  • Linux内核启动参数详解

    1.环境: Ubuntu 16.04 Linux linuxidc 4.4.0-89-generic #112-Ubuntu SMP Mon Jul 31 19:38:41 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux 2.查看当前linux内核的启动参数: cat /proc/cmdline 笔者的输出内容如下: BOOT_IMAGE=/boot/vmlinuz-4.4.0-89-generic root=UUID=bef418fa-4202-4513-b39

  • 简单谈谈Linux内核定时器

    软件意义上的定时器最终依赖硬件定时器来实现, 内核在时钟中断发生后检测各定时器是否到期 , 到期后的定时器处理函数将作为软中断在底半部执行 .实质上,时钟中断处理程序会 换起TIMER_SOFTIRQ软中断 ,运行当前处理器上到期的所有定时器. 总结起来还是软中断的流程 a.注册软中断处理函数 /*/linux/kernel.timer.c*/ void __init init_timers(void) -->open_softirq(TIMER_SOFTIRQ, run_timer_softi

  • 详解Linux内核内存管理架构

    内存管理子系统可能是linux内核中最为复杂的一个子系统,其支持的功能需求众多,如页面映射.页面分配.页面回收.页面交换.冷热页面.紧急页面.页面碎片管理.页面缓存.页面统计等,而且对性能也有很高的要求.本文从内存管理硬件架构.地址空间划分和内存管理软件架构三个方面入手,尝试对内存管理的软硬件架构做一些宏观上的分析总结. 内存管理硬件架构 因为内存管理是内核最为核心的一个功能,针对内存管理性能优化,除了软件优化,硬件架构也做了很多的优化设计.下图是一个目前主流处理器上的存储器层次结构设计方案.

  • Linux 内核空间与用户空间实现与分析

    本文以 32 位系统为例介绍内核空间(kernel space)和用户空间(user space). 内核空间和用户空间 对 32 位操作系统而言,它的寻址空间(虚拟地址空间,或叫线性地址空间)为 4G(2的32次方).也就是说一个进程的最大地址空间为 4G.操作系统的核心是内核(kernel),它独立于普通的应用程序,可以访问受保护的内存空间,也有访问底层硬件设备的所有权限.为了保证内核的安全,现在的操作系统一般都强制用户进程不能直接操作内核.具体的实现方式基本都是由操作系统将虚拟地址空间划分

  • Linux中的内核链表实例详解

    Linux中的内核链表实例详解 链表中一般都要进行初始化.插入.删除.显示.释放链表,寻找节点这几个操作,下面我对这几个操作进行简单的介绍,因为我的能力不足,可能有些东西理解的不够深入,造成一定的错误,请各位博友指出. A.Linux内核链表中的几个主要函数(下面是内核中的源码拿出来给大家分析一下) 1)初始化: #define INIT_LIST_HEAD(ptr) do { \ (ptr)->next = (ptr); (ptr)->prev = (ptr); \ } while (0)

随机推荐