Kdump 调试：kdump原理及其使用方法

简介

Kdump是在系统崩溃、死锁或死机时用来转储内存运行参数的一个工具和服务，是一种新的crash dump捕获机制，用来捕获kernel crash（内核崩溃）的时候产生的crash dump。

Kdump 使用两个内核：生产内核和捕获内核。生产内核是一个普通内核，它使用特殊的 kdump 特定标志启动。我们需要告诉生产内核保留一些物理内存，用于加载捕获内核。我们需要提前加载捕获内核，因为在崩溃发生的那一刻，由于内核损坏，无法从磁盘读取任何数据。

生产内核是捕获内核服务的对像。捕获内核会在生产内核崩溃时启动起来，与相应的ramdisk一起组建一个微环境，用以对生产内核下的内存进行收集和转存。

第一个内核保留了内存的一部分给第二内核启动用。由于kdump利用kexec启动捕获内核，绕过了 BIOS，所以第一个内核的内存得以保留。这是内核崩溃转储的本质。

dump原理

为了在生产内核崩溃时能顺利启动捕获内核，捕获内核以及它的ramdisk是事先放到生产内核的内存中的。

生产内核的内存是通过/proc/vmcore这个文件交给捕获内核的。为了生成它，用户工具在生产内核中分析出内存的使用和分布等情况，然后把这些信息综合起来生成一个ELF头文件保存起来。

捕获内核被引导时会被同时传递这个ELF文件头的地址，通过分析它，捕获内核就可以生成出/proc/vmcore。有了/proc/vmcore这个文件，捕获内核的ramdisk中的脚本就可以通过通常的文件读写和网络来实现各种策略了。

注意，在启动时，kdump保留了一定数量的重要的内存，为了计算系统需要的真正最小内存，加上kdump使用的内存数量，以决定真正的最小内存的需求。

支持架构

x86,x86_64,arm,arm64,ppc,s390,sh

kexec机制

kexec简介

Kexec是基于kexec机制工作的，因此先了解一下Kexec。

kexec是一个快速启动机制，允许通过已经运行的内核的上下文启动一个Linux内核，不需要经过BIOS。（BIOS可能会消耗很多时间，特别是带有众多数量的外设的大型服务器。这种办法可以为经常启动机器的开发者节省很多时间。）

Kexec的实现包括2个组成部分：

** 一是内核空间的系统调用：kexec_load() **，负责在生产内核（production kernel 或 first kernel）启动时将捕获内核（capture kernel或sencond kernel）加载到指定地址。

** 二是用户空间的工具kexec-tools **，他将捕获内核的地址传递给生产内核，从而在系统崩溃的时候能够找到捕获内核的地址并运行。没有kexec就没有kdump。先有kexec实现了在一个内核中可以启动另一个内核，才让kdump有了用武之地。

kexec_load()

kexec 在 kernel 里以一个系统调用 kexec_load()的形式提供给用户。这个系统调用主要用来把另一个内核和其 ramdisk 加载到当前内核中。在 kdump中，捕获内核只能使用事先预留的一小段内存。

生产内核的内存镜像会被以 /proc/vmcore 的形式提供给用户。这是一个 ELF格式的方件，它的头是由用户空间工具 kexec 生成并传递来的。在系统崩溃时，系统最后会调用machine_kexec()。这通常是一个硬件相关的函数。它会引导捕获内核，从而完成 kdump 的过程。

kexec-tools

kdump 的很大一部分工作都是在用户空间内完成的。与 kexec相关的集中在一个叫kexec-tools的工具中的kexec程序中。

该程序主要是为调用 kexec_load()收集各种信息，然后调用之。这些信息主要包括 purgatory 的入口地址，还有一组由 struct kexec_segment描述的信息。

最后，附上一张图，看下kdump和kexec整个的工作流程。

kdump使用

内核配置

修改内核中以下的配置宏，可在.config文件中修改，或者通过make menuconfig修改

CONFIG_KEXEC=y
CONFIG_CRASH_DUMP=y
CONFIG_PROC_VMCORE=y
CONFIG_PROC_KCORE=y
CONFIG_SYSFS=y
CONFIG_DEBUG_INFO=y

确认修改成功

root@firefly:/sys/kernel# ls /sys/kernel/ | grep kexec
kexec_crash_loaded
kexec_crash_size
kexec_loaded
root@firefly:~# ls /proc/ | grep kcore
kcore

如果出现proc/kcore，kexec相关节点说明配置生效了。

配置预留内存

预留内存的4种形式

预留内存的设置一般有4种形式:

第一种是最常用的，直接通过size指定预留的大小，offset指定预留内存地址的起始位置。不过，offset一般不指定，对于一般用户来讲，很难确定预留内存恶起始位置。

crashkernel=size[KMG][@offset[KMG]]

第二种方式会根据系统的内存大小自动选择预留内存的大小，比较灵活。

crashkernel=range1:size1[,range2:size,...][@offset]

举例

crashkernel=512M-2G:64M,2G-6G:256M,6G-8G:512M,8G-:768M

参数含义如下:

如果RAM大小小于512M，则不预留内存。

如果RAM大小为512M - 2G，则预留 64M。

如果RAM大小为2 - 6G，则预留 256M。

如果RAM大小大于8G，则预留768 M。

一般我们会在0~4G范围内预留内存。如果系统内存大于4G，则支持在4G以上预留内存，比如X86_64架构。当指定high参数时，系统会在0~4G和4G以上预留两段内存。默认情况下，x86_64会在4G以下预留256M内存。

crashkernel=size[KMG],hign

low参数主要是配合high来使用的。如果觉得4G以下默认预留的256M太多了，可以手动指定预留内存。

crashkernel=size[KMG],low

在ARM上配置预留内存

在X86-64主机上一般是修改/etc/default/grup中的参数来配置及检查, 但是在嵌入式设备上因为是裁剪的系统，并没有grup这个文件。

但我们可以知道，配置grup文件的目的就是更改cmdline中的内容，那我们如何去更改cmdline的内容呢？提供以下几个思路：

在dts中中添加：修改chosen

在BoardConfig中添加

在uboot中添加：在源码中添加或者通过setenv配置bootargs变量

在android的Makefile中添加

这里我们选择在dts中修改。

vim kernel/arch/arm64/boot/dts/rockchip/rk3399-linux.dtsi   

当前使用的设备RAM已经是4G，所以预留的是256M

root@firefly:~# free -m
              total        used        free      shared  buff/cache   available
Mem:           3583         194        3154           8         234        3351
Swap:             0           0           0

 

 

重新编译烧写内核，看到设备启动时，已经加入了启动参数。

查看启动参数是否生效

root@firefly:~# cat /proc/iomem | grep Crash
e5e00000-f5dfffff : Crash kernel

确认分配内存大小

root@firefly:~# cat /sys/kernel/kexec_crash_size
268435456

预留内存大小评估

在某些情况下，我们需要正确评估预留内存的大小，主要从以下2个方面考虑。

系统内kernel，initrd，romfs，devices driver的大小。

捕获内核启动cpu的个数。启动cpu越多，需要的内存越大。一般情况下，捕获内核一般启动一个CPU核即可。

/proc/iomem表示的是系统的物理内存布局， System RAM entry表示当前系统可用的预留内存。例如，我当前设备的内存为3.8G，预留800M内存也是足够的。

root@firefly:~# cat /proc/iomem | grep System
00200000-083fffff : System RAM
0a200000-f7ffffff : System RAM 

编译kexec工具

解压源码包。

tar xvpzf  kexec-tools-2.0.26.tar.gz 

进入到kexec-tools中，并进行配置。

LDFLAGS=-static ./configure ARCH=arm64 --build=x86_64-linux-gnu --host=aarch64-linux-gnu --target=aarch64-linux-gnu --without-xen

这里使用静态编译。

然后使用make进行编译。

make

将build目录下sbin/kexec 拷贝至rootfs /usr/sbin/中。

root@firefly:~/kexec/sbin# kexec -v
kexec-tools 2.0.26

查看kexec参数。

root@firefly:~# kexec -h
kexec-tools 2.0.26
Usage: kexec [OPTION]... [kernel]
Directly reboot into a new kernel

 -h,           Print this help.
 -v, --version        Print the version of kexec.
 -f, --force          Force an immediate kexec,
                      don't call shutdown.
 -i, --no-checks      Fast reboot, no memory integrity checks.
 -x, --no-ifdown      Don't bring down network interfaces.
 -y, --no-sync        Don't sync filesystems before kexec.
 -l, --load           Load the new kernel into the
                      current kernel.
 -p, --load-panic     Load the new kernel for use on panic.
 -u, --unload         Unload the current kexec target kernel.
                      If capture kernel is being unloaded
                      specify -p with -u.
 -e, --exec           Execute a currently loaded kernel.
     --exec-live-update Execute a currently loaded xen image after
storing the state required to live update.
 -t, --type=TYPE      Specify the new kernel is of this type.
     --mem-min= Specify the lowest memory address to
                      load code into.
     --mem-max= Specify the highest memory address to
                      load code into.
     --reuseinitrd    Reuse initrd from first boot.
     --print-ckr-size Print crash kernel region size.
     --load-preserve-context Load the new kernel and preserve
                      context of current kernel during kexec.
     --load-jump-back-helper Load a helper image to jump back
                      to original kernel.
     --load-live-update Load the new kernel to overwrite the
                      running kernel.
     --entry=   Specify jump back address.
                      (0 means it's not jump back or
                      preserve context)
                      to original kernel.
 -s, --kexec-file-syscall Use file based syscall for kexec operation
 -c, --kexec-syscall  Use the kexec_load syscall for for compatibility
                      with systems that don't support -s (default)
 -a, --kexec-syscall-auto  Use file based syscall for kexec and fall
                      back to the compatibility syscall when file based
                      syscall is not supported or the kernel did not
                      understand the image
 -d, --debug          Enable debugging to help spot a failure.
 -S, --status         Return 1 if the type (by default crash) is loaded,
                      0 if not.

Supported kernel file types and options: 
vmlinux
     An ARM64 ELF image, big or little endian.
     Typically vmlinux or a stripped version of vmlinux.

Image
     An ARM64 binary image, uncompressed, big or little endian.
     Typically an Image file.

uImage
     An ARM64 U-boot uImage file, compressed or not, big or little endian.

zImage
     An ARM64 zImage, compressed, big or little endian.
     Typically an Image.gz or Image.lzma file.

Architecture options: 
     --append=STRING       Set the kernel command line to STRING.
     --command-line=STRING Set the kernel command line to STRING.
     --dtb=FILE            Use FILE as the device tree blob.
     --initrd=FILE         Use FILE as the kernel initial ramdisk.
     --serial=STRING       Name of console used for purgatory printing. (e.g. ttyAMA0)
     --ramdisk=FILE        Use FILE as the kernel initial ramdisk.
     --reuse-cmdline       Use kernel command line from running system.

注意以下几个参数

-d: 执行kexec指令时会打印调试信息 
-p: 将内核加载到预留内存中，panic时自动启动capture内核。
-l: 将内核加载到预留内存中
--append : capture内核的command line的内容
--t: 内核的类型，比如vmlinux,Image,uImage,zImage
--intrd:指定initrd
--reuseinitrd:复用第一个内核的initrd
--dtb:指定设备树

vmlinux,Image,uImage,zImage区别参考：secure boot (一)FIT Image

测试

配置kexec

尝试手动配置kexec

kexec --t vmlinux -p /root/var/vmlinux --ramdisk /root/var/ramdisk.img 
--append="storagemedia=emmc 
androidboot.storagemedia=emmc 
androidboot.mode=normal  
storagenode=sdhci@fe330000 
androidboot.slot_suffix= 
androidboot.serialno=3fdce35e50641399  
ro rootwait earlycon=uart8250,mmio32,0xff1a0000 swiotlb=1 
console=ttyFIQ0 root=PARTLABEL=rootfs rootfstype=ext4 
overlayroot=device:dev=PARTLABEL=userdata,fstype=ext4,mkfs=1 
coherent_pool=1m systemd.gpt_auto=0 cgroup_enable=memory
 swapaccount=1 crashkernel=256M"

command line 可以通过 cat /proc/cmdline  查看。

ramdisk.img 也可以叫做initrd.img,  它是一个小文件系统，麻雀虽小五脏俱全，它介于kernel 和 文件系统之间。kernel 启动后会先执行ramdisk.img 里面的init, 挂载这里的小型文件系统，接着开始完成一些必要的操作，最后在交给文件系统/sbin/init 进行执行。

查看捕获内核的加载状态 0：未加载，1：已加载

root@firefly:~# cat /sys/kernel/kexec_crash_loaded 

1查看捕获内核的大小

root@firefly:~# cat /sys/kernel/kexec_crash_size

268435456

确认 kexec_load_disabled 的状态

root@firefly:~# cat /proc/sys/kernel/kexec_load_disabled
0

kexec_load_disabled：表示kexec_load系统调用是否被禁止，此系统调用用于kdump。当发生了一次kexec_load后，此值会自动设置为1。

测试启动捕获内核

在前面的准备工作完成后，如果触发系统崩溃，系统将重新引导到转储-捕获内核，触发点位于panic()、die()、die_nmi()和sysrq处理程序中。接下来我将通过 魔术键来触发系统panic。

开启sysrq

echo 1 > /proc/sys/kernel/sysrq 

触发sysrq

echo c > /proc/sysrq-trigger

触发sysrq后，系统重启，串口打印出标志性 log：Bye！Starting crashdump kernel...。

[0637]root@firefly:~# echo c > /proc/sysrq-trigger
[0637][   28.817657] sysrq: SysRq : Trigger a crash
[0637][   28.818172] Unable to handle kernel NULL pointer dereference at virtual address 00000000
[0637][   28.818894] pgd = ffffffc0deb9d000
[0637][   28.819326] [00000000] *pgd=0000000000000000, *pud=0000000000000000
....................
[0637][   28.950698] [] sysrq_handle_crash+0x24/0x30
[0637][   28.951218] [] __handle_sysrq+0xa0/0x14c
[0637][   28.951713] [] write_sysrq_trigger+0x5c/0x74
[0637][   28.952246] [] proc_reg_write+0xa8/0xcc
[0637][   28.952744] [] __vfs_write+0x48/0xe8
[0637][   28.953214] [] vfs_write+0xa8/0x15c
[0637][   28.953674] [] SyS_write+0x5c/0xb0
[0637][   28.954123] [] el0_svc_naked+0x24/0x28
[0637][   28.954609] Code: 52800020 b90a1c20 d5033e9f d2800001 (39000020) 
[0637][   28.955167] SMP: stopping secondary CPUs
[0637][   28.955899] Starting crashdump kernel...
[0637][   28.956264] Bye!
[0651][    0.000000] Booting Linux on physical CPU 0x101
[0651][    0.000000] Initializing cgroup subsys cp    0.000000] Initializing cgrouys cpu
[0651][    0.000000] Initializys cpuacct
[0651][    0.000000] Linux version 4.4.194+ (zhongyi@ubunty: b1730021dd51a88c333473088af3a402491b4c23) (gcc version 6.3.1 20170404 (Linaro GCC 6.3-2017.05SMP Fri Mar 3 0700 CST 2023
[0651][    0.000000] Boot CPU: AArch64 Processor [410fd082]
[0651][    0.000000] earlycon: Early serial console at MMIO32 0xff1a0000 (opti '')
[0651][    0.000000] bootconsole [uart0] enabled
[0651][    0.000000] cannot allocate crashkernel (size:0x10000000)
[0651][    0.000000] Reserving 1KB of memory at 0xf5dff000 for elfcorehdr
[0651][    0.000000] psci: probing for conduit method from DT.
[0651][    0.000000] psci: PSCIv1.0 detected in firmware.
[0651][    0.000000] psci: Using standard PSCI v0.2 function IDs
[0652][    0.000000] psci: Trusted OS migration not required
[0652][    0.000000] PERCPU: Embedded 21 pages/cpu @ffffffc035cf1000 s46440 r8192 d31384 u86016
[0652][    0.000000] Detected PIPT I-cache on CPU0
[0652][    0.000000] Built 1 zonelists in Zone order, mobility grouping on.  Total pages: 64512
[0652][    0.000000] Kernel command line: storagemedia=emmc androidboot.storagemedia=emmc androidboot.mode=normal  storagenode=sdhci@fe330000 androidboot.slot_suffix= androidboot.serialno=3fdce35e50641399  ro rootwait earlycon=uart8250,mmio32,0xff1a0000 swiotlb=1 console=ttyFIQ0 root=PARTLABEL=rootfs rootfstype=ext4 overlayroot=device:dev=PARTLABEL=userdata,fstype=ext4,mkfs=1 coherent_pool=1m systemd.gpt_auto=0 cgroup_enable=memory swapaccount=1 crashkernel=256M
[0652][    0.000000] PID hash table entries: 1024 (order: 1, 8192 bytes)
[0652][    0.000000] Dentry cache hash table entries: 32768 (order: 6, 262144 bytes)
[0652][    0.000000] Inode-cache hash table entries: 16384 (order: 5, 131072 bytes)
[0652][    0.000000] software IO TLB: mapped [mem 0xf5c51000-0xf5c91000] (0MB)
[0652][    0.000000] Memory: 208908K/262144K available (14782K kernel code, 2146K rwdata, 6988K rodata, 1216K init, 780K bss, 53236K reserved, 0K cma-reserved)
[0652][    0.000000] Virtual kernel memory layout:
[0652][    0.000000]     modules : 0xffffff8000000000 - 0xffffff8008000000   (   128 MB)
[0652][    0.000000]     vmalloc : 0xffffff8008000000 - 0xffffffbdbfff0000   (   246 GB)
[0652][    0.000000]       .init : 0xffffff80095d0000 - 0xffffff8009700000   (  1216 KB)
[0652][    0.000000]       .text : 0xffffff8008080000 - 0xffffff8008ef0000   ( 14784 KB)
[0652][    0.000000]     .rodata : 0xffffff8008ef0000 - 0xffffff80095d0000   (  7040 KB)
[0652][    0.000000]       .data : 0xffffff8009700000 - 0xffffff8009918808   (  2147 KB)
[0652][    0.000000]     vmemmap : 0xffffffbdc0000000 - 0xffffffbfc0000000   (     8 GB maximum)
[0652][    0.000000]               0xffffffbdc0978000 - 0xffffffbdc0d78000   (     4 MB actual)
[0652][    0.000000]     fixed   : 0xffffffbffe7fb000 - 0xffffffbffec00000   (  4116 KB)
[0652][    0.000000]     PCI I/O : 0xffffffbffee00000 - 0xffffffbfffe00000   (    16 MB)
[0652][    0.000000]     memory  : 0xffffffc025e00000 - 0xffffffc035e00000   (   256 MB)
[0652][    0.000000] SLUB: HWalign=64, Order=0-3, MinObjects=0, CPUs=6, Nodes=1
.........................................
[0654][    2.313003] rockchip-drm display-subsystem: bound ff940000.hdmi (ops dw_hdmi_rockchip_ops)
[0654][    2.314207] i2c i2c-10: of_i2c: modalias failure on /dp@fec00000/ports
[0654][    2.315077] rockchip-drm display-subsystem: bound fec00000.dp (ops cdn_dp_component_ops)
[0654][    2.315815] [drm] Supports vblank timestamp caching Rev 2 (21.10.2013).
[0654][    2.316404] [drm] No driver support for vblank timestamp query.
[0654][    2.317133] rockchip-drm display-subsystem: connector[HDMI-A-1] can't found any modes
.................................................
[0658][    6.180434] [dhd] dhd_conf_set_path_params : Final conf_path=/vendor/etc/firmware/config.txt
[0658][    6.313492] [dhd] dhd_conf_set_txglom_params : txglom_mode=multi-desc
[0658][    6.314159] [dhd] dhd_conf_set_txglom_params : txglomsize=36, deferred_tx_len=0
[0658][    6.314868] [dhd] dhd_conf_set_txglom_params : txinrx_thres=128d_txminmax=-1
[0658][    6.315529] [ddhd_conf_set_txglom_params : tx__offset=0, txctl_tmo_fix=300
[0658][    6.316245] [dhd] dhd_conf_get_disable_proptx : fw_proptx=1, disable_proptx=-1
[0658][    6.380768] [dhd] dhd_conf_map_country_list : CN/38
[0658][    6.381222] [dhd] dhd_conf_set_country : set country CN, revision 38
[0658][    6.385992] [dhd] dhd_conf_set_country : Country code: CN (CN/38)
[0658][  OK  ] Started Network Manager.
[0658][  OK  ] Reached target Network.
[0658]         Starting Permit User Sessions...
[0658]         Starting OpenBSD Secure Shell server...
[0658][  OK  ] Started Permit User Sessions.
[0658]         Starting Hold until boot process finishes up...
[0658][  OK  ] Started Hold until boot process finishes up.
[0658][  OK  ] Started Serial Getty on ttyFIQ0.
[0658]         Starting Set console scheme...
[0658][  OK  ] Started Set console scheme.
[0658][  OK  ] Created slice system-getty.slice.
[0658][  OK  ] Started Getty on tty1.
[0658][  OK  ] Reached target Login Prompts.
[0658][  OK  ] Started OpenBSD Secure Shell server.
[0658][  OK  ] Started Adbd for linux.
[0658][  OK  ] Started Setup rockchip platform environment.
[0658]         Starting Light Display Manager...
[0658][  OK  ] Reached target Multi-User System.
[0659][  OK  ] Started Light Display Manager.
[0659][  OK  ] Reached target Graphical Interface.
[0659]         Starting Update UTMP about System Runlevel Changes...
[0659][  OK  ] Started Update UTMP about System Runlevel Changes.
[0659]
[0659]Ubuntu 18.04.6 LTS firefly ttyFIQ0  
[0639]root@firefly:~# ls -al /proc/vmcore 
[0641]-r-------- 1 root root 3885387776 Mar  5 22:49 /proc/vmcore
[0624]root@firefly:~# ls -al --block-size=m   /proc/vmcore 

系统正常启动后，就可以将/proc/vmcore文件拷贝出来在ubuntu上用crash工具分析。

常见问题及解决办法

在ARM平台上，系统崩溃后卡死，未启动第二内核

不清楚是宿主机的原因还是代码原因，目前主线的 Linux kernel 代码在执行命令使第一个内核崩溃之后，跳转到第二个内核的过程中卡死，在社区上也有其他人遇到了类似的情况并给出了补丁，但是并没有合并到主线，不过目前为了演示暂时不考虑为何原因导致这个问题的出现，如果你的 arm64 不存在这个问题，那么就不需要打这个补丁了。奉上补丁如下：

diff --git a/arch/arm64/kernel/machine_kexec.c b/arch/arm64/kernel/machine_kexec.c
index aa9c94113700..3b0350d20e31 100644
--- a/arch/arm64/kernel/machine_kexec.c
+++ b/arch/arm64/kernel/machine_kexec.c
@@ -234,19 +234,12 @@ static void machine_kexec_mask_interrupts(void)

        for_each_irq_desc(i, desc) {
                struct irq_chip *chip;
-               int ret;

                chip = irq_desc_get_chip(desc);
                if (!chip)
                        continue;

-               /*
-                * First try to remove the active state. If this
-                * fails, try to EOI the interrupt.
-                */
-               ret = irq_set_irqchip_state(i, IRQCHIP_STATE_ACTIVE, false);
-
-               if (ret && irqd_irq_inprogress(&desc->irq_data) &&
+               if (irqd_irq_inprogress(&desc->irq_data) &&
                    chip->irq_eoi)
                        chip->irq_eoi(&desc->irq_data);

还有一点需要说明的就是在 Ubuntu 默认仓库的 crash 不支持最新版本的 Linux 内核，需要更新到 7.2.5 版本才可以。

没有生产vmcore

按照kdump执行流程，确定问题来自那个阶段。

预留内存失败

预留内存过大，设备没有足够的可用内存。默认会在0~4G预留内存。比如预留512M的空间，而在0~4G并没有可用的512M空间，就会导致预留失败。

加载内核失败

是否预留内存，crashkernel是否配置？

预留内存失败。

预留内存成功：尝试使用kexec -d -p 查看失败的具体原因。

第二内核启动失败

打印出bye后没有任何信息输出，可能是第二内核可能未配置串口，earlycon/console

oom后卡死，可能是预留内存太小。

驱动初始化失败。有些驱动，比如dma32，可能只能使用0~4G内存，在4G以上预留内存会导致驱动加载失败。

makedumpfile失败

加上-D，打印出debug选项，查看失败原因。

用户态工具问题

kernel，kexec，makedumpfile，crash匹配问题，更新到最新的工具。

编辑：黄飞