01

在上一篇文章《eBPF動手實踐系列二：構(gòu)建基于純C語言的eBPF項目》中，我們初步實現(xiàn)了脫離內(nèi)核源碼進(jìn)行純C語言eBPF項目的構(gòu)建。libbpf庫在早期和內(nèi)核源碼結(jié)合的比較緊密，如今的libbpf庫更加成熟，已經(jīng)完全脫離內(nèi)核源碼獨立發(fā)展。

為了更加具體的理解linux內(nèi)核版本演進(jìn)和libbpf版本演進(jìn)的關(guān)系，本文在“附錄A”中總結(jié)了各個內(nèi)核版本源碼示例中所依賴的libbpf庫的對應(yīng)版本信息。

大部分版本的內(nèi)核獲取libbpf版本的方法如下，從libbpf庫目錄的libbpf.map文件中提取最大的版本號信息。這里的"source"為內(nèi)核源碼所在目錄。

$ cat ./source/tools/lib/bpf/libbpf.map | grep -oE '^LIBBPF_([0-9.]+)' | sort -rV | head -n1 | cut -d'_' -f2

較早版本的內(nèi)核在./tools/lib/bpf/Makefile文件中直接定義了libbpf的版本信息。

$ cat ./source/tools/lib/bpf/Makefile
BPF_VERSION = 0
BPF_PATCHLEVEL = 0
BPF_EXTRAVERSION = 2

02

eBPF編程方案簡介

為了簡化 eBPF程序的開發(fā)流程，降低開發(fā)者在使用 libbpf 庫時的入門難度，libbpf-bootstrap 框架應(yīng)運而生。基于libbpf-bootstrap框架的編程方案是目前網(wǎng)絡(luò)上看到的最主流編程方案。此外，網(wǎng)絡(luò)上也偶見比較古老的僅依賴一個bpf_load.c文件的C語言編程方案，這個方案并不需要依賴libbpf庫的支持。

主流的C語言實現(xiàn)的eBPF編程方案，大體上就是以下三種，筆者總共將其歸納為3代。

除了經(jīng)典的C語言編程方案，一些編程框架還選擇使用Python語言，Go語言，或者Rust語言作為用戶態(tài)加載的實現(xiàn)語言。

盡管libbpf-bootstrap骨架C語言方案、基于libbpfgo庫的go語言方案等已經(jīng)被大家廣泛使用和接受。但筆者認(rèn)為基于原生libbpf庫的eBPF編程方案仍然具備很多獨特的優(yōu)勢。以下是原生libbpf庫eBPF編程方案的一些獨特優(yōu)勢：

更深的控制和靈活性：直接使用原生libbpf 庫的方案意味著可以與更底層交互，實現(xiàn)更多的控制，定制加載和管理 eBPF 程序和 maps 過程，滿足更復(fù)雜的需求。

更好的學(xué)習(xí)和理解：libbpf-bootstrap封裝抽象屏蔽了很多細(xì)節(jié)，直接使用原生libbpf可以對 eBPF 子系統(tǒng)有更深入的理解，有利于開發(fā)者對 eBPF 內(nèi)部工作原理的理解。

更細(xì)粒度的依賴管理：直接使用原生libbpf庫能夠指定依賴的 libbpf 庫版本和功能，進(jìn)而更精細(xì)化地管理項目依賴關(guān)系。

更好的低版本內(nèi)核適應(yīng)性：基于原生libbpf庫的方案，在低版本操作系統(tǒng)發(fā)行版和低版本內(nèi)核上可以有更好的兼容性。

本文將由淺入深介紹第 2 代原生libbpf庫的eBPF編程方案，并提出一種改進(jìn)思路。

03

準(zhǔn)備eBPF開發(fā)的基礎(chǔ)環(huán)境

主流的linux發(fā)行版大多是基于rpm包或deb包的包管理系統(tǒng)。不同的包管理系統(tǒng)，初始化eBPF開發(fā)環(huán)境時所依賴的包，也略有差別。本文將分別進(jìn)行介紹。

3.1 rpm包基礎(chǔ)環(huán)境初始化

在RPM包發(fā)行版環(huán)境，需要安裝一些編譯過程的基礎(chǔ)包、編譯工具包、庫依賴包和頭文件依賴包等。我們推薦使用如下一些發(fā)行版及其兼容環(huán)境：Anolis 8.8、Kylin V10、CentOS 8.5、和 Fedora 39 等。

詳細(xì)安裝步驟如下：

$  yum install git make                               # 基礎(chǔ)包
$  yum install kernel-headers-$(uname -r)             # 頭文件依賴包
$  yum install clang llvm elfutils-libelf-devel       # 編譯工具和依賴庫包


## 依次選擇如下命令之一，安裝bpftool工具
$  yum install bpftool-$(uname -r)
$  yum install bpftool

3.2 deb包基礎(chǔ)環(huán)境初始化

在 DEB 包發(fā)行版環(huán)境，需要安裝一些編譯過程的基礎(chǔ)包、編譯工具包、庫依賴包和頭文件依賴包等。推薦使用Ubuntu 22.04 或Debian 12 等發(fā)行版及其兼容環(huán)境。

詳細(xì)安裝步驟如下：

$  apt-get update                                     # 更新apt源信息
$  apt install git make                               # 基礎(chǔ)包 
$  apt install linux-libc-dev                         # 頭文件依賴包
$  apt install clang llvm libelf-dev                  # 編譯工具和依賴庫包


## 依次選擇如下命令之一，安裝bpftool工具
$  apt install linux-tools-common linux-tools-$(uname -r)
$  apt install linux-tools-common linux-tools-generic
$  apt install linux-tools-$(uname -r) linux-cloud-tools-$(uname -r)
$  apt install bpftool

04

構(gòu)建基于原生libbpf庫的eBPF項目

本文的目的是向大家分享一個以第2代 ebpf 編程方案為基礎(chǔ)的改進(jìn)ebpf編譯構(gòu)建方案。本節(jié)先用一些篇幅內(nèi)容，對第2代方案本身的構(gòu)建編譯過程做一些介紹。

libbpf庫具有一定的向下兼容能力，可以選擇使用截至目前最新的歸檔版本libbpf-1.3.0來搭建編程環(huán)境。以 libbpf-1.3.0版本libbpf庫為基礎(chǔ)，下文會提供若干實例代碼，來剖析ebpf構(gòu)建原理。完成了基礎(chǔ)環(huán)境的初始化，就可以開始搭建我們的eBPF項目。所有的代碼示例都可以通過如下git項目獲取。為了后面訪問方便，這里用一個shell變量NATIVE_LIBBPF用來存儲工作目錄。

$ cd ~
$ git clone https://github.com/alibaba/sreworks-ext.git
$ NATIVE_LIBBPF=~/sreworks-ext/demos/native_libbpf_guide/

4.1 初步構(gòu)建基于原生libbpf庫的eBPF項目

首先來看一個基于原生libbpf庫的第2代eBPF構(gòu)建實例。ebpf初學(xué)者，可以考慮選擇跟蹤 execve 系統(tǒng)調(diào)用產(chǎn)生的事件。

$ cd $NATIVE_LIBBPF                                    # 返回工作目錄
$ cd trace_execve_libbpf130                            # 進(jìn)入項目目錄   
$ make
$ sudo ./trace_execve
trace_execve 15836221 5501 bash 1534 bash 0 /usr/bin/ls
trace_execve 15914126 5502 bash 1534 bash 0 /usr/bin/ps


$ make clean

執(zhí)行trace_execve命令，對編譯結(jié)果進(jìn)行驗證，完美驗證通過。

4.2 eBPF項目的目錄結(jié)構(gòu)解析

介紹下trace_execve_libbpf130的目錄結(jié)構(gòu)。

再介紹下本項目trace_execve_libbpf130和libbpf-1.3.0庫的對應(yīng)關(guān)系。下載libbpf-1.3.0庫解壓后，使用diff命令進(jìn)行目錄對比。

目錄native_libbpf_guide/trace_execve_libbpf130/tools/lib/bpf/內(nèi)容，除Makefile內(nèi)容外都來自目錄~/libbpf-1.3.0/src/。

目錄native_libbpf_guide/trace_execve_libbpf130/tools/include/來自目錄~/libbpf-1.3.0/include/，所有內(nèi)容都完全一致。

除以上兩部分來自libbpf-1.3.0庫以外的文件，其余都由本項目原創(chuàng)貢獻(xiàn)。

$ cd ~
$ wget http://github.com/libbpf/libbpf/archive/refs/tags/v1.3.0.tar.gz
$ tar -zxvf v1.3.0.tar.gz
$ diff -qr $NATIVE_LIBBPF/trace_execve_libbpf130/tools/lib/bpf/ ~/libbpf-1.3.0/src/
Only in ~/libbpf-1.3.0/src/: .gitignore
Files ~/native_libbpf_guide/trace_execve_libbpf130/tools/lib/bpf/Makefile and ~/libbpf-1.3.0/src/Makefile differ


$ diff -qr $NATIVE_LIBBPF/trace_execve_libbpf130/tools/include/ ~/libbpf-1.3.0/include/

在這個項目中添加ebpf的代碼，可以遵循這樣的目錄結(jié)構(gòu)。用戶態(tài)加載文件放到根目錄下，內(nèi)核態(tài)bpf文件放到progs目錄下，用戶態(tài)和內(nèi)核態(tài)公共的頭文件放到include目錄下。

$ cd $NATIVE_LIBBPF                                    # 返回工作目錄
$ cd trace_execve_libbpf130                            # 進(jìn)入項目目錄  
$ find . -name "trace_execve*"
./trace_execve.c
./progs/trace_execve.bpf.c
./include/trace_execve.h

4.3 eBPF項目的Makefile解析

$ cd $NATIVE_LIBBPF                                    # 返回工作目錄
$ cd trace_execve_libbpf130                            # 進(jìn)入項目目錄
$ find . -name Makefile 
./Makefile
./progs/Makefile
./tools/lib/bpf/Makefile
./tools/build/feature/Makefile

trace_execve_libbpf130項目有4個Makefile，分別如下：

./Makefile是主文件，用于生成用戶態(tài)eBPF程序trace_execve。

./progs/Makefile 用于生成內(nèi)核態(tài)BPF程序trace_execve.bpf.o。

./tools/lib/bpf/Makefile 用于生成libbpf.a靜態(tài)庫。

./tools/build/feature/Makefile 用于一些feature的探測。

在項目空間的根目錄運行make命令進(jìn)行項目構(gòu)建時，會首先執(zhí)行Makefile文件。在Makefile文件中會通過make的-C選項間接觸發(fā)progs/Makefile和tools/lib/bpf/Makefile的執(zhí)行。

感興趣的同學(xué)可以通過上一章節(jié)中提到的make --debug=v,m SHELL="bash -x" 命令逐步debug這些makefile的執(zhí)行過程。

下文重點分析下編譯過程的一些編譯參數(shù)，讓我們加深對eBPF構(gòu)建過程的理解。

4.4 C語言編譯器的目錄搜索選項

在開始分析eBPF程序的編譯參數(shù)之前，先要簡單說一下C語言編譯器（gcc/clang）的目錄搜索選項。C語言的頭文件都需要按照目錄搜索選項的指引，才能正確找到它所在位置。

除了日常我們熟知的-I選項，clang/gcc的目錄搜索選項還有很多，它們優(yōu)先級的順序依次如下：

頭文件引用方式include "myheader.h"，則在當(dāng)前文件所在目錄查找myheader.h頭文件。

頭文件引用方式include "myheader.h"，如果有-iquote mydir選項，則在mydir目錄查找myheader.h頭文件。

頭文件引用方式include ，如果有-I mydir選項，則在mydir目錄查找myheader.h頭文件。

頭文件引用方式include ，如果有-isystem mydir選項，則在mydir目錄查找myheader.h頭文件。

頭文件引用方式include ，繼續(xù)在標(biāo)準(zhǔn)系統(tǒng)目錄（Standard system directories）查找myheader.h頭文件。標(biāo)準(zhǔn)系統(tǒng)目錄是指/usr/lib64/clang/15.0.7/include 、/usr/local/include 和/usr/include。

頭文件引用方式include ，如果有-idirafter mydir選項，則在mydir目錄查找myheader.h頭文件。

4.5 內(nèi)核態(tài)bpf程序編譯參數(shù)解析

內(nèi)核態(tài)bpf程序trace_execve.bpf.o文件，是由 bpf 文件trace_execve.bpf.c使用clang命令編譯產(chǎn)生。trace_execve.bpf.c文件的頭文件依賴如下。

$ cat progs/trace_execve.bpf.c
// SPDX-License-Identifier: GPL-2.0
#include 
#include 
#include 


#include "common.h"
#include "trace_execve.h"

從前面項目構(gòu)建過程中，可以提取出完整的內(nèi)核態(tài)bpf程序的編譯命令。

$ clang -iquote ./../include/ -iquote ./../helpers -I./../tools/lib/ -I./../tools/include/uapi -idirafter /usr/lib64/clang/15.0.7/include 
  -idirafter /usr/include -idirafter /usr/include/x86_64-linux-gnu/ -DENABLE_ATOMICS_TESTS -D__KERNEL__ -D__BPF_TRACING__ 
  -D__TARGET_ARCH_x86 -g -Werror -O2 -mlittle-endian -target bpf -mcpu=v3 -c trace_execve.bpf.c -o trace_execve.bpf.o  

下面對一些關(guān)鍵環(huán)節(jié)做一些解析：

頭文件vmlinux.h由bpftool工具在編譯時動態(tài)生成，vmlinux.h包含了絕大多數(shù)bpf程序的內(nèi)核態(tài)和用戶態(tài)(uapi)依賴。通過編譯選項-I./../tools/lib/可以搜索到vmlinux.h頭文件。

通過-I./../tools/lib/編譯選項，可以在./tools/lib/目錄下的bpf子目錄中查找到bpf_helpers.h和bpf_tracing.h頭文件，這些頭文件都是對vmlinux.h頭文件內(nèi)核態(tài)依賴的補(bǔ)充。

通過-iquote ./../include/編譯選項，可以在./include/目錄中查找到trace_execve.h和common.h頭文件。

在上面這些頭文件依賴的預(yù)處理過程中，會依賴一些宏變量來決定預(yù)處理的展開邏輯。上面編譯命令中的宏就是起這些作用，-DENABLE_ATOMICS_TESTS -D__KERNEL__ -D__BPF_TRACING__ -D__TARGET_ARCH_x86。比如在bpf_tracing.h頭文件中，就有#if defined(__TARGET_ARCH_x86)的宏判斷語句，來決定預(yù)處理展開邏輯走x86分支。

編譯選項-target bpf，指示Clang將代碼生成為針對eBPF目標(biāo)的目標(biāo)代碼。編譯選項-mcpu=v3，指示Clang生成針對v3版本的eBPF處理器的目標(biāo)代碼。編譯選項-mlittle-endian：指示Clang生成適用于小端序處理器的目標(biāo)代碼。

通過-I./../tools/include/uapi編譯選項，可以在./tools/include/uapi/目錄下的linux子目錄中查找到bpf.h頭文件。同時kernel-headers包引入的/usr/include/linux/目錄下也有bpf.h，./tools/include/uapi下的bpf.h優(yōu)先級會覆蓋它。此外，目錄./tools/include/uapi/linux下的頭文件和vmlinux.h頭文件存在一定的重疊，通常情況下同時加載會出現(xiàn)編譯沖突。如果在一些簡單的 ebpf 使用場景，可以使用替代。

4.6 用戶態(tài)加載程序編譯參數(shù)解析

用戶態(tài)eBPF程序trace_execve文件，是由源文件trace_execve.c文件使用gcc命令編譯。trace_execve.c文件的頭文件依賴如下。

$ cat trace_execve.c
// from kernel-headers
#include 
#include 
#include 
#include 
#include 
#include 
#include 


// from libbpf
#include 
#include 


#include "common.h"
#include "trace_execve.h"

從前面項目構(gòu)建過程中，也可以提取出完整的用戶態(tài)程序的編譯命令。

gcc -iquote ./helpers/ -iquote ./include/ -I./tools/lib/ -I./tools/include/ -g -c -o trace_execve.o trace_execve.c

通過-I./tools/include/編譯選項，可以在./tools/include/目錄下的linux子目錄中查找到頭文件。

通過-I./tools/lib/編譯選項，可以在./tools/lib/目錄下的bpf子目錄中查找到頭文件。在一些古老的代碼示例中，有這樣使用頭文件的用法，目前最新的ebpf項目實例，都會將libbpf庫的libbpf.h以及同目錄的頭文件都放到bpf子目錄下，因此推薦統(tǒng)一使用的用法。

通過-iquote ./include/編譯選項，可以在./include/目錄中查找到trace_execve.h和common.h頭文件。

其他頭文件都可以在由kerne-headers包提供的標(biāo)準(zhǔn)系統(tǒng)目錄（Standard system directories）的/usr/include/目錄及子目錄中查找到。所以，最終會在/usr/include/linux/perf_event.h位置被查找到。可以看出同樣是形式的頭文件，和卻在兩個完全不同的搜索路徑查找到。

4.7 libbpf.a靜態(tài)庫編譯解析

關(guān)于libbpf.a靜態(tài)庫的編譯過程，上一篇文章已經(jīng)有所介紹。這里僅再次強(qiáng)調(diào)下，在本項目中，我們完全實現(xiàn)了libbpf庫的自主可控，可控源代碼，可控編譯構(gòu)建過程。這至少給我們帶來如下兩方面好處：

對于一些ebpf的資深人士，可以自主修改libbpf庫中不盡如人意的地方，實現(xiàn)滿足自己業(yè)務(wù)需求的優(yōu)化。

對于一些ebpf的初學(xué)者，完全可以在libbpf庫中任意感興趣的地方，通過插入printf或其他斷點方式，深入學(xué)習(xí)libbpf庫的原理。

05

改進(jìn)基于原生libbpf庫的eBPF項目構(gòu)建

5.1 傳統(tǒng)方案美中不足

在上文中，我們初步實現(xiàn)了基于libbpf庫的第 2 代 eBPF項目的構(gòu)建。但截止到目前，此方案還有一個明顯的缺陷。讓我們繼續(xù)上一篇的案例來分析，在搭建完開發(fā)環(huán)境后執(zhí)行如下步驟。

$ cd $NATIVE_LIBBPF                                    # 返回工作目錄
$ cd trace_execve_libbpf130                            # 進(jìn)入項目目錄
$ make clean
$ make
$ sudo ./trace_execve
trace_execve 160646349 5503 sa1 1 systemd 0 /usr/lib64/sa/sa1
trace_execve 160646371 5503 sa1 1 systemd 0 /usr/lib64/sa/sadc


$ mv progs/trace_execve.bpf.o progs/trace_execve.bpf.o.bak
$ sudo ./trace_execve
libbpf: elf: failed to open progs/trace_execve.bpf.o: No such file or directory
ERROR: failed to open prog: 'No such file or directory'


$ mv progs/trace_execve.bpf.o.bak progs/trace_execve.bpf.o
$ sudo ./trace_execve
trace_execve 190767474 5566 crond 5565 crond 0 /bin/bash
trace_execve 190767486 5566 bash  5565 crond 0 /bin/run-parts

從實驗結(jié)果可以看出，當(dāng)我們把bpf目標(biāo)文件trace_execve.bpf.o改名為trace_execve.bpf.o.bak后，trace_execve程序執(zhí)行會報錯，提示讀取trace_execve.bpf.o文件不存在。而當(dāng)我們再次將備份后的bpf目標(biāo)文件trace_execve.bpf.o.bak改回原名trace_execve.bpf.o后，重新執(zhí)行trace_execve程序又一切正常了。這說明，當(dāng)前方案構(gòu)建后，需要將trace_execve程序和bpf目標(biāo)文件trace_execve.bpf.o這一組文件一起進(jìn)行分發(fā)，才能正常執(zhí)行。這給我們在工程的實現(xiàn)上帶來了很大的挑戰(zhàn)。

為了解決上面提到的問題，第 3 代 ebpf 編程方案 libbpf-bootstrap框架發(fā)明了skeleton骨架，即使用*.skel.h頭文件的方式，將bpf目標(biāo)文件trace_execve.bpf.o的內(nèi)容編譯進(jìn)trace_execve程序。這樣后續(xù)只需分發(fā)trace_execve二進(jìn)制程序文件即可。

如果不依賴libbpf-bootstrap編程框架，繼續(xù)僅依賴 libbpf 庫是否可以做到這一點呢？答案是可以的，本文獨辟蹊徑，給大家分享一個使用hexdump命令輕松實現(xiàn)*.skel.h頭文件的方式。

5.2 使用hexdump生成skel.h頭文件

簡單歸納一下使用libbpf-bootstrap框架編程過程中的構(gòu)建步驟。

分析libbpf-bootstrap編程框架的實現(xiàn)原理，可以了解到。在第3步會依靠bpftool工具將trace_execve.bpf.o這個目標(biāo)文件轉(zhuǎn)換成十六進(jìn)制格式的文本，并將這個文本內(nèi)容作為trace_execve.skel.h頭文件中的一個變量的值，最后還需要讓trace_execve.c用戶態(tài)加載文件包含這個trace_execve.skel.h頭文件。這其中將bpf目標(biāo)文件轉(zhuǎn)換成十六進(jìn)制文本并生成skel.h頭文件的過程最為關(guān)鍵。

libbpf-bootstrap編程框架非常成熟，但方案使用中必須遵循他的一些規(guī)則，比如頭文件trace_execve.skel.h的命令必須包含程序的關(guān)鍵詞trace_execve，再比如加載函數(shù)trace_execve_bpf__load()也必須包含程序的關(guān)鍵詞trace_execve。如何能不依賴這個規(guī)范，實現(xiàn)一個更加輕量級的編程方案呢？這讓我們想到了hexdump命令，可以用它替換bpftool工具，并且生成符合自己期望的頭文件。

$ hexdump -v -e '"\x" 1/1 "%02x"' trace_execve.bpf.o > trace_execve.hex

5.3 深入構(gòu)建基于原生libbpf庫的eBPF項目

下面我們就嘗試依靠hexdump命令實現(xiàn)一個單一可執(zhí)行文件的解決方案。開始體驗我們基于第 2 代編程方案改進(jìn)的eBPF項目，進(jìn)入項目代碼。

$ cd $NATIVE_LIBBPF                                    # 返回工作目錄
$ cd hexdump_skel_libbpf130                            # 進(jìn)入項目目錄
$ make
$ sudo ./trace_execve
trace_execve bash su 74113 74112 0 /usr/bin/bash
trace_execve bash su 74113 74112 0 /usr/bin/bash


$ sudo ./probe_execve
probe_execve 19076757 5572 0anacron 5570 0anacron 0
probe_execve 19076758 5573 0anacron 5570 0anacron 0

分別執(zhí)行trace_execve和probe_execve兩個命令，對編譯結(jié)果進(jìn)行驗證，均完美驗證通過。這里我們在trace_execve實例基礎(chǔ)上又增加了一個probe_execve實例，說明hexdump_skel_libbpf130項目是支持多實例編譯的。

下面我們來驗證下本文開頭的情況，看看沒有了bpf目標(biāo)文件時的情形。

$ cd $NATIVE_LIBBPF                                    # 返回工作目錄
$ cd hexdump_skel_libbpf130                            # 進(jìn)入項目目錄 
$ rm -fr progs/trace_execve.bpf.o progs/probe_execve.bpf.o
$ sudo ./trace_execve
trace_execve 19076759 5574 run-parts 5566 run-parts 0 /bin/basename
trace_execve 19076760 5575 run-parts 5566 run-parts 0 /bin/logger


$ sudo ./probe_execve
probe_execve sh python 78841 78838 0 
probe_execve sh python 78841 78838 0

從運行結(jié)果看，雖然刪除了兩個bpf目標(biāo)文件trace_execve.bpf.o和probe_execve.bpf.o，僅僅依靠trace_execve和probe_execve兩個文件即可成功執(zhí)行。可以再嘗試將trace_execve 可執(zhí)行文件拷貝到其他目錄，結(jié)果依然可行。

5.4 改進(jìn)的eBPF項目Makefile解析

hexdump_skel_libbpf130項目也是同樣的4個Makefile，其中將bpf目標(biāo)文件編譯到用戶態(tài)加載進(jìn)程中的環(huán)節(jié)主要在項目的主Makefile中實現(xiàn)。還是老辦法獲取make構(gòu)建的詳細(xì)過程。

$ cd $NATIVE_LIBBPF                                    # 返回工作目錄
$ cd hexdump_skel_libbpf130                            # 進(jìn)入項目目錄 
$ make clean
$ make --debug=v,m SHELL="bash -x" > make.log 2>&1

對于構(gòu)建日志的分析可以參考前面文章，我們把關(guān)鍵環(huán)節(jié)提取出來。

$ cat make.log | grep -n "Considering target file"
14:Considering target file 'all'.
16:  Considering target file 'tools/lib/bpf/libbpf.a'.
21:  Considering target file 'helpers/uprobe_helper.o'.
23:    Considering target file 'helpers/uprobe_helper.c'.
31:  Considering target file 'probe_execve'.
33:    Considering target file 'probe_execve.o'.
35:      Considering target file 'probe_execve.c'.
38:      Considering target file 'probe_execve.skel.h'.
40:        Considering target file 'probe_execve.hex'.
42:          Considering target file 'progs/probe_execve.bpf.o'.
44:            Considering target file 'progs/probe_execve.bpf.c'.
145:  Considering target file 'trace_execve'.
147:    Considering target file 'trace_execve.o'.
149:      Considering target file 'trace_execve.c'.
152:      Considering target file 'trace_execve.skel.h'.
154:        Considering target file 'trace_execve.hex'.
156:          Considering target file 'progs/trace_execve.bpf.o'.
158:            Considering target file 'progs/trace_execve.bpf.c'.

從關(guān)鍵構(gòu)建步驟中，我們可以了解到：

probe_execve和trace_execve兩個target都是all目標(biāo)的下級目標(biāo)，并且probe_execve和trace_execve是串行的。這個里隱含的一個意思是，當(dāng)trace_execve開始構(gòu)建的時候，probe_execve已經(jīng)完全構(gòu)建完畢，probe_execve這個最終可執(zhí)行文件已經(jīng)生成完畢。此時，probe_execve構(gòu)建過程中所依賴的所有中間文件都不再需要了。所以，probe_execve和trace_execve構(gòu)建過程中依賴的中間文件是可以重名的。

tools/lib/bpf/libbpf.a和helpers/uprobe_helper.o已經(jīng)提前編譯好了，就不再做過多的說明了。最終的用戶態(tài)可執(zhí)行加載程序的主要依賴鏈條如下。

trace_execve
├── trace_execve.o
│   ├── trace_execve.c
│   ├── trace_execve.skel.h
│   │   ├── trace_execve.hex
│   │   │   ├──progs/trace_execve.bpf.o
│   │   │   │   └── progs/trace_execve.bpf.c

再看一下主Makefile的源碼，為了實現(xiàn)以上的目標(biāo)依賴，我們連用了5個靜態(tài)模式規(guī)則（Static Pattern Rules）。

$(HELPER_OBJECTS): %.o:%.c


$(BPF_OBJECT):./progs/%.bpf.o:./progs/%.bpf.c


$(HEX_OBJECT):%.hex:./progs/%.bpf.o


$(SKEL_OBJECT):%.skel.h:%.hex


$(USER_OBJECT):%.o:%.c %.skel.h


$(LOADER_OBJECT): %:%.o

其中任何一個靜態(tài)模式規(guī)則的目標(biāo)集合，都是通過項目根目錄下*.c文件的集合，進(jìn)行局部字符串替換獲得。

SOURCES := $(wildcard *.c)
HELPER_OBJECTS := $(patsubst %.c,%.o,$(wildcard $(HELPERS_PATH)/*.c))
LOADER_OBJECT  := $(patsubst %.c,%,$(SOURCES))
USER_OBJECT    := $(patsubst %.c,%.o,$(SOURCES))
SKEL_OBJECT    := $(patsubst %.c,%.skel.h,$(SOURCES))
HEX_OBJECT     := $(patsubst %.c,%.hex,$(SOURCES))
BPF_OBJECT     := $(patsubst %.c,./progs/%.bpf.o,$(SOURCES))

5.5 從file到memory實現(xiàn)讀取elf的轉(zhuǎn)變

本方案的主要邏輯是在主Makefile中實現(xiàn)，但也需要c代碼中做一些調(diào)整。bpf文件trace_execve.bpf.c并不需要任何修改，只需要在用戶態(tài)加載程序trace_execve.c做一些調(diào)整。

傳統(tǒng)的讀取bpf目標(biāo)文件方式，相關(guān)代碼如下：

char filename[256] = "progs/trace_execve.bpf.o";
struct bpf_object * bpf_obj = bpf_object__open_file(filename, NULL);

改進(jìn)后的讀取memory方式，相關(guān)代碼如下：

#include "skeleton.skel.h"


struct bpf_object * bpf_obj = bpf_object__open_mem(obj_buf, obj_buf_sz, NULL);

很明顯libbpf庫提供了bpf_object__open_file（bpf_object__open）和bpf_object__open_mem兩個函數(shù)用于讀取elf格式的bpf目標(biāo)文件trace_execve.bpf.o。區(qū)別是bpf_object__open_file是在trace_execve運行時，再去讀取trace_execve.bpf.o文件內(nèi)容，而bpf_object__open_mem是在編譯時，已經(jīng)把elf內(nèi)容編譯進(jìn)trace_execve程序。至于bpf_object__open函數(shù)在libbpf庫的libbpf.c文件中是對bpf_object__open_file函數(shù)的封裝。

這兩個libbpf庫函數(shù)，最終都是調(diào)用elf標(biāo)準(zhǔn)庫函數(shù)實現(xiàn)了相關(guān)功能，具體代碼實現(xiàn)是在libbpf庫的libbpf.c文件中的bpf_object__elf_init函數(shù)中，代碼如下：

static int bpf_object__elf_init(struct bpf_object *obj){
        ......
        if (obj->efile.obj_buf_sz > 0) {
                elf = elf_memory((char *)obj->efile.obj_buf, obj->efile.obj_buf_sz);
        } else {
                obj->efile.fd = open(obj->path, O_RDONLY | O_CLOEXEC);
                ...... 
                elf = elf_begin(obj->efile.fd, ELF_C_READ_MMAP, NULL);
        }
        ......
}

可以看出，bpf_object__open_mem函數(shù)的最終實現(xiàn)是elf的elf_memory函數(shù)，bpf_object__open_file函數(shù)的最終實現(xiàn)是elf的elf_begin函數(shù)。

5.6 原生libbpf庫與libbpf-bootstrap的若干區(qū)別

相比較第3代的 libbpf-bootstrap框架方案和第2代的傳統(tǒng)libbpf庫方案，使用hexdump命令的原生libbpf庫第 2 代改進(jìn)方案方案在實現(xiàn)方法上，有一些獨特的優(yōu)勢。

這里將這三種方案的主要區(qū)別歸納總結(jié)如下：

這里補(bǔ)充下，trace_execve_bpf__open()函數(shù)的實現(xiàn)，也是間接通過libbpf庫的bpf_object__open_skeleton()函數(shù)，最終也調(diào)用了bpf_object__open_mem()函數(shù)。

5.7 使用attach_tracepoint替代attach

在ebpf用戶態(tài)程序的加載過程中，有一個attach的步驟。細(xì)心的讀者應(yīng)該已經(jīng)發(fā)現(xiàn)了，在trace_execve_libbpf130項目中，我們使用的是bpf_program__attach()函數(shù)實現(xiàn)的靜態(tài)探針點的attach。而在hexdump_skel_libbpf130項目中，我們使用的卻是bpf_program__attach_tracepoint()函數(shù)實現(xiàn)的靜態(tài)探針點的attach。區(qū)別是bpf_program__attach_tracepoint函數(shù)的參數(shù)中會指定靜態(tài)探針點的具體信息，而bpf_program__attach不用指定靜態(tài)探針點的信息。進(jìn)一步閱讀bpf_program__attach函數(shù)的源代碼可以了解到，它是依靠內(nèi)核態(tài)的bpf目標(biāo)文件中SEC的節(jié)名稱信息來獲取和確定靜態(tài)探針點的信息的。總結(jié)這兩種方法如下：

很明顯，在trace_execve.c和trace_execve.bpf.c的代碼中，只要有一處設(shè)置靜態(tài)探針點即可。如果兩處都設(shè)置，而且兩處設(shè)置的靜態(tài)探針點信息沖突的情況下，會以用戶態(tài)的bpf_program__attach_tracepoint函數(shù)設(shè)置的信息為準(zhǔn)。

libbpf庫中的bpf_link__destroy()函數(shù)是負(fù)責(zé)對attach函數(shù)生成的link進(jìn)行銷毀的函數(shù)。attach和destroy的過程實際上就是對內(nèi)核靜態(tài)探針點開啟和關(guān)閉的過程。

在這里特別推薦使用方案B中的bpf_program__attach_tracepoint替代方案A中的bpf_program__attach方法，這樣方便我們在用戶態(tài)代碼中靈活的開關(guān)ebpf的采集。除了專門用于靜態(tài)探針點的bpf_program__attach_tracepoint()函數(shù)，還有適用于其他類型的專用的attach函數(shù)，例如bpf_program__attach_kprobe()、bpf_program__attach_kprobe()、bpf_program__attach_uprobe()和bpf_program__attach_usdt()等。

5.8 使用by_name替代by_title

在稍早一些libbpf庫中提供2個函數(shù)用于獲取bpf progam 類型數(shù)據(jù)，分別是bpf_object__find_program_by_name()函數(shù)和bpf_object__find_program_by_title()函數(shù)。以trace_execve_libbpf130項目的 bpf代碼為例。

SEC("tracepoint/syscalls/sys_enter_execve")
int trace_execve_enter(struct syscalls_enter_execve_args *ctx){
    ......
}

其中tracepoint/syscalls/sys_enter_execve這個字符串就稱為title，trace_execve_enter這個函數(shù)名就稱為name。結(jié)合上文的結(jié)論，后續(xù)推薦bpf內(nèi)核態(tài)代碼中都使用SEC("tracepoint")的語法格式，那么使用by_title函數(shù)將不再能做出區(qū)分。因此這里特別推薦大家今后使用by_name的函數(shù)替代by_titile的函數(shù)。而且，在最新版的libbpf庫中，也徹底移除了bpf_object__find_program_by_title()函數(shù)。

06

基于原生libbpf庫改進(jìn)方案構(gòu)建USDT和Uprobe項目

基于hexdump命令的改進(jìn)型原生libbpf庫編程方案不但在內(nèi)核態(tài)跟蹤診斷上表現(xiàn)完美，在用戶態(tài)應(yīng)用進(jìn)程的跟蹤診斷上依然可以表現(xiàn)得非常出色。本節(jié)內(nèi)容將在上文的基礎(chǔ)上，繼續(xù)分析如何使用原生libbpf庫開發(fā)和構(gòu)建USDT和Uprobe項目。

6.1 用戶態(tài)模擬程序

用戶態(tài)應(yīng)用程序的ebpf，還需要準(zhǔn)備一個模擬程序。尤其是針對USDT類型，還需要在模擬程序中進(jìn)行靜態(tài)打點。本小節(jié)將提供一個如何打USDT跟蹤點的實例。

$ cd $NATIVE_LIBBPF                                    # 返回工作目錄
$ cd mark_usdt_uprobe                                  # 進(jìn)入項目目錄
$ make
$ sudo cp umark /usr/bin/
$ sudo umark >/dev/null 2>/dev/null &
$ make clean

執(zhí)行完以上步驟，就啟動了用戶態(tài)模擬程序umark，后續(xù)即可通過USDT和Uprobe方式，追蹤umark進(jìn)程的運行情況。

下面初步對umark模擬程序的代碼做一些介紹。

$ ls 
Makefile  README.md  sdt.h  umark.c


$ cat umark.c 
#include 
#include 
//#include 
#include "sdt.h"


unsigned long long int func_uprobe1(unsigned long long int x){
    return x + 1;
}
unsigned long long int func_uprobe2(unsigned long long int x, unsigned long long int y){
    return x + y;
}
int main(int argc, char const *argv[]) {
    unsigned long long int i;
    int var1 = 10, var2 = 20, var3 = 30;
    for (i = 0; i < 86400000; i++) {
        sleep(1);
        DTRACE_PROBE1(groupa, probe1, var1);
        DTRACE_PROBE2(groupb, probe2, var2, var3);
        printf("hit uprobe1 %llu
", func_uprobe1(i));
        printf("hit uprobe2 %llu
", func_uprobe2(i + 3, i + 8));
    }
    return 0;
}

其中func_uprobe1和func_uprobe2是兩個C語言函數(shù)用于下文的uprobe跟蹤實例的追蹤。DTRACE_PROBE1和DTRACE_PROBE2是兩個宏函數(shù)，用于在umark.c程序中打USDT的靜態(tài)跟蹤點。最多支持傳入12個跟蹤點參數(shù)，即DTRACE_PROBE1、DTRACE_PROBE2，一直到DTRACE_PROBE12。probe1和probe2是這個靜態(tài)跟蹤點的name，groupa和groupb是跟蹤點name的分組名，可以省略。

DTRACE_PROBE1宏函數(shù)定義在std.h頭文件內(nèi)，需要提前安裝頭文件所在包。

在rpm包環(huán)境，sdt.h頭文件屬于systemtap-sdt-devel這個rpm包。

$ find /usr/include/ -name sdt.h
/usr/include/sys/sdt.h


$ rpm -qf /usr/include/sys/sdt.h
systemtap-sdt-devel-4.8-2.0.2.al8.x86_64

在deb包環(huán)境，sdt.h頭文件屬于systemtap-sdt-dev這個deb包。

$ find /usr/include/ -name sdt.h
/usr/include/x86_64-linux-gnu/sys/sdt.h


$ dpkg -S /usr/include/x86_64-linux-gnu/sys/sdt.h
systemtap-sdt-dev:amd64: /usr/include/x86_64-linux-gnu/sys/sdt.h

令人欣慰的是，這個sdt.h頭文件并無太多額外依賴，簡單修改后，可以獨立維護(hù)。于是，我們可以將其拷貝到本項目根目錄。并將的頭文件引用方式改為"sdt.h"。

6.2 構(gòu)建基于libbpf庫的USDT和Uprobe項目

下面我們就進(jìn)一步介紹下使用第 2 代改進(jìn)編程方案的ebpf跟蹤用戶態(tài)進(jìn)程的解決方案。開始體驗我們的eBPF項目trace_user_libbpf130，進(jìn)入項目代碼。

$ cd $NATIVE_LIBBPF                                    # 返回工作目錄
$ cd trace_user_libbpf130                              # 進(jìn)入項目目錄
$ make
$ sudo ./uprobe_test
func_uprobe1 2374242 4604 umark 1534 bash 0 23368 23373
func_uprobe2 2374242 4604 umark 1534 bash 0 23371 23376


$ sudo ./usdt_test
func_usdt1 2375442 4604 umark 1534 bash 0 10 17
func_usdt2 2375442 4604 umark 1534 bash 0 20 30

分別執(zhí)行uprobe_test和usdt_test兩個命令，對編譯結(jié)果進(jìn)行驗證，均完美驗證通過。

trace_user_libbpf130項目的構(gòu)建和編譯過程與前面項目hexdump_skel_libbpf130無太多差異，不再做過多贅述。下文將著重對本項目中USDT和Uprobe的相關(guān)C語言源碼進(jìn)行解析。

6.3 USDT代碼解析

trace_user_libbpf130項目中的USDT部分，開啟了2個usdt靜態(tài)探針點的跟蹤，這2個靜態(tài)探針點分別是probe1和probe2。

第一個靜態(tài)探針點實例，選擇在attach時，通過bpf_program__attach_usdt函數(shù)的參數(shù)指定靜態(tài)探針點的相關(guān)信息。包括跟蹤的進(jìn)程信息"/usr/bin/umark"，usdt組名信息"groupa"，usdt名稱信息"probe1"等，代碼如下：

bpf_program__attach_usdt(bpf_prog1, -1, "/usr/bin/umark", "groupa", "probe1", NULL);

?第二個靜態(tài)探針點實例，選擇在bpf目標(biāo)文件中，通過SEC宏的方式指定靜態(tài)探針點的相關(guān)信息。包括跟蹤的進(jìn)程信息"/usr/bin/umark"，usdt組名信息"groupb"，usdt名稱信息"probe2"等，代碼如下：

SEC("usdt//usr/bin/umarkprobe2")

6.4 BPF_USDT宏函數(shù)解析

目前主流的USDT類型的ebpf代碼實例，在bpf目標(biāo)文件中都使用BPF_USDT宏函數(shù)來定義ebpf的處理函數(shù)，例如本項目實例中。

int BPF_USDT(usdt_probe1, int x)

在這里，宏函數(shù)BPF_USDT的第1個參數(shù)"usdt_probe1"才是真正的函數(shù)名，也就是前文所述by_name的name信息。宏函數(shù)的第2個參數(shù)"int x"才是usdt_probe1函數(shù)的第一個參數(shù)，依次類推。

各種USDT類型的ebpf代碼實例中，很少見到對這個宏函數(shù)BPF_USDT原理的分析。此處，我們借助第二個USDT靜態(tài)探針點在bpf目標(biāo)文件中的使用來解析它。代碼實例的關(guān)鍵部分如下：

int usdt_probe2(struct pt_regs *ctx);


static inline __attribute__((always_inline)) typeof(usdt_probe2(0)) ____usdt_probe2(struct pt_regs *ctx, int x, int y);


typeof(usdt_probe2(0)) usdt_probe2(struct pt_regs *ctx) {
    return ____usdt_probe2(ctx, ({ long _x; bpf_usdt_arg(ctx, 0, &_x); (void *)_x; }), ({ long _x; bpf_usdt_arg(ctx, 1, &_x); (void *)_x; }));
}


static inline __attribute__((always_inline)) typeof(usdt_probe2(0)) ____usdt_probe2(struct pt_regs *ctx, int x, int y)
{
    ......
}

這4行代碼，前兩行是函數(shù)聲明，后兩行是函數(shù)定義。usdt_probe2函數(shù)內(nèi)部調(diào)用了____usdt_probe2函數(shù)。一些代碼解讀：

always_inline，意味著無論優(yōu)化設(shè)置如何，編譯器都應(yīng)該始終將這個函數(shù)內(nèi)聯(lián)到任何調(diào)用它的地方。

typeof(usdt_probe2(0)) 用于確定 usdt_probe2 的返回類型，從而確保 ____usdt_probe2 與 usdt_probe2 有相同的返回類型。

({ long _x; bpf_usdt_arg(ctx, 0, &_x); (void *)_x; }) 這個復(fù)合語句用于獲取USDT探針的參數(shù)值。

使用 bpf_usdt_arg 輔助函數(shù)來獲取探針的第一個參數(shù)，并將其存儲到局部變量 _x 中。再將 _x 強(qiáng)制轉(zhuǎn)換為 void * 類型并傳遞給 ____usdt_probe2 函數(shù)。同樣的操作也對第二個參數(shù) y 進(jìn)行。

特別強(qiáng)調(diào)一下bpf_usdt_arg輔助函數(shù)來自于usdt.bpf.h頭文件，但本項目有2個usdt.bpf.h頭文件，其中一個在libbpf庫中，另外一個在./helpers/目錄下，helpers 目錄下的是經(jīng)過本項目改造過的。此示例中生效的是./helpers/目錄下的。

$ cd $NATIVE_LIBBPF                                    # 返回工作目錄
$ cd trace_user_libbpf130                              # 進(jìn)入項目目錄
$ find . -name usdt.bpf.h
./tools/lib/bpf/usdt.bpf.h
./helpers/usdt.bpf.h

6.5 Uprobe代碼解析

trace_user_libbpf130項目中的Uprobe部分，開啟了2個uprobe類型探針點的跟蹤，這2個uprobe探針點分別是probe1和probe2。

第一個uprobe探針點實例，選擇在attach時，通過bpf_program__attach_uprobe函數(shù)的參數(shù)指定uprobe探針點的相關(guān)信息。包括uprobe的類型（0表示函數(shù)進(jìn)入時，1表示函數(shù)返回時），跟蹤的進(jìn)程信息"/usr/bin/umark"，被跟蹤的函數(shù)在進(jìn)程中的偏移量 func_off1等。需要提前通過get_elf_func_offset()函數(shù)計算出這個偏移量，此函數(shù)定義在了helpers/uprobe_helper.c文件內(nèi)。相關(guān)代碼如下：

func_off1 = get_elf_func_offset("/usr/bin/umark", "func_uprobe1");
bpf_program__attach_uprobe(bpf_prog1, 0, -1, "/usr/bin/umark", func_off1);

第二個uprobe探針點實例，選擇在bpf目標(biāo)文件中，通過SEC宏的方式指定uprobe探針點的相關(guān)信息。包括跟蹤的進(jìn)程信息"/usr/bin/umark"，被跟蹤的應(yīng)用進(jìn)程中的函數(shù)"func_uprobe2"等。此種情況，libbpf庫會自動計算這個偏移量。代碼如下：

SEC("uprobe//usr/bin/umark:func_uprobe2")

6.6 BPF_KPROBE宏函數(shù)解析

目前主流的Uprobe類型的ebpf代碼實例，在bpf目標(biāo)文件中都使用BPF_KPROBE宏函數(shù)來定義ebpf的處理函數(shù)，例如本項目實例中。

int BPF_KPROBE(user_probe1, unsigned long long int x)

?在這里，宏函數(shù)BPF_KPROBE的第1個參數(shù)"user_probe1"才是真正的函數(shù)名，也就是前文所述by_name的name信息。宏函數(shù)的第2個參數(shù)"unsigned long long int x"才是user_probe1函數(shù)的第一個參數(shù)，依次類推。

各種Uprobe類型的ebpf代碼實例中，也同樣很少見到對這個宏函數(shù)BPF_KPROBE原理的分析。此處，我們借助第二個Uprobe探針點在bpf目標(biāo)文件中的使用來解析它。關(guān)鍵的代碼實例如下：

long user_probe2(struct pt_regs *ctx);


inline typeof(user_probe2(0)) ____user_probe2(struct pt_regs *ctx, unsigned long long int x, unsigned long long int y);


inline typeof(user_probe2(0)) ____user_probe2(struct pt_regs *ctx, unsigned long long int x, unsigned long long int y)
{
    ......
}


typeof(user_probe2(0)) user_probe2(struct pt_regs *ctx) {
    return ____user_probe2(ctx, (unsigned long long int)PT_REGS_PARM1(ctx), (unsigned long long int)PT_REGS_PARM2(ctx));
}

這4行代碼，前兩行是函數(shù)聲明，后兩行是函數(shù)定義。user_probe2函數(shù)內(nèi)部調(diào)用了____user_probe2函數(shù)。一些代碼解讀：

inline typeof(user_probe2(0)) ____user_probe2(struct pt_regs *ctx, unsigned long long int x, unsigned long long int y); 這是內(nèi)聯(lián)函數(shù)____user_probe2的聲明。

typeof(user_probe2(0))用于確定____user_probe2函數(shù)的返回類型，保證與user_probe2函數(shù)的返回類型一致。

typeof(user_probe2(0)) user_probe2(struct pt_regs *ctx) { return ____user_probe2(ctx, (unsigned long long int)PT_REGS_PARM1(ctx), (unsigned long long int)PT_REGS_PARM2(ctx)); } 這是user_probe2函數(shù)的定義。它使用PT_REGS_PARM1(ctx)和PT_REGS_PARM2(ctx)宏來獲取用戶空間探針傳遞給eBPF程序的前兩個參數(shù)。

如果對于以上的代碼解讀如果還有不明白的地方，可以嘗試問問GPT。

07

技術(shù)交流

本文為eBPF動手實踐系列的第三篇，我們實現(xiàn)了基于libbpf庫的純C語言eBPF項目的構(gòu)建。

審核編輯：劉清