電子發燒友App
1. 前言
在工作中，經常會遇到由于越界導致的各種奇怪的問題。為什么越界訪問導致的問題很奇怪呢？在工作差不多半年的時間里我就遇到了很多越界訪問導致的問題（不得不吐槽下IC廠商提供的driver，總是隱藏著bug）。比如說越界訪問導致的死機問題，這種問題的出現一般需要長時間測試才能發現，而且發現的時候即使有panic log。你也沒什么頭緒。這是為什么呢？假設驅動A通過kmalloc（）申請了一段內存，不注意越界改寫了與其相鄰的object的數據（經過我之前一篇SLUB的文章分析，你應該明白kmalloc基于kmem_cache實現的），假設被改寫的object是B驅動使用的，巧合B驅動使用object存儲的是地址數據，如果B驅動訪問這個地址。那么完了，B驅動死了，panic也是怪B驅動。試想一下，這塊被改寫的object是哪個驅動使用，是不是哪個驅動就倒霉了？并且每一次死機的log中panic極有可能發生在不同的模塊。但是真正的元兇卻是A驅動，他沒事你還不知道，是不是很恐怖？簡直是借刀殺人啊！當然，越界訪問也不一定會死機。
之前就遇到一個很奇怪的問題。有兩個全局數組變量（用作存儲字符串）分別被模塊C和D使用。這兩個數組是上層需要顯示的name信息。當C和D模塊都工作的時候，發現C模塊的name顯示不對，但是D模塊的name顯示正常。將D模塊remove，發現C模塊的name顯示正確。當時看了下System.map文件，發現這兩個全局數組變量分配的內存是在一起的，由于D模塊越界寫導致的。而這種情況就不會死機。但是當你遇到這種情況的時候，你很驚訝，怎么會這樣？兩個模塊之間根本就沒關系啊！如果完全不借助檢測工具去查找問題是相當費時間的。
而且有可能還沒什么頭緒。這種問題我們該怎么定位？因此我們遇到一種debug的手段，可以檢測out-of-bounds（oob）問題。剛才的第一種情況就可以SLUB自帶debug功能。針對第二種情況就需要借助更加強大的KASAN工具（后續會有文章介紹）。
因此，我們需要一種debug手段幫助我們定位問題。SLUB DEBUG就是其中的一種。但是SLUB DEBUG僅僅針對從slub分配器分配的內存，如果你需要檢測從棧中或者數據區分配內存的問題，就不行了。當然了，你可以選擇KASAN。本文主要關注SLUB DEBUG的原理，如何定位這些問題的。
SLUB DEBUG檢測oob問題原理也很簡單，既然為了發現是否越界，那么就在分配出去的內存尾部添加一段額外的內存，填充特殊數字（magic num）。我們只需要檢測這塊額外的內存的數據是否被修改就可以知道是否發生了oob情況。而這段額外的內存就叫做Redzone。直譯過來“紅色區域”是不是有種神圣不可侵犯的感覺。
說明：slab是最早加入linux的，在那時只有slab的存在。隨著時間的推移slub出現了，slub是在slab基礎上進行的改進，在大型機上表現出色。而slob是針對小型系統設計的。由于slub實現的接口和slab接口保持一致（雖然你用的是slub分配器，但是很多函數名稱和數據結構還是依然和slab一致），所以有時候用slab來統稱slab， slub和slob。slab， slub和slob僅僅是分配內存策略不同。管理的思想基本一致。本篇文章中說的是slub分配器debug原理。但是針對分配器管理的內存，下文統稱為slab緩存池。所以文章中slub和slab會混用，表示同一個意思。
注：文章代碼分析基于linux-4.15.0-rc3。圖片有點走形，請單獨點開圖片查看。
2. SLUB DEBUG功能?
SLUB DEBUG可以檢測內存越界（out-of-bounds）和訪問已經釋放的內存（use-after-free）等問題。
2.1. 如何打開功能
重新配置kernel選項，打開如下選項即可。
CONFIG_SLUB=y
CONFIG_SLUB_DEBUG=y
CONFIG_SLUB_DEBUG_ON=y
2.2. 如何使用
程序中的bug如果想用SLUB DEBUG去檢測，還需要slabinfo命令。因為，SLUB內存檢測功能在某些情況下不能立刻檢測出來，必須主動觸發，因此我們需要借助slabinfo命令觸發SLUB allocator檢測功能。和KASAN相比較而言，這也是SLUB DEBUG的一個劣勢。畢竟KASAN可以做到在越界問題出現時就報出問題。
slabinfo工具源碼位于tools/vm目錄。可以使用如下命令編譯slabinfo工具（針對ARM64 architecture）。
aarch64-linux-gnu-gcc -o slabinfo slabinfo.c
當系統開機之后，就可以運行slabinfo –v命令觸發SLUB allocator檢測所有的object，并將log信息輸出到syslog。接下來的任務就是查看log信息是否包含SLUB allocator輸出的bug log。其實有些bug是不需要運行slabinfo命令即可捕捉，但是有些卻必須使用slabinfo –v命令才可以。下一節將會介紹SLUB DEBUG的原理，為你揭開哪些bug不需要slabinfo命令。
3. object layout?
配置kernel選項CONFIG_SLUB_DEBUG_ON后，在創建kmem_cache的時候會傳遞很多flags（SLAB_CONSISTENCY_CHECKS、SLAB_RED_ZONE、SLAB_POISON、SLAB_STORE_USER）。針對這些flags，SLUB allocator管理的object對象的format將會發生變化。如下圖所示。
?
SLUBU DEBUG關閉的情況下，free pointer是內嵌在object之中的，但是SLUB DEBUG打開之后，free pointer是在object之外，并且多了很多其他的內存，例如red zone、trace和red_left_pad等。這里之所以將FP后移就是因為為了檢測use-after-free問題,當free object時會在將object填充magic num(0x6b)。如果不后移的話，豈不是破壞了object之間的單鏈表關系。
3.1. Red zone有什么用
從圖中我們可以看到在object后面緊接著就是Red zone區域，那么Red zone有什么作用呢?既然緊隨其后，自然是檢測右邊界越界訪問（right out-of-bounds access）。原理很簡單，在Red zone區域填充magic num，檢查Red zone區域數據是否被修改即可知道是否發生right oob。
可能你會想到如果越過Red zone，直接改寫了FP，豈不是檢測不到oob了，并且鏈表結構也被破壞了。其實在check_object()函數中會調用check_valid_pointer()來檢查FP是否valid，如果invalid，同樣會print error syslog。
3.2. padding有什么用
padding是sizeof(void *) bytes的填充區域，在分配slab緩存池時，會將所有的內存填充0x5a。同樣在free/alloc object的時候作為檢測的一種途徑。如果padding區域的數據不是0x5a，就代表發生了“Object padding overwritten”問題。這也是有可能，越界跨度很大。
3.3. red_left_pad有什么用
red_left_pad和Red zone的作用一致。都是為了檢測oob。區別就是Red zone檢測right oob，而red_left_pad是檢測left oob。如果僅僅看到上面圖片中object layout。你可能會好奇，如果發生left oob，那么應該是前一個object的red_left_pad區域被改寫，而不是當前object的red_left_pad。如果你注意到這個問題，還是很機智的，這都被你發現了。為了避免這種情況的發生，SLUB allocator在初始化slab緩存池的時候會做一個轉換。
?
如果你去追蹤kmem_cache_create()，在calculate_sizes()中布局object。區域劃分的layout就如同你看到上圖的上半部分。當我第一次看到這段代碼的時候，我也這么認為。實際上卻不是這樣的。在struct page結構中有一個freelist指針，freelist會指向第一個available object。在構建object之間的單鏈表的時候，object首地址實際上都會加上一個red_left_pad的偏移，這樣實際的layout就如同圖片中轉換之后的layout。為什么會這樣呢？因為在有SLUB DEBUG功能的時候，并沒有檢測left oob功能。這種轉換是后續一個補丁的修改。補丁就是為了增加left oob檢測功能。
做了轉換之后的red_left_pad就可以檢測left oob。檢測的方法和Red zone區域一樣，填充的magic num也一樣，差別只是檢測的區域不一樣而已。
4. SLUB DEBUG原理?
經過上一節分析應該很清楚了大概的原理了。從high level考慮，SLUB就是利用特殊區域填充特殊的magic num，在每一次alloc/free的時候檢查magic num是否被意外修改。
4.1. magic num
SLUB 中有哪些magic num呢?所有使用的magic num都宏定義在include/linux/poison.h文件。
#define SLUB_RED_INACTIVE 0xbb
#define SLUB_RED_ACTIVE 0xcc
/* ...and for poisoning */
#define POISON_INUSE 0x5a /* for use-uninitialised poisoning */
#define POISON_FREE 0x6b /* for use-after-free poisoning */
#define POISON_END 0xa5 /* end-byte of poisoning */
SLUB_RED_INACTIVE和SLUB_RED_ACTIVE用來填充Red zone和red_left_pad，目的是檢測oob。POISON_INUSE用來填充padding區域，同樣可以用來檢測oob，只不過是poison overwrite。POISON_FREE作用是檢測use-after-free問題。POISON_END是object可用區域的最后一個字節填充。 4.2. slab緩存池填充 當SLUB allocator申請一塊內存作為slab 緩存池的時候，會將整塊內存填充POISON_INUSE。如下圖所示。 ?
然后通過init_object()函數將相關的區域填充成free object的情況，并且建立單鏈表。注意freelist指針指向的位置，SLUB_DEBUG on和off的情況下是不一樣的。主要就是3.3節提到的轉換關系。為什么這里填充成free object的情況呢？其實就是為了假裝我這里都是free的object，也是符合情理的。object初始化流程如下。 ?
4.3. free object layout 剛分配slab緩存池和free object之后，系統都會通過調用init_object()函數初始化object各個區域，主要是填充magic num。free object layout如下圖所示。 ?
1)?red_left_pad和Red zone填充了SLUB_RED_INACTIVE（0xbb）； 2)?object填充了POISON_FREE（0x6b），但是最后一個byte填充POISON_END（0xa5）； 3)?padding在allocate_slab的時候就已經被填充POISON_INUSE（0x5a），如果程序意外改變，當檢測到padding被改變的時候，會output error syslog并繼續填充0x5a。 4.4. alloc object layout 當從SLUB allocator申請一個object時，系統同樣會調用init_object()初始化成想要的模樣。alloc object layout如下圖所示。 ?
1)?red_left_pad和Red zone填充了SLUB_RED_ACTIVE（0xcc）； 2)?object填充了POISON_FREE（0x6b），但是最后一個byte填充POISON_END（0xa5）； 3)?padding在allocate_slab的時候就已經被填充POISON_INUSE（0x5a），如果程序意外改變，當檢測到padding被改變的時候，會output error syslog并繼續填充0x5a。 alloc object layout和free object layout相比較而言，也僅僅是red_left_pad和Red zone的不同。既然該填充的數據都搞定了，下面就是如何檢查oob、use-after-free等問題了。 4.5. out-of-bounds bugs detect 下面使用demo例程來說明oob檢測。我們使用kmalloc分配32 bytes內存，然后制造越界訪問第33個元素，必然會越界訪問。由于kmalloc是基于SLUB allocator，因此此bug可以檢測。
void right_oob(void)
{
char *p = kmalloc(32, GFP_KERNEL);
if (!p)
return;
p[32] = 0x88;
kfree(p);
}
運行后的object layout如下圖所示。 ?
我們可以看到，Red zone區域本來應該0xcc的地方被修改成了0x88。很明顯這是一個Redzone overwritten問題。那么系統什么時候會檢測到這個嚴重的bug呢？就在你kfree()之后。kfree()中會去檢測釋放的object中各個區域的值是否valid。Red zone區域的值全是0xcc就是valid，因此這里會檢測0x88不是0xcc，進而輸出error syslog。kfree()最終會調用free_consistency_checks()檢測object。free_consistency_checks()函數如下。
static inline int free_consistency_checks(struct kmem_cache *s,
struct page *page, void *object, unsigned long addr)
{
if (!check_valid_pointer(s, page, object)) {
slab_err(s, page, "Invalid object pointer 0x%p", object);
return 0;
}
if (on_freelist(s, page, object)) {
object_err(s, page, object, "Object already free");
return 0;
}
if (!check_object(s, page, object, SLUB_RED_ACTIVE))
return 0;
return 1;
}
1)?check_valid_pointer()負責檢測object的free pointer指針數據是否valid。oob是有可能導致這種情況得到發生。 2)?on_freelist()檢測object是否已經free，可以檢測多次free的bug。 3)?check_object()會檢測Red zone區域的數值是否被改變，因此這里就會報出bug。 如果是左邊界越界訪問，是否也同樣可以檢測出呢？可以測試以下demo例程。
void left_oob(void)
{
char *p = kmalloc(32, GFP_KERNEL);
if (!p)
return;
p[-1] = 0x88;
kfree(p);
}
運行后的object layout如下圖所示。 ?
檢測方法大同小異，這里也是最終在free_consistency_checks()函數中通過檢測red_left_pad區域發現left oob問題。 可能你會想如果我只申請內存不釋放的話，這個bug還能檢測到嗎？其實這里是不行的。我們只能借助slabinfo工具主動觸發檢測功能。所以，這也是SLUB DEBUG的一個劣勢，它不能做到動態監測。它的檢測機制是被動的。 4.6. use-after-free bugs detect 如果是use-after-free問題，我們該如何檢測呢？首先上demo例程。
void use_after_free(void)
{
char *p = kmalloc(32, GFP_KERNEL);
if (!p)
return;
kfree(p);
memset(p, 0x88, 32);
}
運行之后object layout如下圖所示。 ?
還記得上面說的嗎？SLUB DEBUG是被動的。因此這里就要選擇slabinfo工具了。命令中斷輸入slabinfo –v即可。slabinfo檢測的原理也很簡單，便利所有已經釋放的object，檢查object區域是否全是0x6b（最后一個字節oxa5）即可，如果不是的話，自然就是use-after-free。
5. slabinfo?
我們看一下slabinfo –v命令的實現方式以及檢查的流程。slabinfo源碼位于tools/vm/slabinfo.c文件。slabinfo –v命令執行流程如下圖所示。 ?
針對系統中每一個slab都會執行set_obj()函數。set_obj()代碼如下：
static void set_obj(struct slabinfo *s, const char *name, int n)
{
char x[100];
FILE *f;
snprintf(x, 100, "%s/%s", s->name, name);
f = fopen(x, "w");
if (!f)
fatal("Cannot write to %s\n", x);
fprintf(f, "%d\n", n);
fclose(f);
}
set_obj()參數name傳遞的是“validate”，n傳遞的是1。作用就是向/sys/kernel/slab/
validate_slab()代碼如下：
static int validate_slab(struct kmem_cache *s, struct page *page, unsigned long *map)
{
void *p;
void *addr = page_address(page);
if (!check_slab(s, page) ||
!on_freelist(s, page, NULL))
return 0;
/* Now we know that a valid freelist exists */
bitmap_zero(map, page->objects);
get_map(s, page, map);
for_each_object(p, s, addr, page->objects) {
if (test_bit(slab_index(p, s, addr), map))
if (!check_object(s, page, p, SLUB_RED_INACTIVE))
return 0;
}
for_each_object(p, s, addr, page->objects)
if (!test_bit(slab_index(p, s, addr), map))
if (!check_object(s, page, p, SLUB_RED_ACTIVE))
return 0;
return 1;
}
1)?check_slab()會調用slab_pad_check()檢查slab padding區域。slab padding和object里面的pading不是一回事。如果說從buddy system分配的頁按照SLUB規則平分成很多object，那么有可能不能整除，那么剩下的unused區域就是slab padding。valid的數值是0x5a。如下圖所示。 2)?get_map()利用bitmap標記所有的available object。例如，slab緩存池一共有10個對象，按地址大小排序標號0-9（相當于index）。假設5和8號object已經被分配出去。那么bitmap中除了bit5和bit8以為，其余位為1。 3)?第一個for循環遍歷所有的available object是否有oob、use-after-free、object padding overwritten等問題發生。 4)?第二個for循環遍歷所有已經分配出去的object是否發生oob問題。
工商網監
評論