我逐漸意識(shí)到，Unix 的命令行工具可以解決一切與文字處理有關(guān)的問題。我來講一個(gè)我遇到過的問題，以及怎樣用 Unix 命令行工具解決的。

問題

我在做我的碩士論文研究。像許多統(tǒng)計(jì)學(xué)家一樣，我需要進(jìn)行許多模擬。首先我利用一些數(shù)字的種子（以保證可復(fù)現(xiàn)性）來模擬了一些數(shù)據(jù)，然后在這些數(shù)據(jù)上用一個(gè)算法來估算一些東西。每次運(yùn)行模擬時(shí)我都會(huì)創(chuàng)建一些文件，大概像下面這樣：

dataset-directory/0001_data.csvdataset-directory/0001_A.csv

但有時(shí)候運(yùn)行會(huì)失敗。這并不是太嚴(yán)重，模擬失敗了我只需要運(yùn)行另一個(gè)模擬就好了。比如，0001 這個(gè)數(shù)據(jù)我成功地運(yùn)行了算法 A。因此我想在 0001 數(shù)據(jù)上使用算法 B。但我真正需要的是跟蹤哪些命令失敗了。

在許多數(shù)據(jù)上運(yùn)行算法 A 之后，我得到了一大堆文件，像這樣：

dataset-directory/0001_data.csvdataset-directory/0001_A.csvdataset-directory/0002_data.csvdataset-directory/0002_A.csvdataset-directory/0003_data.csvdataset-directory/0003_A.csvdataset-directory/0004_data.csvdataset-directory/0005_data.csvdataset-directory/0005_A.csvdataset-directory/0006_data.csvdataset-directory/0006_A.csvdataset-directory/0007_data.csvdataset-directory/0007_A.csvdataset-directory/0008_data.csvdataset-directory/0009_data.csvdataset-directory/0009_A.csv...dataset-directory/0499_A.csv

通過觀察得知算法 A 在數(shù)據(jù) 0004 和 0008 上的結(jié)果不存在。那么，怎樣才能列出所有 A 沒有成功的數(shù)據(jù)呢？

我當(dāng)然可以手工來做，但那樣很容易出錯(cuò)，而且很麻煩。要是能寫程序完成就最好了！

解決方案

簡單地來說，那些沒有成功的就是從0001到0500的數(shù)字中去掉那些成功了的數(shù)字。而得到數(shù)字列表的最好命令就是 seq：

$>seq1012345678910

（如果只給出一個(gè)數(shù)字，那么默認(rèn)序列從1開始。當(dāng)然，seq 2 10也會(huì)按照你期待的那樣工作。）

現(xiàn)在，如果我能獲得成功運(yùn)行的列表，就可以通過 seq 命令生成所有可能的數(shù)字，再交叉檢查兩個(gè)列表來獲得想要的結(jié)果了！

許多命令行工具只完成一項(xiàng)工作。例如，cut 可以獲得每行指定位置上的字符：

$>cattextLoremipsumdolorsitamet$>cattext|cut-c2-5oremolor

注意這里使用了所謂的“管道運(yùn)算符” | 。我說過，許多工具只做一件事，而且把那件事做到最好。很方便的是這些工具可以組合使用。使用管道，左邊命令的結(jié)果就會(huì)變成右邊命令的輸入。注意這些命令會(huì)將輸入當(dāng)做一系列行來處理，通常來說這非常方便。

我們可以把成功的文件名單列表利用管道輸入至 grep 命令，該命令可以使用正則表達(dá)式來查找。由于所有文件都以同樣長度的四個(gè)數(shù)字開始，我們可以利用正則表達(dá)式 dddd 來匹配這四個(gè)連續(xù)的數(shù)字，然后將文件末尾的 A 算法加到正則表達(dá)式中。要獲得文件列表，每行一個(gè)文件，只需執(zhí)行 ls。（盡管直接調(diào)用 ls 時(shí)并不會(huì)顯示成每行一個(gè)文件，但放在管道中時(shí)輸出就會(huì)變成這樣。）

$>lsdataset-directory|grep'dddd_A.csv'0009_A.csv0001_A.csv0002_A.csv0005_A.csv0007_A.csv0003_A.csv0006_A.csv...

出于某些原因，在使用 grep 之后這里的順序混亂了。我們可以使用 sort 命令來改正。而且由于我們只關(guān)心數(shù)字，可以使用 cut -c 1-4 來取出數(shù)字部分。

$>lsdataset-directory|grep'dddd_A.csv'|sort|cut-c1-40001000200030005000600070009...0499

這些數(shù)字跟 seq 命令的結(jié)果不太一樣，因?yàn)樗鼈兦懊嫜a(bǔ)了零。我們可以使用一段 Python 腳本將它們轉(zhuǎn)成整數(shù)。

#parse.pyimportsysforlineinsys.stdin:i=int(line)print(i)

現(xiàn)在將結(jié)果用管道導(dǎo)入這個(gè)腳本就能得到我們需要的數(shù)字：

$>lsdataset-directory|grep'dddd_A.csv'|cut-c1-4|python3parse.py1235679...499

接近目標(biāo)了！現(xiàn)在需要找出怎樣才能交叉檢查這兩個(gè)數(shù)字的列表。幸運(yùn)的是，有個(gè)命令叫做comm，它能檢查兩個(gè)輸入流中的公共字符。為了將上面這個(gè)命令的輸出作為輸入使用，我們可以將其求值后重定向，只需使用<(...)即可實(shí)現(xiàn)：

$>comm<(ls?dataset-directory?|?grep?'dddd_A.csv'?|?cut?-c?1-4?|?python3?parse.py)?<(seq?500)????????1????????2????????3????4????????5????????6????????7????8????????9????10...????500

這個(gè)輸出不是太好理解。閱讀 comm 的手冊（運(yùn)行 man comm）可以發(fā)現(xiàn)，comm 會(huì)“產(chǎn)生三列的輸出，分別是：只存在于 file1 的行，只存在于 file2 的行，以及存在于兩個(gè)文件的行”。要去掉第一列（其實(shí)它是空的，因?yàn)闆]有任何數(shù)字只存在于文件列表中），可以在調(diào)用 comm 時(shí)加入參數(shù)-1。我們也不關(guān)心同時(shí)存在于兩個(gè)輸入中的數(shù)字，因此還要傳遞標(biāo)志-3。

$>comm-1-3<(ls?dataset-directory?|?grep?'dddd_A.csv'?|?cut?-c?1-4?|?python3?parse.py)?<(seq?500)48...500

搞定！