隨著大數(shù)據(jù)、人工智能的火熱，很多程序員都不甘現(xiàn)狀，尋求更廣闊的發(fā)展。但高薪工作也意味著高壓，對(duì)于很多工作了三五年的程序員來(lái)說(shuō)，更不想放棄現(xiàn)有的技術(shù)基礎(chǔ)，去重新學(xué)習(xí)新領(lǐng)域的技術(shù)。但大數(shù)據(jù)作為一個(gè)飛速發(fā)展的熱門領(lǐng)域，一半以上的專業(yè)人才卻是轉(zhuǎn)行而來(lái)……

1

數(shù)據(jù)是未來(lái)的“一切”

很多向大數(shù)據(jù)方向發(fā)展的人，都是看到了這個(gè)行業(yè)未來(lái)無(wú)限廣闊的前景和“錢景”。大數(shù)據(jù)并不是新名詞，但近幾年大數(shù)據(jù)、人工智能向各行各業(yè)逐漸滲透，數(shù)據(jù)也隨之井噴式增長(zhǎng)。早年掌握大量用戶數(shù)據(jù)的互聯(lián)網(wǎng)公司，已經(jīng)向世人展現(xiàn)數(shù)據(jù)在不同應(yīng)用場(chǎng)景中的巨大價(jià)值：

“天然”大數(shù)據(jù)公司亞馬遜從海量購(gòu)買數(shù)據(jù)中獲得信息、預(yù)測(cè)用戶行為；谷歌已成為網(wǎng)民的“意圖數(shù)據(jù)庫(kù)”；LinkedIn的獵頭價(jià)值；滴滴等出行、物流配送業(yè)務(wù)利用交易數(shù)據(jù)進(jìn)行實(shí)時(shí)定價(jià)，使利潤(rùn)最大化；還有的借助大數(shù)據(jù)相關(guān)技術(shù)，創(chuàng)造出新的業(yè)務(wù)模式——比如利用算法做個(gè)性化內(nèi)容推薦的今日頭條、一點(diǎn)資訊……

“一旦進(jìn)入大數(shù)據(jù)的世界，企業(yè)的手中將握有無(wú)限可能。你會(huì)發(fā)現(xiàn)數(shù)據(jù)越大，結(jié)果越好。為什么有的企業(yè)在商業(yè)上不斷犯錯(cuò)?那是因?yàn)樗麄儧](méi)有足夠的數(shù)據(jù)對(duì)運(yùn)營(yíng)和決策提供支持。”

亞馬遜CTO Werner Vogels

數(shù)據(jù)人才的旺盛需求源自一個(gè)根本性的變化：科技公司現(xiàn)如今都成了數(shù)據(jù)公司。大到 BAT 等互聯(lián)網(wǎng)巨頭，小到創(chuàng)業(yè)公司，都在向數(shù)據(jù)驅(qū)動(dòng)型企業(yè)轉(zhuǎn)變，挖掘數(shù)據(jù)、解讀數(shù)據(jù)、用數(shù)據(jù)洞察助力企業(yè)業(yè)務(wù)發(fā)展變得更加重要，導(dǎo)致行業(yè)內(nèi)人才的供給相對(duì)不足，薪資也非常可觀。

*數(shù)據(jù)工程師平均薪資（取自2019/4/25，Glassdoor）

Glassdoor 最新數(shù)據(jù)顯示，美國(guó)數(shù)據(jù)工程師平均年薪為 116k 美金（約合月薪 6w+ 人民幣），比數(shù)據(jù)分析師高出60%。北美就業(yè)情況是中國(guó)的晴雨表，對(duì)比其他數(shù)據(jù)崗位，國(guó)內(nèi)的數(shù)據(jù)工程師需求急速上升。

2

數(shù)據(jù)工程師轉(zhuǎn)行人士占46%

隨著企業(yè)需求的增長(zhǎng)，數(shù)據(jù)工程師數(shù)量也隨之急速增長(zhǎng)，其中，接近一半的比例是從其他相關(guān)崗位轉(zhuǎn)行而來(lái)。越來(lái)越多的程序員、工程師轉(zhuǎn)而向大數(shù)據(jù)方向發(fā)展，不僅僅是崗位的高薪，也是為了順應(yīng)時(shí)代。并且從企業(yè)對(duì)數(shù)據(jù)人才的需求增長(zhǎng)來(lái)看，這一趨勢(shì)并不會(huì)有所放緩。

* 數(shù)據(jù)工程師的崗位來(lái)源前 10，排名最高的分別是軟件工程師（41.67%）、分析師、咨詢師、商業(yè)分析師。數(shù)據(jù)來(lái)源：Stitch，點(diǎn)擊可查看大圖

大數(shù)據(jù)行業(yè)之所以轉(zhuǎn)行人士占比大，也是因?yàn)檗D(zhuǎn)行的門檻相對(duì)不高：

首先，大數(shù)據(jù)本身的年齡不大。其他崗位動(dòng)輒“10年開(kāi)發(fā)經(jīng)驗(yàn)”的要求比比皆是，但大數(shù)據(jù)相關(guān)崗位往往更看重能力，不會(huì)對(duì)工作年限有過(guò)高要求，無(wú)形之中為剛畢業(yè)的學(xué)生、轉(zhuǎn)行人士提供了很多機(jī)會(huì)。

其次，大多數(shù)企業(yè)對(duì)大數(shù)據(jù)人才需求并不明確。大數(shù)據(jù)不是單一的學(xué)科，需要多方向的內(nèi)容支撐。因此當(dāng)企業(yè)需求不明確時(shí)，很多人本來(lái)在從事軟件工程師、后端、甚至是算法等崗位，只需補(bǔ)充對(duì)應(yīng)的技術(shù)內(nèi)容，很容易轉(zhuǎn)型大數(shù)據(jù)方向，還有很多想成為數(shù)據(jù)科學(xué)家的人，通過(guò)數(shù)據(jù)工程師“曲線救國(guó)”。

3

需要走多少?gòu)澛罚拍艹蔀閿?shù)據(jù)工程師？

回答這個(gè)問(wèn)題之前，你首先要知道數(shù)據(jù)工程師需要做什么，各種新技術(shù)和產(chǎn)品的出現(xiàn)，數(shù)據(jù)工程師這個(gè)角色也發(fā)生了較大的變化。

幾年前的數(shù)據(jù)工程師，主要管理數(shù)據(jù)進(jìn)出數(shù)據(jù)庫(kù)，在 SQL 或 Procedural SQL 中創(chuàng)建管道，并在數(shù)據(jù)倉(cāng)庫(kù)中加載數(shù)據(jù)，創(chuàng)建統(tǒng)一、標(biāo)準(zhǔn)化的數(shù)據(jù)集結(jié)構(gòu)以供后期分析。但 2018 年以來(lái)，他們不再僅僅為數(shù)據(jù)的后期分析提供支持，還要負(fù)責(zé)整個(gè)數(shù)據(jù)流，保證任何數(shù)據(jù)都能夠正常操作，并方便其他使用者獲取。

這里的新技術(shù)和新產(chǎn)品，主要指的是大數(shù)據(jù)及其相關(guān)技術(shù)、DOE、機(jī)器學(xué)習(xí)、Spark＆Real-time、云開(kāi)發(fā)和無(wú)服務(wù)器等。

大數(shù)據(jù)：

2006年，Hadoop 的開(kāi)源大大改變了數(shù)據(jù)格局，存儲(chǔ)大量數(shù)據(jù)變得更容易，更便宜。最初，在 Hadoop 上進(jìn)行開(kāi)發(fā)非常復(fù)雜，需要用 Java 開(kāi)發(fā) Map Reduce 作業(yè)。直到 2010 年 Hive 開(kāi)源，更多傳統(tǒng)數(shù)據(jù)工程師才能更容易進(jìn)入這個(gè)大數(shù)據(jù)時(shí)代。

DOE：

隨著大數(shù)據(jù)的發(fā)展，大型互聯(lián)網(wǎng)公司面臨的最大挑戰(zhàn)是：缺少運(yùn)行復(fù)雜數(shù)據(jù)流的工具。Spotify 在2012年開(kāi)源 Luigi，在 2015 年開(kāi)源 Airbnb Airflow，這些編排引擎本質(zhì)上是把數(shù)據(jù)流作為代碼。Python 是大多數(shù)編排引擎的編譯語(yǔ)言。

機(jī)器學(xué)習(xí)：

在 Hadoop 出現(xiàn)之前，我們通常在一臺(tái)機(jī)器上訓(xùn)練機(jī)器學(xué)習(xí)模型，并且以非常特殊的方式進(jìn)行應(yīng)用。對(duì)于大型互聯(lián)網(wǎng)公司而言，需要利用先進(jìn)的軟件開(kāi)發(fā)技術(shù)以更好地訓(xùn)練機(jī)器學(xué)習(xí)模型并應(yīng)用到生產(chǎn)中，比如使用 Mahout 之類的框架。

Spark＆Real-time：

2014 年 Spark 發(fā)布了用于 python 的 MLlib，也將大數(shù)據(jù)上的機(jī)器學(xué)習(xí)計(jì)算民主化。關(guān)于 Hadoop 和 Spark 的選擇問(wèn)題，也一直在討論中。作為兩個(gè)頂級(jí)的 Apache 項(xiàng)目，Spark 在性能、成本、可用性、安全性和機(jī)器學(xué)習(xí)等多個(gè)角度，都比 Hadoop 略勝一籌，或許 Spark 在未來(lái)會(huì)成為大數(shù)據(jù)領(lǐng)域更年輕的“統(tǒng)治者”。

云開(kāi)發(fā)和無(wú)服務(wù)器：

遷移到云對(duì)數(shù)據(jù)工程師而言有多重影響。“云”打破了物理限制，對(duì)于大多數(shù)用戶而言，它意味著存儲(chǔ)和計(jì)算趨于無(wú)限化。這樣一來(lái)，就不再需要對(duì)服務(wù)器進(jìn)行不斷的優(yōu)化。而且，通過(guò)允許擴(kuò)展和減少資源來(lái)實(shí)現(xiàn)云，使得處理數(shù)據(jù)工程中典型的高峰批處理作業(yè)變得更加容易。

大數(shù)據(jù)行業(yè)，甚至是整個(gè)程序員行業(yè)，都是需要不停學(xué)習(xí)、不停經(jīng)歷技術(shù)迭代的，想要成為一名新時(shí)代下的數(shù)據(jù)工程師，就必須不斷學(xué)習(xí)新技術(shù)以適應(yīng)這快速的變化。

Udacity 全新上線的數(shù)據(jù)工程師納米學(xué)位課程，將幫助想要進(jìn)入該領(lǐng)域的人學(xué)到必備的專業(yè)技能，并在實(shí)際場(chǎng)景中進(jìn)行應(yīng)用，進(jìn)而找到理想的工作。

或許很多人對(duì) Udacity 并不陌生。Udacity 由 Google X 實(shí)驗(yàn)室的無(wú)人車之父 Sebastian Thrun 創(chuàng)立，課程與 Amazon、Google、Kaggle 等全球領(lǐng)先企業(yè)聯(lián)合開(kāi)發(fā)。在 MOOC 發(fā)展較為成熟的美國(guó)，Udacity 為畢業(yè)生頒發(fā)的「納米學(xué)位」相當(dāng)于“名企敲門磚”。

2016 年登陸中國(guó)后，與更多中國(guó)企業(yè)達(dá)成合作，騰訊、京東、唯品會(huì)等互聯(lián)網(wǎng)名企，都將 Udacity 納米學(xué)位項(xiàng)目作為員工的內(nèi)部培訓(xùn)內(nèi)容，入職的 Udacity 畢業(yè)生甚至可以獲得公司的“學(xué)費(fèi)返還”，納米學(xué)位在中國(guó)的影響也在逐漸擴(kuò)大。