大數(shù)據(jù)是這幾年的一項(xiàng)熱門技術(shù)。它和人工智能、云計(jì)算一起,已經(jīng)成為大科技公司的技術(shù)標(biāo)配。但是該如何理解大數(shù)據(jù)技術(shù)?這項(xiàng)技術(shù)對(duì)我們有什么影響?這些基本的問(wèn)題,不少人卻并不清楚。
谷歌的數(shù)據(jù)科學(xué)家賽斯(賽斯·史蒂芬斯-大衛(wèi)德維茨Seth Stephens-Davidowitz)寫了一本書《數(shù)據(jù)、謊言與真相》(Everybody Lies:Big Data,New Data ,and What the Internet Can Tell Us About Who We Really Are ),里面對(duì)這些問(wèn)題給出了他的回答。
大數(shù)據(jù)這個(gè)名字本身會(huì)給人一種誤解,認(rèn)為大數(shù)據(jù)的關(guān)鍵在于數(shù)據(jù)量很大。不過(guò),賽斯說(shuō),數(shù)據(jù)集的大小經(jīng)常被高估。其實(shí)所需要的數(shù)據(jù)集的大小,跟數(shù)據(jù)本身的效果、數(shù)據(jù)的真實(shí)程度等都有關(guān)。
舉個(gè)例子,一個(gè)火熱的爐子,你只需要碰到一次,就明白,熱爐子很危險(xiǎn),會(huì)燙傷你。但是,你可能需要喝幾千杯咖啡,才能確定,咖啡是否會(huì)讓你頭疼。原因就在于,熱爐子本身的效果強(qiáng)度很高,因此,只需要一項(xiàng)數(shù)據(jù),就能顯現(xiàn)出結(jié)果。
賽斯在這本書里引用了大量人們?cè)诠雀柚兴阉鞯臄?shù)據(jù)。谷歌的數(shù)據(jù)之所以這么有價(jià)值,其實(shí)原因也不完全是因?yàn)楣雀枘苣玫降凝嫶蟮臄?shù)據(jù)量,還因?yàn)椋藗冊(cè)谧约旱?a target="_blank">電腦上輸入關(guān)鍵詞、進(jìn)行搜索時(shí),都很誠(chéng)實(shí)。他們不需要考慮社交壓力、周圍人的眼光等等。
用賽斯的話說(shuō),“你未必總是需要大數(shù)據(jù),才能得出重要見解,你需要正確的數(shù)據(jù)。”大數(shù)據(jù)革命跟收集更多的數(shù)據(jù)無(wú)關(guān),而是跟收集正確的數(shù)據(jù)有關(guān)。還是以谷歌為例。谷歌不是僅僅憑借著能夠比其他搜索引擎搜索到更多的內(nèi)容,就成為世界上最大的搜索引擎公司,它憑借的是,可以搜索到更好的數(shù)據(jù)。這跟谷歌的算法有關(guān)。谷歌的算法,按照一個(gè)網(wǎng)頁(yè)被鏈接的數(shù)量來(lái)對(duì)搜索結(jié)果排序。
賽斯介紹了大數(shù)據(jù)的四種力量。這四種力量,也并不都同數(shù)據(jù)集本身的大小相關(guān)。
大數(shù)據(jù)的第一種力量是,提供了新類型的數(shù)據(jù)。比如,包括弗洛伊德在內(nèi)的思想家,都會(huì)從性的角度,來(lái)解釋人類的很多行為。但是,這些思想家更多還是在觀念層面進(jìn)行思考。而現(xiàn)在,大數(shù)據(jù)時(shí)代的研究者,有了一項(xiàng)讓那些過(guò)往思想家羨慕不已的數(shù)據(jù):人們?cè)诨ヂ?lián)網(wǎng)上搜索和觀看色情作品的數(shù)據(jù)。這些獨(dú)特的數(shù)據(jù)來(lái)源,能夠讓研究者進(jìn)入以前只能靠推理和猜測(cè)的領(lǐng)域。
大數(shù)據(jù)的力量在于,重新想象什么東西有資格成為數(shù)據(jù),提供之前從來(lái)沒(méi)有收集過(guò)的信息,讓人們可以研究。
作者舉了一個(gè)例子。他曾經(jīng)把2004年至2011年的失業(yè)率輸入到谷歌的數(shù)據(jù)挖掘工具Google Correlate中,結(jié)果發(fā)現(xiàn),跟失業(yè)最相關(guān)的搜索,一個(gè)是***,另一個(gè)是蜘蛛紙牌。作者猜測(cè),原因也很簡(jiǎn)單,因?yàn)槭I(yè)者會(huì)有很多空閑時(shí)間。所以,他就發(fā)現(xiàn),“利用一些跟消遣相關(guān)的搜尋組合,就能追蹤失業(yè)率,而且是預(yù)測(cè)失業(yè)率最佳模式的一部分?!?/p>
大數(shù)據(jù)的第二種力量是,提供了誠(chéng)實(shí)的數(shù)據(jù)。在數(shù)字時(shí)代出現(xiàn)之前,可想而知,由于考慮到社會(huì)壓力等因素,人往往會(huì)隱藏起來(lái)那些會(huì)讓自己難堪的想法。即使面對(duì)詢問(wèn),也不會(huì)坦誠(chéng)相告。但是,在數(shù)字時(shí)代,雖然人們?nèi)匀粫?huì)在現(xiàn)實(shí)生活中隱藏起一些真實(shí)想法,但是在互聯(lián)網(wǎng)上,尤其是可以匿名的網(wǎng)站上,人們往往會(huì)透露出自己的想法。
“大數(shù)據(jù)使我們終于可以看清人們真正想要什么和真正做了什么,而不是人們說(shuō)自己要什么和做了什么?!?/p>
知名投資人彼得·蒂爾說(shuō)過(guò),偉大的企業(yè)建立在秘密之上??赡苁顷P(guān)于自然的秘密,也可能是關(guān)于人的秘密。人的秘密,指的是跟自己有關(guān)但自己卻不知道,或者不想讓別人知道的事。
舉個(gè)例子,流媒體公司奈飛,曾經(jīng)讓用戶設(shè)置一個(gè)自己以后想看的電影播放列表。奈飛發(fā)現(xiàn),用戶確實(shí)會(huì)把電影添加到這個(gè)列表中,但是,盡管奈飛會(huì)提醒用戶看這些電影,用戶卻很少真的去看。因?yàn)?,人們說(shuō)自己想要的,跟自己實(shí)際想要的不一致。
后來(lái),奈飛不再要求用戶告訴自己他們想看什么電影,而是根據(jù)用戶點(diǎn)擊和觀看的數(shù)據(jù)建立一個(gè)模型,用模型來(lái)推測(cè)用戶想看什么電影。結(jié)果,用戶果然越來(lái)越頻繁地造訪奈飛,在上面看了越來(lái)越多的電影。所以,奈飛前數(shù)據(jù)科學(xué)家澤維爾·艾瑪特里安說(shuō):算法比你更了解你自己。
大數(shù)據(jù)的第三種力量是,讓我們可以把焦點(diǎn)放在人口中的一個(gè)很小的子集,去進(jìn)行研究。
當(dāng)然,這要求對(duì)小的子集,也有大數(shù)據(jù)量。打個(gè)比方,為了將照片的一小部分放大后還能看清楚,照片需要有很高的像素。同樣,為了能夠清楚放大檢視數(shù)據(jù)的小子集,每一個(gè)小子集中都需要大量的數(shù)據(jù)。比如,某一個(gè)球隊(duì)有多受1978年出生的男性的歡迎。只對(duì)幾千人進(jìn)行的小調(diào)查,樣本根本不夠大,1978年出生的男性人數(shù)肯定不夠多。
這樣做的意義在什么地方呢?作者通過(guò)數(shù)據(jù)研究發(fā)現(xiàn),是否成為一個(gè)球隊(duì)的粉絲,跟這個(gè)球隊(duì)在一個(gè)人特定年齡段的表現(xiàn)有關(guān)系。如果在一個(gè)人對(duì)運(yùn)動(dòng)最癡迷、最容易喜歡上某項(xiàng)運(yùn)動(dòng)的時(shí)間段,這個(gè)球隊(duì)的表現(xiàn)越好,那它獲得這個(gè)年齡段的球迷就越多。
而且,美國(guó)人政治觀點(diǎn)的形成也類似。很多美國(guó)人會(huì)在14歲到24歲這個(gè)關(guān)鍵時(shí)期,形成個(gè)人的政治偏好。其中,形成政治觀點(diǎn)最重要的年紀(jì)是18歲。受歡迎的共和黨總統(tǒng)或不受歡迎的民主黨總統(tǒng),將影響很多年輕人成為共和黨人。反之亦然。“大數(shù)據(jù)允許我們有意義地放大檢視數(shù)據(jù)集的細(xì)部,獲取新的洞察?!?/p>
第四種力量是,允許研究者進(jìn)行因果關(guān)系實(shí)驗(yàn)。大數(shù)據(jù)可以允許研究者進(jìn)行快速而且可控制的因果關(guān)系實(shí)驗(yàn),而不僅僅是相關(guān)性。
這種測(cè)試在很多互聯(lián)網(wǎng)公司被稱作是A/B測(cè)試。臉書(Facebook)每天能進(jìn)行上千次A/B測(cè)試。所謂的A/B測(cè)試,指的是,在同一個(gè)時(shí)間維度,分別讓相似的兩組訪客隨機(jī)訪問(wèn)這些版本,收集數(shù)據(jù),來(lái)評(píng)估出用戶更喜歡的版本。比如,兩個(gè)標(biāo)題,哪一個(gè)點(diǎn)擊量更高;放哪種類型的照片,更能讓用戶喜歡等等。
有一個(gè)網(wǎng)站的CEO說(shuō):“你不能假設(shè)任何事,必須針對(duì)每件事都進(jìn)行測(cè)試才行”,“如果我們了解人性,根據(jù)我們的生活經(jīng)驗(yàn)就能判斷答案是什么,那么測(cè)試就不會(huì)有價(jià)值。但事實(shí)上,我們不了解人性,所以測(cè)試才這么有價(jià)值?!?/p>
這種方法,互聯(lián)網(wǎng)公司已經(jīng)大量使用,而現(xiàn)在和將來(lái),社會(huì)科學(xué)家也可以使用,從而把以往模糊的研究,變得更科學(xué)。以上就是谷歌數(shù)據(jù)科學(xué)家對(duì)于大數(shù)據(jù)擁有的四種力量的解釋,希望對(duì)你有啟發(fā)。
-
云計(jì)算
+關(guān)注
關(guān)注
39文章
7850瀏覽量
137661 -
人工智能
+關(guān)注
關(guān)注
1793文章
47559瀏覽量
239408 -
大數(shù)據(jù)
+關(guān)注
關(guān)注
64文章
8903瀏覽量
137610
原文標(biāo)題:深度解析大數(shù)據(jù),大數(shù)據(jù)的力量在哪里?
文章出處:【微信號(hào):ZS-IOT,微信公眾號(hào):中山市物聯(lián)網(wǎng)協(xié)會(huì)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論