0%
第一部分 大數據時代的思維變革 01 更多:不是隨機樣本,而是全體數據

第一部分 大數據時代的思維變革

01 更多:不是隨機樣本,而是全體數據

實際上,大數據與三個重大的思維轉變有關,這三個轉變是相互聯繫和相互作用的。
有沒有可能是要贏的決心幫助這個選手獲勝呢?答案是,有可能。但是數據顯示的情況是,需要贏的選手的求勝心也只能把勝率提高25%。所以,把勝利完全歸功於求勝心是不妥當的。對數據進行進一步分析可能會發現,與他們在先前比賽中的表現相比,當他們再相遇時,上次失利的一方要擁有比對方更高的勝率。因為在相撲界,你的付出總會有所「回報」,所以第一次的勝利看上去更像是一名選手送給另一名選手的禮物。
更糟糕的是,隨機採樣不適合考察子類別的情況。因為一旦繼續細分,隨機採樣結果的錯誤率會大大增加。這很容易理解。倘若你有一份隨機採樣的調查結果,是關於1000個人在下一次競選中的投票意向。如果採樣時足夠隨機,這份調查的結果就有可能在3%的誤差範圍內顯示全民的意向。但是如果這個3%左右的誤差本來就是不確定的,卻又把這個調查結果根據性別、地域和收入進行細分,結果是不是越來越不準確呢?用這些細分過後的結果來表現全民的意願,是否合適呢?
日本國民體育運動「相撲」中非法操縱比賽結果的發現過程,就恰到好處地說明了使用「樣本=總體」這種全數據模式的重要性。消極比賽一直被極力禁止,備受譴責,很多運動員深受困擾。芝加哥大學的一位很有前途的經濟學家斯蒂夫·列維特(Steven Levitt),在《美國經濟評論》上發表了一篇研究論文,其中提到了一種發現這種情況的方法:查看運動員過去所有的比賽資料。他的暢銷書《魔鬼經濟學》(Freakonomics)中也提到了這個觀點,他認為檢查所有的數據是非常有價值的。
本章就將介紹第一個轉變:利用所有的數據,而不再僅僅依靠一小部分數據。
採樣一直有一個被我們廣泛承認卻又總有意避開的缺陷,現在這個缺陷越來越難以忽視了。採樣忽視了細節考察。雖然我們別無選擇,只能利用採樣分析法來進行考察,但是在很多領域,從收集部分數據到收集儘可能多的數據的轉變已經發生了。如果可能的話,我們會收集所有的數據,即「樣本=總體」。
隨機採樣取得了巨大的成功,成為現代社會、現代測量領域的主心骨。但這隻是一條捷徑,是在不可收集和分析全部數據的情況下的選擇,它本身存在許多固有的缺陷。它的成功依賴於採樣的絕對隨機性,但是實現採樣的隨機性非常困難。一旦採樣過程中存在任何偏見,分析結果就會相去甚遠。
很長一段時間內,隨機採樣都是一條好的捷徑,它使得數字時代之前的大量數據分析變得可能。但就像把一張數碼照片或者一首數碼歌曲截取成多個小文件似的,在採樣分析的時候,很多信息就丟失了——你能欣賞一首歌的抽樣嗎?擁有全部或幾乎全部的數據,我們就能夠從不同的角度,更細緻地觀察和研究數據的方方面面。
正如我們所看到的,「樣本=總體」是指我們能對數據進行深度探討,而採樣幾乎無法達到這樣的效果。上面提到的有關採樣的例子證明,用採樣的方法分析整個人口的情況,正確率可達97%。對於某些事物來說,3%的錯誤率是可以接受的。但是你無法得到一些微觀細節的信息,甚至還會失去對某些特定子類別進行進一步研究的能力。我們不能滿足於正態分佈一般中庸平凡的景象。生活中真正有趣的事情經常藏匿在細節之中,而採樣分析法卻無法捕捉到這些細節。
通過使用所有的數據,我們可以發現如若不然則將會在大量數據中淹沒掉的情況。例如,信用卡詐騙是通過觀察異常情況來識別的,只有掌握了所有的數據才能做到這一點。在這種情況下,異常值是最有用的信息,你可以把它與正常交易情況進行對比。這是一個大數據問題。而且,因為交易是即時的,所以你的數據分析也應該是即時的。
●首先,要分析與某事物相關的所有數據,而不是依靠分析少量的數據樣本。
相撲比賽的一個比較特殊的地方是,選手需要在15場賽事中的大部分場次取得勝利才能保持排名和收入。這樣一來就會出現利益不對稱的問題。當一名7勝7負的摔跤手碰到一個8勝6負的對手時,比賽結果對第一個選手來說極其重要,對他的對手而言則沒有那麼重要。列維特和達根發現,在這樣的情況下,需要贏的那個選手很可能會贏。這看起來像是對手送的「禮物」,因為在聯繫緊密的相撲界,幫別人一把就是給自己留了一條後read.99csw.com路。
「大數據」全在於發現和理解信息內容及信息與信息之間的關係,然而直到最近,我們對此似乎還是難以把握。IBM的資深「大數據」專家傑夫·喬納斯(Jeff Jonas)提出要讓數據「說話」。從某種層面上來說,這聽起來很平常。人們使用數據已經有相當長一段時間了,無論是日常進行的大量非正式觀察,還是過去幾個世紀里在專業層面上用高級演算法進行的量化研究,都與數據有關。
這就是問題所在,是利用所有的數據還是僅僅採用一部分呢?最明智的自然是得到有關被分析事物的所有數據,但是當數量無比龐大時,這又不太現實。那如何選擇樣本呢?有人提出有目的地選擇最具代表性的樣本是最恰當的方法。1934年,波蘭統計學家耶日·奈曼(Jerzy Neyman)指出,這隻會導致更多更大的漏洞。事實證明,問題的關鍵是選擇樣本時的隨機性。
認為樣本選擇的隨機性比樣本數量更重要,這種觀點是非常有見地的。這種觀點為我們開闢了一條收集信息的新道路。通過收集隨機樣本,我們可以用較少的花費做出高精準度的推斷。因此,政府每年都可以用隨機採樣的方法進行小規模的人口普查,而不是只能每十年進行一次。事實上,政府也這樣做了。例如,除了十年一次的人口大普查,美國人口普查局每年都會用隨機採樣的方法對經濟和人口進行200多次小規模的調查。當收集和分析數據都不容易時,隨機採樣就成為應對信息採集困難的辦法。
然而,人口普查是一項耗資且費時的事情。國王威廉一世(King William I)在他發起的《末日審判書》完成之前就去世了。但是,除非放棄收集信息,否則在當時沒有其他辦法。儘管如此,當時收集的信息也只是一個大概情況,實施人口普查的人也知道他們不可能準確記錄下每個人的信息。實際上,「人口普查」這個詞來源於拉丁語的「censere」,意思就是推測、估算。
最近,以固定電話用戶為基礎進行投票民調就面臨了這樣的問題,採樣缺乏隨機性,因為沒有考慮到只使用行動電話的用戶——這些用戶一般更年輕和更熱愛自由。沒有考慮到這些用戶,自然就得不到正確的預測。2008年在奧巴馬與麥凱恩之間進行的美國總統大選中,蓋洛普諮詢公司、皮尤研究中心(Pew)、美國廣播公司和《華盛頓郵報》社這些主要的民調組織都發現,如果他們不把移動用戶考慮進來,民意測試結果就會出現三個點的偏差,而一旦考慮進來,偏差就只有一個點。鑒於這次大選的票數差距極其微弱,這已經是非常大的偏差了。
在信息處理能力受限的時代,世界需要數據分析,卻缺少用來分析所收集數據的工具,因此隨機採樣應運而生,它也可以被視為那個時代的產物。如今,計算和製表不再像過去一樣困難。感應器、手機導航、網站點擊和Twitter被動地收集了大量數據,而計算機可以輕易地對這些數據進行處理。
三百多年前,一個名叫約翰·格朗特(John Graunt)的英國縫紉用品商提出了一個很有新意的方法。他採用了一個新方法推算出鼠疫時期倫敦的人口數,這種方法就是後來的統計學。這個方法不需要一個人一個人地計算。雖然這個方法比較粗糙,但採用這個方法,人們可以利用少量有用的樣本信息來獲取人口的整體情況。read.99csw.com
因此,當人們想了解更深層次的細分領域的情況時,隨機採樣的方法就不可取了。在宏觀領域起作用的方法在微觀領域失去了作用。隨機採樣就像是模擬照片列印,遠看很不錯,但是一旦聚焦某個點,就會變得模糊不清。
一個資料庫並不需要有以太位元組計的數據。在這個相撲案例中,整個資料庫包含的位元組量還不如一張普通的數碼照片包含得多。但是大數據分析法不只關注一個隨機的樣本。這裏的「大」取的是相對意義而不是絕對意義,也就是說這是相對所有數據來說的。
在某些方面,我們依然沒有完全意識到自己擁有了能夠收集和處理更大規模數據的能力。我們還是在信息匱乏的假設下做很多事情,建立很多機構組織。我們假定自己只能收集到少量信息,結果就真的如此了。這是一個自我實現的過程。我們甚至發展了一些使用儘可能少的信息的技術。別忘了,統計學的一個目的就是用儘可能少的數據來證實儘可能重大的發現。事實上,我們形成了一種習慣,那就是在我們的制度、處理過程和激勵機制中儘可能地減少數據的使用。為了理解大數據時代的轉變意味著什麼,我們需要首先回顧一下過去。
很快,隨機採樣就不僅應用於公共部門和人口普查了。在商業領域,隨機採樣被用來監管商品質量。這使得監管商品質量和提升商品品質變得更容易,花費也更少。以前,全面的質量監管要求對生產出來的每個產品進行檢查,而現在只需從一批商品中隨機抽取部分樣品進行檢查就可以了。本質上來說,隨機採樣讓大數據問題變得更加切實可行。同理,它將客戶調查引進了零售行業,將焦點討論引進了政治界,也將許多人文問題變成了社會科學問題。
考慮到人口普查的複雜性以及耗時耗費的特點,政府極少進行普查。古羅馬在擁有數十萬人口的時候每5年普查一次。美國憲法規定每10年進行一次人口普查,而隨著國家人口越來越多,只能以百萬計數。但是到19世紀為止,即使這樣不頻繁的人口普查依然很困難,因為數據變化的速度超過了人口普查局統計分析的能力。
這個情況是顯而易見的。但是如果採用隨機採樣分析法,就無法發現這個情況。而大數據分析通過使用所有比賽的極大數據捕捉到了這個情況。這就像捕魚一樣,開始時你不知道是否能捕到魚,也不知道會捕到什麼魚。
●其次,我們樂於接受數據的紛繁複雜,而不再追求精確性。

大數據先鋒

大數據與喬布斯的癌症治療

蘋果公司的傳奇總裁史蒂夫·喬布斯在與癌症鬥爭的過程中採用了不同的方式,成為世界上第一個對自身所有DNA和腫瘤DNA進行排序的人。為此,他支付了高達幾十萬美元的費用,這是23andme報價的幾百倍之多。所以,他得到的不是一個只有一系列標記的樣本,他得到了包括整個基因密碼的數據文檔。

對於一個普通的癌症患者,醫生只能期望她的DNA排列同試驗中使用的樣本足夠相似。但是,史蒂夫·喬布斯的醫生們能夠基於喬布斯的特定基因組成,按所需效果用藥。如果癌症病變導致藥物失效,醫生可以及時更換另一種葯,也就是喬布斯所說的,「從一片睡蓮葉跳到另一片上。」喬布斯開玩笑說:「我要麼是第一個通過這種方式戰勝癌症的人,要麼就是最後一個因為這種方式死於癌症的人。」雖然他的願望都沒有實現,但是這種獲得所有數據而不僅是樣本的方法還是將他的生命延長了好幾年。

社會科學是被「樣本=總體」撼動得最厲害的學科。隨著大數據分析取代了樣本分析,社會科學不再單純依賴於分析實證數據。這門學科過去曾非常依賴樣本分析、研究和調查問卷。當記錄下來的是人們的平常狀態,也就不用擔心在做研究和調查問卷時存在的偏見了。現在,我們可以收集過去無法收集到的信息,不管是通過行動電話表現出的關係,還是通過Twitter信息表現出的感情。更重要的是,我們現在也不再依賴抽樣調查了。
採樣的目的就是用最少的數據得到最多的信息。當我們可以獲得海量數據的時候,它就沒有什麼意義了。數據處理技術已經發生了翻天覆地的改變,但我們的方法和思維卻沒有跟上這種改變。

小數據時代的隨機採樣,最少的數據獲得最多的信息

直到最近,私人企業和個人才擁有了大規模收集和分類數據的能力。在過去,這是只有教會或者政府才https://read.99csw.com能做到的。當然,在很多國家,教會和政府是等同的。有記載的、最早的計數發生在公元前8000年的,當時蘇美爾的商人用黏土珠來記錄出售的商品。大規模的計數則是政府的事情。數千年來,政府都試圖通過收集信息來管理國民。

全數據模式,樣本=總體

【大數據先鋒】
穿孔卡片與美國人口普查
大數據與喬布斯的癌症治療
Xoom與跨境匯款異常交易報警
巴拉巴西與第一次全社會層面的網路分析
當數據處理技術已經發生了翻天覆地的變化時,在大數據時代進行抽樣分析就像在汽車時代騎馬一樣。一切都改變了,我們需要的是所有的數據,「樣本=總體」。
●最後,我們的思想發生了轉變,不再探求難以捉摸的因果關係,轉而關注事物的相關關係。
我們可以用Lytro相機來打一個恰當的比方。Lytro相機是具有革新性的,因為它把大數據運用到了基本的攝影中。與傳統相機只可以記錄一束光不同,Lytro相機可以記錄整個光場里所有的光,達到1100萬束之多。具體生成什麼樣的照片則可以在拍攝之後再根據需要決定。用戶沒必要在一開始就聚焦,因為該相機可以捕捉到所有的數據,所以之後可以選擇聚焦圖像中的任一點。整個光場的光束都被記錄了,也就是收集了所有的數據,「樣本=總體」。因此,與普通照片相比,這些照片就更具「可循環利用性」。如果使用普通相機,攝影師就必須在拍照之前決定好聚焦點。
艾伯特-拉斯洛·巴拉巴西(Albert-László Barabási),和他的同事想研究人與人之間的互動。於是他們調查了四個月內所有的移動通信記錄——當然是匿名的,這些記錄是一個為全美五分之一人口提供服務的無線運營商提供的。這是第一次在全社會層面用接近於「樣本=總體」的數據資料進行網路分析。通過觀察數百萬人的所有通信記錄,我們可以產生也許通過任何其他方式都無法產生的新觀點。

大數據先鋒

穿孔卡片與美國人口普查

美國在1880年進行的人口普查,耗時8年才完成數據匯總。因此,他們獲得的很多數據都是過時的。1890年進行的人口普查,預計要花費13年的時間來匯總數據。即使不考慮這種情況違反了憲法規定,它也是很荒謬的。然而,因為稅收分攤和國會代表人數確定都是建立在人口的基礎上的,所以必須要得到正確的數據,而且必須是及時的數據。

美國人口普查局面臨的問題與當代商人和科學家遇到的問題很相似。很明顯,當他們被數據淹沒的時候,已有的數據處理工具已經難以應付了,所以就需要有更多的新技術。

後來,美國人口普查局就和當時的美國發明家赫爾曼·霍爾瑞斯(Herman Hollerith)簽訂了一個協議,用他的穿孔卡片製表機來完成1890年的人口普查。

經過大量的努力,霍爾瑞斯成功地在1年時間內完成了人口普查的數據匯總工作。這簡直就是一個奇迹,它標志著自動處理數據的開端,也為後來IBM公司的成立奠定了基礎。但是,將其作為收集處理大數據的方法依然過於昂貴。畢竟,每個美國人都必須填一張可製成穿孔卡片的表格,然後再進行統計。這麼麻煩的情況下,很難想象如果不足十年就要進行一次人口普查應該怎麼辦。但是,對於一個跨越式發展的國家而言,十年一次的人口普查的滯后性已經讓普查失去了大部分意義。

很長一段時間以來,準確分析大量數據對我們而言都是一種挑戰。過去,因為記錄、儲存和分析數據的工具不夠好,我們只能收集少量數據進行分析,這讓我們一度很苦惱。為了讓分析變得簡單,我們會把數據量縮減到最少。這是一種無意識的自省:我們把與數據交流的困難看成是自然的,而沒有意識到這隻是當時技術條件下的一種人為的限制。如今,技術條件已經有了非常大的提高,雖然人類可以處理的數據依然是有限的,也永遠是有限的,但是我們可以處理的數據量已經大大地增加,而且未來會越來越多。
當然,有些時候,我們還是可以使用樣本分析法,畢竟我們仍然活在一個資源有限的時代。但是更多時候,利用手中掌握的所有數據成為了最好也是可行的選擇。
公司對某人的一小部分D九*九*藏*書NA進行排序,標註出幾十個特定的基因缺陷。這隻是該人整個基因密碼的樣本,還有幾十億個基因鹼基對未排序。最後,23andme只能回答其標註過的基因組表現出來的問題。發現新標註時,該人的DNA必須重新排序,更準確地說,是相關的部分必須重新排列。只研究樣本而不是整體,有利有弊:能更快更容易地發現問題,但不能回答事先未考慮到的問題。
有趣的是,與小規模的研究相比,這個團隊發現,如果把一個在社區內有很多連接關係的人從社區關係網中剔除掉,這個關係網會變得沒那麼高效但卻不會解體;但如果把一個與所在社區之外的很多人有著連接關係的人從這個關係網中剔除,整個關係網很快就會破碎成很多小塊。這個研究結果非常重要也非常得出人意料。誰能想象一個在關係網內有著眾多好友的人的重要性還不如一個只是與很多關係網外的人有聯繫的人呢?這說明一般來說無論是針對一個小團體還是整個社會,多樣性是有額外價值的。這個結果促使我們重新審視一個人在社會關係網中的存在價值。
我們來看一下DNA分析。由於技術成本大幅下跌以及在醫學方面的廣闊前景,個人基因排序成為了一門新興產業。2012年,基因組解碼的價格跌破1000美元,這也是非正式的行業平均水平。從2007年起,矽谷的新興科技公司23andme就開始分析人類基因,價格僅為幾百美元。這可以揭示出人類遺傳密碼中一些會導致其對某些疾病抵抗力差的特徵,如乳腺癌和心臟病。23andme希望能通過整合顧客的DNA和健康信息,了解到用其他方式不能獲取的新信息。
以人口普查為例。據說古代埃及曾進行過人口普查,《舊約》和《新約》中對此都有所提及。那次由奧古斯都愷撒主導實施的人口普查,提出了「每個人都必須納稅」,這使得約瑟夫和瑪麗搬到了耶穌的出生地伯利恆。1086年的《末日審判書》(The Doomsday Book)對當時英國的人口、土地和財產做了一個前所未有的全面記載。皇家委員穿越整個國家對每個人、每件事都做了記載,後來這本書用《聖經》中的《末日審判書》命名,因為每個人的生活都被赤|裸裸地記載下來的過程就像接受「最後的審判」一樣。
統計學家們證明:採樣分析的精確性隨著採樣隨機性的增加而大幅提高,但與樣本數量的增加關係不大。雖然聽起來很不可思議,但事實上,一個對1100人進行的關於「是否」問題的抽樣調查有著很高的精確性,精確度甚至超過了對所有人進行調查時的97%。這是真的,不管是調查10萬人還是1億人,20次調查里有19次都能猜對。為什麼會這樣?原因很複雜,但是有一個比較簡單的解釋就是,當樣本數量達到了某個值之後,我們從新個體身上得到的信息會越來越少,就如同經濟學中的邊際效應遞減一樣。

讓數據「發聲」

在數字化時代,數據處理變得更加容易、更加快速,人們能夠在瞬間處理成千上萬的數據。但當我們談論能「說話」的數據時,我們指的遠遠不止這些。
然而,使用所有的數據並不代表這是一項艱巨的任務。大數據中的「大」不是絕對意義上的大,雖然在大多數情況下是這個意思。谷歌流感趨勢預測建立在數億的數學模型上,而它們又建立在數十億數據節點的基礎之上。完整的人體基因組有約30億個鹼基對。但這隻是單純的數據節點的絕對數量,並不代表它們就是大數據。大數據是指不用隨機分析法這樣的捷徑,而採用所有數據的方法。谷歌流感趨勢和喬布斯的醫生們採取的就是大數據的方法。read.99csw.com

大數據先鋒

Xoom與跨境匯款異常交易報警

Xoom是一個專門從事跨境匯款業務的公司,它得到了很多擁有大數據的大公司的支持。它會分析一筆交易的所有相關數據。2011年,它注意到用「發現卡」從新澤西州匯款的交易量比正常情況多一些,系統於是啟動報警。Xoom公司的首席執行官約翰·孔澤(John Kunze)解釋說:「這個系統關注的是不應該出現的情況。」單獨來看,每筆交易都是合法的,但是事實證明這是一個犯罪集團在試圖詐騙。而發現異常的唯一方法就是,重新檢查所有的數據,找出樣本分析法錯過的信息。

雖然後來證實他能夠得出正確的數據僅僅是因為運氣好,但在當時他的方法大受歡迎。樣本分析法一直都有較大的漏洞,因此無論是進行人口普查還是其他大數據類的任務,人們還是一直使用一一清點這種「野蠻」的方法。
谷歌流感趨勢預測並不是依賴於對隨機樣本的分析,而是分析了整個美國幾十億條互聯網檢索記錄。分析整個資料庫,而不是對一個小樣本進行分析,能夠提高微觀層面分析的準確性,甚至能夠推測出某個特定城市的流感狀況,而不只是一個州或是整個國家的情況。Farecast的初始系統使用的樣本包含12000個數據,所以取得了不錯的預測結果。隨著奧倫·埃齊奧尼不斷添加更多的數據,預測的結果越來越準確。最終,Farecast使用了每一條航線整整一年的價格數據來進行預測。埃齊奧尼說:「這隻是一個暫時性的數據,隨著你收集的數據越來越多,你的預測結果會越來越準確。」
列維特和他的同事馬克·達根(Mark Duggan)使用了11年中超過64000場摔跤比賽的記錄,來尋找異常性。他們獲得了重大的發現。非法操縱比賽結果的情況確實時有發生,但是不會出現在大家很關注的比賽上。冠軍賽也有可能被|操縱,但是數據顯示消極比賽主要還是出現在不太被關注的聯賽的後幾場中。這時基本上沒有什麼風險,因為很多選手根本就沒有獲獎的希望。

大數據洞察

我們總是習慣把統計抽樣看做文明得以建立的牢固基石,就如同幾何學定理和萬有引力定律一樣。但是統計抽樣其實只是為了在技術受限的特定時期,解決當時存在的一些特定問題而產生的,其歷史尚不足一百年。如今,技術環境已經有了很大的改善。在大數據時代進行抽樣分析就像是在汽車時代騎馬一樣。在某些特定的情況下,我們依然可以使用樣本分析法,但這不再是我們分析數據的主要方式。慢慢地,我們會完全拋棄樣本分析。

你設想一下,一個對1000個人進行的調查,如果要細分到「東北部的富裕女性」,調查的人數就遠遠少於1000人了。即使是完全隨機的調查,倘若只用了幾十個人來預測整個東北部富裕女性選民的意願,還是不可能得到精確結果啊!而且,一旦採樣過程中存在任何偏見,在細分領域所做的預測就會大錯特錯。
所以,我們現在經常會放棄樣本分析這條捷徑,選擇收集全面而完整的數據。我們需要足夠的數據處理和存儲能力,也需要最先進的分析技術。同時,簡單廉價的數據收集方法也很重要。過去,這些問題中的任何一個都很棘手。在一個資源有限的時代,要解決這些問題需要付出很高的代價。但是現在,解決這些難題已經變得簡單容易得多。曾經只有大公司才能做到的事情,現在絕大部分的公司都可以做到了。
隨機採樣也需要嚴密的安排和執行。人們只能從採樣數據中得出事先設計好的問題的結果——千萬不要奢求採樣的數據還能回答你突然意識到的問題。所以雖說隨機採樣是一條捷徑,但它也只是一條捷徑。隨機採樣方法並不適用於一切情況,因為這種調查結果缺乏延展性,即調查得出的數據不可以重新分析以實現計劃之外的目的。
同理,因為大數據是建立在掌握所有數據,至少是儘可能多的數據的基礎上的,所以我們就可以正確地考察細節並進行新的分析。在任何細微的層面,我們都可以用大數據去論證新的假設。是大數據讓我們發現了相撲中的非法操縱比賽結果、流感的傳播區域和對抗癌症需要針對的那部分DNA。它讓我們能清楚分析微觀層面的情況。