Gurjeet Singht是Ayasdi的聯合創始人兼CEO。在Gigaom上帶來了關于當下大數據技術的看法,Singht認為:從查詢開始分析數據本身就是一個死胡同,并指出了當下的大數據只完成了萬里長征的第一步。
以下為譯文:
許多人都會被震驚,如果他們知道研究人員只是從收集到數據中1%的數據進行分析和提取見解。而就是這1%被分析的數據支配了革新和見解,現在我們稱之為“大數據”。而在每天收集的1 quintillion(百萬3次方)字節的數據中,有99%的數據完全未被利用。
我們都知道使用大數據非常的有前途,然而基于當下的許多因素,數據的有效利用仍然是個瓶頸。藥物研發過程中,數據的使用多于化學過程;新能源的探測中,數據的使用超過地質學;恐怖分子的追蹤、預防欺騙中同樣如此。
現在我們已經認識到的上述的這些問題和其它一些全局性問題,都是數據使用的瓶頸所造成的。這種情況催生了大數據上的海量投資,而數據工作同樣成為了最熱門的崗位 —— 數據科學家,更把私人數據分析服務提供商的估值推到數十億美元。然而,你能想象到將分析的數據從1%提升到100%的前景嗎。
對已有數據分析的見解
如果你擁有一個和人類基因一樣龐大的數據集,你該如何開始?比如,奧巴馬最近提倡對人類大腦進行繪制?為了突破,我們需要解決這個世界上最復雜的問題,我們需要根本上改變從數據中獲取知識的途徑。這里我們必須首先思考的是:
從查詢開始必然是一個死胡同:查詢本身并沒有問題。事實上一旦你知道問什么問題,查詢是至關重要的。同樣這也是關鍵所在:從查詢開始的初衷是從大量的數據中發現一個指針,然而他們并未做到。
數據是有開銷的:大部分情況下,數據的儲存已經不再昂貴。而且通過使用類似Hadoop或Redshift的工具,即使查詢大量的數據都變得非常劃算。當然,這只是從硬件的角度上講。
見解就是金錢:我們愿意承擔花銷唯一理由就是數據中的見解可以釋放價值。遺憾的是,我們失去了已收集數據中大部分的價值。雖然收集數據的成本可能會很高,但是無效分析帶來的成本顯然更高。當下并不存在什么工具可以直接從數據中提取見解,我們依賴著非常聰明的人去提出假設,然后使用我們的工具去證實(或者是否定)這些臆測。因為依賴的是臆測,這個途徑存在著天生的缺陷。
你已經擁有了足夠多的數據:這里經常存在的信念就是 —— “如果我們擁有了足夠多的數據,我們肯定會得到我們想要的。”太多的時間和精力被浪費在新的數據收集上,其實你可以用你手中的數據做更多的事情。舉個例子,Ayasdi最近在Nature Scientific Reports公布的從12歲乳腺癌患者身上獲得的新見解,就已經被深入分析了10多年之久。
大數據只是起步,并不是終點
基于查詢的分析在某些方面確實可以起到很多作用,但是很顯然并沒有滿足人們對大數據的期望。
經常會聽到我們在癌癥研究、能源勘探、藥物發現、金融欺詐檢測等領域取得了關鍵性突破,如果因為炒作出來的“大數據泡沫”導致人們因為各種原因在數據分析投資上的失敗,這與犯罪又有何不同?
所以我們需要給予數據分析更高的期望,我們更需要認識到下一代解決方案必須滿足:
授權領域專家:數據科學家出現的頻率已完全跟不上企業的需求。這里不妨這么做,停止繼續為他們(數據科學家)開發工具;取而代之的是,給商業用戶(生物學家、地質學家、安全分析師等)開發對應的工具。他們比任何人都明白問題出現的環境,但可能跟不上最新的技術或數學。
加速探索:我們需要更快的獲得關鍵見解。事實證明大數據技術的處理速度并沒有承諾的那么快。如果一直這樣發展下去,可能我們永遠都得不到足夠快的關鍵見解獲得速度,因為我們永遠都不可能針對所有數據提出所有的問題。
人機整合:為了更快的獲得見解,我們需要加大對機器智能的投資。我們需要機器能在數據點之間尋求連接和關系時擔當更多的重任,讓其給商業用戶一個更好的起點去探索見解。事實上通過算法途徑解決這些問題是完全可行的,并且人們本身永遠都不可能發現大型數據集上的顯著特征。例如在最近的一項研究中,通過算法查詢網絡搜索引擎日志發現了之前未報告過的藥物副作用。
分析各種形式的數據:當然,研究人員需要分析結構化和非結構化的數據。同樣我們需要認識非結構化數據的多樣性:所有語言、聲音、視頻和面部識別文檔。
當談到大數據演變,我們只處于其初級階段。顯而易見如果我們繼續分析百分之一的數據,那么我們只能挖掘其1%的價值。如果我們能夠分析其它的99%,那么想象一下我們可以從各種方面推動世界進步。我們可以加速經濟增長、治愈癌癥及其他疑難雜癥、減少恐怖襲擊、以及在一些其它的挑戰上拿到入場卷。