隨著5G、物聯(lián)網(wǎng)、自動(dòng)駕駛、人工智能等技術(shù)逐步落地到各行各業(yè)，人們面對(duì)的數(shù)據(jù)量也達(dá)到了前所未有的量級(jí)——世界上90%的數(shù)據(jù)是在過(guò)去兩年產(chǎn)生的，到2025年數(shù)據(jù)將成倍增長(zhǎng)10倍，攀升至163ZB。工業(yè)、金融、醫(yī)療、娛樂(lè)、媒體等行業(yè)每天都在產(chǎn)生PB級(jí)的信息量，而ML/DL、VR/AR等新興技術(shù)的應(yīng)用讓數(shù)據(jù)曲線呈現(xiàn)了指數(shù)級(jí)的增長(zhǎng)趨勢(shì)，相對(duì)應(yīng)的數(shù)據(jù)所在的環(huán)境也在向云、邊、端蔓延，如何讓數(shù)據(jù)更加敏捷、可視化，訪問(wèn)速度更快，管理更便捷，從而提升企業(yè)數(shù)據(jù)運(yùn)營(yíng)能力，是最大化數(shù)據(jù)價(jià)值的關(guān)鍵。

基于大數(shù)據(jù)的個(gè)性化推薦已屢見(jiàn)不鮮，似乎只要數(shù)據(jù)維度和量級(jí)足夠豐富，AI對(duì)其的價(jià)值挖掘就會(huì)用之不竭。數(shù)據(jù)讓AI有了應(yīng)用價(jià)值，如Facebook會(huì)利用AI來(lái)預(yù)測(cè)用戶的未來(lái)行為，作為廣告投放的依據(jù)，所參考的信息包括：位置、設(shè)備信息、圖片/視頻瀏覽記錄、WiFi連接狀態(tài)、好友關(guān)系、聊天內(nèi)容等等。然而，要想找出背后的關(guān)聯(lián)性，就要對(duì)人與人、人與物、物與物之間數(shù)據(jù)“神經(jīng)元”進(jìn)行分析，但這并不容易，尤其是在人均管理的數(shù)據(jù)量呈現(xiàn)指數(shù)及增長(zhǎng)的時(shí)候。

但與此同時(shí)，大數(shù)據(jù)在云環(huán)境的安全性正在遭受考驗(yàn)。與傳統(tǒng)IT系統(tǒng)相比，用戶和服務(wù)商的身份發(fā)生了轉(zhuǎn)變，數(shù)據(jù)的所有方和托管者的角色相互獨(dú)立，這就引發(fā)了對(duì)于數(shù)據(jù)信息的新挑戰(zhàn)。數(shù)據(jù)在公有云網(wǎng)絡(luò)上具有高度虛擬化、智能化、規(guī)?；⒖蓴U(kuò)展的特性，而資源共享也為黑客提供了便捷渠道，讓數(shù)據(jù)成了APT的 “標(biāo)靶”，可能在產(chǎn)生、傳輸、接收等任一流程發(fā)生泄漏。

由IBM Security資助、Ponemon Institute LLC獨(dú)立開展的一項(xiàng)調(diào)查顯示，盡管平均數(shù)據(jù)泄露成本下降了10%，單條成本下降了2.9%。不過(guò)數(shù)據(jù)泄露事件的平均規(guī)模(丟失或被盜的記錄條數(shù))卻上升了1.8%。2016年，數(shù)據(jù)泄露平均總成本增加5.4%，而數(shù)據(jù)泄露事件的平均規(guī)模上升了3.2%，異?？蛻袅魇屎蛦螚l成本均上升了2.9%。可見(jiàn)，數(shù)據(jù)安全性并沒(méi)有隨著技術(shù)的演進(jìn)有顯著加強(qiáng)。

對(duì)于云服務(wù)商來(lái)說(shuō)，既可以選擇RAID部署，也可以在多個(gè)存儲(chǔ)節(jié)點(diǎn)之間各寫入幾個(gè)對(duì)象副本，這樣當(dāng)某個(gè)節(jié)點(diǎn)出現(xiàn)故障時(shí)，其他節(jié)點(diǎn)的數(shù)據(jù)能夠持續(xù)補(bǔ)充，或者利用數(shù)據(jù)副本快速恢復(fù)丟失的信息。同時(shí)，系統(tǒng)也可借助冗余備份來(lái)組成并聯(lián)模型提升可靠性。多數(shù)情況下，云端應(yīng)用會(huì)通過(guò)共享密鑰、生物識(shí)別、對(duì)象去標(biāo)識(shí)、加密算法、虛擬機(jī)掃描等方式保障數(shù)據(jù)安全。

對(duì)于傳統(tǒng)原始數(shù)據(jù)來(lái)說(shuō)，各個(gè)業(yè)務(wù)應(yīng)用所儲(chǔ)存的數(shù)據(jù)并不能做到完全互通，這就導(dǎo)致了數(shù)據(jù)孤島，數(shù)據(jù)源既有結(jié)構(gòu)化，也有分析化的，還有流式的，把這些商用大數(shù)據(jù)匯聚起來(lái)就成了數(shù)據(jù)湖，同樣是存數(shù)據(jù)，這與以往的數(shù)據(jù)倉(cāng)庫(kù)是不一樣的，二者的目標(biāo)就不相同。例如，數(shù)據(jù)湖可囊括AI縣相關(guān)的數(shù)據(jù)，這里面就包括了結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)，而數(shù)據(jù)倉(cāng)庫(kù)只能對(duì)結(jié)構(gòu)化數(shù)據(jù)發(fā)揮作用。從調(diào)用來(lái)看，數(shù)據(jù)湖包括的信息通?？梢员桓哳l訪問(wèn)，為企業(yè)帶來(lái)新的運(yùn)營(yíng)方向，而數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)則是按需來(lái)調(diào)取。

Aberdeen的一項(xiàng)調(diào)查表明，實(shí)施數(shù)據(jù)湖的組織比同類公司在有機(jī)收入增長(zhǎng)方面高出 9%。這些領(lǐng)導(dǎo)者能夠進(jìn)行新類型的分析，例如通過(guò)日志文件、來(lái)自點(diǎn)擊流的數(shù)據(jù)、社交媒體以及存儲(chǔ)在數(shù)據(jù)湖中的互聯(lián)網(wǎng)連接設(shè)備等新來(lái)源的機(jī)器學(xué)習(xí)。這有助于他們通過(guò)吸引和留住客戶、提高生產(chǎn)力、主動(dòng)維護(hù)設(shè)備以及做出明智的決策來(lái)更快地識(shí)別和應(yīng)對(duì)業(yè)務(wù)增長(zhǎng)機(jī)會(huì)。

站在傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的角度，數(shù)據(jù)脫格和數(shù)據(jù)解耦是必備的動(dòng)作，這不是在原有生產(chǎn)系統(tǒng)所進(jìn)行的，而是發(fā)生在數(shù)據(jù)倉(cāng)庫(kù)中，而在大數(shù)據(jù)時(shí)代這個(gè)動(dòng)作就變成了數(shù)據(jù)湖，對(duì)元數(shù)據(jù)進(jìn)行管理。對(duì)象存儲(chǔ)有了元數(shù)據(jù)管理，用戶可以擁有更大的數(shù)據(jù)湖。在完成數(shù)據(jù)脫格的時(shí)候，能夠把數(shù)據(jù)有效管理起來(lái)，為后續(xù)的數(shù)據(jù)質(zhì)量治理、數(shù)據(jù)管理提升打好基礎(chǔ)。

事實(shí)上，從大型機(jī)時(shí)代的DB2到后來(lái)的關(guān)系型數(shù)據(jù)庫(kù)，再到數(shù)據(jù)倉(cāng)庫(kù)、商業(yè)智能，最初就是以批處理、集中式的方式去解決結(jié)構(gòu)化數(shù)據(jù)的處理需求，直到商業(yè)大數(shù)據(jù)的成熟使得數(shù)據(jù)分析有了更大的價(jià)值。不過(guò)在數(shù)據(jù)湖逐漸出現(xiàn)之后，傳統(tǒng)集中化的處理開始難以應(yīng)付大規(guī)模數(shù)據(jù)，于是就有了以Hadoop為代表的分布式處理技術(shù)。

Google曾做過(guò)一項(xiàng)調(diào)查，數(shù)據(jù)科學(xué)家僅有少數(shù)時(shí)間在寫代碼，更多的時(shí)間放在了數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)治理等“數(shù)據(jù)管道”的工作上。由此可見(jiàn)，一個(gè)多功能、智能化、高效易用的管道對(duì)于幫助數(shù)據(jù)科學(xué)家提升工作效率、挖掘數(shù)據(jù)價(jià)值有著關(guān)鍵作用。

實(shí)時(shí)性、智能化、高彈性，使得云上構(gòu)建數(shù)據(jù)湖成為了很多用戶的選擇。ESG研究發(fā)現(xiàn)，39% 的調(diào)查對(duì)象認(rèn)為云部署主要用于分析，41%認(rèn)為用于數(shù)據(jù)倉(cāng)庫(kù)，43%認(rèn)為用于Spark。此時(shí)，數(shù)據(jù)湖的無(wú)縫傳輸和穩(wěn)定性變得更加重要。以AWS為例，其要做的第一步就是將數(shù)據(jù)移動(dòng)到云中。要知道，帶寬和傳輸速度的物理限制在不會(huì)造成重大中斷、高成本和長(zhǎng)時(shí)間的前提下，限制了移動(dòng)數(shù)據(jù)的能力。

然而在數(shù)據(jù)的傳輸過(guò)程中，SSL協(xié)議會(huì)被用來(lái)解決安全問(wèn)題。通常，SSL協(xié)議層在TCP/IP層和應(yīng)用層之間，可以使用不對(duì)稱加密技術(shù)實(shí)現(xiàn)會(huì)話雙方信息的傳遞，能夠保證完整性和私密性，以及識(shí)別對(duì)方的身份。例如，配置服務(wù)器的SSL不僅需要驗(yàn)證用戶身份，還要求瀏覽器提供用戶證書。之后，客戶端會(huì)檢查服務(wù)器證書，如果檢查失敗，則不能建立SSL連接。如果成功，則繼續(xù)。

可以說(shuō)，云計(jì)算時(shí)代的大數(shù)據(jù)面臨的威脅與日俱增，而如何給予用戶安全感是云服務(wù)商要思考的問(wèn)題。一方面，要讓用戶掌握對(duì)數(shù)據(jù)的控制權(quán)，采取多級(jí)加密驗(yàn)證機(jī)制，讓用戶能夠監(jiān)測(cè)到文件創(chuàng)建以來(lái)的元數(shù)據(jù)，另一方面也要做好健全的安全賠付機(jī)制，這樣才會(huì)讓用戶放心地將數(shù)據(jù)遷移上云。