2016年1月20日，2016全球大數(shù)據(jù)峰會GBDC2016在京舉行。本次大會由全球大數(shù)據(jù)聯(lián)盟(GBDC)、全球移動游戲聯(lián)盟(GMGC)、世界O2O組織(WOO)、光合資本主辦，中國互聯(lián)網(wǎng)協(xié)會(ISC)O2O工作組、中國汽車流通協(xié)會(CADA)支持。VMware中國研發(fā)中心總經(jīng)理任道遠做了主題為《業(yè)務(wù)數(shù)據(jù)湖——當敏捷遇上大數(shù)據(jù)》的演講。

　　以下為演講全文:

　　任道遠:大家上午好。今天給大家分享的是業(yè)務(wù)數(shù)據(jù)湖——當敏捷遇上大數(shù)據(jù)。我是代表VMware、EMC等等的聯(lián)盟來與大家分享。我今天開始所講的第一個話題，其實是關(guān)于軟件工程以及應(yīng)用開發(fā)。我們知道在軟件工程里面，其實從編程語言的角度來講，近幾年我們其實沒有太大的顛覆性的突破。我們知道最新的一些語言，但是比起當初從C++到Java不算很顛覆性，但是在軟件工程生命周期里，我們看到了有大量的敏捷性的工具來去支持所有的軟件工程的每一個環(huán)節(jié)。這里包括從一個創(chuàng)意到代碼，然后版本的管理，程序的集成，部署，以及自動化的測試，以及今天講的平臺即服務(wù)，我們新一代容器的技術(shù)，以及這些工具它們所提供的一個緊密的反饋的路徑。這些都能夠大大提高軟件工程的效率，以及減少問題的出現(xiàn)。

　　在2014年一個官方的統(tǒng)計，專門專注開發(fā)運維的流程，我們發(fā)現(xiàn)左邊一些部署的頻率失敗的機會也是大大的減少。在變更流程的成功率大大的提高。同時我們對軟件部署的恢復(fù)效率也有了迅猛的增長。在右邊看到不管對企業(yè)的營業(yè)額，利潤，還是這些企業(yè)通過敏捷開發(fā)之后，在市場上面的增長，也是非常的可觀。

　　今天的問題當然是大數(shù)據(jù)，在我們數(shù)據(jù)工程，在我們的數(shù)據(jù)管道里怎么來去避免，在軟件工程以及應(yīng)用開發(fā)上面的敏捷，但是可能在數(shù)據(jù)上面還是一個瀑布式的流程。我們新一代的，數(shù)據(jù)工程里的挑戰(zhàn)，包括在數(shù)據(jù)的取獲，不止有傳統(tǒng)的用戶系統(tǒng)的數(shù)據(jù)，也有我們基于社交網(wǎng)絡(luò)，基于新一代的物聯(lián)網(wǎng)的感應(yīng)器，以及實時系統(tǒng)的一些數(shù)據(jù)的取獲。我們也會引入到要存儲各種各樣數(shù)據(jù)在同一個環(huán)境里方便我們?nèi)ミM行跨數(shù)據(jù)的分析。在分析的流程里我們可能會引入一些更先進的算法，同時我們的需求可能不止是對歷史性的分析，也是對將來的一些可推測的分析。這些分析我們是希望能夠很快的通過界面來去給我們的業(yè)務(wù)領(lǐng)域的專家來去分享。最后，可能是通過打造應(yīng)用，這些數(shù)據(jù)驅(qū)動的應(yīng)用來去讓我們的企業(yè)能夠更加敏捷的作出決定。

　　我們的看法是在這里面所有的問題聚焦，是在業(yè)務(wù)的產(chǎn)出，也就是說，怎么樣能夠把我們的分析的用力，能夠有效的映射到我們分析的平臺以及基礎(chǔ)架構(gòu)。這里面這些分析的用力，包括有客戶的分析，有產(chǎn)品的分析，有競爭對手的分析，也有供應(yīng)流的分析。在中間我們看到有不同的新一代的分析的平臺和算法，當然最后還有我們的虛擬化，以及存儲，計算的基礎(chǔ)架構(gòu)。

　　我們數(shù)據(jù)湖的解決方案有三個大的特色:

　　第一，統(tǒng)一的平臺管理。在自動化的數(shù)據(jù)管理平臺上面，我們可以做到是沒有傳統(tǒng)的IT的可以自動提供數(shù)據(jù)存儲的環(huán)境，能夠提供不同的分析處理的環(huán)境，包括新一代的Xbox，以及各種集群的環(huán)境，能夠提供更好的數(shù)據(jù)的取獲的環(huán)境，不管是傳統(tǒng)的，還是新一代的移動大數(shù)據(jù)，以及實時的感應(yīng)系統(tǒng)。最后，各種不同的數(shù)據(jù)，我們能夠把這些進行有效的索引，讓它們能夠及時的給我們的應(yīng)用展現(xiàn)出來。

　　第二，我們覺得是一個有序的數(shù)據(jù)湖，而不是一個數(shù)據(jù)混亂的沼澤或者泥濘。這里有數(shù)據(jù)驅(qū)動的存儲，讓我們的數(shù)據(jù)能夠有效可靠。當然我們也希望從管理的角度能夠控制和去審計我們的數(shù)據(jù)的使用。我們也想希望能夠符合各種的法規(guī)，同時能夠支持云數(shù)據(jù)的管理。

　　最后，所有的數(shù)據(jù)，所有的這些分析的算法，我們希望能有一個索引，這樣數(shù)據(jù)的服務(wù)，分析的服務(wù)，算法的服務(wù)能夠提供給新一代的應(yīng)用。同時我們能夠打造很好的界面，以及一些動態(tài)的應(yīng)用，能夠讓最終的用戶去使用。

　　最后，我們的索引希望能夠盡快的把一些簡單的數(shù)據(jù)上面的分析，能夠給企業(yè)創(chuàng)造價值，從以前的幾年，幾個月到現(xiàn)在的幾周，甚至是幾天的時間，幾個小時的時間。我們提出的解決方案，業(yè)務(wù)數(shù)據(jù)湖，除了有這三大支持的組件，我們的平臺管理，我們的業(yè)務(wù)規(guī)范，以及我們數(shù)據(jù)分析的索引，當然還有我們的核心。這個核心是以大數(shù)據(jù)套件等等作為核心，同時也是支持開放數(shù)據(jù)平臺，這里面包括了VMware的虛擬化，云計算的組件等等的一些產(chǎn)品和組件。同時在最上面我們支持一些開放分析的工具，包括SAS，或者其他的一些在行業(yè)里的優(yōu)秀的算法以及軟件。

　　在大數(shù)據(jù)的套件里面，我們看到了一些先進的算法，它們會基于PIVOTAL的大平臺，可以支持大規(guī)模的接近實時的一些數(shù)據(jù)的處理。在中間這層，當然在數(shù)據(jù)的分析的前提是有一個很好的存儲，以及數(shù)據(jù)處理的技術(shù)。我們也會支持Xbox等等的開源組織的技術(shù)。在DDS大數(shù)據(jù)套件它的亮點，當然是完整，以及在SQL上也是一個領(lǐng)先的技術(shù)，在大套件本身是一個開源的技術(shù)和產(chǎn)品，同時我們會提供靈活的商務(wù)的協(xié)議，來去提供一些企業(yè)它們有些特別增值的需要。PIVOTAL CLOUD FOUNDRY可以讓數(shù)據(jù)師或者用戶能夠敏捷的打造云原生的運用，來接入我們一些分析的服務(wù)，它會更加關(guān)注于開人員有效的開發(fā)，而把運維以及一些新一代的角色能夠用這個技術(shù)和平臺來非常好的支持，包括對容器，以及新一代的大數(shù)據(jù)的服務(wù)，在這個平臺里面都能夠有很好的支持，能大量的減少開發(fā)人員在運維部署方面的一些瓶頸。PIVOTAL CLOUD FOUNDRY也是在我們大數(shù)據(jù)套件里自動的包括，它也是業(yè)界領(lǐng)先的開源的技術(shù)項目。同時它可以在亞馬遜的公有云，我們叫基礎(chǔ)架構(gòu)即服務(wù)這樣的公有云，以及私有云等等的都能夠進行無縫的運行。我們做大數(shù)據(jù)和HADOOP是離不開的，它也是一個標準。VMware、EMC都是在開源的組織里，和我們生態(tài)環(huán)境里的合作伙伴一起去共同推進HADOOP以及一些大數(shù)據(jù)的技術(shù)。

　　最后，我們的理念，在業(yè)務(wù)數(shù)據(jù)湖上面，是能夠有效的把數(shù)據(jù)分析和應(yīng)用能夠匯集起來，給企業(yè)創(chuàng)造價值。首先是在數(shù)據(jù)方面，我們需要是去存儲所有的數(shù)據(jù)，這里面包括了結(jié)構(gòu)化，非結(jié)構(gòu)化以及不常用的離線的數(shù)據(jù)，包括了企業(yè)本身產(chǎn)生的數(shù)據(jù)，以及在外部產(chǎn)生的數(shù)據(jù)，歷史的以及及時的數(shù)據(jù)。業(yè)務(wù)數(shù)據(jù)湖能對所有數(shù)據(jù)進行有效的分析，進行預(yù)測，能夠有新的組合以及關(guān)聯(lián)，能夠用到前面一些我們的同行講到的機器學(xué)習(xí)，人工智能，來去將我們的數(shù)據(jù)做最有效的分析。

　　最后，是通過數(shù)據(jù)驅(qū)動的應(yīng)用，能夠打造合適的東西。這個東西當然希望有一個好的界面給最終的用戶用，而不是我們數(shù)據(jù)的科學(xué)家或者業(yè)務(wù)的分析師來用，而是給最終的用能來用。同時我們希望很多的分析，能夠直接接入到云原生的應(yīng)用，讓這些云原生的應(yīng)用可以更加自動的、聰明的來去把我們的分析能夠作出對于最終用戶更好的一個決策。

　　我這里也是舉一個例子，大家也都知道UBER，這也是全球最大的打車的平臺。當我們?nèi)ビ肬BER的時候，在幾分鐘之內(nèi)就有車神奇的來到我們身邊。大家可能認為這個后臺的系統(tǒng)就是很簡單的將用戶的需求，通過系統(tǒng)發(fā)布到所有的附近的汽車，然后把最近的汽車能夠調(diào)度到我們的身邊。假如單單是這樣的話，這個系統(tǒng)當然也是很好的，但是它并不是非常的神奇。神奇的是UBER五將歷史的數(shù)據(jù)，包括汽車司機的數(shù)據(jù)，包括用戶的數(shù)據(jù)，在哪些地方，什么時間會產(chǎn)生什么樣子的需求，什么樣的峰值，然后它通過一個預(yù)測的調(diào)度，提前的把合適的汽車，以及司機放到了最有可能出現(xiàn)客戶需求的地方。這樣子大大的減少了我們等車的時間。否則我們系統(tǒng)會通過十分鐘、十五分鐘，但是UBER的目標是在三分鐘之內(nèi)，我們的汽車能夠調(diào)度到有需求的地方去。這個神奇我覺得就是大數(shù)據(jù)和敏捷應(yīng)用合在一起的一個神奇。我們VMware、EMC、Pivotal聯(lián)盟，推出的業(yè)務(wù)數(shù)據(jù)湖，也是希望能將我們的大數(shù)據(jù)，實時數(shù)據(jù)，我們分析的算法，以及我們的云原生的應(yīng)用，能夠有效的匯集起來，把敏捷帶到我們的大數(shù)據(jù)，帶到我們的實時數(shù)據(jù)，同時更重要的是能夠為我們的企業(yè)，為我們的合作伙伴能夠創(chuàng)造一個更高的價值。謝謝。