伴隨知識(shí)社會(huì)的來(lái)臨，驅(qū)動(dòng)當(dāng)今企業(yè)組織變革的不僅是無(wú)所不在的網(wǎng)絡(luò)，還有無(wú)所不在的計(jì)算、無(wú)所不在的數(shù)據(jù)、無(wú)所不在的知識(shí)。企業(yè)在運(yùn)營(yíng)過(guò)程中的知識(shí)管理、數(shù)據(jù)管理愈發(fā)引人關(guān)注。本文聚焦于企業(yè)的數(shù)據(jù)管理領(lǐng)域，探討互聯(lián)網(wǎng)時(shí)代所帶來(lái)的嶄新工作方式。

　　挖掘數(shù)據(jù)背后的價(jià)值

　　“互聯(lián)網(wǎng)+”戰(zhàn)略是利用互聯(lián)網(wǎng)平臺(tái)和信息通信技術(shù)，把互聯(lián)網(wǎng)和各行各業(yè)結(jié)合起來(lái)，旨在新的領(lǐng)域創(chuàng)造一種新的生態(tài)。在今年兩會(huì)上，“互聯(lián)網(wǎng)+”成為一項(xiàng)國(guó)家戰(zhàn)略，預(yù)示著互聯(lián)網(wǎng)將在國(guó)家各個(gè)領(lǐng)域發(fā)揮更加舉足輕重的作用。

　　“互聯(lián)網(wǎng)+”時(shí)代的企業(yè)工作開展重在數(shù)據(jù)管理。而數(shù)據(jù)則從簡(jiǎn)單的處理對(duì)象轉(zhuǎn)變?yōu)橐环N基礎(chǔ)性的資源，不同領(lǐng)域中各項(xiàng)業(yè)務(wù)的開展都離不開數(shù)據(jù)的支持。數(shù)據(jù)本身難以支撐業(yè)務(wù)，如何合理的分析和利用大數(shù)據(jù)，挖掘數(shù)據(jù)背后隱藏的模式和價(jià)值，對(duì)業(yè)務(wù)進(jìn)行支持才是關(guān)鍵。

　　目前，各個(gè)行業(yè)在大數(shù)據(jù)的使用上已經(jīng)進(jìn)行了不同程度的嘗試，例如銀行業(yè)使用客戶交易數(shù)據(jù)進(jìn)行分析，挖掘客戶背景信息，建立用戶風(fēng)險(xiǎn)等級(jí)，輔助業(yè)內(nèi)人員進(jìn)行個(gè)性化市場(chǎng)營(yíng)銷和風(fēng)險(xiǎn)管理控制，制定市場(chǎng)競(jìng)爭(zhēng)策略。

　　在資本市場(chǎng)中，通過(guò)收集、整理、挖掘和分析用戶在不同社交網(wǎng)絡(luò)中的數(shù)據(jù)，預(yù)測(cè)人們的情緒波動(dòng)，借此關(guān)聯(lián)評(píng)估人們的投資行為，挖掘金融活動(dòng)背后隱藏的金融風(fēng)險(xiǎn)；在互聯(lián)網(wǎng)金融業(yè)，通過(guò)對(duì)業(yè)內(nèi)復(fù)雜的數(shù)據(jù)進(jìn)行分析挖掘，估測(cè)顧客對(duì)于特定金融產(chǎn)品的興趣，提供個(gè)性化金融服務(wù)支持，同時(shí)可以對(duì)互聯(lián)網(wǎng)金融活動(dòng)進(jìn)行監(jiān)督。

　　大數(shù)據(jù)由于其自身的特性，很難直接使用傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)進(jìn)行存儲(chǔ)和管理，各個(gè)數(shù)據(jù)庫(kù)廠商需要在原有基礎(chǔ)上尋求突破，開發(fā)新的技術(shù)。為支撐不同業(yè)務(wù)場(chǎng)景下大數(shù)據(jù)的管理和應(yīng)用，各行業(yè)進(jìn)行了不同的嘗試。

　　傳統(tǒng)的行業(yè)開始嘗試在外圍系統(tǒng)上使用新型的大數(shù)據(jù)技術(shù)取代原有的關(guān)鍵數(shù)據(jù)庫(kù)技術(shù)，在保持性能穩(wěn)定性的同時(shí)進(jìn)一步對(duì)傳統(tǒng)的核心業(yè)務(wù)進(jìn)行換代升級(jí)。各個(gè)數(shù)據(jù)廠商開發(fā)的新型大數(shù)據(jù)平臺(tái)也不僅僅只是將海量的非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行簡(jiǎn)單的存儲(chǔ)，還需要對(duì)平臺(tái)內(nèi)的數(shù)據(jù)進(jìn)行統(tǒng)一管理，制定規(guī)范化的格式和標(biāo)準(zhǔn)，以便業(yè)務(wù)人員進(jìn)行分析處理。

　　大數(shù)據(jù)管理平臺(tái)制約因素

　　傳統(tǒng)的單節(jié)點(diǎn)集中式環(huán)境已經(jīng)難以滿足數(shù)據(jù)的存儲(chǔ)和計(jì)算開銷，通過(guò)增加或更換CPU、內(nèi)存、硬盤以縱向擴(kuò)展系統(tǒng)的方式已經(jīng)遇到了瓶頸。分布式系統(tǒng)有著豐富的存儲(chǔ)空間資源和較強(qiáng)的并行計(jì)算能力，能夠利用廉價(jià)的服務(wù)器提供高可擴(kuò)展、高穩(wěn)定性的存儲(chǔ)服務(wù)，可以通過(guò)橫向擴(kuò)展即增加計(jì)算節(jié)點(diǎn)的方式提高系統(tǒng)能力。因此分布式系統(tǒng)平臺(tái)成為了存儲(chǔ)和管理大數(shù)據(jù)的主要工具。

　　但在使用分布式系統(tǒng)平臺(tái)管理大數(shù)據(jù)時(shí)，也面臨著許多瓶頸。首先，分布式數(shù)據(jù)平臺(tái)功能上存在一定的局限性，在關(guān)鍵業(yè)務(wù)中一時(shí)間難以全面替換原有的數(shù)據(jù)庫(kù)管理系統(tǒng)。其次，分布式數(shù)據(jù)平臺(tái)雖然能夠存儲(chǔ)海量的數(shù)據(jù)，但在部分核心操作的性能上難以滿足需求。造成這些困難的深層技術(shù)原因有如下幾個(gè)方面：

　　缺少統(tǒng)一數(shù)據(jù)模型

　　數(shù)據(jù)模型是數(shù)據(jù)管理的理論基礎(chǔ)，由數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)操作和數(shù)據(jù)約束三要素組成。關(guān)系型數(shù)據(jù)庫(kù)之所以取得如此巨大的成功，得益于E.F.Codd提出的關(guān)系數(shù)據(jù)模型。

　　關(guān)系型數(shù)據(jù)模型將數(shù)據(jù)保存到關(guān)系表中，能夠支持高效的查詢操作。但由于關(guān)系模型對(duì)數(shù)據(jù)模式要求嚴(yán)格，難以滿足非結(jié)構(gòu)化數(shù)據(jù)管理的靈活性需求，很難有效地支持大數(shù)據(jù)平臺(tái)的需求。因此，需要從海量的數(shù)據(jù)規(guī)模，高度動(dòng)態(tài)的數(shù)據(jù)特性，多樣的應(yīng)用場(chǎng)景，統(tǒng)一的聯(lián)合訪問(wèn)等需求方面深入考慮，設(shè)計(jì)高效而通用的數(shù)據(jù)模型。

　　事務(wù)處理無(wú)保障

　　傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)中的事務(wù)處理在大數(shù)據(jù)管理平臺(tái)中依然有著廣泛的應(yīng)用需求。然而傳統(tǒng)事務(wù)的實(shí)現(xiàn)代價(jià)過(guò)高，事務(wù)特性過(guò)于嚴(yán)格，會(huì)大大降低分布式存儲(chǔ)的讀寫性能，難以滿足海量數(shù)據(jù)快速讀寫的特點(diǎn)，傳統(tǒng)事務(wù)的ACID與分布式數(shù)據(jù)庫(kù)的BASE之間性能和一致性的平衡較難保持。因此，新興的大數(shù)據(jù)管理平臺(tái)需要能夠兼顧數(shù)據(jù)存儲(chǔ)和處理性能的事務(wù)處理機(jī)制，并在高并發(fā)的分布式場(chǎng)景支持不同粒度平臺(tái)事務(wù)處理功能。

　　優(yōu)化機(jī)制發(fā)展不完善

　　僅依靠存儲(chǔ)數(shù)據(jù)難以為產(chǎn)業(yè)創(chuàng)造價(jià)值，只有對(duì)大數(shù)據(jù)進(jìn)行分析、使用、挖掘內(nèi)部的數(shù)據(jù)模式，才能創(chuàng)造出新的價(jià)值，這就需要在數(shù)據(jù)分析處理中使用連接、聚集等操作對(duì)數(shù)據(jù)進(jìn)行處理，便于研究人員分析。

　　然而，當(dāng)前分布式平臺(tái)的主要優(yōu)點(diǎn)在于其容錯(cuò)性和可擴(kuò)展性，索引、緩存等性能優(yōu)化機(jī)制的發(fā)展并不完善，系統(tǒng)中分布式并行處理機(jī)制和網(wǎng)絡(luò)中通信傳輸代價(jià)是難以回避的問(wèn)題。

　　同時(shí)，由于MapReduce等數(shù)據(jù)處理流程的限制，部分效率更高的算法難以在分布式平臺(tái)上實(shí)現(xiàn)，因此整體上查詢執(zhí)行性能方面難以匹配傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)。其次，由于需要大量屬性描述數(shù)據(jù)對(duì)象的信息，缺失值占據(jù)了大多數(shù)的域，不但浪費(fèi)了存儲(chǔ)空間，也給數(shù)據(jù)操作的語(yǔ)義帶來(lái)了復(fù)雜性。

　　機(jī)遇與挑戰(zhàn)并存

　　為了克服大數(shù)據(jù)平臺(tái)中存在的技術(shù)難題，未來(lái)大數(shù)據(jù)管理平臺(tái)的發(fā)展應(yīng)該包括以下幾個(gè)方面：

　　數(shù)據(jù)庫(kù)廠商轉(zhuǎn)型

　　“互聯(lián)網(wǎng)+”的發(fā)展凸顯了大數(shù)據(jù)的重要性，傳統(tǒng)的數(shù)據(jù)庫(kù)廠商看到了大數(shù)據(jù)所蘊(yùn)含的價(jià)值，力圖依托自身的深厚積累，設(shè)計(jì)與研發(fā)新型大數(shù)據(jù)管理平臺(tái)。

　　甲骨文公司在大數(shù)據(jù)收集環(huán)節(jié)提供了甲骨文數(shù)據(jù)庫(kù)和甲骨文NoSQL數(shù)據(jù)庫(kù)；在大數(shù)據(jù)分析環(huán)節(jié)提供了甲骨文Exadata數(shù)據(jù)庫(kù)云服務(wù)器、甲骨文 Exalytics商務(wù)智能云服務(wù)器、甲骨文數(shù)據(jù)倉(cāng)庫(kù)和甲骨文高級(jí)分析等方案。同時(shí)甲骨文大數(shù)據(jù)機(jī)將甲骨文-Sun分布式計(jì)算平臺(tái)與Hadoop、Cloudera管理器控制臺(tái)、R分析軟件及甲骨文NoSQL數(shù)據(jù)庫(kù)結(jié)合，能夠有效處理非結(jié)構(gòu)化海量數(shù)據(jù)。

　　IBM于2014年發(fā)布了第一個(gè)面向大數(shù)據(jù)設(shè)計(jì)的處理器POWER8，為新一代大數(shù)據(jù)分析平臺(tái)構(gòu)建提供支持。同時(shí)IBM也將Hadoop作為一個(gè)很好的補(bǔ)充部分，將IBM的數(shù)據(jù)分析產(chǎn)品如SPSS高級(jí)分析，BI工具等與BigInsights Hadoop解決方案集成到一起提升產(chǎn)品性能。

　　EMC公司發(fā)布了Hadoop發(fā)行版Pivotal HD，其不僅僅能在Hadoop中運(yùn)行SQL，還可以與EMC Greenplum大數(shù)據(jù)分析平臺(tái)進(jìn)行整合，承擔(dān)大數(shù)據(jù)分析處理工作負(fù)載，提升系統(tǒng)的性能。

　　微軟公司發(fā)布了新一代并行數(shù)據(jù)倉(cāng)庫(kù)一體機(jī)SQL SERVER Parallel Data Warehouse，提供了大數(shù)據(jù)并行處理能力，并具備靈活線性橫向擴(kuò)展能力。同時(shí)微軟公司提供數(shù)據(jù)分析工具LINQ Pack、Project“Daytona”及Excel DataScope等用在Windows Azure上做大數(shù)據(jù)分析，支持各項(xiàng)業(yè)務(wù)的進(jìn)行。

　　持續(xù)貢獻(xiàn)開源系統(tǒng)

　　雖然目前大數(shù)據(jù)混搭平臺(tái)的研究和發(fā)展還處于起步階段，但隨著各項(xiàng)開源數(shù)據(jù)庫(kù)和計(jì)算平臺(tái)不斷涌現(xiàn)和發(fā)展，加上云環(huán)境的易用性和低成本性，使得構(gòu)建大數(shù)據(jù)管理平臺(tái)的門檻大為降低。

　　當(dāng)前典型開源代表有Cassandra、Impala、MongoDB、CouchDB、GraphDB、Hadoop、Cascading等，能夠在不同的業(yè)務(wù)場(chǎng)景下對(duì)數(shù)據(jù)存儲(chǔ)與應(yīng)用提供支持，滿足行業(yè)多方面的需求。新一代分布式計(jì)算框架Spark能夠在內(nèi)存中完成數(shù)據(jù)計(jì)算，其數(shù)據(jù)處理速度要高于MapReduce。雖然目前該系統(tǒng)發(fā)展還不夠完善，但其前景和價(jià)值值得期待。

　　目前市場(chǎng)上較受歡迎的是性價(jià)比高、易于修改且能夠不斷適應(yīng)新需求的大數(shù)據(jù)平臺(tái)，數(shù)據(jù)庫(kù)廠商想要能夠保持自身在圈內(nèi)的話語(yǔ)權(quán)，進(jìn)一步擴(kuò)展市場(chǎng)份額，一項(xiàng)重要的戰(zhàn)略行為就是持續(xù)貢獻(xiàn)和控制推廣更多的開源項(xiàng)目，在不同技術(shù)社區(qū)之間有效地進(jìn)行交流和信息資源共享，促進(jìn)自身的大數(shù)據(jù)管理平臺(tái)系統(tǒng)在性能和功能上的改進(jìn)，持續(xù)地滿足市場(chǎng)的需求。

　　混搭架構(gòu)設(shè)計(jì)

　　隨著互聯(lián)網(wǎng)的繁榮發(fā)展和業(yè)務(wù)的多樣化，各領(lǐng)域所產(chǎn)生的數(shù)據(jù)量呈爆炸性增長(zhǎng)，并且非結(jié)構(gòu)化數(shù)據(jù)所占比重越來(lái)越多。大數(shù)據(jù)平臺(tái)的引入已勢(shì)在必行，但各行業(yè)內(nèi)實(shí)際應(yīng)用中仍需原有的業(yè)務(wù)系統(tǒng)和主干信息系統(tǒng)支撐，難以立即對(duì)原有系統(tǒng)進(jìn)行全面顛覆。

　　因此選擇原有的業(yè)務(wù)數(shù)據(jù)庫(kù)、主題數(shù)據(jù)庫(kù)、基礎(chǔ)數(shù)據(jù)庫(kù)、共享數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)與大數(shù)據(jù)平臺(tái)合理混搭的方式，明確不同組件之間關(guān)聯(lián)，構(gòu)建底層平臺(tái)無(wú)關(guān)的數(shù)據(jù)訪問(wèn)方式，設(shè)計(jì)跨數(shù)據(jù)平臺(tái)高效的數(shù)據(jù)互通機(jī)制，是大數(shù)據(jù)平臺(tái)研究與發(fā)展的重要方向。

　　混搭架構(gòu)下的大數(shù)據(jù)平臺(tái)既借鑒了傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)在傳統(tǒng)應(yīng)用支持和在復(fù)雜查詢與分析方面的快速響應(yīng)能力，同時(shí)也借鑒了新型大數(shù)據(jù)平臺(tái)的非結(jié)構(gòu)化數(shù)據(jù)處理能力、存儲(chǔ)的低成本性以及高水平可擴(kuò)展性，能夠在最大化保證現(xiàn)有用戶效益的同時(shí)提供可擴(kuò)展空間，滿足未來(lái)更高的數(shù)據(jù)存儲(chǔ)需求，為新型大數(shù)據(jù)平臺(tái)在不同業(yè)務(wù)環(huán)境下的協(xié)同工作和統(tǒng)一數(shù)據(jù)分析提供有力的支撐。

　　結(jié)語(yǔ)

　　“互聯(lián)網(wǎng)+”時(shí)代企業(yè)重要的資源之一就是數(shù)據(jù)，一個(gè)企業(yè)所有數(shù)據(jù)的“數(shù)量和質(zhì)量”在一定程度上將決定企業(yè)價(jià)值，對(duì)數(shù)據(jù)高效的管理和使用將增強(qiáng)企業(yè)的競(jìng)爭(zhēng)力。

　　如何依托已有信息技術(shù)的深厚積累，結(jié)合“互聯(lián)網(wǎng)+”時(shí)代特性，依托已有的技術(shù)和資金積累，結(jié)合開源社區(qū)力量，建立高效的新型大數(shù)據(jù)管理平臺(tái)，是各個(gè)IT巨頭把握新產(chǎn)業(yè)變革契機(jī)、助推各個(gè)行業(yè)發(fā)展的重要途徑。

　　各個(gè)企業(yè)如果能夠把握住“互聯(lián)網(wǎng)+”大數(shù)據(jù)發(fā)展的關(guān)鍵時(shí)點(diǎn)和機(jī)遇，善用大數(shù)據(jù)管理平臺(tái)，推動(dòng)大數(shù)據(jù)分析在各個(gè)領(lǐng)域內(nèi)的應(yīng)用，就能夠在一定程度上提高企業(yè)決策質(zhì)量，降低決策成本，引領(lǐng)整個(gè)市場(chǎng)的發(fā)展趨勢(shì)，開創(chuàng)出更有價(jià)值的未來(lái)。

　　文/王騰蛟 李湛

關(guān)注讀覽天下微信， 100萬(wàn)篇深度好文， 等你來(lái)看……