有人預(yù)測2015年，將是大數(shù)據(jù)相當(dāng)成功的一年。諷刺的是，這里指的不是因?yàn)樗麄兡芫℉adoop或Spark等復(fù)雜卻高效率的分布式計(jì)算系統(tǒng)。反過來說，2015年我們將使用更優(yōu)于Hadoop工具的方式，來處理過去使用大數(shù)據(jù)時伴隨而來的問題。
其中最大的變化在于，能有效布署與管理收納網(wǎng)路服務(wù)的Docker、企業(yè)計(jì)算容量等開源技術(shù)的崛起，但相較于大數(shù)據(jù)能造成的潛在影響力還是相形見絀。知名彈性整合公司SnapLogic的Darren Cunninhgam更強(qiáng)調(diào)，幾乎所有具指標(biāo)性的大企業(yè)，趨勢顯示最終還是會回歸數(shù)據(jù)基本面。
但問題是，大多時刻我們探討這些數(shù)據(jù)的機(jī)會，遠(yuǎn)多于投入實(shí)際使用。早在2013年，Darren Cunninhgam即指出每個人都知道他們需要做的事情與大數(shù)據(jù)息息相關(guān)，但實(shí)際上卻很少人懂得如何運(yùn)用。即便2014年都快已過完，這現(xiàn)象始終沒改變。大多數(shù)企業(yè)仍然沒有對這些數(shù)據(jù)資料花費(fèi)太多心思，甚至對一些人來說這更是個復(fù)雜難題，除了專業(yè)科學(xué)家會好好使用外，這些付費(fèi)就能取得的open-source工具，對一般人來說要使用實(shí)在太困難了。
甚至多數(shù)人對大數(shù)據(jù)長久下來一直充滿誤解。舉個例子，來自Bloomberg（專業(yè)財(cái)經(jīng)媒體）負(fù)責(zé)人Matt Hunt宣稱：“在Bloomberg我們并沒有大數(shù)據(jù)問題，反而是有中量資訊（medium data）問題，這里指的中量資訊指的是量夠大、但適用于單一設(shè)備上，但并不需要龐大巨量的集群數(shù)據(jù)，相當(dāng)于Terabytes兆位元，而不需要達(dá)PB等級?！?
日前與相關(guān)IT機(jī)構(gòu)合作的NewVantage透過調(diào)查表示，大數(shù)據(jù)能以PB等級的驚人單位產(chǎn)生新聞，但大多數(shù)企業(yè)實(shí)際上也只需要管理到Terabytes等級的數(shù)量。只有28% 的人認(rèn)為，與其挑戰(zhàn)大數(shù)據(jù)所帶來龐大的資料數(shù)據(jù)，他們更關(guān)心的是資料種類多樣性與更新速度。
在即將邁入2015年此刻，許多企業(yè)仍因被迫使用Hadoop工具來面對他們的數(shù)據(jù)而飽受掙扎，特別當(dāng)他們不斷使用這些錯誤工具，套用在只能處理中量資訊資料的應(yīng)用程序中。
提到2015大數(shù)趨勢，用“Big Data Gets Little”這句話就能看出端倪。于物聯(lián)網(wǎng)之于行動裝置的重要性，我們不能再單純以近乎失去判斷力、甚至盲從迷信的心態(tài)面對這些大數(shù)據(jù)工具。不過，Hadoop是否還能像今年在物聯(lián)網(wǎng)中扮演重要角色?“那當(dāng)然!”Cloudera公司創(chuàng)始人之一 Mike Olson如是說：“新一代數(shù)據(jù)庫技術(shù)，并不會去破壞現(xiàn)有大企業(yè)習(xí)于使用的OLTP及OLAP等結(jié)構(gòu)化數(shù)據(jù)處理與分析的市場，它雖然擁有前所未有的對于新數(shù)據(jù)分析與解鎖能力，甚至能讓我們以不同觀點(diǎn)去了解這世界上各種事物，無論是創(chuàng)造新機(jī)會或新市場，對大數(shù)據(jù)來說基本上還是須依靠物聯(lián)網(wǎng)，才能創(chuàng)造出更巨大機(jī)會?！?
不過對Hadoop來說，雖為目前最理想用來處理大量數(shù)據(jù)的工具，卻沒有足夠即時分析數(shù)據(jù)的能力。為能有效追蹤物聯(lián)網(wǎng)數(shù)據(jù)，NoSQL數(shù)據(jù)庫對Hadoop來說扮演重要輔助角色，使得能夠即時回應(yīng)實(shí)用數(shù)據(jù)成為可能。
有監(jiān)于物聯(lián)網(wǎng)產(chǎn)生數(shù)據(jù)（包括透過全新傳感器、全新的數(shù)據(jù)類型等）不斷變化的特性，像NoSQL這樣的數(shù)據(jù)庫是必須存在的，Machina在一份研究中更假設(shè)：“從來自愈來愈多不同傳感器、設(shè)備、或應(yīng)用程序產(chǎn)生出愈來愈多的指數(shù)，一個事件會伴隨出更多樣化結(jié)構(gòu)數(shù)據(jù)，這些附加數(shù)據(jù)范圍從企業(yè)系統(tǒng)到眾包數(shù)據(jù)，都必須經(jīng)過整合才能傳成有效資料?！?
很多大數(shù)據(jù)工作迄今已將Hadoop與相關(guān)數(shù)據(jù)庫系統(tǒng)或RDBMS做整合，但這卻不是最理想的整合方式。根據(jù)權(quán)威IT行業(yè)分析機(jī)構(gòu)Gartner指出，“因?yàn)槲锫?lián)網(wǎng)與各種行動裝置應(yīng)正迫使我們思考產(chǎn)生變化，并影響到我們之于這些數(shù)據(jù)的互動方式?！?
在2015年，更多的大數(shù)據(jù)將同步從企業(yè)數(shù)據(jù)資料庫轉(zhuǎn)移至Hadoop端、或從嚴(yán)謹(jǐn)?shù)腞DBMS轉(zhuǎn)移到更靈活的NoSQL。毫無疑問地，物聯(lián)網(wǎng)是成為這場變革的最大驅(qū)動力。