云上貴州系統(tǒng)臺(tái)是全國(guó)首個(gè)省級(jí)政府和企業(yè)數(shù)據(jù)統(tǒng)籌存儲(chǔ)、共享開(kāi)放和開(kāi)發(fā)利用的云服務(wù)臺(tái)。下面是云上貴州系統(tǒng)臺(tái)官網(wǎng)址，歡迎使用。

　　云上貴州系統(tǒng)臺(tái)官網(wǎng)：https://www.gzdata.com.cn/

大數(shù)據(jù)的發(fā)展背景和研究意義

幾年來(lái)，隨著計(jì)算機(jī)和信息技術(shù)的迅猛發(fā)展和普及應(yīng)用，行業(yè)應(yīng)用系統(tǒng)的規(guī)模迅速擴(kuò)大，行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈爆炸性增長(zhǎng)。動(dòng)輒達(dá)到數(shù)百TB甚至數(shù)十至數(shù)百PB規(guī)模的行業(yè)/企業(yè)大數(shù)據(jù)已遠(yuǎn)遠(yuǎn)超出了現(xiàn)有傳統(tǒng)的計(jì)算技術(shù)和信息系統(tǒng)的處理能力，因此，尋求有效的大數(shù)據(jù)處理技術(shù)、方法和手段已經(jīng)成為現(xiàn)實(shí)世界的迫切需求。百度目前的總數(shù)據(jù)量已超過(guò)1000PB，每天需要處理的網(wǎng)頁(yè)數(shù)據(jù)達(dá)到10PB～100PB;淘寶累計(jì)的交易數(shù)據(jù)量高達(dá)100PB;Twitter每天發(fā)布超過(guò)2億條消息，新浪微博每天發(fā)帖量達(dá)到8000萬(wàn)條;中國(guó)移動(dòng)一個(gè)省的電話通聯(lián)記錄數(shù)據(jù)每月可達(dá)0.5PB～1PB;一個(gè)省會(huì)城市公安局道路車(chē)輛監(jiān)控?cái)?shù)據(jù)三年可達(dá)200億條、總量120TB。據(jù)世界權(quán)威IT信息咨詢分析公司IDC研究報(bào)告預(yù)測(cè)：全世界數(shù)據(jù)量未來(lái)10年將從2009年的0.8ZB增長(zhǎng)到2020年的35ZB(1ZB=1000EB=1000000PB)，10年將增長(zhǎng)44倍，年均增長(zhǎng)40%。

早幾年人們把大規(guī)模數(shù)據(jù)稱(chēng)為“海量數(shù)據(jù)”，但實(shí)際上，大數(shù)據(jù)(BigData)這個(gè)概念早在2008年就已被提出。2008年，在Google成立10周年之際，著名的《自然》雜志出版了一期專(zhuān)刊，專(zhuān)門(mén)討論未來(lái)的大數(shù)據(jù)處理相關(guān)的一系列技術(shù)問(wèn)題和挑戰(zhàn)，其中就提出了“Big Data”的概念。

隨著大數(shù)據(jù)概念的普及，人們常常會(huì)問(wèn)，多大的數(shù)據(jù)才叫大數(shù)據(jù)?其實(shí)，關(guān)于大數(shù)據(jù)，難以有一個(gè)非常定量的定義。維基百科給出了一個(gè)定性的描述：大數(shù)據(jù)是指無(wú)法使用傳統(tǒng)和常用的軟件技術(shù)和工具在一定時(shí)間內(nèi)完成獲取、管理和處理的數(shù)據(jù)集。進(jìn)一步，當(dāng)今“大數(shù)據(jù)”一詞的重點(diǎn)其實(shí)已經(jīng)不僅在于數(shù)據(jù)規(guī)模的定義，它更代表著信息技術(shù)發(fā)展進(jìn)入了一個(gè)新的時(shí)代，代表著爆炸性的數(shù)據(jù)信息給傳統(tǒng)的計(jì)算技術(shù)和信息技術(shù)帶來(lái)的技術(shù)挑戰(zhàn)和困難，代表著大數(shù)據(jù)處理所需的新的技術(shù)和方法，也代表著大數(shù)據(jù)分析和應(yīng)用所帶來(lái)的新發(fā)明、新服務(wù)和新的發(fā)展機(jī)遇。

由于大數(shù)據(jù)處理需求的迫切性和重要性，年來(lái)大數(shù)據(jù)技術(shù)已經(jīng)在全球?qū)W術(shù)界、工業(yè)界和各國(guó)政府得到高度關(guān)注和重視，全球掀起了一個(gè)可與20世紀(jì)90年代的信息高速公路相提并論的研究熱潮。美國(guó)和歐洲一些發(fā)達(dá)國(guó)家政府都從國(guó)家科技戰(zhàn)略層面提出了一系列的大數(shù)據(jù)技術(shù)研發(fā)計(jì)劃，以推動(dòng)政府機(jī)構(gòu)、重大行業(yè)、學(xué)術(shù)界和工業(yè)界對(duì)大數(shù)據(jù)技術(shù)的探索研究和應(yīng)用。

早在2010年12月，美國(guó)總統(tǒng)辦公室下屬的科學(xué)技術(shù)顧問(wèn)委員會(huì)(PCAST)和信息技術(shù)顧問(wèn)委員會(huì)(PITAC)向奧巴馬和國(guó)會(huì)提交了一份《規(guī)劃數(shù)字化未來(lái)》的戰(zhàn)略報(bào)告，把大數(shù)據(jù)收集和使用的工作提升到體現(xiàn)國(guó)家意志的戰(zhàn)略高度。報(bào)告列舉了5個(gè)貫穿各個(gè)科技領(lǐng)域的共同挑戰(zhàn)，而第一個(gè)最重大的挑戰(zhàn)就是“數(shù)據(jù)”問(wèn)題。報(bào)告指出：“如何收集、保存、管理、分析、共享正在呈指數(shù)增長(zhǎng)的數(shù)據(jù)是我們必須面對(duì)的一個(gè)重要挑戰(zhàn)”。報(bào)告建議：“聯(lián)邦政府的每一個(gè)機(jī)構(gòu)和部門(mén)，都需要制定一個(gè)‘大數(shù)據(jù)’的戰(zhàn)略”。2012年3月，美國(guó)總統(tǒng)奧巴馬簽署并發(fā)布了一個(gè)“大數(shù)據(jù)研究發(fā)展創(chuàng)新計(jì)劃”(Big DataR&D Initiative)，由美國(guó)國(guó)家自然基金會(huì)(NSF)、衛(wèi)生健康總署(NIH)、能源部(DOE)、國(guó)防部(DOD)等6大部門(mén)聯(lián)合，投資2億美元啟動(dòng)大數(shù)據(jù)技術(shù)研發(fā)，這是美國(guó)政府繼1993年宣布“信息高速公路”計(jì)劃后的又一次重大科技發(fā)展部署。美國(guó)白宮科技政策辦公室還專(zhuān)門(mén)支持建立了一個(gè)大數(shù)據(jù)技術(shù)論壇，鼓勵(lì)企業(yè)和組織機(jī)構(gòu)間的大數(shù)據(jù)技術(shù)交流與合作。

2012年7月，聯(lián)合國(guó)在紐約發(fā)布了一本關(guān)于大數(shù)據(jù)政務(wù)的白皮書(shū)《大數(shù)據(jù)促發(fā)展：挑戰(zhàn)與機(jī)遇》，全球大數(shù)據(jù)的研究和發(fā)展進(jìn)入了前所未有的高潮。這本白皮書(shū)總結(jié)了各國(guó)政府如何利用大數(shù)據(jù)響應(yīng)社會(huì)需求，指導(dǎo)經(jīng)濟(jì)運(yùn)行，更好地為人民服務(wù)，并建議成員國(guó)建立“脈搏實(shí)驗(yàn)室”(Pulse Labs)，挖掘大數(shù)據(jù)的潛在價(jià)值。

由于大數(shù)據(jù)技術(shù)的特點(diǎn)和重要性，目前國(guó)內(nèi)外已經(jīng)出現(xiàn)了“數(shù)據(jù)科學(xué)”的概念，即數(shù)據(jù)處理技術(shù)將成為一個(gè)與計(jì)算科學(xué)并列的新的科學(xué)領(lǐng)域。已故著名圖靈獎(jiǎng)獲得者Jim Gray在2007年的一次演講中提出，“數(shù)據(jù)密集型科學(xué)發(fā)現(xiàn)”(Data-IntensiveScientific Discovery)將成為科學(xué)研究的第四范式，科學(xué)研究將從實(shí)驗(yàn)科學(xué)、理論科學(xué)、計(jì)算科學(xué)，發(fā)展到目前興起的數(shù)據(jù)科學(xué)。

為了緊跟全球大數(shù)據(jù)技術(shù)發(fā)展的浪潮，我國(guó)政府、學(xué)術(shù)界和工業(yè)界對(duì)大數(shù)據(jù)也予以了高度的關(guān)注。央視著名“對(duì)話”節(jié)目2013年4月14日和21日邀請(qǐng)了《大數(shù)據(jù)時(shí)代??生活、工作與思維的大變革》作者維克托?邁爾-舍恩伯格，以及美國(guó)大數(shù)據(jù)存儲(chǔ)技術(shù)公司LSI總裁阿比分別做客“對(duì)話”節(jié)目，做了兩期大數(shù)據(jù)專(zhuān)題談話節(jié)目“誰(shuí)在引爆大數(shù)據(jù)”、“誰(shuí)在掘金大數(shù)據(jù)”，國(guó)家央視媒體對(duì)大數(shù)據(jù)的關(guān)注和宣傳體現(xiàn)了大數(shù)據(jù)技術(shù)已經(jīng)成為國(guó)家和社會(huì)普遍關(guān)注的焦點(diǎn)。

而國(guó)內(nèi)的學(xué)術(shù)界和工業(yè)界也都迅速行動(dòng)，廣泛開(kāi)展大數(shù)據(jù)技術(shù)的研究和開(kāi)發(fā)。2013年以來(lái)，國(guó)家自然科學(xué)基金、973計(jì)劃、核高基、863等重大研究計(jì)劃都已經(jīng)把大數(shù)據(jù)研究列為重大的研究課題。為了推動(dòng)我國(guó)大數(shù)據(jù)技術(shù)的研究發(fā)展，2012年中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)發(fā)起組織了CCF大數(shù)據(jù)專(zhuān)家委員會(huì)，CCF專(zhuān)家委員會(huì)還特別成立了一個(gè)“大數(shù)據(jù)技術(shù)發(fā)展戰(zhàn)略報(bào)告”撰寫(xiě)組，并已撰寫(xiě)發(fā)布了《2013年中國(guó)大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展白皮書(shū)》。

大數(shù)據(jù)在帶來(lái)巨大技術(shù)挑戰(zhàn)的同時(shí)，也帶來(lái)巨大的技術(shù)創(chuàng)新與商業(yè)機(jī)遇。不斷積累的大數(shù)據(jù)包含著很多在小數(shù)據(jù)量時(shí)不具備的深度知識(shí)和價(jià)值， 大數(shù)據(jù)分析挖掘?qū)⒛転樾袠I(yè)/企業(yè)帶來(lái)巨大的商業(yè)價(jià)值，實(shí)現(xiàn)各種高附加值的增值服務(wù)，進(jìn)一步提升行業(yè)/企業(yè)的經(jīng)濟(jì)效益和社會(huì)效益。由于大數(shù)據(jù)隱含著巨大的深度價(jià)值，美國(guó)政府認(rèn)為大數(shù)據(jù)是“未來(lái)的新石油”，對(duì)未來(lái)的科技與經(jīng)濟(jì)發(fā)展將帶來(lái)深遠(yuǎn)影響。因此，在未來(lái)，一個(gè)國(guó)家擁有數(shù)據(jù)的規(guī)模和運(yùn)用數(shù)據(jù)的能力將成為綜合國(guó)力的重要組成部分，對(duì)數(shù)據(jù)的占有、控制和運(yùn)用也將成為國(guó)家間和企業(yè)間新的爭(zhēng)奪焦點(diǎn)。

大數(shù)據(jù)的研究和分析應(yīng)用具有十分重大的意義和價(jià)值。被譽(yù)為“大數(shù)據(jù)時(shí)代預(yù)言家”的維克托?邁爾-舍恩伯格在其《大數(shù)據(jù)時(shí)代》一書(shū)中列舉了大量詳實(shí)的大數(shù)據(jù)應(yīng)用案例，并分析預(yù)測(cè)了大數(shù)據(jù)的發(fā)展現(xiàn)狀和未來(lái)趨勢(shì)，提出了很多重要的觀點(diǎn)和發(fā)展思路。他認(rèn)為：“大數(shù)據(jù)開(kāi)啟了一次重大的時(shí)代轉(zhuǎn)型”，指出大數(shù)據(jù)將帶來(lái)巨大的變革，改變我們的生活、工作和思維方式，改變我們的商業(yè)模式，影響我們的經(jīng)濟(jì)、政治、科技和社會(huì)等各個(gè)層面。

由于大數(shù)據(jù)行業(yè)應(yīng)用需求日益增長(zhǎng)，未來(lái)越來(lái)越多的研究和應(yīng)用領(lǐng)域?qū)⑿枰�使用大�?shù)據(jù)并行計(jì)算技術(shù)，大數(shù)據(jù)技術(shù)將滲透到每個(gè)涉及到大規(guī)模數(shù)據(jù)和復(fù)雜計(jì)算的應(yīng)用領(lǐng)域。不僅如此，以大數(shù)據(jù)處理為中心的計(jì)算技術(shù)將對(duì)傳統(tǒng)計(jì)算技術(shù)產(chǎn)生革命性的影響，廣泛影響計(jì)算機(jī)體系結(jié)構(gòu)、操作系統(tǒng)、數(shù)據(jù)庫(kù)、編譯技術(shù)、程序設(shè)計(jì)技術(shù)和方法、軟件工程技術(shù)、多媒體信息處理技術(shù)、人工智能以及其他計(jì)算機(jī)應(yīng)用技術(shù)，并與傳統(tǒng)計(jì)算技術(shù)相互結(jié)合產(chǎn)生很多新的研究熱點(diǎn)和課題。

大數(shù)據(jù)給傳統(tǒng)的計(jì)算技術(shù)帶來(lái)了很多新的挑戰(zhàn)。大數(shù)據(jù)使得很多在小數(shù)據(jù)集上有效的傳統(tǒng)的串行化算法在面對(duì)大數(shù)據(jù)處理時(shí)難以在可接受的時(shí)間內(nèi)完成計(jì)算;同時(shí)大數(shù)據(jù)含有較多噪音、樣本稀疏、樣本不衡等特點(diǎn)使得現(xiàn)有的很多機(jī)器學(xué)習(xí)算法有效性降低。因此，微軟全球副總裁陸奇博士在2012年全國(guó)第一屆“中國(guó)云/移動(dòng)互聯(lián)網(wǎng)創(chuàng)新大獎(jiǎng)賽”頒獎(jiǎng)大會(huì)主題報(bào)告中指出：“大數(shù)據(jù)使得絕大多數(shù)現(xiàn)有的串行化機(jī)器學(xué)習(xí)算法都需要重寫(xiě)”。

大數(shù)據(jù)技術(shù)的發(fā)展將給我們研究計(jì)算機(jī)技術(shù)的專(zhuān)業(yè)人員帶來(lái)新的挑戰(zhàn)和機(jī)遇。目前，國(guó)內(nèi)外IT企業(yè)對(duì)大數(shù)據(jù)技術(shù)人才的需求正快速增長(zhǎng)，未來(lái)5～10年內(nèi)業(yè)界將需要大量的掌握大數(shù)據(jù)處理技術(shù)的人才。IDC研究報(bào)告指出，“下一個(gè)10年里，世界范圍的服務(wù)器數(shù)量將增長(zhǎng)10倍，而企業(yè)數(shù)據(jù)中心管理的數(shù)據(jù)信息將增長(zhǎng)50倍，企業(yè)數(shù)據(jù)中心需要處理的數(shù)據(jù)文件數(shù)量將至少增長(zhǎng)75倍，而世界范圍內(nèi)IT專(zhuān)業(yè)技術(shù)人才的數(shù)量?jī)H能增長(zhǎng)1.5倍。”因此，未來(lái)十年里大數(shù)據(jù)處理和應(yīng)用需求與能提供的技術(shù)人才數(shù)量之間將存在一個(gè)巨大的差距。目前，由于國(guó)內(nèi)外高校開(kāi)展大數(shù)據(jù)技術(shù)人才培養(yǎng)的時(shí)間不長(zhǎng)，技術(shù)市場(chǎng)上掌握大數(shù)據(jù)處理和應(yīng)用開(kāi)發(fā)技術(shù)的人才十分短缺，因而這方面的技術(shù)人才十分搶手，供不應(yīng)求。國(guó)內(nèi)幾乎所有著名的IT企業(yè)，如百度、騰訊、阿里巴巴和淘寶、奇虎360等，都大量需要大數(shù)據(jù)技術(shù)人才。