點擊進入》》》廣西專業技術人員培訓管理系統

大數據的相關信息

1.什么是大數據?

在維克托?邁爾-舍恩伯格及肯尼斯?庫克耶編寫的《大數據時代》中大數據指不用隨機分析法(抽樣調查)這樣的捷徑，而采用所有數據進行分析處理。

大數據的4V特點：Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)。

對于“大數據”(Bigdata)研究機構Gartner給出了這樣的定義。“大數據”是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

根據維基百科的定義，大數據是指無法在可承受的時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合。

大數據技術的戰略意義不在于掌握龐大的數據信息，而在于對這些含有意義的數據進行專業化處理。換言之，如果把大數據比作一種產業，那么這種產業實現盈利的關鍵，在于提高對數據的“加工能力”，通過“加工”實現數據的“增值”。

從技術上看，大數據與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單臺的計算機進行處理，必須采用分布式架構。它的在于對海量數據進行分布式數據挖掘，但它必須依托云計算的分布式處理、分布式數據庫和云存儲、虛擬化技術。

2.大數據時代是什么意思?

大數據時代就是說，在未來，我們認為會存在這樣一個時代。那個時代里，幾乎我們每一個舉動，都會被記錄，并變成數據被存儲起來，無數的數據就組合成了你本人的一個信息庫。通過這個信息庫，你的一言一行，你的都變得可預測。

最早提出“大數據”時代到來的是全球知名咨詢公司麥肯錫，麥肯錫稱：“數據，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對于海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈余浪潮的到來。”

“大數據”在物理學、生物學、環境生態學等領域以及軍事、金融、通訊等行業存在已有時日，卻因為年來互聯網和信息行業的發展而引起人們關注。大數據作為云計算、物聯網之后IT行業又一大顛覆性的技術革命。云計算主要為數據資產提供了保管、訪問的場所和渠道，而數據才是真正有價值的資產。企業內部的經營交易信息、互聯網世界中的商品物流信息，互聯網世界中的人與人交互信息、位置信息等，其數量將遠遠超越現有企業IT架構和基礎設施的承載能力，實時性要求也將大大超越現有的計算能力。如何盤活這些數據資產，使其為國家治理、企業決策乃至個人生活服務，是大數據的核心議題，也是云計算內在的靈魂和必然的升級方向。

3.大數據、數據分析和數據挖掘的區別

大數據、數據分析、數據挖掘的區別是，大數據是互聯網的海量數據挖掘，而數據挖掘更多是針對內部企業行業小眾化的數據挖掘，數據分析就是進行做出針對性的分析和診斷，大數據需要分析的是趨勢和發展，數據挖掘主要發現的是問題和診斷：

1.大數據(bigdata)：

指無法在可承受的時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產;

在維克托?邁爾-舍恩伯格及肯尼斯?庫克耶編寫的《大數據時代》中大數據指不用隨機分析法(抽樣調查)這樣的捷徑，而采用所有數據進行分析處理。大數據的5V特點(IBM提出)：Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)Veracity(真實性)。

2.數據分析：

是指用適當的統計分析方法對收集來的大量數據進行分析，提取有用信息和形成結論而對數據加以詳細研究和概括總結的過程。這一過程也是質量管理體系的支持過程。在實用中，數據分析可幫助人們作出判斷，以便采取適當行動。

數據分析的數學基礎在20世紀早期就已確立，但直到計算機的出現才使得實際操作成為可能，并使得數據分析得以推廣。數據分析是數學與計算機科學相結合的產物。

3.數據挖掘(Datamining)：

又譯為資料探勘、數據采礦。它是數據庫知識發現(英語：Knowledge-DiscoveryinDatabases，簡稱：KDD)中的一個步驟。數據挖掘一般是指從大量的數據中通過算法搜索隱藏于其中信息的過程。數據挖掘通常與計算機科學有關，并通過統計、在線分析處理、情報檢索、機器學習、專家系統(依靠過去的經驗法則)和模式識別等諸多方法來實現上述目標。

簡而言之：

大數據是范圍比較廣的數據分析和數據挖掘。

按照數據分析的流程來說，數據挖掘工作較數據分析工作靠前些，二者又有重合的地方，數據挖掘側重數據的清洗和梳理。

數據分析處于數據處理的最末端，是最后階段。

數據分析和數據挖掘的分界、概念比較模糊，模糊的意思是二者很難區分。

大數據概念更為廣泛，是把創新的思維、信息技術、統計學等等技術的綜合體，每個人限于學術背景、技術背景，概述的都不一樣。

4.大數據可以做什么?

1.對大數據的處理分析正成為新一代信息技術融合應用的結點

移動互聯網、物聯網、社交網絡、數字家庭、電子商務等是新一代信息技術的應用形態，這些應用不斷產生大數據。云計算為這些海量、多樣化的大數據提供存儲和運算臺。通過對不同來源數據的管理、處理、分析與優化，將結果反饋到上述應用中，將創造出巨大的經濟和社會價值。

大數據具有催生社會變革的能量。但釋放這種能量，需要嚴謹的數據治理、富有洞見的數據分析和激發管理創新的環境(RamayyaKrishnan,卡內基?梅隆大學海因茲學院院長)。

2.大數據是信息產業持續高速增長的新引擎

面向大數據市場的新技術、新產品、新服務、新業態會不斷涌現。在硬件與集成設備領域，大數據將對芯片、存儲產業產生重要影響，還將催生一體化數據存儲處理服務器、內存計算等市場。在軟件與服務領域，大數據將引發數據快速處理分析、數據挖掘技術和軟件產品的發展。

3.大數據利用將成為提高核心競爭力的關鍵因素，各行各業的決策正在從“業務驅動”轉變“數據驅動”

在高校來說，對大數據的分析可以幫助制定更加精準有效的管理策略提供決策支持;可以為在校師生提供更加及時和個性化的服務，大大促進學校綜合管理水的提升。

4.大數據時代科學研究的方法手段將發生重大改變

例如，抽樣調查是社會科學的基本研究方法。在大數據時代，可通過實時監測、跟蹤研究對象在互聯網上產生的海量行為數據，進行挖掘分析，揭示出規律性的東西，提出研究結論和對策。

5.大數據的商業價值

1.對顧客群體細分

“大數據”可以對顧客群體細分，然后對每個群體量體裁衣般的采取獨特的行動。瞄準特定的顧客群體來進行營銷和服務是商家一直以來的追求。云存儲的海量數據和“大數據”的分析技術使得對消費者的實時和極端的細分有了成本效率極高的可能。

2.模擬實境

運用“大數據”模擬實境，發掘新的需求和提高投入的回報率。現在越來越多的產品中都裝有傳感器，汽車和智能手機的普及使得可收集數據呈現爆炸性增長。微博等社交網絡也在產生著海量的數據。

云計算和“大數據”分析技術使得商家可以在成本效率較高的情況下，實時地把這些數據連同交易行為的數據進行儲存和分析。交易過程、產品使用和人類行為都可以數據化。“大數據”技術可以把這些數據整合起來進行數據挖掘，從而在某些情況下通過模型模擬來判斷不同變量(比如不同地區不同促銷方案)的情況下何種方案投入回報最高。

3.提高投入回報率

提高“大數據”成果在各相關部門的分享程度，提高整個管理鏈條和產業鏈條的投入回報率。“大數據”能力強的部門可以通過云計算、互聯網和內部搜索引擎把”大數據”成果和“大數據”能力比較薄弱的部門分享，幫助他們利用“大數據”創造商業價值。

4.數據儲存空間出租

企業和個人有著海量信息存儲的需求，只有將數據妥善存儲，才有可能進一步挖掘其潛在價值。具體而言，這塊業務模式又可以細分為針對個人文件存儲和針對企業用戶兩大類。主要是通過易于使用的API，用戶可以方便地將各種數據對象放在云端，然后再像使用水、電一樣按用量收費。

5.管理客戶關系

客戶管理應用的目的是根據客戶的屬性(包括自然屬性和行為屬性)，從不同角度深層次分析客戶、了解客戶，以此增加新的客戶、提高客戶的忠誠度、降低客戶流失率、提高客戶消費等。對中小客戶來說，專門的CRM顯然大而貴。不少中小商家將聊天軟件作為初級CRM來使用。比如把老客戶加到群里，在群朋友圈里發布新產品預告、特價銷售通知，完成售前售后服務等。

6.個性化精準推薦

在運營商內部，根據用戶喜好推薦各類業務或應用是常見的，比如應用商店軟件推薦等，而通過關聯算法、文本摘要抽取、情感分析等智能分析算法后，可以將之延伸到商用化服務，利用數據挖掘技術幫助客戶進行精準營銷，今后盈利可以來自于客戶增值部分的分成。

以高校日常管理為例，通過用戶行為數據進行分析后，可以給需要的人發送需要的信息，這樣的信息就是有價值的。在成都大學，在校師生都可以通過使用手機門戶，實時收到自己感興趣的消息推送。

7.數據搜索

數據搜索是一個并不新鮮的應用，隨著“大數據”時代的到來，實時性、全范圍搜索的需求也就變得越來越強烈。我們需要能搜索各種社交網絡、用戶行為等數據。其商業應用價值是將實時的數據處理與分析和廣告聯系起來，即實時廣告業務和應用內移動廣告的社交服務。

6.大數據技術有哪些?

基礎階段：

Linux、Docker、KVM、MySQL基礎、Oracle基礎、MongoDB、redis。

hadoopmaPducehdfsyarn：hadoop：Hadoop概念、版本、歷史，HDFS工作原理，YARN介紹及組件介紹。

大數據存儲階段：hbase、hive、sqoop。

大數據架構設計階段：Flume分布式、Zookeeper、Kafka。

大數據實時計算階段：Mahout、Spark、storm。

大數據數據采集階段：Python、Scala。

大數據商業實戰階段：實操企業大數據處理業務場景，分析需求、解決方案實施，綜合技術實戰應用。

在掌握Java基礎的前提下，各階段的大數據學習需要掌握的專業技術。

7.大數據的趨勢

趨勢一：數據的資源化

何為資源化，是指大數據成為企業和社會關注的重要戰略資源，并已成為大家爭相搶奪的新焦點。因而，企業必須要提前制定大數據營銷戰略計劃，搶占市場先機。

趨勢二：與云計算的深度結合

大數據離不開云處理，云處理為大數據提供了彈性可拓展的基礎設備，是產生大數據的臺之一。自2013年開始，大數據技術已開始和云計算技術緊密結合，預計未來兩者關系將更為密切。除此之外，物聯網、移動互聯網等新興計算形態，也將一齊助力大數據革命，讓大數據營銷發揮出更大的影響力。

趨勢三：科學理論的突破

隨著大數據的快速發展，就像計算機和互聯網一樣，大數據很有可能是新一輪的技術革命。隨之興起的數據挖掘、機器學習和人工智能等相關技術，可能會改變數據世界里的很多算法和基礎理論，實現科學技術上的突破。

趨勢四：數據科學和數據聯盟的成立

未來，數據科學將成為一門專門的學科，被越來越多的人所認知。各大高校將設立專門的數據科學類專業，也會催生一批與之相關的新的就業崗位。與此同時，基于數據這個基礎臺，也將建立起跨領域的數據共享臺，之后，數據共享將擴展到企業層面，并且成為未來產業的核心一環。