售前電話
135-3656-7657
售前電話 : 135-3656-7657
1. 大數(shù)據(jù)的概念
大數(shù)據(jù)(big data/mega data)是指超大的,幾乎不能用現(xiàn)有的數(shù)據(jù)庫管理技術和工具處 理的數(shù)據(jù)集。國際數(shù)據(jù)公司(International Data Corporation, IDC)在2012年Intel大數(shù)據(jù)
論壇提出了大數(shù)據(jù)定義。大數(shù)據(jù)有如下特征。
(1) Volume:數(shù)據(jù)量巨大。從TB級別躍升到PB級別。(1PB=1O24TB)
(2) Variety:數(shù)據(jù)種類繁多,來源廣泛且格式日漸豐富,涵蓋了結(jié)構(gòu)化、半結(jié)構(gòu)化和非 結(jié)構(gòu)化數(shù)據(jù)。
(3) Value:數(shù)據(jù)價值密度低。舉個例子來說,在視頻監(jiān)控中,此過程連續(xù)不間斷,但是 有用的數(shù)據(jù)可能僅僅只有一兩秒。
(4) Velocity:處理速度快。不論數(shù)據(jù)量有多大,都能做到數(shù)據(jù)的實時處理。與傳統(tǒng)的 數(shù)據(jù)挖掘技術相比,在這一點有著本質(zhì)的不同。
2. 物聯(lián)網(wǎng)中的大數(shù)據(jù)特點
與互聯(lián)網(wǎng)不同,物聯(lián)網(wǎng)是在互聯(lián)網(wǎng)的基礎上而發(fā)展形成的新興技術,因此對大數(shù)據(jù)技術 也有更高的要求,主要體現(xiàn)在以下幾方面。
1) 數(shù)據(jù)量更加豐富
在物聯(lián)網(wǎng)這個大的背景下,大數(shù)據(jù)技術應當不斷擴大并豐富它的數(shù)據(jù)類型和數(shù)據(jù)量。 數(shù)據(jù)海量性是物聯(lián)網(wǎng)最主要的特點,基于互聯(lián)網(wǎng)的數(shù)據(jù)技術所能達到的水平已經(jīng)遠遠不能 承載物聯(lián)網(wǎng)帶來的大規(guī)模增長的數(shù)量。為了從根本上滿足物聯(lián)網(wǎng)的基本需求,就必須提升 大數(shù)據(jù)相關技術。
2) 數(shù)據(jù)傳輸速度更快
一方面,物聯(lián)網(wǎng)的海量數(shù)據(jù)要求骨干網(wǎng)傳輸帶寬更大;另一方面,由于物聯(lián)網(wǎng)與真實物 理世界直接關聯(lián),很多情況下需要實時訪問、控制設備、高數(shù)據(jù)傳輸速率才能有效地支持相 應的實時性。
3) 數(shù)據(jù)更加多元化
物聯(lián)網(wǎng)中的數(shù)據(jù)更加多元化:物聯(lián)網(wǎng)涉及的應用范圍廣泛,涉及生活中的方方面面,從 智慧物流、智慧城市、智慧交通、商品溯源,到智慧醫(yī)療、智能家居、安防監(jiān)控等都是物聯(lián)網(wǎng)應 用領域;不同領域、不同行業(yè)有不同格式的數(shù)據(jù)。
4) 數(shù)據(jù)更加真實
物聯(lián)網(wǎng)是真實物理世界與虛擬信息世界的結(jié)合,物聯(lián)網(wǎng)對數(shù)據(jù)的處理以及基于此進行 的決策將直接影響到物理世界,物聯(lián)網(wǎng)中數(shù)據(jù)的真實性顯得尤為重要。
3. 大數(shù)據(jù)與物聯(lián)網(wǎng)
1)從物聯(lián)網(wǎng)看大數(shù)據(jù)
物聯(lián)網(wǎng)由感知層、網(wǎng)絡層和應用層這三層構(gòu)成。感知層包括RFID等無線通信技術、各 類傳感器、GPS、智能終端、傳感網(wǎng)絡等,用于識別物體和采集信息。網(wǎng)絡層包括各種通信網(wǎng) 絡(互聯(lián)網(wǎng)、電信網(wǎng)等)、信息及處理中心等,網(wǎng)絡層主要負責對感知層獲取的信息進行傳遞 和處理。應用層主要是基于物聯(lián)網(wǎng)提供的信息為用戶提供相關的應用數(shù)據(jù)、解決方案。從 物聯(lián)網(wǎng)來看大數(shù)據(jù):
(1) 聯(lián)網(wǎng)的實物大為擴展。由于聯(lián)網(wǎng)的實物比互聯(lián)網(wǎng)大為增加,各種實物需要各種各 樣的傳感器,同時這些傳感器不停地感知周圍的環(huán)境數(shù)據(jù),使得數(shù)據(jù)量大大增加。而這些海 量數(shù)據(jù)需要存儲、大數(shù)據(jù)分析以提取重要的信息。
(2) 網(wǎng)絡層。物聯(lián)網(wǎng)傳輸網(wǎng)絡通過有線、無線通信鏈路,將傳感器終端檢測到的數(shù)據(jù)上 傳至管理平臺,并接收管理平臺的數(shù)據(jù)到各節(jié)點。由于數(shù)據(jù)規(guī)模量大、種類多,實時性要求 不同,就需要有相應的大數(shù)據(jù)傳輸技術為應用層提供足夠高的可靠承載能力。
2)物聯(lián)網(wǎng)中的大數(shù)據(jù)處理技術
通過數(shù)據(jù)可視化、數(shù)據(jù)挖掘、數(shù)據(jù)分析以及數(shù)據(jù)管理等手段來推動物聯(lián)網(wǎng)產(chǎn)業(yè)在數(shù)據(jù)智 能處理及信息決策上的商業(yè)應用,利用大數(shù)據(jù)分析可以有效增加公司管理、運營效益。大數(shù) 據(jù)處理技術在物聯(lián)網(wǎng)中的的應用有:
(1) 海量數(shù)據(jù)存儲。對物聯(lián)網(wǎng)產(chǎn)生的大數(shù)據(jù)進行存儲,通常采用分布式集群來實現(xiàn)。 傳統(tǒng)的數(shù)據(jù)存儲關系數(shù)據(jù)庫就可以滿足應用需求,但對物聯(lián)網(wǎng)產(chǎn)生的海量異構(gòu)數(shù)據(jù),關系數(shù) 據(jù)庫則很難做到高效的處理。Google等提出利用廉價服務群實現(xiàn)并行處理的非關系分布 式存儲數(shù)據(jù)庫解決方案。
(2) 數(shù)據(jù)分析。數(shù)據(jù)分析就是用適當?shù)慕y(tǒng)計分析方法對收集來的海量數(shù)據(jù)進行分析, 提取有用的信息并且形成結(jié)論。數(shù)據(jù)分析可幫助人們做出判斷從而使人們采取適當?shù)?行動。