新聞資訊

        大數據如何影響物聯網解決方案

        來源:CPDA數據分析 瀏覽次數: 日期:2019年5月17日 15:28

               到2025年,聯網設備的數量預計將增加兩倍。相對的,物聯網也加入了重要的大數據源行列,這使得數據從業者可能將注意力轉向物聯網大數據中。

               物聯網大數據不同于其他大數據類型。為了形成一個清晰的畫面,想象一個不斷生成數據的傳感器網絡。例如在制造中,它可以是某一特定機械零件的溫度值,以及振動、潤滑、濕度、壓力等。因此,物聯網大數據是機器生成的,而不是人類創造的。它主要表示數字流,而不是文本塊。

               現在,假設每個傳感器每秒產生5次測量,總體已經安裝了1000個傳感器。而且這種高容量的數據是不斷流動的(順便說一下,這種數據有一個特殊的名稱——流數據)。當然,純數據收集并不是最終目標,需要的是有價值的見解,其中一些見解盡可能接近實時。如果壓力突然下降到臨界水平,肯定是想在第一時間或者即使性得知,如果時間有所延長,到那時,維護團隊可能已經在嘗試修復損壞的機器單元。

        物聯網大數據的存儲,預處理和分析

               當然,最終業務目標總是為解決方案的體系結構奠定基礎。然而,物聯網大數據的性質在數據存儲、預處理和分析方面留下了印記,所以,讓我們需要仔細看看每個進程的特定特性。

        ● 物聯網大數據存儲

               由于必須處理大量以不同格式快速到達的結構化和非結構化數據,傳統的數據倉庫已經無法滿足需求,需要一個數據湖和一個大數據倉庫。數據會分成幾個區域,比如著陸區(其原始格式的原始數據),暫存區(基本清潔和過濾后的數據應用和原始數據從其他數據源),以及分析沙箱(數據科學探索活動)。需要一個大數據倉庫來從數據湖中提取數據,進行轉換,并以更有組織的方式存儲。

        物聯網大數據預處理

               決定是存儲原始數據還是已經預處理的數據非常重要。事實上,正確回答這個問題是物聯網大數據面臨的挑戰之一。讓我們回到我們的例子中,用一個傳感器每秒傳輸5個溫度值。一種選擇是存儲所有5個讀數,而另一種選擇是只存儲一個值,例如它們的平均值、中值、模式,每個聚合周期為1秒。為了清楚地可視化這種方法對所需存儲容量的影響,將傳感器的總數量乘以它們的預期運行時間,然后乘以它們的讀取頻率。

               如果計劃中有一部分是實時洞察,那么仍然可以在不將所有讀數發送到數據存儲的情況下獲得實時警報。例如,系統能夠攝取整個數據流,并且已經設置了觸發即時警報的臨界閾值或偏差。不過,只有一些經過過濾或壓縮的數據被發送到數據存儲。

        避免數據丟失的方法

               此外,也有必要提前考慮一下,如果由于某種原因,比如由于傳感器暫時故障或與網關的連接中斷,讀數流將會停止。

        這里有兩種方法:

               使用可靠的魯棒算法來處理數據遺漏。例如,使用多個冗余傳感器來測量相同的參數。一方面,這增加了可靠性:如果一個傳感器發生故障,其他傳感器將繼續發送讀數。另一方面,這種方法需要更復雜的分析,因為傳感器可能會生成稍微不同的值,這些值應該由分析算法處理。

        物聯網大數據分析

               物聯網大數據需要兩種類型的分析:批處理和流處理。批量分析在所有大數據類型中都是固有的,物聯網大數據也不例外。它廣泛用于對捕獲的數據進行復雜分析,以確定趨勢、相關性、模式和依賴關系。批處理分析涉及應用于歷史數據的復雜算法和統計模型。

               流媒體分析完美地涵蓋了物聯網大數據的所有細節。它旨在處理在小時間間隔內生成的高速數據流,并提供近乎實時的見解。對于不同的系統,這個“實時”參數會有所不同。在某些情況下,它可以用毫秒來測量,而在另一些情況下,它可以用幾分鐘來測量。為了盡可能快地獲得洞察,可以在系統邊緣甚至數據流處理器中分析捕獲的數據。

               物聯網大數據本質上是機器生成的、大容量的、流媒體的、特定位置的、特定時間的。大數據咨詢實踐證明,在設計和實現物聯網解決方案之前考慮這些特性是多么重要。確信,不會希望在短短幾個月內耗盡存儲空間,或者僅僅因為解決方案不支持流分析而錯過實時洞察,或者面臨任何其他破壞物聯網解決方案健壯性的問題。為了避免這種情況,有必要明確短期和長期業務需求,并從多個選項中仔細選擇最優的大數據架構和技術堆棧。

        所屬類別: 行業新聞

        該資訊的關鍵詞為:物聯網大數據  傳感器 

        控股母公司 

        全資子公司 

            企業郵局 

        版權© 上海桑銳電子科技股份有限公司