作者 | Brian E. Bolton

收集關鍵數據是一項挑戰，但制造企業可以通過一些有效的方法應對這些挑戰并獲得收益。

制造企業正在積極開展項目優化以實現流程自動化，高效地收集和記錄數據，并以關鍵績效指標（KPI）或衡量標準的形式報告結果，從而為其業務帶來重要的價值提升。然而，在這一過程中，他們遇到了許多收集和存儲數據的方法，并不得不從眾多軟件和硬件供應商中做出選擇。

每個第三方供應商都有各自專注的特定應用領域，使其提供的服務對需要的公司更具吸引力。畢竟，從鍋爐中收集系統關鍵數據與從生產輪胎的過程中收集數據大不相同。

從多個第三方供應商的數據收集系統中選擇，也給制造商帶來了挑戰。工作人員必須處理多個歷史數據庫和多個程序，才能訪問公司數據并進行分析和報告。

要克服這些數據采集方面的挑戰，必須對各種數據源、類型和格式進行審查。同樣重要的是，研究最佳實踐以采集系統的關鍵數據并將其存儲到一個中心位置，以便于日后訪問。

01

來自資產或元件的數據源

數據是在過程的不同位置和來源生成的。這些數據表明設備和過程目前正在發生的事情。來自資產或原件的數據源，通常通過可編程邏輯控制器（PLC）、監控和數據采集（SCADA）系統、分布式控制系統（DCS）、關系數據庫、實驗室信息管理系統（LIMS）甚至手動記錄器，以數字或模擬數據的形式呈現。然后將數據存儲在數據庫或歷史數據庫中。

一個最佳實踐是收集所需或期望的系統數據，并使用歷史數據庫將其存儲在某個位置。為了完成這項具有挑戰性的任務，需要安裝并配置接口節點。接口節點通常設置在數據源所在的網絡上，并利用接口或連接器獲取數據并將其寫入歷史數據庫。

現在的大多數技術都允許實時處理和呈現來自數據源的數據。雖然并非在所有情況下都需要實時數據，但當事情開始朝著錯誤方向發展時，如果可以在資產或元件層以外的地方對數據做出響應，就可以減少響應時間。具有通知的實時數據有助于預防各種事件，例如：

■當儲罐中沒有足夠的空間時，產品被泵送到儲罐中；

■儲罐中的產品未能冷卻至所需的溫度；

■熱氧化器溫度下降超出許可范圍；

■催化轉化器中的熱點檢測；

■過程空氣壓力損失。

從一個數據庫收集、存儲和分析來自多個來源的數據，可以使關鍵數據的處理和通信更容易，也更一致。

02

常見的數據類型

在決定采集和存儲哪些數據時，重要的是要知道來自資產或元件的數據類型，采集數據并將其存儲在數據庫中需要什么，以及是否有任何限制。有許多數據類型需要考慮，包括：

■整型–無分數的數字數據類型；

■浮點–帶分數的數字數據類型；

■字符–單個字母、數字、標點符號、符號或空格；

■字符串–字符、數字或符號的序列–始終作為文本處理；

■布爾值–真值或假值；

■枚舉型–預定義的唯一值（元素或枚舉器）的小集合，可以是基于文本的或數字的；

■數組–按特定順序列出多個元素，通常為相同類型；

■日期–以YYYY-MM-DD格式顯示的年月日（ISO 8601語法）；

■時間–以hhss格式表示一天中的時間、事件發生后的時間或事件之間的時間間隔；

■日期時間–日期和時間，格式為YYYY-MM-DD hhss；

■時間戳–自1970年1月1日午夜（0000 UTC）（Unix時間）以來經過的秒數。

03

不同的數據格式

數據格式（或文件格式）通常作為數據文件存儲在深度存儲系統中，不同的文件格式采用不同的壓縮算法，可為特定用例帶來好處。例如，數據湖中的數據存儲方式至關重要，而格式、分區和壓縮則是成功的驅動力。

以下是一些常見數據文件格式及其不同的特點：

CSV：當需要兼容性、電子表格處理和可讀數據時，這類數據文件是一個很好的選擇。缺點是數據必須是扁平的。扁平數據庫是一個基本的列/行數據庫，歷史記錄是相關的，這意味著數據可以基于時間戳或其它“關鍵”標準來自數據庫中的不同位置。

JSON：當需要嵌套格式（即與父數據集的當前行保持同步的特殊數據集）時，JavaScript對象表示法（JSON）是一種很好的方法，可用于多個應用程序編程接口（API）。不過，在某些情況下JSON可能比較難讀，尤其是不熟悉結構化查詢語言（SQL）或其他編程語言的人。

Avro：它用于以二進制格式存儲行數據，使其結構緊湊且高效。它以JSON格式存儲，使其更容易被任何程序讀取和解釋。

Parquet：這是一種柱狀存儲文件格式，與Hive插件配合使用效果更好。它用于有效地存儲大型數據集。

文件格式在很大程度上取決于所使用的系統。選擇文件格式時需要考慮一些重要的因素，例如：數據結構、性能、可讀性、壓縮、模式以及兼容性。

04

制定戰略性數據采集方法

為了克服數據獲取方面的挑戰，制造企業需要一個精心規劃和易于執行的解決方案，將數據收集、分析和溝通提升到一個新的層次，同時獲得更多的投資回報（ROI）。雖然有許多選項可用于收集、分析和交流關鍵數據，但從單個位置提取所需的數據往往是最容易實現的。

如果數據無法存儲在中央歷史記錄/數據庫中，則可以使用報告工具從多個來源提取關鍵數據，并在單個報告中報告該數據。能根據事件或對數據工況做出反應，并生成通知/報告提交給合適的人員，可以幫助企業節省寶貴的時間和成本。

大多數制造企業很難做到將所有數據帶到同一個位置，尤其是在資源有限的情況下。處理如此規模的項目通常需要咨詢具有專業知識和工具的第三方合作伙伴，以將此類項目整合在一起。專業的合作伙伴可以提供數據采集系統和軟件的整體視圖，同時幫助審查供應商的各種選項，包括歷史記錄和數據分析工具。

了解各種數據源、類型和格式并使用最佳實踐，可以幫助制造商更輕松地訪問和分析中央數據存儲庫中的關鍵系統數據。這樣做有助于企業更快地實現預期的商業收益，并在競爭中保持領先地位。

編輯：黃飛