本期虹科云課堂直播課程即將接近尾聲。【虹科云課堂】虹科Flow——數據管道的可觀察性解決方案”直播課程圓滿結束，感謝大家的觀看與支持。虹小科為大家整理了課后筆記，請查收。

導語

虹科云課堂

前面兩節直播給大家介紹過我們的pulse和torch，pulse是一款計算性能監控產品，可以幫助企業消除計劃外停機，降低基礎設施成本并提高效率，torch是管理數據質量的一款產品，它超越數據監控，能對靜態數據、動態數據進行自動分類、編目和管理業務規則，跨數據湖、存儲庫監控企業數據，助力企業數字化轉型。那么今天給大家介紹一款產品，Flow，它是關于數據管道的可觀察性解決方案。

那么它如何幫助企業優化數據管道性能呢?我們先不說答案，把文章看完，你就明白了，最后我們會總結這個問題的答案。

本文圍繞3部分展開

1、Flow產品介紹

2、Flow介紹功能詳解

(數據可觀察性相關概念可見之前直播)

01 F產品介紹

這里列舉了一些企業平時可能會遇到的業務挑戰，首先是不可靠的數據管道和爆炸式增長的成本，為了滿足企業內部數據供應的持續爆炸式增長，供應商發布了各種工具，使數據管道的創建比以往任何時候都更加容易。因此，現代數據架構迅速膨脹，在短時間內變得越來越大、越來越復雜。新形式的數據管道也更容易出現問題。例如，如果出現硬件或網絡故障，實時事件流很容易丟失數據。第二個數據工程師依賴于耗時的手動數據操作和故障排除過程，花費太多時間查找和修復錯誤，陷入與數據準備和管道相關的手動重復流程。

第三個是數據和業務策略的制定不準確，數據管道中斷、數據損壞和其他問題可能會在更多地方以更高的速度發生。追蹤根本原因和修復問題可能非常耗時。這讓數據工程師沒有時間來擴展或優化業務線要求的更具戰略性的數據計劃。還有就是在典型的大型企業中，數據處理的紀律性不足。由于缺乏對可用數據的可見性和理解，企業數據在大多數關鍵決策過程中都沒有得到有效利用。

最后一個是數據投資的回報較低，如今大多數公司都運行著龐大的混合基礎設施。他們將數據存儲在本地、托管服務器和 SaaS 云中。他們使用老式 SQL 關系數據庫、新式 NoSQL 鍵值存儲和尖端云數據倉庫(如 Snowflake)提供數據。使用 Kafka 流式傳輸實時數據，并從 Databricks 湖庫中提供 ML 應用程序，所有這些都以成為數據驅動的數字企業的名義。然而，他們部署的云原生數據應用程序越先進，其基礎設施就越復雜。云成本是動態的，使預測變得不穩定，基于利用率的定價，也使得預算比服務器等資本投資或托管虛擬機典型的固定月費更難。近乎無限的可擴展性和即用即付定價相結合，使云成本高度波動。以至于現在管理 IT 成本和最大限度地提高投資回報率非常困難。

那么我們應該如何才能利用好數據做出正確、并且控制我們的成本和回報率的決策呢，可以試試利用Flow幫助我們。

Flow 是一種軟件開發工具包，可讓團隊觀察數據管道的健康狀況和性能。Flow 通過集成和監控現有工作流平臺的性能，幫助數據工程師解決管道問題并優化資源。該工具利用開源工作流平臺，如 Apache Airflow，并使用 API、數據源和轉換工具來構建自定義工作流。

數據質量問題和管道故障的一個主要原因是這些管道內的轉換。今天的大多數數據架構都是不透明的——你無法知道里面發生了什么。轉型正在發生，但當事情不如預期時，數據工程師并沒有太多的背景來解釋原因。

太多的 DataOps 團隊花費太多時間嘗試在沒有上下文的情況下診斷問題。而且，如果您遵循您的第一直覺并使用軟件應用程序性能管理工具 (APM) 來監控 DataOps 管道，那么它很少會奏效。

管道測試框架允許數據工程師測試二進制語句。例如，列中的所有值是否唯一，或者模式是否匹配某個表達式。當測試失敗時，數據被標記為“壞”。有了這些信息，數據工程團隊可以診斷出質量較差的數據并采取必要的步驟來解決問題。在管道中的不同步驟重復測試，這使數據工程師可以很容易地清楚地看到數據在管道的哪個階段/層破壞，并找到最合適的人來解決問題。

Flow通過提供對底層數據管道的全面可見性，幫助企業優化業務流程性能、降低成本并最大限度地提高數據投資回報。由于它預先與 Pulse 和 Torch 集成，因此數據團隊不僅可以評估數據管道的完整性，還可以通過統一的用戶界面發現影響性能的底層數據處理或數據質量問題。

數據管道可觀察性研究支持分析的數據管道的性能、可用性和利用率。數據工程師使用數據管道可觀察性產品來優化數據交付以及支持管道的容器、存儲、計算和網絡資源的性能。

Flow可以幫助企業追蹤數據的生命周期，并且能夠監控管道中的數據交互、數據模式和業務事件等等。它有以下三個特點，首先他能提高數據的可見性，跨混合數據湖和倉庫監控數據，以確保質量和可靠性。第二個特點是它能提高管道效率和可靠性，在問題影響性能之前預測并解決問題。最后一個特點是它使數據管道與業務目標保持一致，通過識別和消除瓶頸來降低數據管道成本，并針對資源、成本和時間等方面去優化數據管道性能，并且進行自動化操作，以更少的資源管理數以千計的數據管道。

接下來看一下Flow的應用場景，第一個是電信、金融服務、能源、物聯網和電子商務行業以及任何依賴大量靜止數據和動態數據以滿足運營和分析需求的企業，第二個是使用 Airflow, Amazon Kinesis, Amazon Redshift, Amazon Web Services-Kafka, Apache HBase, Apache Spark的公司都可以考慮采用flow來檢測我們的數據管道并確保跨混合數據湖和倉庫的數據可靠性。

今天，數據工程師、分析師和數據科學家花費數小時和數天來調試數據管道問題。數據精度錯誤也可能被忽視，在解釋儀表板時需要人工判斷。錯過的 SLA 可能會導致難以發現和修復根本原因。現有的監控系統可以幫助解決黑白問題，即基于癥狀的警報適用于明確定義的問題，例如對失敗的作業或零行表的警報。大多數現實世界的問題都屬于灰色區域，現有的監控解決方案是不夠的，因為無法預測每一種故障模式或系統可能出現異常行為的每一種可能方式。例如，數據倉庫超載導致作業完成延遲——依賴作業錯誤地開始處理數據，導致結果稍有不正確。任何監控事件都不會生成警報，但最終結果是數據不準確。

可觀察性不僅僅是對監控的重新命名。可觀察性側重于提供對系統行為的高度精細的洞察以及豐富的上下文。可觀察性側重于分布式跟蹤以生成用于調試的結構化事件。

02 Flow功能詳解

我們希望幫助組織建成可靠的數據管道，我們希望幫助他們更快地擴展和創新，我們也希望幫助他們提高效率，降低他們的成本，所以基本上在流程中的兩個部分，首先是可見性，然后第二個是能夠查看不同的管道，能夠做交易，或者查看一個管道和另一個管道之間的交易，然后是成本效益分析。你想確保運行速度快或準時，你想確保管道中的數據是健康的，質量好的，所以這是唯一一個真正將性能和質量結合到管道健康狀況的單一視圖中的產品，所以粉紅色的氣泡顯示管道中發生的過程，綠色的盒子顯示數據。我們可以在一個視圖中向你展示處理過程的健康狀況和數據的健康狀況，然后基本上可以讓你向下鉆研，查看數據質量的Torch，查看處理過程的性能，所以這是在高層次上。關于我們的管道，我想說的是，有些產品可以讓你在靜態視圖中查看線路或管道，但我們在每次運行管道時都會捕捉到圍繞管道的每個執行的指標。

這里有一個管道視圖，我們為管道每次運行的歷史記錄，當你運行時，當你看一個特定數據管道的執行過程，我們可以告訴你這是如何執行的，在整個過程中每一步的時間是什么，總體上是什么。我們還可以讓你進行比較，所以如果你想知道為什么今天比昨天花的時間長，可以讓你弄清楚流程中或管道中的什么地方。它的流程或你知道什么是可能運行得更快或不同的，它也有助于你在設計時，所以如果你設計，如果你正在尋找2個不同的架構和2個不同的管道與不同的技術，也可能是兩種不同的云，比如一個在阿里云一個在華為云，你可以比較，看哪一個表現更好，哪一個更快和在哪些領域，哪一個性能更好，哪一個運行成本更低，這些都可以幫助你優化你的設計，以及從性能的角度解決任何問題，然后你可以深入到任何特定的過程，看看這個過程是在哪里執行的，圍繞這個過程做進一步的分析。通過比較一種架構與另一種架構的價格和性能以及每種架構的相應遷移成本來優化設計。這也有助于權衡增加新技術的好處和技術蔓延的壞處。這使你能夠合理調整現代化的短期投資，以獲得長期的收益，同時最大限度地減少技術蔓延。

如果你想點擊任何特定的資產，我們會告訴你它是什么時候被剖析的，如果它有數據質量應用或和解政策，基本上確保數據從a點到b點。我們讓你全面了解該資產的健康狀況，然后我們還讓你深入了解數據質量，所以這是流量的一個快速視圖，基本上是你的管道的運營視圖的綜合視圖，能夠看到每個執行，能夠看到處理或計算性能健康，質量健康，并能夠深入了解每個過程。

Flow提供的價值和關鍵功能如圖所示，

第一個是它能消除數據停機時間，在問題影響性能或導致計劃外中斷之前，預測和預防這些問題。通過監控 SLA/SLO 并輕松、即時地識別異常，并跟蹤每個數據交易、握手和轉換，實現實時監控數據模式、分布和業務事件;第二個是他能優化數據工程生產力，自動化管道檢測，并通過數據傳輸、轉換、數據移動和復制生成高保真的遙測數據。flow可以立即識別和修復數據管道問題，即時創建和跟蹤自定義業務事件，并且與開箱即用的流行 ETL 工具集成;然后是它簡化數據管道操作，使用統一控制臺進行監控、調查和補救。最后一個是它可以與流行的工具和平臺集成，輕松連接與常用的ETL和ELT工具，定制管道建立在Databricks,Snowpipe,Hive,Spark,and orchestration engines, such as Airflow and Oozie之上。

剛剛有說到一個問題，動態的云成本讓我們的數據回報率比較低，那么應該如何解決這種問題呢，首先我們需要為數據工程師提供多維數據可觀察性平臺比如說Flow，讓他們能夠精細地了解云數據成本。讓數據團隊繼續快速行動，同時保持在既定的財務范圍內。

第二步是讓成本優化成為數據工程文化中的一流指標。成本優化必須從設計階段開始。在工程階段之后，它不能被動地完成。

第三步是通過使用數據可觀察性，節省調查支出異常的時間。這可以提供自動化的根本原因分析，以確定潛在的成本驅動因素，例如服務類型、特定的倉庫計算成本等。假如公司需要遷移數據到云上，我們通過比較一種架構與另一種架構的價格和性能以及每種架構的相應遷移成本來優化設計。這也有助于權衡添加新技術的好處與技術蔓延的不利因素。這使您能夠適當調整現代化的短期投資以獲得長期收益，同時最大限度地減少技術蔓延。

第四步是通過電子郵件、Slack 和其他渠道的自動警報，讓數據運營團隊(DataOps) 隨時了解意外成本事件。

最后讓數據團隊與其業務線、FinOps、IT 等方面的合作伙伴安排定期財務審查。就有關云數據合同、預算和預測的所有事項進行溝通。

介紹一下虹科數據可觀察性方案的特點：

第一個就是它可以快速、無縫地連接到你現有的堆棧，不需要修改你的管道，編寫新的代碼，或使用特定的編程語言。能夠快速實現價值和最大的測試覆蓋率，不需要進行大量投資。

第二個就是它監控你的靜態數據，不需要從當前存儲的地方提取數據。也就是說這個解決方案具有良好的性能、可擴展性和成本效益。它還能確保你滿足最高級別的安全和合規要求。

它配置簡單，實際上不需要設置閾值。它使用ML模型來自動學習你的系統環境和數據。并且使用異常檢測技術，讓你知道什么時候可能會出現問題。它不僅考慮到個別指標，而且考慮到你的數據的整體視圖和任何特定問題的潛在影響，從而最大限度地減少錯誤的警報。你不需要花費資源去配置和維護復雜的規則。

它不需要事先對需要監測的內容和方式進行映射。它可以幫助你識別關鍵資源、關鍵依賴關系和關鍵不變量，這樣你就可以用很少的人力精力獲得廣泛的可觀察性。

它提供了豐富的上下文，能夠快速分流和排除故障。

它通過公開關于數據資產的豐富信息來防止問題的發生，這樣我們就可以主動地進行修改。

03虹科方案為企業帶來的好處

通過我們這幾次的直播，我們可以了解到企業在數字轉型關鍵期面臨的一些問題是可以通過我們的產品去解決的，這邊也有一頁PPT去總結我們這三個產品能夠為企業提供的好處。

我們的產品可以從這四個層面對企業數據系統進行優化調整，它是監控和管理當今復雜數據存儲和管道的一種全方位方法。它有助于預測、預防和自動解決數據性能問題及其相關的人工智能和分析工作負載。它使用自動化和機器學習來關聯多個服務器、節點、集群、容器和應用程序中的數千個事件。

我們的解決方案提供了靜態數據數據和動態數據數據、數據處理以及數據傳輸管道的360度視圖。它創建解決方案并提供優化，以保持數據性能的準確性、一致性和可用性，因此數據操作和工程團隊可以輕松滿足其所有SLA。

真正的數據可觀察性工具超越了傳統的數據編目和質量工具，通過監控更廣泛的數據風險，包括動態數據。他們還將更多任務自動化以減少手動工作，并使用機器學習來提高他們的檢測能力——例如數據移動、結構變化(模式漂移)和數據趨勢(數據漂移)等領域。總之，數據可觀察性工具可以提供比其前輩更強大、更高效、更智能的數據管理能力。

我們不能忘記數據管道管理領域，數據可觀察性工具在該領域是無可匹敵的。他們可以通過在整個過程中提供持續的數據驗證來使管道更易于管理。它們還可以提高遷移到云的速度，降低數據存儲和處理成本，同時實現您的 SLA。換句話說，減少云時代數據管道的管理時間和成本。

虹科電子

虹科在工業、制造業領域深耕了長達20年，隨著云技術的全面發展和數字化工廠的逐步落地，虹科參與了越來越多的云主題的業務，從最初的所有數據先統一采集上云，到后續的邊緣計算再上云，到現在的全面業務優化、洞察研究、成本優化等，虹科的云科技事業部已經為行業的用戶實操并積累了豐富的解決方案和應用場景。它們包括：資源監控、安全保障、多云的互聯互通、應用和數據牽引等。虹科云科技團隊在不斷順應國家策略，從技術創新、標準制定、豐富生態、安全保障、節能減排等五個方面，不斷創造出更好的產品，幫助工業制造業的用戶實現數字化轉型、實現基于數據的降本增效。

虹科云科技工程師團隊不斷參與美國和歐洲產業內先進的專家培訓，學習和實踐創新的技術手段、操作性強的應用案例，并不斷引入到國內的項目中完成落地和推廣，這讓我們團隊充滿了自豪感與使命感，賦予了我們當今時代極大的技術價值、工作成就感。

原文標題：直播精彩回顧(四)| 虹科Flow——數據管道的可觀察性解決方案

文章出處：【微信公眾號：廣州虹科電子科技有限公司】歡迎添加關注!文章轉載請注明出處。

審核編輯：湯梓紅