(文章來源:金馬科技)
在推出基于微服務(wù)的第二代智能云服務(wù)幾年之后,Informatica的最新季度版本終于發(fā)現(xiàn)了無服務(wù)器錯誤。它是一系列新功能中的一部分,這些新功能增加了用于管理數(shù)據(jù)管道和集成流傳輸?shù)男鹿δ堋?/p>
無服務(wù)器計算很自然地適合于數(shù)據(jù)攝取和集成過程,因為它們通常是成批運行的,并且根據(jù)來源的不同,它們也可能具有高度可變的資源消耗配置文件。無服務(wù)器的指導(dǎo)思想是消除提供“以防萬一”的能力來處理高峰的需求,系統(tǒng)會根據(jù)流量自動調(diào)整供應(yīng)。新的無服務(wù)器選項會自動擴展,并已內(nèi)置到高可用性和恢復(fù)中。客戶仍然可以使用基于服務(wù)器的選項來處理可預(yù)測的長期運行的工作負載。
盡管無服務(wù)器通過讓系統(tǒng)自動配置資源來簡化用戶的生活,但缺點是成本可能無法預(yù)測。作為新的無服務(wù)器選件的一部分,Informatica提供了一個計算器,該計算器將機器學習應(yīng)用到新的工作負載中,從而根據(jù)客戶對性能(通過并行處理)還是成本(通過單個節(jié)點)進行優(yōu)先級估算成本。
借助無服務(wù)器,Informatica從基于云的服務(wù)中竊取了一個頁面,這些服務(wù)已經(jīng)使無服務(wù)器成為基于數(shù)據(jù)管道的ETL和集成產(chǎn)品的主要內(nèi)容。其中包括AWS Glue,Azure數(shù)據(jù)工廠,Google Cloud Data Fusion甚至Databricks,它們添加了無服務(wù)器選項。
一個相關(guān)功能是應(yīng)用機器學習來幫助組織合理化其數(shù)據(jù)管道。由于基于云的低代碼/無代碼工具幾乎很容易構(gòu)建管道,因此客戶可以輕松地構(gòu)建令人困惑的一次性項目。Informatica的新工具將對管道進行內(nèi)部檢查,掃描數(shù)據(jù)源,操作和目標,以識別哪些管道使用類似的轉(zhuǎn)換模式,并指導(dǎo)用戶構(gòu)建可配置的模板,以減少擴散并使它們更易于配置和維護。
而且,在攝取流時,Informatica新增了一項功能,可以掃描Kafka存儲庫以跟蹤數(shù)據(jù)沿襲,就像對數(shù)據(jù)庫和文件源所做的一樣。在進行數(shù)據(jù)準備時,Informatica的云服務(wù)可以推薦加入。Informatica的云ETL服務(wù)的可視化集成設(shè)計器通過推薦基于掃描源和目標的轉(zhuǎn)換操作,進而從數(shù)據(jù)準備中竊取了頁面。
在增量更新中,去年推出的數(shù)據(jù)質(zhì)量服務(wù)中增加了重復(fù)數(shù)據(jù)刪除功能。盡管重復(fù)數(shù)據(jù)刪除對于Informatica來說并不是什么新事物,但以前它只能在本地使用,也可以作為自帶許可證(BYOL)支持的一部分,以在Amazon EC2或其他云基礎(chǔ)設(shè)施服務(wù)上運行Informatica Data Quality。通過菜單,用戶可以選擇元數(shù)據(jù)的邏輯或物理視圖,從而為數(shù)據(jù)工程師,業(yè)務(wù)分析師和數(shù)據(jù)科學家提供了多種視圖,從而增強了目錄的功能。該目錄已從數(shù)據(jù)庫資源的常規(guī)花名冊擴展到從Microsoft Power BI,Qlik Sense,AWS Glue,Google Cloud,Snowflake等云服務(wù)中檢索元數(shù)據(jù),以及其他來源。
春季發(fā)布的結(jié)果是使用基礎(chǔ)圖形數(shù)據(jù)庫公開了客戶主數(shù)據(jù),該數(shù)據(jù)庫提供了一種更直觀的表示和探索客戶關(guān)系的方式。新版本現(xiàn)已在AWS,Azure以及Google Cloud的 beta版中可用。
(責任編輯:fqj)
-
數(shù)據(jù)
+關(guān)注
關(guān)注
8文章
7114瀏覽量
89320 -
無服務(wù)器
+關(guān)注
關(guān)注
0文章
16瀏覽量
4082
發(fā)布評論請先 登錄
相關(guān)推薦
評論