大家好，我叫 Maxim Babenko，是 Yandex 分布式計算技術部的負責人。今天，我們很高興地宣布，YTsaurus 平臺開源發布。YTsaurus 是 Yandex 開發的關鍵基礎設施類大數據系統之一，之前我們稱之為 YT。

YTsaurus 是我們近十年努力的成果，我們希望把它與全世界分享。在這篇文章中，我們將介紹 YT 的發展歷史、我們開發它的動機、它的主要功能以及最適合的領域。

GitHub 存儲庫中包含 YTsaurus 的服務器代碼、使用 K8s 的部署基礎設施、系統的 Web 界面，以及 C++、Java、Go 和 Python 等流行編程語言的客戶端 SDK。所有內容都遵循 Apache 2.0 許可，也就是說，任何人都可以下載并根據自己的需要修改它。

YT 是如何成為 Yandex 最重要的大數據系統的

故事要從 2006 年說起。那時，Yandex 已經是一家相當大的公司。在哪里存儲以及如何處理公司的數據成了不小的難題。當時，我們的關注點是來自多個服務的日志。日志處理涉及各種分析，可以解決從改進機器學習模型到分析用戶行為（在服務功能或界面變化時）的各種任務。

可擴展彈性數據存儲系統的理念已經開始流行。它可以執行并行計算，而且無需擔心數據的物理位置和集群物理組件的容錯能力。

2004 年，來自谷歌的 Jeffrey Dean 和 Sanjay Ghemawat 發布了 MapReduce：簡化大型集群上的數據處理。在很大程度上，它預測了分布式計算行業未來十年的發展。毫不奇怪，Yandex 開發了類似 MapReduce 模型的實現，我們稱之為 YAMR，即 Yet Another MapReduce。

我們以破紀錄的速度從零開始構建了 YAMR。無疑，這對公司內部基礎設施的發展產生了巨大的影響。然而，隨著時間的推移，事情變得越來越明顯，YAMR 中許多最初的設計選擇使得系統無法有效地演進和擴展。例如，YAMR 主服務器是單一故障點，無法擴展。

乍一看，自己構建基礎設施的決定似乎是 NIH 綜合癥的一個典型案例，我們甚至沒有考慮過使用像 Apache Hadoop 這樣的開箱即用的解決方案。但也不完全是這樣。2015 年 9 月，Yandex 的一隊工程師前往加州，與一些在生產環境中使用 Hadoop 技術棧的人會面，詢問他們關于限制因素、操作特性以及 Hadoop 將如何發展的問題。

但那時，Hadoop 技術棧已明顯落后于 YAMR，我們已經支持糾刪碼（erasure coding）和 IPv6 連接。問題還不止這些。

經過全方位的分析之后，我們決定放棄使用 Hadoop 的想法。與此同時，我們必須在 YAMR 的漸進式開發和革命性重寫之間做出選擇，最終，我們選擇了后者。在這之前的五年時間里，我有幸成為一小群狂熱愛好者中的一員，開始了一個代號為 YT 的項目。只需適當的改進，YT 就完全有可能取代 YAMR。

重要的是要明白，替代 YAMR 并不簡單。在高峰期，該系統管理的集群總計有數千個節點，有大量應用程序的代碼是基于 YAMR API 的。因此，改進 YT 和從 YAMR 遷移花費了我們許多年的時間。這個故事本身有許多很有趣的細節，或許值得單獨寫一篇文章。

自 2017 年以來，Yandex 就只有一個 MapReduce 系統，在規模和功能方面的開發一直持續到今天。如今，我們公司運營著數個 YT 集群，規模從幾臺機器到幾萬臺服務器不等。最大的安裝存儲著艾字節的數據，使用了幾百萬核 CPU 內核和幾千個 GPU 卡，夜以繼日地進行著計算。

YTsaurus：名字起源

“YT 會開源嗎？”，我們花了將近 7 年的時間來回答這個問題。我們的答案是：YT 不會開源，但 YTsaurus 會！

我們最初開發的系統叫“YT”。代碼庫的許多部分中都有這個縮寫。Yandex 內部流傳著一個說法，“YT”這個縮寫代表了“Yandex Table”，可能是受到谷歌著名的 Big Table 系統的啟發，但我們并沒有找到任何可靠的證據可以支持這個推測。

當決定以開源的方式發布這個系統時，我們發現很難保留原來的名稱。其中一個原因是，這個兩個字母的組合通常與某個流行的視頻托管平臺有關。

最終，我們選定了“YTsaurus”這個名字。它有著同樣可愛而熟悉的“YT”前綴，我們團隊一直把這個項目看成一個有生命的東西。現在，我們終于知道它是什么種族了！

在我們的代碼庫和文章中，我們經常將“YTsaurus”縮寫為“YT”。我們自己也還在適應全名的過程中。

系統功能

我們設計的系統既靈活又可擴展。目前，它的功能并不局限于經典的 MapReduce 技術。在本節中，我將描述 YTsaurus 開源版本提供的主要技術能力，從底層存儲到高級計算原語。

Cypress：可靠高效的數據存儲

任何大數據系統的核心都是各種日志、統計數據、索引以及其他結構化或非結構化數據的存儲。YTsaurus 以 Cypress 為基礎構建。Cypress 是一種基于樹的具有容錯能力的存儲，其功能可以簡單描述如下：

以目錄、表（結構化或半結構化數據）和文件（非結構化數據）為節點的樹狀命名空間

透明地將大型表格式數據分片為塊，我們可以將表視為單個實體，而無需過多考慮物理存儲的細節

支持表格式數據基于行和列的存儲機制

支持使用不同壓縮級別的各種編解碼器（如 lz4 和 zstd）壓縮存儲

支持使用具有不同控制和計算策略的各種糾刪編解碼器進行糾刪編碼，而這些策略具有不同的冗余參數和允許的損失類型

支持層次類型和數據排序標志的表達性數據圖式化

后臺復制和修復被刪除的數據，無需人工干預

事務語義支持嵌套事務和快照 / 共享 / 排他級鎖

事務可以影響許多 Cypress 對象并無限期持續

靈活的配額核算系統

Cypress 的核心是一個可復制且可橫向擴展的主服務器，存儲著關于 Cypress 樹狀結構的元數據，以及集群中所有表的塊副本的組成和位置。主服務器以 Hydra 為基礎實現為一個可復制狀態機。Hydra 是一種類似 Raft 的專有共識算法。

Cypress 實現了一個具有容錯能力的彈性數據層。下面將要介紹系統幾乎所有方面都用到了這一層。

MapReduce 計算和通用調度器

盡管在人們的眼中，MapReduce 已不再是什么新技術，也沒什么與眾不同之處，但它在我們系統中的實現還是很值得關注的。我們仍然用它進行需要高吞吐量的 PB 級數據計算。

YTsaurus 中的 MapReduce 具有以下特點：

豐富的基本操作模型：經典的 MapReduce（具有不同的 Shuffle 策略并支持多階段分區）、Map、Erase、Sort，以及一些考慮了輸入數據“排序”的經典模型擴展。

計算可橫向擴展：操作被劃分成作業，在獨立的服務器上運行。

單個操作可支持數十萬個作業。

靈活的分層計算池模型可以提供即時和完整性保證，并可以在消費者之間公平地分配未充分利用的資源（無保證）。

向量資源模型支持按不同的比例申請不同的計算資源（CPU、RAM、GPU）。

使用 Porto 容器化機制按 CPU、RAM、文件系統和進程名稱空間隔離在計算節點容器中執行的作業。

可擴展的調度程序可以為集群提供多達一百萬個并發任務。

在進行更新或調度器節點出現故障時，幾乎所有的計算進度都會保留。

YT 不僅支持執行 MapReduce 操作，還支持在集群上部署用戶提供的任何代碼。

對于副作用不明確的代碼，YT 使用“普通（vanilla）”操作來運行。平臺的許多其他組件也都用到了這個功能，下文會進行討論。

動態 K-V 存儲表

實際上，MapReduce 范式不適合構建響應時間低于秒級的交互式計算管道。問題不僅在于如何處理數據，還在于如何存儲數據。

YT 的靜態表就像 HDFS 中的一組文件，可以作為 MapReduce 計算的輸入和輸出。但是，它們不能用在交互式場景中，因為它們是與速度緩慢的持久存儲介質綁定的。通常，對于交互式場景，應用程序會使用鍵值存儲。鍵值存儲可以橫向擴展，并能提供低延遲的讀寫訪問。

幸運的是，2014 年，我們開始在 YT 框架內開發動態表。它們部分基于 Apache HBase 模型，可以橫向擴展，并使用分布式文件系統作為底層存儲。不過，不同于 Apache HBase，動態表被有機地整合到了整個生態系統中：它們相當于 Cypress 的節點，可以用于許多需要靜態表的場景。

例如，在 YT 中，你可以創建一個動態表作為 MapReduce 操作的結果，并將其用于基于鍵的快速搜索和插入。同時，你可以創建一個后臺 MapReduce 進程，處理來自動態表的數據樣本，并計算關于它的一些統計信息。

使用 MVCC 模型存儲數據。用戶可以通過鍵或時間戳查找值。

可擴展性：動態表會被劃分成片（按鍵的范圍劃分），由單獨的服務器提供服務。

事務性：動態表是 OLTP 存儲，可以修改不同表不同分片中的多個行。

容錯能力：提供分片服務的節點如果出現單點故障，那么分片會被移到另一個節點而不丟失數據。

隔離性：為了實現負載隔離，提供分片服務的節點會被分組成包，駐留在不同的機器上。

在單個鍵甚至單個值的層面上進行沖突檢查。

熱數據響應來自內存。

內置了類似 SQL 的語言，用于查詢掃描和分析。

除了具有 K-V 存儲接口的動態表外，系統還支持實現了消息隊列抽象的動態表，即主題和流。你也可以把這些隊列看成是表，因為它們由行組成，并且有自己的模式。在事務中，你可以同時修改 K-V 動態表和隊列中的行。這樣一來，你就可以基于 YT 的動態表構建具有 Exactly Once 語義的流處理。

YQL

YQL 是一種基于 SQL 的查詢語言；它是 YT 之上構建的第一個高級原語。YQL 之于 YT 相當于 Hive 之于 Hadoop。這種技術讓用戶可以用 SQL 編寫簡單的查詢，而不是自己編寫代碼構建一系列 MapReduce 操作。下面是一個例子：

SELECT region, AVG(age) AS avg_age_in_region, COUNT(DISTINCT ip) AS ips_count FROM `//home/production/users` GROUP BY region ORDER BY avg_age_in_region;

如今，許多大數據任務都可以表述為簡單的 SQL 查詢。沒有 YQL，我們的生態系統就是不完整的。它是用于在大型數據集上進行即時分析和常規生產計算的最流行的工具之一。

YQL 有以下好處：

強大的圖執行引擎，可以構建具有數百個節點的 MapReduce 管道，并可以在計算過程中進行調整。

通過將子查詢存儲在變量中，就可以使用 SQL 將復雜的數據處理管道構建成依賴查詢和事務鏈。

任意復雜度的查詢，其并行執行都是可預測的。

高效地實現連接、子查詢和窗口函數，而且對它們的拓撲或嵌套沒什么限制。

大量的函數庫。

支持 C++、Python 和 JavaScript 自定義函數。

支持通過 CatBoost 和 TensorFlow 使用機器學習模型。

在準備好的計算實例上自動執行一小部分查詢，繞過 MapReduce 以減少延遲。

CHYT

不用說，大多數讀者朋友們都聽說過 ClickHouse。2016 年，這個 DBMS 成為 Yandex 開源技術的先驅，并于 2021 年成為一家獨立的公司 ClickHouse Inc.。

如今，ClickHouse 是最受歡迎的分析型數據庫之一，它基于列的執行引擎非常高效，并集成了各種 BI 系統。ClickHouse 其中一個很好的特性是源代碼中存儲和計算部分實現了良好的隔離，這使得我們在 2018 年構建出了 CHYT——ClickHouse 計算引擎將 YTsaurus 作為存儲集成。

在 YTsaurus 生態系統中，CHYT 提供了以下功能：

在 YT 中對靜態表進行快速分析查詢，延遲只有亞秒級。

重用 YTsaurus 集群中已有的數據，而無需將其復制到單獨的 ClickHouse 集群。

能夠通過 ClickHouse 的原生 ODBC 和 JDBC 驅動程序集成第三方可視化系統。

我注意到，集成是在相當低的層次上完成的。這讓我們可以充分挖掘 YTsaurus 和 ClickHouse 的潛力，即：

支持讀取靜態和動態表。

部分支持 YTsaurus 事務模型。

支持分布式插入。

將 YTsaurus 內部格式的列式數據 CPU 高效地轉換為內存中的 ClickHouse 表示。

主動數據緩存，在某些情況下，允許完全從實例內存中讀取查詢執行數據。

ClickHouse 服務器代碼會在上述普通操作發生時運行，使用的計算資源與 MapReduce 計算相同。從這個意義上講，YTsaurus 集群于我們內部的 CHYT 集群而言是一朵計算云。

這使得不同的用戶或用戶團隊可以在單個 YT 集群上運行多個 CHYT 集群，彼此完全隔離，用和云類似的方式解決資源隔離問題。

SPYT

2019 年，Yandex 推出了 SPYT，這個系統將 Apache Spark 作為 YT 數據的計算引擎集成。與 CHYT 類似，普通 YTsaurus 操作為 Spark 集群提供計算資源。Apache Spark 的設計初衷就是為了方便連接第三方存儲并將其作為數據源。

SPYT 在 YTsaurus 的生態系統中也是根深蒂固。得益于與第三方系統豐富的集成能力，它成了編寫 ETL 工作流的主要方法之一。在底層，Spark 使用了一個靈活的分布式計算優化器，可以最大化中間數據的內存存儲，并可以實現具有多個連接的計算管道。

各種 SDK

對于用特定語言編寫的系統，SDK 通常是自動生成的或由用戶社區的某個人編寫的（長時間得不到維護）。但我們用當下流行的語言（C++、Python、Java、Go）開發了所有的 API。對于每一種 SDK，我們都仔細考慮了它與系統交互時的所有細微的不同之處。

因為可能存在網絡故障和其他錯誤，所以我們用不同語言編寫的客戶端庫都可以重試請求，包括讀寫大量數據。在創建每一種庫時，我們都考慮了這門語言的特性，并盡可能使用這些特性來簡化它與系統的交互。

Web 界面

對于一個有成千上萬的用戶使用的系統，必須要有一個用戶友好的 Web 界面。而且，我們有意沒有為用戶和管理員創建單獨的 Web 界面，這幫助我們避免了愛好者們匆忙創建 Web 管理界面的情況，那很常見：畢竟用戶側更重要，在管理員面前就沒什么可尷尬的了。

你可以通過 YTsaurus Web 界面完成以下工作：

通過 Cypress 瀏覽文件、表和其他對象。

創建、重命名或刪除 Cypress 對象，并修改它們的屬性。

執行和查看 MapReduce 計算。

跨所有引擎執行和查看 SQL 查詢歷史——YQL、CHYT、動態表 SQL。

管理系統：監控集群組件的運行狀況，創建、刪除或禁用用戶，管理訪問權限和配額，查看集群組件版本等。

技術層面看 YTsaurus

服務器端代碼大部分都是用 C++ 編寫的。我們喜歡這種語言，因為它的功能很豐富，用它編寫的代碼很高效。在開源發布 YTsaurus 之后，我們希望把大量的開發成果分享出來，或許你可以把它們作為單獨的 C++ 原語來使用。

服務器端代碼是使用 Clang 編譯器和 CMake 構建系統構建的。

系統的個別部分是用 Go、Python 和 Java 編寫的。還有一個 API，讓你可以使用上述 4 種編程語言開發與 YTsaurus 交互的應用程序。

代碼庫會自動與內部存儲庫同步。因此，外部總是可以獲得 YTsaurus 的最新版本。

YTsaurus 在 x86-64 Linux 服務器上運行。

部署和管理

在 Yandex，我們安裝了超過 20 套 YTsaurus。它們的規模和配置差異很大，從單集群 5 臺主機到 20K+ 不等。YTsaurus 還集成了幾個內部 Yandex 系統，包括身份驗證、訪問控制、審計、監控、硬件管理和容器編排。所有這些系統最大限度地減少了管理集群的工作量。

為了方便用戶，我們投資開發了二級操作符，用于在 Kubernetes 中自動部署 YTsaurus 集群，并支持標準的升級機制，可以在停機狀態下升級到新版本。該操作符讓你可以在幾分鐘內把 YTsaurus 集群部署到 Minikube、公有云或本地 Kubernetes 上。

通過修改元數據樹（Cypress）中的系統節點，可以動態地管理集群配置。使用基本的 Cypress 命令（如 list、get、set 和 remove），你可以創建帳戶、添加用戶或計算池、授予目錄訪問權限或退役集群節點。

特別值得注意的是動態配置各個組件的能力：通過修改特定屬性，你可以調整緩存大小、心跳周期或節點上的日志記錄設置。

YTsaurus 是一個計算平臺，因此，用戶代碼的執行是隱式的。為了運行和隔離不受信任的代碼，YTsaurus 使用了 Yandex 開發的容器化系統 Porto。為了在多租戶集群中實現完全的用戶隔離，建議將 Porto 安裝為 Kubernetes CRI。這可以充分釋放 YTsaurus 作業隔離和在不同操作中使用自定義環境的能力。

當然，如果沒有可觀測性工具——日志記錄、定量監測和跟蹤，運營大型分布式系統是不可能的。YTsaurus 會生成結構化日志，用于審計和監控用戶操作，并且提供了詳細的調試日志，用于更深層次的問題診斷。此外，該系統支持 Prometheus 格式的指標導出，并通過 Jaeger gRPC 協議進行鏈路追蹤。

基于 YTsaurus 可以構建什么？

讓我們通過幾個例子看一下 Yandex 是如何使用這個系統的。

YTsaurus 最具啟發性、最典型的用例之一是創建 DWH。例如，來自 Yandex Taxi、Yandex Eats、Yandex Deli 和 Yandex Delivery 的訂單以原始格式以最小的延遲接收到 YTsaurus 動態表中。每月的數據量可達數百 TB。

然后，我們用各種工具處理訂單，例如，大多數分析型數據集市是通過 YQL 和 SPYT 進行準備的。數據總量超過 6PB。CHYT 用于即時分析，各種可視化則在 Yandex DataLens 中創建。Yandex 的其他服務中也存在類似的用例，如 Yandex Market、Yandex Music 和 Yandex Travel。

還有一些非常具體的用例。例如，Yandex 所有的三臺超級計算機都由 YTsaurus 調度程序管理。許多具有不同類型 GPU 的節點連接到 YT，并分布在不同的池樹中。這使得用戶可以顯式指定所需的 GPU 模型，并使用存儲在 YTsaurus 中的數據。

目前，YTsaurus 動態表存儲的數據達 PB 級，大量的交互服務都以它們為基礎構建。Yandex 廣告團隊是最大的內部客戶之一。在 HighLoad++ 2022 大會上，我的同事們探討了他們在 YTsaurus 上構建交互式流處理的方法。

結語

YTsaurus 是一個有著豐富歷史的大工程。如果你感興趣，就請看一看 YTsaurus，找一些對自己有用的東西。也許你會喜歡我們在代碼中實現的技術解決方案，或者找個機會部署 YTsaurus 并實際地試用一下。