隨著軟件定義汽車的發展，車輛生成的數據量也以前所未有的速度不斷增加。這些數據包含廣泛的信息，包括傳感器數據、遙測數據、診斷數據等。在開發過程中，有效處理這些數據并從中獲得見解至關重要。

對于原始設備制造商（OEM）和汽車一級供應商（Tier 1）來說，是否自主構建和維護數據處理流程是一個至關重要的考慮因素。數據處理流程是應對當下軟件定義汽車所產生的海量數據的基礎組件。

一、問題背景

在 AWS 等云平臺上為高級駕駛輔助系統 （ADAS） 和自動駕駛 （AD） 數據構建魯棒的數據處理流程，通常需要全面了解各種服務及其集成。您可能使用的特定服務可能取決于應用程序的要求、數據源和處理需求。

為了解決這一問題，康謀通過使用IVEX提出了專門用于應對ADAS/AD海量數據的數據處理流程。該流程的核心目的是自動從原始傳感器數據等輸入中識別出值得關注的事件和場景。構建這樣的數據處理流程需要仔細考慮各種技術方面，例如：原始傳感器數據的云端存儲、基于原始數據的算法執行（包括需要例如GPU等特定資源的機器學習算法）、事件和場景等后處理數據的存儲機制、算法版本控制、結果可視化以及確保數據僅對授權用戶可見。

二、內部構建或獲取預組裝解決方案

IVEX的數據處理流程基于多種AWS服務實現無縫銜接，以下是經過策略性部署的AWS服務：

1. 原始傳感器的數據（包括激光雷達點云、相機圖像和GNSS信息）存儲在S3存儲服務中。S3用作采集數據的暫存地，為后期處理的數據提供擴展存儲，并為處理提供經濟高效的短期存儲解決方案。此外，使用S3掛載點功能能讓S3作為主要的“處理卷”，使其能夠像文件系統一樣使用。雖然它不完全符合POSIX標準，對某些工作負載存在限制，但可以通過整合EFS和可能添加的FSx來解決這個問題，以根據需要確保兼容性。

2. 處理后的數據（重要事件和場景）存儲在關系型數據庫服務（Relational Database Service，RDS）和DocDB中。RDS是一個高效的存儲庫，用于組織對分析至關重要的標記數據。同時，DocDB作為文檔存儲運行，它是專為快速變化的數據和顯示目的所需的二進制數據而設計的。

3. EKS和EC2處理算法執行和可視化任務。EKS充當一系列服務的主機，包括后端、數據服務、前端和處理服務。EC2主要用于根據為EKS制定的規則配置機器。

4. 算法的版本控制通過 ECR 進行管理。ECR用于存儲Docker容器鏡像。

5. 身份驗證通過Cognito進行。如果有必要，可以靈活地替換為任何OpenID Connect （OIDC）解決方案。

6. 數據傳輸和臨時數據存儲通過EFS進行管理。EFS作為臨時處理區域運行，供各種數據處理流水線存放中間數據并促進不同進程之間的數據共享。因為EFS完全符合POSIX標準，所以可以選擇它作為S3的替代文件系統。

這個方案示例突出了構建魯棒的ADAS/AD數據處理流程所涉及的眾多云服務，并強調了應對各種技術復雜性的必要性。此外，還必須解決諸如組織輸入數據、確保數據格式兼容性以及管理和監控數據格式變化等挑戰。

例如，隨著ADAS/AD系統的發展，添加更多傳感器以及管理不同車輛配置的需求成為數據處理流程中的關鍵考慮因素。如果不加以妥善處理，這些因素可能會導致不正確的數據處理，最終得到錯誤的結果。

上圖列出的是構建此數據處理流程的預計工作量和成本細目，該處理流程可標記12種駕駛場景、提取駕駛參數，并支持可視化大型文件（≥ 10TB）。

三、總結

總之，解決上述的這些問題需要付出大量的努力。顯而易見的是，選擇預先搭建好的數據處理流程將擁有更低的開銷。此后，便可以將節省的時間和成本分配給開發OEM和Tier1產品的關鍵方面。