IBM的公益項目,從來不是簡單地捐錢捐物,而是通過自己百年積累的技術優勢服務社會。記得2008年初到 IBM,發生了汶川地震,IBM不僅組織員工捐錢捐物,還派出志愿者前往災區協助救援。在工作中IBM志愿者發現當時大量物資進川,缺乏有效地IT系統對物資進行管理,于是發揮技術優勢,迅速幫助當地政府搭建好了IT平臺,大大提高了物資運輸和管理的效率。也是在同年,IBM成立了企業全球志愿者服務隊,簡稱CSC,和 “捐款捐物”的公益活動有所不同,IBM CSC是一個特別的企業公益項目:服務隊成員來自不同的國家,具備不同的文化背景和技能,帶來全球的經驗;項目著眼于當地社會發展大局,在經濟、環境、健康、教育等領域尋找課題,無償提供商業領域的優秀人才和技能。
2019年開始,IBM組織了AI公益啟蒙季,旨在為青少年提供領先系統化的STEM興趣課程。我也有幸參與其中,為云南滄源小同學進行了線上授課,講解了地球科學部分。當時為了能給小同學講的更清晰、更生動,翻閱了很多科學科普讀物,比如:《時間的形狀》、《槍炮、病菌與鋼鐵》等等,慢慢地也開始關心天文,人類學,量子理論。
另外,值得一提的是,疫情期間,AI啟蒙季提供了Open P-TECH網絡平臺,提供免費的線上課程,已經有幾十萬的中小學生受益于這個項目,更為榮幸的是,目前這個項目的系統維護就是由我所在部門的小伙伴負責的,而這個系統的背后采用了最新的容器云平臺Openshift構建,底層存儲使用了支持容器原生存儲的 IBM Spectrum Scale。
IBM Spectrum Scale是針對云計算、大數據分析、對象等的高級非結構化數據存儲管理解決方案。Spectrum Scale 可為所有這些數據提供全局命名空間,并提供統一管理。然后,數據可在不同類別的存儲中進行分層,并可在全球范圍內進行訪問,確保始終可以在正確的時間在正確的位置提供數據。Spectrum Scale 基于IBM General Parallel File System (GPFS) 而設計,可降低高達90% 的存儲成本,同時還可為云、大數據和分析以及高性能計算數據提供世界級的可靠性、可擴展性和可用性,從而輕松應對數據增長。最近IBM發布的ESS3500產品,正是基于 Spectrum Scale 的硬件一體機產品。
簡單來說,Spectrum Scale的三大特點:一是加速性能,二是簡化多云管理,三是降低成本。這里我們介紹三個對應的案例故事。
加速性能
第一個是加速科學計算的故事。前幾天我看到科學家公布了一張銀河系人馬座的黑洞的照片,這張照片實際是5年前由分布在全球的8臺射電望遠鏡拍攝的,那為什么這張照片需要“沖洗”5年之久呢?主要是數據量巨大,8臺望遠鏡采集了將近8PB的數據,然后由美國和德國大學的HPC服務器進行計算,這一算就是5年。可見硬件性能對科學計算的作用是相當關鍵的。
類似科學研究的案例,是復旦大學的冷凍電鏡項目,它借助IBM ESS產品加速了生命科學研究的進程。冷凍電鏡是結構生物學的分支學科,其應用會產生大量的二維圖像數據,需要通過高性能的集群設備對這些數據進行分析處理才能夠變成可用的大分子三維結構的數據。之所以選擇IBM ESS的解決方案,主要是因為
首先,IBM ESS 聚合帶寬整體的 IO 可以達到上百個 GB, 本身就能滿足冷凍電鏡項目并發的高吞吐量的讀寫要求。
第二,ESS 接口協議很豐富,用戶可以在不同的操作系統上、不同的體系上、不同的設備上掛載一個存儲池,方便管理和運維。
第三, ESS 本身有比較強的橫向擴展的能力。ESS 大容量、靈活擴展和部署的屬性更符合于冷凍電鏡項目的需求。
第四,該項目還有更大量的數據長期保存和轉儲的需求,ESS可以方便的把一些冷數據保存到磁帶上, 滿足長期數據保護,同時降低歸檔成本。
簡化多云管理
另一個故事是幫助AI自動駕駛領域的獨角獸企業,簡化他們的數據管理。地平線是一家 AI 領域的獨角獸公司,面向智能駕駛以及 AIoT 領域提供全面開放的賦能服務,在 AI 芯片和算法方面獨樹一幟。地平線在 AI 模型訓練中所累積的數據量超過數十PB,并且以每年以若干PB 的增量繼續高速增長,這些數據分散在多中心、多云環境里。起初,地平線使用基于開源 GlusterFS、Ceph、以及 HDFS 所構建的數據存儲基礎架構,面臨著豎井林立,存取性能下降,數據調度困難,管理復雜、數據存放成本高等難題,因此亟需改造和升級,以滿足業務發展的要求。基于 IBM Spectrum Scale,地平線構建了高性能海量數據分布式存儲架構,統一數據平臺,消除豎井,更好地利用資源,讓業務迭代更加快速。具體而言:
第一,統一數據平臺,提升開發效率。利用 IBM Spectrum Scale 在多云之間形成統一的全局命名空間,將不同數據訪問接口的數據方便地接入進來統一管理,消除豎井,實現高效開發迭代和系統管理。
第二,數據隨需調度,快速響應需求。Spectrum Scale 讓數據得以統一調度,數據可以自動透明地在多云間自由流動,大大節省了人工成本、降低了誤操作的風險,訪問速度達到毫秒級,加速訓練任務日程。
第三,運維自動完成,提升數據安全。Spectrum Scale 自帶管理功能,提供簡單易用的圖形界面、操作簡便,原有的很多需要人工干預的操作變為自動完成,在降低管理難度的同時,提升了數據安全性。
最后,數據自動分層,降低存儲成本。依托 IBM Spectrum Scale 統一管理磁盤和磁帶,實現多樣的擴容方式和數據自動分層,把冷數據如訪問量不高的大文件自動地歸檔到磁帶系統中,形成低成本的長期存儲池,且磁帶數據實時隨機讀取,冷數據存儲降低了大約 80% 的成本,同時滿足合規需求。
降本增效
最后一個故事是為頭部的互聯網企業降低成本。百度是國內一家著名的互聯網高科技企業,提供百度搜索等諸多服務。作為全球領先的AI公司,百度擁有大量的數據,有的來自百度智能云的對象數據,有的來自搜索,還有的來自自動駕駛等。這些數據大都是非結構化數據,有些數據已經被加工使用過,數據的價值密度不高,如何安全存儲這些低價值的海量數據,降低數據存儲的成本,是百度面臨的一個挑戰。百度智能云冷數據存儲項目為百度提供分布式磁帶數據湖、YB級存儲容量、數據分層存儲的能力。項目無縫對接百度現有框架,統一上層應用數據訪問接口,對內滿足百度搜索、無人車等部門的需求,對外滿足客戶在大數據、物聯網、智能家居、石油勘探等場景下的需求。該項目的價值主要包括:
第一,它提供了超大的EB級數據規模,并且規模還在以每年10萬盤磁帶的速度增長
第二,是提供了便捷高速安全的海量數據湖,通過IBM的軟件定義磁帶技術,可以統一的為前端不同業務提供各種存儲訪問接口,簡化了使用;并結合高性能閃存、磁盤和磁帶實現透明的數據分層存儲,提高了數據訪問性能;結合磁帶天然的空氣隔離技術,有效的隔離了黑客入侵。
第三,為企業節能減排,整個數據中心功耗減低90%,存儲成本降低84%。
此外,三個故事中除了為企業解決了各種挑戰,都無一例外的都為他們降低了碳排放,推動了商業和社會的雙重進步,踐行了“科技向善”的初心。“科技向善”一直是IBM遵循的價值觀之一。疫情爆發以來,IBM開放資源、攜手同盟并部署新興技術,致力于遏制新冠病毒的傳播。這包括免費開放 8萬項專利、貢獻 IBM Summit全球最強超級計算機、通過“代碼集結號”尋找最優解決方案、發起“全球網格大同盟”倡議等9項實質行動。而IBM Summit背后存儲,正是基于ESS和Spectrum Scale的強大支持。
科技是一種能力,向善是一種選擇。IBM 愿用有溫度的科技力成為你最堅實的后盾,走過艱難的今天,迎來美好的明天!
-
IBM
+關注
關注
3文章
1763瀏覽量
74822 -
互聯網
+關注
關注
54文章
11184瀏覽量
103718 -
數據保護
+關注
關注
1文章
110瀏覽量
13554
發布評論請先 登錄
相關推薦
評論