在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

洛斯阿拉莫斯實驗室聯手希捷,嘗試將計算與機械硬盤相結合

存儲界 ? 來源:存儲界 ? 2023-03-22 11:20 ? 次閱讀

用于模擬各類場景的高性能計算(HPC)類工作負載,總會產生大量有待篩選的數據。事實上,這也正是HPC與AI的最大區別:前者輸入數據少,輸出數據多;后者則需要輸入大量信息,通過訓練轉化為神經網絡中的少量參數和權重。

但在HPC模擬所生成的數萬億個粒子當中,真正值得研究人員關注的可能只是幾百或幾千個粒子的實際行為。

洛斯阿拉莫斯國家實驗室副部門負責人加里·格里德(Gary Grider)在采訪中表示,“這就像是大海撈針,實際要尋找的只是總體數據中的小小一部分。”這個問題在體量較小的數據集上相對好些,但阿拉莫斯實驗室卻向來以超大規模研究著稱。“我們可能會運行一個內存占用量高達PB級別的實驗,而它往往每隔幾分鐘就輸出一次PB級數據”,且整個過程會持續半年之久。

為了篩選這些數據,科學家們使用一套分析工具來查明到底哪些信息真正具有價值。過去幾年來,阿拉莫斯實驗室一直在想辦法讓分析負載跟數據盡可能接近,甚至考慮把計算轉移到閃存或硬盤控制器上。從某種意義上說,阿拉莫斯實驗室及其合作伙伴想要構建一套大型磁盤控制器集群,利用上面的空閑時鐘周期來處理分析功能。

阿拉莫斯實驗室的研究人員已經取得了一定進展。通過與SK海力士合作,他們實現了將規約功能引入控制器的概念驗證,借此獲得了幾個數量級的性能改進。

格里德表示,“我們已經證明,通過對規約這類簡單分析的全速執行,磁盤驅動器自身就能從磁盤內提取數據,從而徹底消除了傳輸帶寬產生的成本。”

跟能源部下轄的其他HPC實驗室一樣,阿拉莫斯實驗室同樣采用分層存儲架構,目前已經開始在更大的磁盤池上做類似的探索。為了更進一步,阿拉莫斯實驗室與希捷簽訂了合作研發協議。

“事實證明,希捷方面也在嘗試將部分負載轉移到存儲設備上。他們已經擁有原型方案,處理器就部署在磁盤驅動器旁邊。”

彈性問題

但大家都知道,機械硬盤與閃存不同。閃存內部不存在移動部件,而且在使用壽命之內具有相對更可預測的故障率。相比之下,硬盤驅動器內部存在機械結構,隨時都有可能發生故障。這就要求對硬盤做一定程度的彈性化改造——換言之,引入擦除碼或RAID。

“但這也會增加分析流程的復雜度。要進行分析,我們必須了解數據是什么。但磁盤驅動器往往做不到它一點,它只會把所有信息都看作數據塊。”

因此加里德的團隊必須從零開始構建一套專用于存儲加速分析的文件系統,否則一切都只是空談。

“我們不希望這事只有阿拉莫斯實驗室自己參與,畢竟我們后續得定期采購、還需要廠商提供售后支持。”

于是,阿拉莫斯實驗室選擇對現有文件系統做“魔改”,選擇的則是Sun Microsystems早年間打造的Zettabyte文件系統。這是一套專門管理大型彈性磁盤驅動器池的系統,如今被人們親切稱為Spinning Rust。ZFS還能配合Gluster實現多節點擴展,Gluster則是Red Hat當初收購來的集群文件系統。至于分析任務,工程師們將努力調整文件系統,讓它能與Apache的分析堆棧配合運作。

“我們希望努力打造出任何人都能使用的標準工具。”

雖然阿拉莫斯實驗室及其合作伙伴有望構建起一套能夠直驅分析處理的文件系統,但其初期部署難度絕不是一般用戶所能承受的。

因此,格里德希望進一步完善文件系統和分析工具,吸引標準機構和軟件開發者為其添加更多功能,最終打造出一款面向主流受眾的新方案。

任重而道遠

格里德也承認,這方面還有很多工作要做。“要達到消費級應用的程度,可謂是任重而道遠。我們接下來要做的是將其轉化成某種對象模型,而不再是文件中的一個個塊。”

目前,阿拉莫斯實驗室的初步目標是將少量分析功能轉移至磁盤控制器。

“我們還沒有將完整的分析工作負載轉移到磁盤驅動器上,目前做的主要是規約還有一部分合并。但總體來看,規約已經可以在設備層次上實現,之后還有合并和排序這類通常在閃存或內存中實現的操作。”

目前最大的障礙并不是算力,而是磁盤所內置的有限內存。格里德坦言,“現在磁盤的內置內存太小,不足以做排序,只能完成選擇操作。所以接下來的問題是,我們要怎樣增加磁盤的內置內存容量來提升操作復雜度。”

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 驅動器
    +關注

    關注

    52

    文章

    8242

    瀏覽量

    146430
  • 控制器
    +關注

    關注

    112

    文章

    16376

    瀏覽量

    178226
  • 機械硬盤
    +關注

    關注

    1

    文章

    222

    瀏覽量

    25405

原文標題:洛斯阿拉莫斯實驗室聯手希捷,嘗試將計算與機械硬盤相結合

文章出處:【微信號:cunchujie,微信公眾號:存儲界】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    潤和軟件助力實驗室行業智慧化發展

    在新質生產力和高質量發展戰略的引領下,實驗室作為國家重要基礎設施,其標準化和智慧化建設備受關注。近日,聚焦《生物實驗室設備及安裝》圖集及實驗室智慧化建設標準的學術論壇于北京隆重召開。江蘇潤和軟件
    的頭像 發表于 11-30 11:51 ?329次閱讀

    LIMS系統在芯片實驗室中的應用

    在高速發展的芯片行業中,芯片實驗室作為技術創新和產品驗證的核心部門,面臨著諸多挑戰與問題。這些問題不僅影響了實驗室的工作效率,還可能對芯片產品的質量和研發周期產生不利影響。幸運的是,LIMS系統
    的頭像 發表于 11-07 17:59 ?298次閱讀

    LIMS實驗室管理平臺的實施步驟

    實驗室信息管理系統(LIMS)是現代實驗室管理的核心,它通過集成各種實驗室操作流程,提高實驗室的工作效率和數據管理能力。實施LIMS系統是一個系統化的過程,需要精心規劃和執行。以下是實
    的頭像 發表于 10-29 09:10 ?402次閱讀

    實驗室數據管理與LIMS平臺的關系

    實驗室數據管理(Laboratory Data Management)是指對實驗室產生的數據進行收集、存儲、處理、分析和報告的過程。這包括了樣品的接收、測試結果的記錄、質量控制數據的跟蹤以及最終報告
    的頭像 發表于 10-28 18:10 ?466次閱讀

    如何選擇合適的LIMS實驗室管理軟件

    選擇合適的實驗室信息管理系統(LIMS)對于確保實驗室的效率、準確性和合規性至關重要。 需求分析 : 確定實驗室的具體需求,包括測試類型、樣品管理、數據報告、分析方法、質量控制等。 考慮實驗室
    的頭像 發表于 10-28 16:56 ?272次閱讀

    蘋果深圳應用研究實驗室正式運營

    近日,蘋果公司宣布其在河套深圳園區的應用研究實驗室已正式建成并開始運營。該實驗室被定位為蘋果公司粵港澳大灣區研發中心,是蘋果在美國本土以外覆蓋范圍最廣泛的實驗室之一。
    的頭像 發表于 10-11 15:52 ?318次閱讀

    麥和IMEC聯合光刻實驗室啟用

    近日,比利時微電子研究中心(IMEC)與全球光刻技術領軍企業阿麥(ASML)共同宣布,在荷蘭費爾德霍芬正式啟用聯合High-NA EUV光刻實驗室
    的頭像 發表于 06-06 10:09 ?663次閱讀

    聯與中國科學院共建邊緣智能計算重慶市重點實驗室

    近日,特聯與中國科學院重慶綠色智能技術研究院(簡稱重慶研究院)攜手共建的“邊緣智能計算重慶市重點實驗室”在重慶高新區正式揭牌。這一合作標志著雙方在智能科技領域的深度合作進入新階段。
    的頭像 發表于 06-04 09:25 ?503次閱讀

    英飛凌電源應用實驗室正式啟用

    英飛凌科技近日宣布,其首個面向客戶的“英飛凌電源應用實驗室”已在上海張江的大中華區總部正式啟用。這一實驗室的設立,標志著英飛凌在技術創新和服務客戶方面邁出了堅實的一步。
    的頭像 發表于 05-07 14:59 ?520次閱讀

    DEKRA德凱為Hisense海信實驗室授予CTF實驗室資質

    近日,全球領先的檢驗檢測認證機構DEKRA德凱為海信家電集團洗護技術測試研究中心(以下簡稱:Hisense海信)實驗室授予CTF實驗室資質。
    的頭像 發表于 04-10 14:52 ?536次閱讀

    三星成立半導體AGI計算實驗室

    三星電子近日迎來重要戰略部署,其半導體業務CEO慶桂顯正式宣布,公司將在美國和韓國設立全新的半導體AGI計算實驗室,并已啟動相關招聘工作。此次實驗室的成立,標志著三星在人工智能領域邁出了堅實的一步。
    的頭像 發表于 03-22 11:10 ?699次閱讀

    要讓量子計算走出實驗室

    轉自環球時報環球時報記者張蔚藍陳子帥原稿標題:中國科學院量子信息重點實驗室副主任郭國平:要讓量子計算走出實驗室原文鏈接:https://m.huanqiu.com/article
    的頭像 發表于 03-06 08:21 ?338次閱讀
    要讓量子<b class='flag-5'>計算</b>走出<b class='flag-5'>實驗室</b>

    上海AI實驗室發布新一代書生·視覺大模型

    近日,上海人工智能實驗室(上海AI實驗室聯手多所知名高校及科技公司共同研發出新一代書生·視覺大模型(InternVL)。
    的頭像 發表于 02-04 11:25 ?1120次閱讀

    SGS與聯想成立聯合實驗室并為其頒發QTL認可實驗室資質

    北京2024年1月10日 /美通社/ -- 2024年1月8日,國際公認的測試、檢驗和認證機構SGS為聯想(北京)有限公司(以下簡稱"北京聯想") 聲學和影像實驗室并頒發QTL(Qualified
    的頭像 發表于 01-10 16:19 ?744次閱讀
    SGS與聯想成立聯合<b class='flag-5'>實驗室</b>并為其頒發QTL認可<b class='flag-5'>實驗室</b>資質

    實驗室設備定位管理系統

    實驗室設備定位管理系統是一種用于實驗室設備管理和定位的系統。它利用物聯網技術和定位技術,幫助實驗室管理人員實時了解實驗室內設備的位置和狀態,提高設備的利用率和管理效率。 該系統使用傳感
    的頭像 發表于 01-10 16:13 ?840次閱讀
    主站蜘蛛池模板: 欧美三级不卡在线观线看高清| 最新天堂| 日本三级带日本三级带黄首页| 亚洲男人的天堂在线播放| 欧美福利专区| 91久久青草精品38国产| 免费的国语一级淫片| 亚洲a影院| 亚洲1卡二卡3卡四卡不卡| 国产精品国产午夜免费福利看| 91tm视频| 天天夜夜久久| 自拍偷拍福利视频| 午夜视频免费| 亚洲理论视频| 一本大道加勒比久久综合 | www在线视频| 免费看黄色的网站| 天天射夜夜骑| 韩彩英三级无删版甜性涩爱| 免费又黄又爽的禁片视频| 国产传媒在线观看视频免费观看| 免费在线观看理论片| 国产jlzzjlzz视频免费| 91夫妻视频| 一道精品视频一区二区三区男同| 亚洲啪啪免费视频| 国产精品午夜在线观看| 91av免费| 性视频亚洲| 亚洲欧洲一区| 特级aaa片毛片免费观看| 亚洲图片综合区另类图片| 日韩毛片免费视频一级特黄| 色激情综合网| 三级视频在线| 日本a级片在线播放| 欧美性xxxxbbbb| 国产999星空传媒在线观看| 国产精品va一区二区三区| 丁香伊人五月综合激激激|