9月14-15日，AIGC與大模型時(shí)代首場(chǎng)AI芯片峰會(huì)——2023全球AI芯片峰會(huì)將在深圳舉行。清華大學(xué)教授、中國(guó)半導(dǎo)體行業(yè)協(xié)會(huì)副理事長(zhǎng)、IEEE Fellow魏少軍領(lǐng)銜40+位演講嘉賓，NVIDIA與AMD齊聚，15家國(guó)產(chǎn)AI芯片企業(yè)屆時(shí)將登臺(tái)，3+Chiplet企業(yè)首度亮相。掃碼報(bào)名，線(xiàn)下交流。

芯片大廠紛紛入坑Chiplet。

一年一度的頂級(jí)芯片盛會(huì)Hot Chips正在舉行，作為全球芯片架構(gòu)創(chuàng)新的風(fēng)向標(biāo)，今年的Hot Chips繼續(xù)披露工業(yè)界前沿研發(fā)成果和突破性技術(shù)，覆蓋人工智能（AI）訓(xùn)練及推理、Chiplet、近存計(jì)算、處理器、光子計(jì)算、晶圓級(jí)集群、神經(jīng)擬態(tài)計(jì)算等熱門(mén)領(lǐng)域。

本屆大會(huì)為期三天，NVIDIA、高通、英特爾、AMD、谷歌、SK海力士、三星、Arm、IBM等芯片巨頭，Meta、微軟等科技巨頭，晶圓級(jí)芯片創(chuàng)企Cerebras、光子AI芯片創(chuàng)企曦智科技、稀疏化計(jì)算AI芯片創(chuàng)企墨芯人工智能、RISC-V服務(wù)器處理器創(chuàng)企Ventana、RISC-V IP供應(yīng)商SiFive等具有代表性的創(chuàng)業(yè)公司，均發(fā)表了展現(xiàn)當(dāng)前芯片工業(yè)界前沿趨勢(shì)的主題演講。 期間，英特爾揭秘了其第六代至強(qiáng)數(shù)據(jù)中心處理器的架構(gòu)變化，詳解了新一代架構(gòu)、E核和P核處理器技術(shù)，包括內(nèi)存和I/O子系統(tǒng)的設(shè)計(jì)改進(jìn)，并披露2023~2025年的最新產(chǎn)品路線(xiàn)圖。

英特爾宣布將在明年推出兩款采用Intel 3工藝技術(shù)的至強(qiáng)新品——為計(jì)算密集型和人工智能工作負(fù)載優(yōu)化的高性能核心（P核）和針對(duì)高密度和橫向擴(kuò)展工作負(fù)載優(yōu)化的高能效核心（E核）。E核至強(qiáng)處理器（代號(hào)Sierra Forest）將在2024年上半年問(wèn)世，P核至強(qiáng)處理器（代號(hào)(Granite Rapids）將緊隨其后登場(chǎng)。 總體而言，英特爾將至強(qiáng)處理器稱(chēng)作“人工智能的最佳CPU”，Granite Rapids可將AI工作負(fù)載性能提升2-3倍，實(shí)現(xiàn)2.8倍的更好內(nèi)存帶寬，內(nèi)存模組MCR DIMM帶寬可提高30-40%；而Sierra Forest可在機(jī)架級(jí)別將機(jī)架密度提高250%，將每瓦性能提高240%。

插播一則會(huì)議預(yù)告。9月14-15日，2023全球AI芯片峰會(huì)將在深圳舉行。清華大學(xué)魏少軍教授領(lǐng)銜近50位演講嘉賓，NVIDIA與AMD齊聚，15+國(guó)產(chǎn)AI芯片企業(yè)屆時(shí)將登臺(tái)交鋒，3家Chiplet企業(yè)首度亮相。開(kāi)幕式、AI芯片架構(gòu)創(chuàng)新專(zhuān)場(chǎng)、AI大算力芯片專(zhuān)場(chǎng)和高能效AI芯片專(zhuān)場(chǎng)將在主會(huì)場(chǎng)進(jìn)行。智算中心算力與網(wǎng)絡(luò)高峰論壇等板塊將在分會(huì)場(chǎng)進(jìn)行。掃碼報(bào)名~

01.全面轉(zhuǎn)向Chiplet，內(nèi)存和I/O大幅升級(jí)英特爾Fellow、數(shù)據(jù)中心處理器架構(gòu)師Chris Gianos發(fā)表了主題為《為靈活性和價(jià)值而設(shè)計(jì)的未來(lái)英特爾至強(qiáng)處理器架構(gòu)》演講。 未來(lái)的英特爾至強(qiáng)處理器引入了一種新架構(gòu)，能提供必要的可擴(kuò)展性、能效、性能和多功能性，滿(mǎn)足日益增長(zhǎng)的數(shù)據(jù)中心工作負(fù)載和部署需求。 該架構(gòu)采用模塊化設(shè)計(jì)方式，通過(guò)fabric技術(shù)把模塊化die互連，實(shí)現(xiàn)靈活的架構(gòu)，可將獨(dú)立的計(jì)算和I/O的chiplets（常譯為“芯?！薄ⅰ靶⌒酒保┻M(jìn)行靈活組合，并借助EmiB封裝技術(shù)實(shí)現(xiàn)高帶寬和低延遲?；谠摷軜?gòu)的模塊化SoC包含通用IP、固件、操作系統(tǒng)、平臺(tái)組件等組件。

當(dāng)前最新一代英特爾至強(qiáng)可擴(kuò)展處理器（代號(hào)Sapphire Rapids）最高支持8個(gè)DDR5通道和80個(gè)PCIe 5.0/CXL 1.1連接通道。相比之下，AMD的EPYC 4數(shù)據(jù)中心處理器擁有12個(gè)DDR5通道和128個(gè)PCIe通道。 而第六代至強(qiáng)將在通道數(shù)量和內(nèi)存帶寬上取得顯著進(jìn)步，內(nèi)存配置轉(zhuǎn)向12個(gè)通道的DDR/MCR、1-2DPC，先進(jìn)I/O支持136個(gè)通道的PCIe 5.0/CXL 2.0以及6個(gè)UPI鏈路（144通道），內(nèi)存帶寬相比Sapphire Rapids將提高近3倍。值得一提的是服務(wù)器內(nèi)存模組MCR DIMM，據(jù)稱(chēng)內(nèi)存帶寬會(huì)比傳統(tǒng)DDR5大幅提升。早在今年3月英特爾宣布更新其數(shù)據(jù)中心和人工智能路線(xiàn)圖時(shí)，就曾演示過(guò)一個(gè)帶有新MCR DIMM模塊的的預(yù)生產(chǎn)Granite Rapids至強(qiáng)，速率高達(dá)8800MT/s，這幾乎是當(dāng)前服務(wù)器平臺(tái)上可用的DDR5（4400~4800MT/s）速率的兩倍。下一代至強(qiáng)架構(gòu)具有可擴(kuò)展性，將提供P核和E核版本，支持1S-8S規(guī)格的P核、1S-2S規(guī)格的E核。基于這些功能，不同工藝節(jié)點(diǎn)之間能夠進(jìn)行匹配，從而得以實(shí)現(xiàn)性能和能效的最佳平衡。 得益于I/O和內(nèi)存子系統(tǒng)的進(jìn)步，這一架構(gòu)提供了高性能和平臺(tái)靈活性的優(yōu)化，邏輯單片計(jì)算集群相較以往的產(chǎn)品提供了更好的每瓦特性能和每線(xiàn)程性能，并為未來(lái)代號(hào)為Granite Rapids和Sierra Forest的英特爾至強(qiáng)處理器奠定基礎(chǔ)。

02.兩種核心架構(gòu)：

基于Intel 3工藝節(jié)點(diǎn)，專(zhuān)攻高性能與高能效

能效已經(jīng)成為現(xiàn)代云計(jì)算和數(shù)據(jù)中心改變高性能服務(wù)器處理器設(shè)計(jì)的關(guān)鍵因素。對(duì)于數(shù)據(jù)中心來(lái)說(shuō)，省電才是硬道理。

英特爾高級(jí)首席工程師、架構(gòu)師Don Soltis在Hot Chips上發(fā)表的《基于高能效核心（E-Core）的英特爾至強(qiáng)處理器：下一代高性能、高能效計(jì)算》主題演講，便重點(diǎn)介紹了代號(hào)為Sierra Forest的全新英特爾至強(qiáng)處理器的架構(gòu)設(shè)計(jì)細(xì)節(jié)，如何在消耗同樣能源的情況下，讓每個(gè)芯片完成更多的計(jì)算工作。 英特爾探討了其首款高能效核心E核至強(qiáng)如何補(bǔ)充現(xiàn)有和未來(lái)的英特爾高性能核心P核處理器解決方案，以提供一個(gè)高度通用的平臺(tái)，最大限度地提高計(jì)算性能、最大限度地降低功耗。 英特爾觀察到客戶(hù)需求正在變化：對(duì)高性能CPU核心的需求持續(xù)不斷；對(duì)更高密度和更高每瓦性能的CPU核心的需求也不斷增長(zhǎng)；不同工作負(fù)載及應(yīng)用，需要在核心性能、核心能效與核心密度之間取得平衡；擴(kuò)展部署模型要求增加功率、I/O、帶寬和內(nèi)存。

針對(duì)這些趨勢(shì)，英特爾通過(guò)P核和E核來(lái)滿(mǎn)足性能和效率需求。 英特爾第六代至強(qiáng)可擴(kuò)展處理器將提供P核和E核兩種版本的核心架構(gòu)，其中P核至強(qiáng)Granite Rapids針對(duì)計(jì)算密集型和AI工作負(fù)載的性能進(jìn)行了優(yōu)化，E核至強(qiáng)Sierra Forest針對(duì)高密度和橫向擴(kuò)展工作負(fù)載的能效進(jìn)行了優(yōu)化。

P核和E核均基于最新的Intel 3工藝技術(shù)（相當(dāng)于7nm工藝），支持客戶(hù)輕松優(yōu)化，具有硬件兼容、軟件棧共享、全面安全性等特點(diǎn)，并在TCO和每瓦性能上取得進(jìn)步。 兩種架構(gòu)擁有不同的功能集。P核采用經(jīng)驗(yàn)證的至強(qiáng)架構(gòu)，優(yōu)化了每核性能并提高了能效，新軟件功能包括支持用于AI/ML的FP16的高級(jí)矩陣擴(kuò)展（AMX）、長(zhǎng)度256位的內(nèi)存加密秘鑰、Code SW預(yù)取和取指分支提示、單線(xiàn)程MBA+L2高速緩存分配技術(shù)/代碼和數(shù)據(jù)優(yōu)先級(jí)（CAT/CDP）。

其微架構(gòu)對(duì)性能進(jìn)行優(yōu)化，包括：64KB、16路指令高速緩存（I-cache），改進(jìn)分支預(yù)測(cè)和錯(cuò)誤恢復(fù)，3-cycle FP乘法，更突出的內(nèi)存請(qǐng)求和預(yù)取能力。E核采用全新英特爾至強(qiáng)架構(gòu)，擁有優(yōu)化的能效吞吐量性能，軟件功能支持BF16、FP16轉(zhuǎn)換，并支持HLAT、CMPccXADD、LAM、LASS、AVX-IFMA、AVX-DOT-PROD-INT8等。

該處理器將擁有144個(gè)核心，提供單插槽和雙插槽配置，微架構(gòu)對(duì)能效進(jìn)行優(yōu)化，包括64kB I-cache、6-wide解碼器、5-wide分配器、8-wide retire、2核或4核共享4MB L2、支持處理多達(dá)64個(gè)outstanding misses。 英特爾聲稱(chēng)在機(jī)架級(jí)別，與當(dāng)前的Sapphire Rapids相比，E核至強(qiáng)處理器Sierra Forest面向云計(jì)算可將機(jī)架密度提高250%，將每瓦性能提高240%。

03.結(jié)語(yǔ)：Chiplet在數(shù)據(jù)中心走向主流從英特爾對(duì)下一代數(shù)據(jù)中心處理器架構(gòu)的投資，可以看到面對(duì)計(jì)算多樣性，提高算力涉及的技術(shù)跨度更加廣泛，需要兼顧到計(jì)算單元、I/O單元、內(nèi)存的可擴(kuò)展性，更加高速的互連網(wǎng)絡(luò)，靈活高效的模塊化功能，電源管理能力等等。 進(jìn)入高算力時(shí)代，英特爾和AMD這兩大數(shù)據(jù)中心處理器巨頭都選擇走上了Chiplet路線(xiàn)，在處理器封裝大量獨(dú)立的計(jì)算和I/O chiplets，讓芯片設(shè)計(jì)如同“搭積木”般成為可能。這種將I/O功能從計(jì)算芯片中分離出來(lái)的設(shè)計(jì)正在風(fēng)靡數(shù)據(jù)中心芯片設(shè)計(jì)行業(yè)，不僅是數(shù)據(jù)中心CPU，英偉達(dá)的A100 GPU、AMD的AI芯片MI300、特斯拉Dojo超級(jí)計(jì)算機(jī)的D1芯片等均是Chiplet產(chǎn)品。