電子發(fā)燒友網(wǎng)報道(文/黃晶晶)AI推理助推了DeepSeek一體機的市場熱度,而AI PC對DeepSeek大模型的支持也將是廣大用戶采購AI PC的參考因素。不同配置的AI PC可支持DeepSeek-R1不同模型。相對來說,DeepSeek-R1 70B大模型或許是日常AI功能的頂格需求,它也是當(dāng)前高性能AI PC的著力點之一。
AI PC跑大模型
DeepSeek-R1目前已經(jīng)發(fā)布了1.5B/7B/8B/14B/32B/70B/671B共7類不同參數(shù)量的大模型版本。適配自然語言處理、內(nèi)容生成創(chuàng)作等不同的場景需求和功能,相對應(yīng)的也需要不同級別的硬件性能配置,參數(shù)越大所需的計算資源就越大。
根據(jù)京東給出的配置參考,個人消費者在日常生活和學(xué)習(xí)場景中,想要滿足文本生成基礎(chǔ)問題、基礎(chǔ)圖像處理等需求,可選擇1.5B/7B/8B這三類參數(shù)量的模型,通過個人筆記本、臺式機就能完成DeepSeek本地部署。
1.5B模型需要最低4G顯卡,可選GTX 1050及以上顯卡,CPU最低4核,內(nèi)存最低8G。7B/8B模型則需要8G顯卡、CPU最低8核、內(nèi)存最低16GB。
若要實現(xiàn)多語言處理、AI推理、智能數(shù)據(jù)分析、專業(yè)圖像處理等需求,可選擇DeepSeek-R1 14B/32B模型進(jìn)行本地化部署,但其對硬件配置有更高要求。其中,14B模式需要16G顯卡、12核CPU和32G內(nèi)存,至少是RTX4000Ada及以上顯卡。32B模式則需要24G顯卡、16核CPU和64G內(nèi)存,可選A6000及以上顯卡并行計算。
對于大型企業(yè)、高端設(shè)計、科研和企業(yè)級應(yīng)用,這類高性能需求場景可選擇70B模型,可完成深度學(xué)習(xí)、復(fù)雜數(shù)據(jù)分析和高級圖像處理等功能。目前,70B模型可選2個A100 80G顯卡或4個RTX4090顯卡并行,配備32核CPU和128G的內(nèi)存。
實際上,70B模型進(jìn)行本地部署已經(jīng)足夠滿足日常需求,處理器和PC廠商正積極推進(jìn)AI PC運行大模型的方案。
AMD AI Max+ 395
今年1月CES 2025上,AMD發(fā)布代號為“Strix Halo”的銳龍AI Max系列已經(jīng)可以支持本地化運行700億參數(shù)版本的DeepSeek大語言模型(LLM),助力各類生成式AI的應(yīng)用。
全新的銳龍AI Max系列處理器采用了 Zen 5 CPU 和 RDNA 3.5 GPU 架構(gòu),并運用先進(jìn)的芯粒(chiplets)封裝技術(shù)。每個 Zen 5 CPU 核心位于獨立的 CCD 上,最高兩個 CCD 提供 16 個 Zen 5 核心,核顯(iGPU)最高擁有40個RDNA 3.5 計算單元。此外,該處理器還采用 LPDDR5x 內(nèi)存標(biāo)準(zhǔn),內(nèi)存帶寬高達(dá)256GB/s,集成 50 TOPS“XDNA 2” NPU,為 Windows 11 AI+ PC 提供領(lǐng)先的 AI 性能,也為新一代AI PC帶來了革命性的突破,為游戲玩家、創(chuàng)作者和普通用戶提供了卓越的性能和強勁的動力。
在AI 性能方面,得益于銳龍AI Max+ 395配備了高達(dá)50 TOPS的XDNA 2架構(gòu)NPU,在 LM Studio 中的 AI 性能比 NVIDIA GeForce RTX 4090 高出 2.2 倍,同時功耗降低了87%。同時得益于銳龍AI Max系列還支持高達(dá)128GB的統(tǒng)一內(nèi)存,其中最高可將96GB用于圖形處理,這也使得搭載該處理器的系統(tǒng)能夠?qū)崿F(xiàn)無縫、可靠的多任務(wù)處理,并支持運行700億參數(shù)的超大規(guī)模的AI模型,使得該處理器成為了全球首款運行700億參數(shù)模型的AI PC處理器。
ROG幻X 2025將首發(fā)搭載第三代 AMD AI+ PC 移動處理器——AMD 銳龍 AI Max+ 395。據(jù)稱,這是唯一本地流暢運行DeepSeek 70B模型的X86筆記本。全新ROG幻X 2025配備128GB 256bit LPDDR5X 8000MHz統(tǒng)一內(nèi)存,支持最大96GB動態(tài)顯存分配,可實現(xiàn)CPU多任務(wù)與集顯圖形處理之間的靈活調(diào)用。結(jié)合CPU+GPU+NPU總算力可達(dá)126 TOPS,可以輕松本地部署AI大模型,流暢運行各類端側(cè)AI應(yīng)用。
Apple M3 Ultra加持新款Mac Studio
前不久,蘋果公司正式推出了其性能最為強大的Mac產(chǎn)品即新款Mac Studio。據(jù)介紹,新款Mac Studio憑借其強大的中央處理器、先進(jìn)的圖形架構(gòu)、高帶寬的統(tǒng)一內(nèi)存、極速的固態(tài)硬盤以及高效能的神經(jīng)網(wǎng)絡(luò)引擎,能夠輕松應(yīng)對各種繁重的任務(wù)挑戰(zhàn)。無論是進(jìn)行復(fù)雜的數(shù)據(jù)處理、圖形渲染還是運行大型軟件,新款Mac Studio都能游刃有余。
新款Mac Studio提供了M4 Max和M3 Ultra兩種芯片版本供用戶選擇。其中,M4 Max型號的起售價為16499元,而搭載M3 Ultra芯片的型號起售價則為32999元。M3 Ultra版本的Mac Studio最低配備96GB的統(tǒng)一內(nèi)存,最高選配512GB。此外,新款Mac Studio還支持最高達(dá)16TB的固態(tài)硬盤選配。
Mac Studio以強大的性能和滿血內(nèi)存,其頂配版本可以直接在本地運行deepseek R1671B滿血版大模型。當(dāng)然其價格高達(dá)108749元。
蘋果表示,M3 Ultra是迄今最強大的Apple芯片,由兩塊芯片強強合體,帶來雙倍的中央處理器、圖形處理器、神經(jīng)網(wǎng)絡(luò)引擎和內(nèi)存帶寬。性能表現(xiàn)突飛猛進(jìn),無論是處理龐大的數(shù)據(jù)集,還是同步進(jìn)行動畫制作和 3D 場景渲染,各種極限任務(wù)都所向披靡。還有最高達(dá) 512GB 的統(tǒng)一內(nèi)存,運行大語言模型 (LLM),僅憑內(nèi)存就足夠。
小結(jié):
AI PC支持百億級大模型,需要高性能CPU、GPU、NPU的支持,同時也需要大容量的存儲,而一些廠商也開始推進(jìn)統(tǒng)一內(nèi)存架構(gòu)的使用。早前蘋果M系列芯片采用統(tǒng)一內(nèi)存架構(gòu),例如,iMac搭載 M4芯片,M4 芯片配備了最多 10 核中央處理器,包括 4 顆性能核心和最多 6 顆能效核心。支持最多 32GB 統(tǒng)一內(nèi)存,內(nèi)存帶寬也提升至 120Gb/s。
而英特爾下一代 AI PC旗艦產(chǎn)品Lunar Lake 處理器也將內(nèi)存封裝在芯片之中,這種設(shè)計可顯著提升數(shù)據(jù)傳輸速度和系統(tǒng)響應(yīng)時間,有助于降低功耗,還能簡化主板布局。
PC終端跑70B大模型能夠讓用戶體驗更智能更豐富的AI功能,當(dāng)然成本也是一大因素,一旦到達(dá)合適的性價比,支持大參數(shù)量的AI PC會成為優(yōu)中之選。
AI PC跑大模型
DeepSeek-R1目前已經(jīng)發(fā)布了1.5B/7B/8B/14B/32B/70B/671B共7類不同參數(shù)量的大模型版本。適配自然語言處理、內(nèi)容生成創(chuàng)作等不同的場景需求和功能,相對應(yīng)的也需要不同級別的硬件性能配置,參數(shù)越大所需的計算資源就越大。
根據(jù)京東給出的配置參考,個人消費者在日常生活和學(xué)習(xí)場景中,想要滿足文本生成基礎(chǔ)問題、基礎(chǔ)圖像處理等需求,可選擇1.5B/7B/8B這三類參數(shù)量的模型,通過個人筆記本、臺式機就能完成DeepSeek本地部署。
1.5B模型需要最低4G顯卡,可選GTX 1050及以上顯卡,CPU最低4核,內(nèi)存最低8G。7B/8B模型則需要8G顯卡、CPU最低8核、內(nèi)存最低16GB。
若要實現(xiàn)多語言處理、AI推理、智能數(shù)據(jù)分析、專業(yè)圖像處理等需求,可選擇DeepSeek-R1 14B/32B模型進(jìn)行本地化部署,但其對硬件配置有更高要求。其中,14B模式需要16G顯卡、12核CPU和32G內(nèi)存,至少是RTX4000Ada及以上顯卡。32B模式則需要24G顯卡、16核CPU和64G內(nèi)存,可選A6000及以上顯卡并行計算。
對于大型企業(yè)、高端設(shè)計、科研和企業(yè)級應(yīng)用,這類高性能需求場景可選擇70B模型,可完成深度學(xué)習(xí)、復(fù)雜數(shù)據(jù)分析和高級圖像處理等功能。目前,70B模型可選2個A100 80G顯卡或4個RTX4090顯卡并行,配備32核CPU和128G的內(nèi)存。
實際上,70B模型進(jìn)行本地部署已經(jīng)足夠滿足日常需求,處理器和PC廠商正積極推進(jìn)AI PC運行大模型的方案。
AMD AI Max+ 395
今年1月CES 2025上,AMD發(fā)布代號為“Strix Halo”的銳龍AI Max系列已經(jīng)可以支持本地化運行700億參數(shù)版本的DeepSeek大語言模型(LLM),助力各類生成式AI的應(yīng)用。
全新的銳龍AI Max系列處理器采用了 Zen 5 CPU 和 RDNA 3.5 GPU 架構(gòu),并運用先進(jìn)的芯粒(chiplets)封裝技術(shù)。每個 Zen 5 CPU 核心位于獨立的 CCD 上,最高兩個 CCD 提供 16 個 Zen 5 核心,核顯(iGPU)最高擁有40個RDNA 3.5 計算單元。此外,該處理器還采用 LPDDR5x 內(nèi)存標(biāo)準(zhǔn),內(nèi)存帶寬高達(dá)256GB/s,集成 50 TOPS“XDNA 2” NPU,為 Windows 11 AI+ PC 提供領(lǐng)先的 AI 性能,也為新一代AI PC帶來了革命性的突破,為游戲玩家、創(chuàng)作者和普通用戶提供了卓越的性能和強勁的動力。
在AI 性能方面,得益于銳龍AI Max+ 395配備了高達(dá)50 TOPS的XDNA 2架構(gòu)NPU,在 LM Studio 中的 AI 性能比 NVIDIA GeForce RTX 4090 高出 2.2 倍,同時功耗降低了87%。同時得益于銳龍AI Max系列還支持高達(dá)128GB的統(tǒng)一內(nèi)存,其中最高可將96GB用于圖形處理,這也使得搭載該處理器的系統(tǒng)能夠?qū)崿F(xiàn)無縫、可靠的多任務(wù)處理,并支持運行700億參數(shù)的超大規(guī)模的AI模型,使得該處理器成為了全球首款運行700億參數(shù)模型的AI PC處理器。
ROG幻X 2025將首發(fā)搭載第三代 AMD AI+ PC 移動處理器——AMD 銳龍 AI Max+ 395。據(jù)稱,這是唯一本地流暢運行DeepSeek 70B模型的X86筆記本。全新ROG幻X 2025配備128GB 256bit LPDDR5X 8000MHz統(tǒng)一內(nèi)存,支持最大96GB動態(tài)顯存分配,可實現(xiàn)CPU多任務(wù)與集顯圖形處理之間的靈活調(diào)用。結(jié)合CPU+GPU+NPU總算力可達(dá)126 TOPS,可以輕松本地部署AI大模型,流暢運行各類端側(cè)AI應(yīng)用。
Apple M3 Ultra加持新款Mac Studio
前不久,蘋果公司正式推出了其性能最為強大的Mac產(chǎn)品即新款Mac Studio。據(jù)介紹,新款Mac Studio憑借其強大的中央處理器、先進(jìn)的圖形架構(gòu)、高帶寬的統(tǒng)一內(nèi)存、極速的固態(tài)硬盤以及高效能的神經(jīng)網(wǎng)絡(luò)引擎,能夠輕松應(yīng)對各種繁重的任務(wù)挑戰(zhàn)。無論是進(jìn)行復(fù)雜的數(shù)據(jù)處理、圖形渲染還是運行大型軟件,新款Mac Studio都能游刃有余。
新款Mac Studio提供了M4 Max和M3 Ultra兩種芯片版本供用戶選擇。其中,M4 Max型號的起售價為16499元,而搭載M3 Ultra芯片的型號起售價則為32999元。M3 Ultra版本的Mac Studio最低配備96GB的統(tǒng)一內(nèi)存,最高選配512GB。此外,新款Mac Studio還支持最高達(dá)16TB的固態(tài)硬盤選配。
Mac Studio以強大的性能和滿血內(nèi)存,其頂配版本可以直接在本地運行deepseek R1671B滿血版大模型。當(dāng)然其價格高達(dá)108749元。
蘋果表示,M3 Ultra是迄今最強大的Apple芯片,由兩塊芯片強強合體,帶來雙倍的中央處理器、圖形處理器、神經(jīng)網(wǎng)絡(luò)引擎和內(nèi)存帶寬。性能表現(xiàn)突飛猛進(jìn),無論是處理龐大的數(shù)據(jù)集,還是同步進(jìn)行動畫制作和 3D 場景渲染,各種極限任務(wù)都所向披靡。還有最高達(dá) 512GB 的統(tǒng)一內(nèi)存,運行大語言模型 (LLM),僅憑內(nèi)存就足夠。
小結(jié):
AI PC支持百億級大模型,需要高性能CPU、GPU、NPU的支持,同時也需要大容量的存儲,而一些廠商也開始推進(jìn)統(tǒng)一內(nèi)存架構(gòu)的使用。早前蘋果M系列芯片采用統(tǒng)一內(nèi)存架構(gòu),例如,iMac搭載 M4芯片,M4 芯片配備了最多 10 核中央處理器,包括 4 顆性能核心和最多 6 顆能效核心。支持最多 32GB 統(tǒng)一內(nèi)存,內(nèi)存帶寬也提升至 120Gb/s。
而英特爾下一代 AI PC旗艦產(chǎn)品Lunar Lake 處理器也將內(nèi)存封裝在芯片之中,這種設(shè)計可顯著提升數(shù)據(jù)傳輸速度和系統(tǒng)響應(yīng)時間,有助于降低功耗,還能簡化主板布局。
PC終端跑70B大模型能夠讓用戶體驗更智能更豐富的AI功能,當(dāng)然成本也是一大因素,一旦到達(dá)合適的性價比,支持大參數(shù)量的AI PC會成為優(yōu)中之選。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。
舉報投訴
-
算力
+關(guān)注
關(guān)注
1文章
1055瀏覽量
15187 -
大模型
+關(guān)注
關(guān)注
2文章
2840瀏覽量
3481 -
AI PC
+關(guān)注
關(guān)注
0文章
130瀏覽量
312
發(fā)布評論請先 登錄
相關(guān)推薦
DeepSeek推動AI算力需求:800G光模塊的關(guān)鍵作用
隨著人工智能技術(shù)的飛速發(fā)展,AI算力需求正以前所未有的速度增長。DeepSeek等大模型的訓(xùn)練與推理任務(wù)對算
發(fā)表于 03-25 12:00
兆芯全面部署DeepSeek R1大模型
近日,基于兆芯高性能通用處理器的PC終端、工作站以及服務(wù)器成功實現(xiàn)DeepSeek-R1-Distill模型(1.5B/7B/32B/
IBM在watsonx.ai平臺推出DeepSeek R1蒸餾模型
IBM近日宣布了一項重要更新,為其企業(yè)級AI開發(fā)平臺watsonx.ai引入了DeepSeek R1的Llama 3.1 8B和Llama 3.3 70b蒸餾版本。這一舉措旨在通過先進(jìn)
國家超算互聯(lián)網(wǎng)平臺上線多款AI模型
模型均具備強大的推理能力。更令人振奮的是,平臺還計劃在不久的將來推出更大容量的32B和70B版本,以滿足用戶對更高性能AI模型的需求。 De
科技云報到:要算力更要“算利”,“精裝算力”觸發(fā)大模型產(chǎn)業(yè)新變局?
科技云報到:要算力更要“算利”,“精裝算力”觸發(fā)大模型產(chǎn)業(yè)新變局?
Meta重磅發(fā)布Llama 3.3 70B:開源AI模型的新里程碑
新的高度。 一,技術(shù)突破:開源智能的新高度 Llama 3.3 70B 模型的發(fā)布,標(biāo)志著開源AI模型在智能水平上的一大飛躍。它不僅達(dá)到了之前只有 Llama 3.1 405

Meta推出Llama 3.3 70B,AI大模型競爭白熱化
的Llama 3.3 70B模型在性能上表現(xiàn)出色,與同行業(yè)的其他大模型相比毫不遜色。更重要的是,其在成本上展現(xiàn)出了更強的競爭力,使得更多的企業(yè)和開發(fā)者能夠負(fù)擔(dān)得起這一先進(jìn)的技術(shù)。 這兩
企業(yè)AI算力租賃是什么
企業(yè)AI算力租賃是指企業(yè)通過互聯(lián)網(wǎng)向?qū)I(yè)的算力提供商租用所需的計算資源,以滿足其AI應(yīng)用的需求。
英偉達(dá)發(fā)布AI模型 Llama-3.1-Nemotron-51B AI模型
速度比原70B大模型提升2.2倍,具備更準(zhǔn)確和更高效的運算效率;能夠大幅降低運行成本。 ? ? ? 通過NAS技術(shù)微調(diào);大幅降低了內(nèi)存消耗、計算復(fù)雜性;Llama-3.1-Nemotron-51
大模型時代的算力需求
現(xiàn)在AI已進(jìn)入大模型時代,各企業(yè)都爭相部署大模型,但如何保證大模型的算力,以及相關(guān)的穩(wěn)定性和性能
發(fā)表于 08-20 09:04
安謀科技異構(gòu)算力組合,破局生成式AI算力挑戰(zhàn)
,“此芯P1”不僅異構(gòu)集成了Armv9 CPU核心與Arm Immortalis GPU,還搭載了安謀科技(中國)有限公司(以下簡稱“安謀科技”)“周易”NPU等自研業(yè)務(wù)產(chǎn)品。憑借高能效的異構(gòu)算力資源、系統(tǒng)級的安全保障以及強大的
摩爾線程攜手憨猴集團(tuán),深化AI算力戰(zhàn)略合作,成功實現(xiàn)大模型分布式訓(xùn)練
摩爾線程與憨猴科技集團(tuán)日前宣布,采用搭載摩爾線程的夸娥(KUAE)千卡智算集群,已成功完成了多個大模型的分布式訓(xùn)練,涵蓋7B、34B以及
摩爾線程攜手憨猴集團(tuán),共同探索國產(chǎn)AI算力的新應(yīng)用場景與落地實踐
摩爾線程與憨猴科技集團(tuán)有限公司(簡稱:憨猴集團(tuán))近日宣布,基于摩爾線程的夸娥(KUAE)千卡智算集群,憨猴集團(tuán)已成功完成了7B、34B、70B不同參數(shù)量級的大
Optimum Intel三步完成Llama3在算力魔方的本地量化和部署
Llama3 是Meta最新發(fā)布的開源大語言模型(LLM), 當(dāng)前已開源8B和70B參數(shù)量的預(yù)訓(xùn)練模型權(quán)重,并支持指令微調(diào)。

評論