隨著AI技術(shù)的飛速發(fā)展,本地部署大模型已成為技術(shù)發(fā)燒友們的熱門話題。今年年初,DeepSeek AI大模型的橫空出世,更是將這一熱潮推向了新的高度。相較于付費(fèi)使用現(xiàn)成的AI應(yīng)用,DeepSeek的完全開源特性吸引了大量愛好者,他們熱衷于在本地部署這一大模型,充分利用現(xiàn)代硬件的強(qiáng)大AI性能。
然而,對于主流的筆記本平臺而言,本地運(yùn)行DeepSeek大模型的效果究竟如何呢?為了解答這一問題,我們選取了兩臺配置相近的輕薄本進(jìn)行測試,分別搭載了Intel酷睿Ultra 9 285H處理器和AMD銳龍AI 9 HX370處理器,它們都是各自平臺上輕薄本能夠搭載的最強(qiáng)處理器。
在本地部署的DeepSeek只能是蒸餾版,因?yàn)闈M血版DeepSeek-R1模型的龐大參數(shù)遠(yuǎn)超筆記本平臺的承載能力。但幸運(yùn)的是,DeepSeek提供了六個不同規(guī)模的蒸餾后小模型,用戶可以根據(jù)自己的硬件配置選擇合適的模型規(guī)模。這些模型都是開源的,任何人都可以下載并部署到自己的設(shè)備上。
選擇合適的模型規(guī)模,關(guān)鍵在于運(yùn)行設(shè)備的顯存或內(nèi)存容量,對于筆記本用戶來說,這主要取決于內(nèi)存大小。近年來,隨著AI PC概念的興起,電腦的內(nèi)存容量普遍從32GB起步,就連一向以高昂價格著稱的蘋果,其最新的Mac Mini M4也將內(nèi)存升級到了16GB起步。
我們測試的兩臺筆記本,在配置上各有千秋。Intel酷睿Ultra 9 285H處理器基于Arrow Lake架構(gòu),擁有16核心(不支持超線程),性能核最大睿頻可達(dá)5.4GHz,并內(nèi)建Intel銳炫140T顯卡和NPU,提供高達(dá)13 TOPS的算力。而AMD銳龍AI 9 HX370處理器則基于Zen 5架構(gòu),擁有12核心24線程,最高加速頻率為5.1GHz,并內(nèi)建AMD Radeon 890M顯卡和獨(dú)立的NPU引擎,算力高達(dá)55 TOPS。
在實(shí)際測試中,我們基于Ollama框架,在本地部署了DeepSeek-R1的蒸餾版模型,并測試了使用iGPU的運(yùn)行效率。為了避免圖形UI造成的延遲和性能影響,我們直接在命令行中與DeepSeek-R1:14B模型進(jìn)行對話,準(zhǔn)備了四個問題來測試其表現(xiàn)。結(jié)果顯示,14B規(guī)模的模型在反應(yīng)速度和回答準(zhǔn)確率上都表現(xiàn)出色,而更小規(guī)模的模型雖然執(zhí)行速度更快,但AI智力明顯下降,經(jīng)常出現(xiàn)無法回答或陷入死循環(huán)的情況。
在對比Intel和AMD處理器的表現(xiàn)時,我們發(fā)現(xiàn)Intel酷睿Ultra 9 285H在針對Intel優(yōu)化過的Ollama上每秒token輸出更高,在14B和7B規(guī)模模型中,相比AMD銳龍AI 9 HX370有40%左右的領(lǐng)先。這一結(jié)果雖然并不能代表Intel處理器在AI性能上就一定比AMD處理器強(qiáng)很多,但至少從實(shí)際測試來看,針對Intel優(yōu)化過的框架確實(shí)擁有更好的支持。
我們還測試了Deepseek-R1:14B模型在Intel酷睿Ultra 9 285H處理器的輕薄本上的實(shí)際表現(xiàn)。通過安裝針對Intel酷睿Ultra處理器優(yōu)化的AI應(yīng)用工具Flowy AI PC軟件,我們使用Deepseek-R1:14B模型編寫了一個基于HTML語言的貪吃蛇游戲。結(jié)果顯示,雖然游戲比較簡陋,但基本的游戲功能已經(jīng)沒有問題,這證明了Intel酷睿Ultra 9 285H處理器搭配Deepseek-R1:14B模型已經(jīng)具備了一定的實(shí)用價值。
DeepSeek大模型的開源極大地降低了本地部署AI大模型的門檻,即使在輕薄本這種性能有限的移動平臺上,也能實(shí)現(xiàn)相當(dāng)不錯的性能表現(xiàn)。而Intel酷睿Ultra 9 285H處理器在針對Intel優(yōu)化過的框架上展現(xiàn)出了強(qiáng)勁的實(shí)力,這從一個側(cè)面說明了軟件適配對于AI大模型高效運(yùn)行的重要性。