AIGC時(shí)代，新的計(jì)算范式正在探索發(fā)展之中。用CPU加速AI推理過(guò)程，這已經(jīng)是被實(shí)踐檢驗(yàn)和驗(yàn)證的最佳路徑。CPU在執(zhí)行涉及大量順序計(jì)算的推理任務(wù)時(shí)尤為高效。QYResearch的調(diào)研報(bào)告顯示，2023年全球AI推理服務(wù)器市場(chǎng)規(guī)模大約為740億元，預(yù)計(jì)到2030年將增加到2676億元，年復(fù)合增長(zhǎng)率高達(dá)18.9%。

AI推理在高性能計(jì)算資源方面的持續(xù)放量，將進(jìn)一步激發(fā)CPU的創(chuàng)新。

AI推理需要什么樣的CPU?

服務(wù)器機(jī)頭是服務(wù)器的核心部件，主要用于管理和協(xié)調(diào)計(jì)算集群的服務(wù)器節(jié)點(diǎn)。在常見(jiàn)的高端AI服務(wù)器上，每8個(gè)GPU就要配備2個(gè)CPU，即是想通過(guò)CPU來(lái)協(xié)調(diào)和管理相關(guān)的加速硬件，確保高效協(xié)同地工作，加速數(shù)據(jù)處理和AI推理。

CPU是服務(wù)器機(jī)頭中最重要的組成部分，負(fù)責(zé)執(zhí)行指令和處理數(shù)據(jù)，可謂重中之重。CPU的性能和能力直接決定了服務(wù)器的整體性能和處理效果。因此，用戶(hù)在選擇AI推理服務(wù)器時(shí)，評(píng)估CPU的整體性能是非常重要且必要的。面向不同的應(yīng)用場(chǎng)景和工作負(fù)載，選擇架構(gòu)最優(yōu)，性能、核心數(shù)量、線(xiàn)程數(shù)量等指標(biāo)完美匹配應(yīng)用需求的CPU也是一門(mén)學(xué)問(wèn)。

所謂AI推理，即利用訓(xùn)練好的模型對(duì)新的數(shù)據(jù)進(jìn)行預(yù)測(cè)和分析，它對(duì)服務(wù)器提出了高性能、高可擴(kuò)展性、低延遲、高安全性等更為嚴(yán)苛的要求。

1. 頻率高，性能更高

‌在AI推理過(guò)程中，CPU的頻率是一項(xiàng)十分重要的性能指標(biāo)，因?yàn)樗�直接影響到�?jì)算速度與效率。高主頻的CPU能夠提供更快的計(jì)算速度，這對(duì)于處理復(fù)雜的AI推理任務(wù)來(lái)說(shuō)是必須的。根據(jù)實(shí)踐經(jīng)驗(yàn)，選擇高主頻的CPU，才能確保在處理大量數(shù)據(jù)和復(fù)雜計(jì)算任務(wù)時(shí)，CPU能夠從容自如，性能與效率比翼齊飛‌。此外，在處理多個(gè)任務(wù)時(shí)，多核處理器可以更加游刃有余，有效提升AI推理的速度。

AMD第四代EPYC處理器平臺(tái)(Genoa)采用Zen 4微架構(gòu)，主要面向的就是人工智能、多云工作負(fù)載、高性能計(jì)算、實(shí)時(shí)分析等場(chǎng)景。AMD Genoa CPU的主頻是3.51GHz。在GeekBench 5基準(zhǔn)測(cè)試中，AMD Genoa CPU的單核成績(jī)?yōu)?460分，多核成績(jī)?yōu)?6535分，表明其在多核性能上比上一代EPYC Milan 7763有了顯著提升，多核性能提升28%。

AMD Genoa CPU不僅具有更高的核心頻率，還能支持更多的核心數(shù)同時(shí)達(dá)到最高頻率，這也讓它成了AI推理的理想之選。

2. 大緩存，好處多

通常來(lái)說(shuō)，擁有三級(jí)緩存的CPU在處理海量數(shù)據(jù)和高并發(fā)任務(wù)時(shí)，具有更高的效率，能夠大幅度提升多任務(wù)處理和多線(xiàn)程應(yīng)用的性能。所以，對(duì)于需要高性能計(jì)算的AI推理來(lái)說(shuō)，三級(jí)緩存是更優(yōu)的選擇。在AI推理過(guò)程中，需要處理已訓(xùn)練模型的決策或識(shí)別，涉及復(fù)雜邏輯、控制流任務(wù)和大量數(shù)據(jù)。對(duì)于CPU而言，高速的L1和L2緩存，協(xié)同大容量的L3緩存，能夠達(dá)到更高的緩存命中率（意味著大部分?jǐn)?shù)據(jù)可以在緩存中找到，而無(wú)需從主存儲(chǔ)器中讀取），因此能夠加快AI模型的處理和分析。

‌

與上一代EPYC Milan相比，AMD Genoa除了將L2緩存容量翻倍，提升至每核心1MB，還能支撐每8個(gè)核心共享32MB三級(jí)緩存。而AMD Genoa-X系統(tǒng)則能提供每8個(gè)核心共享96M三級(jí)緩存，從而為AI推理業(yè)務(wù)提供了更加強(qiáng)大的助力。

3. 內(nèi)存大而快，推理穩(wěn)且迅

對(duì)于AI推理應(yīng)用來(lái)說(shuō)，CPU的內(nèi)存速率一直是個(gè)關(guān)鍵要素，因?yàn)樗�直接關(guān)系到模型加載、數(shù)據(jù)處理和結(jié)果輸出的速度。較高的內(nèi)存速率，意味著CPU能夠更快速地處理大量數(shù)據(jù)，提高AI推理的效率。另外，CPU的內(nèi)存容量也不容忽視。隨著模型持續(xù)“膨脹”，內(nèi)存容量也要水漲船高。CPU通過(guò)增加更多的內(nèi)存通道，能夠支持更大的內(nèi)存容量、提供更大的內(nèi)存帶寬，同時(shí)也能更好地適配DDR5內(nèi)存，這對(duì)于提升處理器的整體性能至關(guān)重要。只有內(nèi)存容量與速率同步增長(zhǎng)，才能更好地勝任AI推理任務(wù)。

AMD Genoa系列所有型號(hào)的CPU均支持高達(dá)4800MT/s的DDR5內(nèi)存速度，雙路理論上可支持的內(nèi)存帶寬最大可達(dá)920Gbps。另外，每個(gè)AMD Genoa CPU擁有12個(gè)內(nèi)存通道，支持多達(dá)24個(gè)DIMM模塊‌。這些特性使得AMD Genoa能夠?yàn)锳I推理提供充足的內(nèi)存帶寬和容量。AMD Genoa CPU的內(nèi)存設(shè)計(jì)兼顧了效率與穩(wěn)定性，基于高速的DDR5內(nèi)存與優(yōu)化的內(nèi)存架構(gòu)，可以確保高負(fù)載情況下系統(tǒng)的穩(wěn)定運(yùn)行和數(shù)據(jù)處理的快速響應(yīng)�？傊�，AMD Genoa CPU不會(huì)在內(nèi)存上“掉鏈子”。

唯一同時(shí)擁有GPU、CPU、FPGA平臺(tái)性解決方案的AMD，其全面性以及針對(duì)特定應(yīng)用需求的設(shè)計(jì)和優(yōu)化能力，使其在AIGC時(shí)代能夠繼續(xù)挺立潮頭。尤其是在AI推理應(yīng)用中，AMD EPYC CPU受到了眾多企業(yè)用戶(hù)的青睞。AMD第四代Genoa EPYC 9004系列的推出，讓AI推理的執(zhí)行能力又邁上了一個(gè)新臺(tái)階。

AMD EPYC是“多面手”

從金融安全到氣象預(yù)報(bào)，從醫(yī)療診斷到游戲娛樂(lè)，AI推理技術(shù)應(yīng)用的場(chǎng)景可謂五花八門(mén)、多種多樣。也正因?yàn)槿绱耍�針�?duì)不同的應(yīng)用領(lǐng)域和具體的場(chǎng)景，選擇最適合的服務(wù)器乃至CPU型號(hào)，才能做到事半功倍。

面向AI推理選擇CPU時(shí)，應(yīng)綜合考慮其計(jì)算速度、延遲、AI優(yōu)化能力、性?xún)r(jià)比，以及軟件生態(tài)等諸多因素，以確保AI推理應(yīng)用的性能和效率都能達(dá)到最佳。從AMD EPYC 9334、AMD EPYC 9454、AMD EPYC 9534等CPU的性能以及綜合能力來(lái)看，都能各自撐起AI推理應(yīng)用的一片天。

從相似之處來(lái)說(shuō)，AMD EPYC 9334、AMD EPYC 9454、AMD EPYC 9534都具有高主頻、多核心、大帶寬等優(yōu)勢(shì)，具有非常優(yōu)異的性?xún)r(jià)比和能效比。舉例來(lái)說(shuō)，由于Zen 4架構(gòu)的引入，AMD EPYC 9004相比上一代產(chǎn)品，在每時(shí)鐘周期執(zhí)行指令數(shù)上提升了約14%，再加上更高的頻率，大大提升了性能。再比如，AMD EPYC 9004擁有更多的核心與線(xiàn)程數(shù)量，相比上一代產(chǎn)品增加了50%，最高可達(dá)96個(gè)核心，而且支持同步多線(xiàn)程，兼具高并發(fā)與低延遲的優(yōu)勢(shì)。另外，AMD EPYC 9004引入了DDR5內(nèi)存，這是目前較新的內(nèi)存標(biāo)準(zhǔn)，再加上擴(kuò)展到12個(gè)內(nèi)存通道，以及多達(dá)128條PCIe 5.0通道，如同為大規(guī)模數(shù)據(jù)傳輸鋪就了“高速公路”，使得CPU在處理海量數(shù)據(jù)和高性能計(jì)算任務(wù)時(shí)，具有更高的效率和速度。AMD EPYC 9004整體上的優(yōu)異表現(xiàn)，讓AI推理變得更加快捷高效。

AMD EPYC 9334、AMD EPYC 9454、AMD EPYC 9534又各具所長(zhǎng)，能夠滿(mǎn)足不同用戶(hù)和特定工作負(fù)載的需求。AMD EPYC 9334 2.70GHz 32核處理器集更多功能于一身，通用性最強(qiáng)，并以高性能、高效率、強(qiáng)大的虛擬化能力和出色的散熱管理著稱(chēng)，可以滿(mǎn)足各種數(shù)據(jù)處理量大和標(biāo)準(zhǔn)企業(yè)基礎(chǔ)架構(gòu)應(yīng)用程序所需。AMD EPYC 9454 2.75GHz 48核處理器，支持DDR5-4800內(nèi)存，配備256MB的高速緩存，功耗為290W。這些特性使得AMD EPYC 9454成為處理大量數(shù)據(jù)和運(yùn)行復(fù)雜計(jì)算任務(wù)時(shí)的理想選擇。AMD EPYC 9534讓人印象最深刻的就是它的“均衡性”。它擁有2.45GHz基準(zhǔn)頻率、64個(gè)核心和256MB三級(jí)緩存，不僅性能更高，而且可以更高效地調(diào)配系統(tǒng)資源。在AI推理方面，AMD EPYC 9534是最優(yōu)性?xún)r(jià)比之選。

AI無(wú)止境 CPU再升級(jí)

未來(lái)，AI推理還有很長(zhǎng)的路要走，包括推理分析、創(chuàng)意生成、情緒智能、多模態(tài)技術(shù)等，最終要與人類(lèi)智能對(duì)齊。由此可見(jiàn)，支撐AI推理的服務(wù)器和CPU重任在肩。‌

隨著數(shù)據(jù)量的迅猛增長(zhǎng)，以及算法復(fù)雜性的持續(xù)提升，成本與技術(shù)復(fù)雜度方面的挑戰(zhàn)與日俱增，需要不斷增加新的內(nèi)核、GPU等，在提高處理效率的同時(shí)，還要兼顧能耗等相關(guān)問(wèn)題。乘著AI的翅膀，AMD EPYC處理器也要在高性能計(jì)算、安全性提升、能效優(yōu)化以及適應(yīng)未來(lái)新技術(shù)發(fā)展等方面百尺竿頭，更進(jìn)一步。