AMD = A Modular Datacenter ?

看起來(lái)似乎有強(qiáng)行把芯片設(shè)計(jì)和數(shù)據(jù)中心建設(shè)拉到一起尬聊的感覺(jué)，但世間也沒(méi)有那么多的一見如故，一些有意義的討論未嘗不是從尬聊開始的。

就我個(gè)人而言，今年已經(jīng)多次在關(guān)于數(shù)據(jù)中心的文章和（線上）分享中提到AMD：“從1月29日開始到2月6日，騰訊會(huì)議每天都在進(jìn)行資源擴(kuò)容，日均擴(kuò)容云主機(jī)接近1.5萬(wàn)臺(tái)，8天總共擴(kuò)容超過(guò)10萬(wàn)臺(tái)云主機(jī)，共涉及超百萬(wàn)核的計(jì)算資源投入，全部由騰訊云自研的服務(wù)器星星海提供支撐?！边@款服務(wù)器基于AMD去年8月發(fā)布的代號(hào)Rome（羅馬）的第二代EPYC處理器，最大的特點(diǎn)就是核多——雙路配置再算上超線程，一臺(tái)采用騰訊云定制版EPYC處理器的星星海服務(wù)器可以為云服務(wù)器提供多達(dá)180個(gè)核——也就是說(shuō)，這100萬(wàn)核服務(wù)器資源，“只”需要不到6000臺(tái)該款自研服務(wù)器即可滿足。

騰訊云星星海SA2服務(wù)器采用2U高度結(jié)合類似遠(yuǎn)程散熱片（remote heat-sink）的設(shè)計(jì)，配合6個(gè)60mm風(fēng)扇，據(jù)稱可以支持2個(gè)300W級(jí)別的CPU（AMD第二代EPYC處理器公開版本最高TDP為280W）

實(shí)際上，官方名稱為AMD EPYC 7002系列的第二代EPYC處理器最多能提供64個(gè)核芯、128個(gè)線程，騰訊云定制版本選擇了48核芯（96線程）而已。至少在CPU的核數(shù)（core count）上，AMD給Intel（英特爾，昵稱“大英”）造成了很大的壓力。上個(gè)月英特爾發(fā)布了代號(hào)為Cooper Lake的第三代至強(qiáng)可擴(kuò)展處理器（Xeon Scalable Processor，XSP），主打四路和八路市場(chǎng)，四路配置可提供112核芯224線程，核數(shù)上堪與雙路EPYC 7002系列抗衡，為10nm制程的Ice Lake爭(zhēng)取時(shí)間。

摩爾定律難以延續(xù)的后果就是CPU的功耗持續(xù)攀升，第一代至強(qiáng)可擴(kuò)展處理器（公開版）里TDP最高的205W，到第三代已是尋常，250W算是克制——畢竟要考慮四路的散熱需求

話說(shuō)上一次AMD搞得大英如此狼狽，還要追溯到本世紀(jì)初的64位路線之爭(zhēng)。眾所周知，英特爾是x86及其生態(tài)（特別是軟件生態(tài)）的締造者，屬于“親媽”級(jí)別，AMD充其量是個(gè)“后媽”。但是，x86幾十年的發(fā)展史證明，“親媽”未必就比“后媽”更了解孩子的發(fā)展?jié)摿?。也可以前一陣大火的劇集《隱秘的角落》為例，看完就會(huì)發(fā)現(xiàn)，對(duì)于朱朝陽(yáng)的隱藏能力，后媽的認(rèn)知似乎先于親媽。

Cooper Lake：你看我還有機(jī)會(huì)嗎？

簡(jiǎn)單的說(shuō)，Intel建立發(fā)展x86生態(tài)，AMD堅(jiān)定捍衛(wèi)x86路線——不斷改造作為生態(tài)核心的x86處理器，煥顏新生。

盛衰無(wú)常：架構(gòu)與制程的雙簧

雖然已經(jīng)在過(guò)去十年中逐漸淪為愛好者口中的“牙膏廠”，但在歷史上，英特爾一直不乏創(chuàng)新精神。對(duì)待x86的態(tài)度可以算是這種精神的一個(gè)體現(xiàn)，起碼在進(jìn)入64位時(shí)代之前，英特爾其實(shí)不太瞧得上x86，總覺(jué)得這個(gè)娃太low——可能是親媽更了解孕育過(guò)程中的種種先天不足吧——幾次三番地在重大的轉(zhuǎn)折點(diǎn)，想要“與時(shí)俱進(jìn)”，重起爐灶，帶給用戶“船新體驗(yàn)”。反而是AMD屢屢在關(guān)鍵時(shí)刻出來(lái)捍衛(wèi)x86，通過(guò)翻新加蓋來(lái)維持其生命力。

64位是關(guān)鍵的轉(zhuǎn)折點(diǎn)。上世紀(jì)九十年代末，還是32位的x86剛“插足”服務(wù)器市場(chǎng)不久，英特爾選擇與惠普（HP）聯(lián)手開發(fā)基于IA-64架構(gòu)的Itanium（安騰）作為接班人，與已經(jīng)64位了的RISC陣營(yíng)大佬們對(duì)抗。然而，AMD認(rèn)為x86還可以搶救一下，決定通過(guò)64位擴(kuò)展來(lái)“續(xù)命”，并在2003年4月發(fā)布首款64位x86處理器Opteron，兩年后又把x86(-64)帶入多核時(shí)代。

此時(shí)，英特爾已經(jīng)在IA-64的路上走了十多年。時(shí)過(guò)境遷，當(dāng)初設(shè)定的目標(biāo)并沒(méi)有實(shí)現(xiàn)，而x86擴(kuò)展到64位和多核之后，不僅軟件和應(yīng)用的生態(tài)系統(tǒng)得到了完整的繼承，性能也完全可以一戰(zhàn)。用戶用腳投票，大英不得不從。

第二代EPYC處理器發(fā)布會(huì)上，Google出示2008年7月9日上線的其第100萬(wàn)臺(tái)服務(wù)器的照片，追訴與AMD的革命友情……還是臺(tái)四路服務(wù)器

英特爾痛定思痛，決定用架構(gòu)和制程構(gòu)筑雙保險(xiǎn)，在2007年提出了Tick-Tock（取自于時(shí)鐘的“嘀-嗒”周期）量產(chǎn)模式，即先通過(guò)制程升級(jí)將芯片面積縮小，是為Tick；再基于操練純熟的制程改用新的微架構(gòu)，是為Tock。當(dāng)時(shí)的英特爾工廠在技術(shù)和產(chǎn)能上都占據(jù)明顯優(yōu)勢(shì)，只要架構(gòu)上回到正軌，左右手組合拳一出，產(chǎn)量受限的AMD哪里支撐得?。吭?008年推出Nehalem微架構(gòu)之后，英特爾終于奪回主動(dòng)權(quán)。

在英特爾施加的強(qiáng)大壓力下，AMD在處理器架構(gòu)上也犯了錯(cuò)誤，2011年推出的Bulldozer（推土機(jī)）架構(gòu)采用了即使現(xiàn)在看來(lái)也過(guò)于激進(jìn)的模塊化設(shè)計(jì)。隨著2012年英特爾開啟至強(qiáng)E5時(shí)代，AMD在節(jié)節(jié)失利后不得不退出服務(wù)器市場(chǎng)，上一個(gè)巔峰期徹底結(jié)束。

有道是：福兮禍所依，禍兮福所伏。先賢曾經(jīng)曰過(guò)：縱有架構(gòu)、制程雙保險(xiǎn)，奈何CEO是單點(diǎn)。2016年英特爾推出最后一代至強(qiáng)E5/E7（v4），這是英特爾首批采用14nm制程的服務(wù)器CPU，同時(shí)也宣告了Tick-Tock模式的終結(jié)，改用Process–Architecture–Optimization （制程-架構(gòu)-優(yōu)化）的三步走模式。

在這個(gè)可以簡(jiǎn)稱為PAO的模式里，雖然仍是先制程、后架構(gòu)的節(jié)奏，但新加入的優(yōu)化不管是針對(duì)兩者中的哪一個(gè)還是兼而有之，都起到了拉長(zhǎng)制程換代周期的效果。第三代至強(qiáng)可擴(kuò)展處理器已經(jīng)是第四波采用14nm制程的服務(wù)器CPU，14nm后面的“+”都數(shù)不清楚有幾個(gè)了——還好預(yù)計(jì)年底發(fā)布的Ice Lake將終止這個(gè)“土撥鼠之日”式的制程循環(huán)。

架構(gòu)層面上，從代號(hào)Skylake的初代至強(qiáng)可擴(kuò)展處理器開始，由環(huán)形總線改為6×6的2D-mesh，然后持續(xù)“優(yōu)化”。在架構(gòu)的角度，Mesh和環(huán)形總線都屬于所謂傳統(tǒng)的單片（Monolithic）式架構(gòu)，優(yōu)點(diǎn)是整體性好，涉及到I/O的性能比較有保證；缺點(diǎn)是對(duì)制程不太友好，隨著規(guī)模的擴(kuò)大，譬如核數(shù)和Cache的增加，良率上的挑戰(zhàn)很大，高端產(chǎn)品的成本下不來(lái)，這對(duì)于追求高核數(shù)的云計(jì)算服務(wù)提供商顯然不是個(gè)好消息。

至強(qiáng)E5/E7 v4的四環(huán)（2組雙向環(huán)形總線）與至強(qiáng)SP的6×6 Mesh架構(gòu)

關(guān)鍵時(shí)刻，又是沉寂多年的AMD挺身而出，接盤Tick-Tock，以自己的方式“維護(hù)”摩爾定律。

這個(gè)方式，就是模塊化。

MCM：同構(gòu)對(duì)等模塊化的利與弊

先簡(jiǎn)單回顧一下AMD之前的模塊化設(shè)計(jì)為什么會(huì)失敗。Bulldozer架構(gòu)的模塊化設(shè)計(jì)，建立在AMD對(duì)未來(lái)應(yīng)用趨勢(shì)的不靠譜假設(shè)上，即整數(shù)（Integer，INT）運(yùn)算將占據(jù)絕對(duì)主導(dǎo)地位，結(jié)論是增加整數(shù)運(yùn)算單元，減少浮點(diǎn)（Floating Point，F(xiàn)P）運(yùn)算單元。于是，Bulldozer架構(gòu)很“雞賊”的采用了兩個(gè)（具有完整整數(shù)運(yùn)算單元的）核芯共用一個(gè)浮點(diǎn)運(yùn)算單元的模塊化設(shè)計(jì)，兩個(gè)模塊就可以提供4個(gè)核芯（但只有2個(gè)浮點(diǎn)運(yùn)算單元），6核以此類推。

模塊化本身并沒(méi)有錯(cuò)，Intel Nehalem的模塊化設(shè)計(jì)就很成功。Bulldozer錯(cuò)在“拆東墻補(bǔ)西墻”，結(jié)果連補(bǔ)強(qiáng)都算不上

不用放馬后炮，這也是一個(gè)妄揣用意（用戶意志）的行為。即使是在AI大行其道的今天，第二代英特爾至強(qiáng)可擴(kuò)展處理器已經(jīng)支持INT8加速推理運(yùn)算，也不能和通常意義上CPU的整數(shù)運(yùn)算劃等號(hào)。貿(mào)然押寶，錯(cuò)了當(dāng)然怪不得別人。

不難看出，Bulldozer的模塊化，與之前Intel Nehalem架構(gòu)的模塊化設(shè)計(jì)，只限于架構(gòu)層面，并不是為制程考慮——CPU不論幾個(gè)模塊多少核，都是作為一個(gè)整體（die）來(lái)制造的，畢竟十年前制程還沒(méi)到瓶頸。

然而，到了AMD以代號(hào)Naples的（第一代）EPYC處理器重返服務(wù)器市場(chǎng)的2017年，摩爾定律放緩的跡象已很明顯。同樣的14nm（可能還沒(méi)有英特爾的先進(jìn)）制程，AMD如何以更低的成本提供更多的核芯？

EPYC系列處理器基于AMD的Zen系列架構(gòu)，從Zen、Zen+到Zen 2，以及規(guī)劃中的Zen 3的發(fā)展路線，有點(diǎn)像前面提到的Tick-Tock：開發(fā)一個(gè)良好的基礎(chǔ)然后交替演進(jìn)，不斷優(yōu)化。

與先輩們不同，Zen系列的模塊化明顯側(cè)重于解決制程面對(duì)的挑戰(zhàn)，即芯片在物理上被切割為多個(gè)die（晶片），通過(guò)Infinity Fabric（IF）互連為一個(gè)整體，所以每個(gè)die就是一個(gè)模塊，但不一定是模塊化設(shè)計(jì)的最小單位。

第一代EPYC處理器的4個(gè)die及Infinity Fabric示意

還是從初代EPYC處理器所采用的Zen架構(gòu)說(shuō)起。Zen確立了該系列計(jì)算單元模塊化的最小單位CCX（Core Complex，核芯復(fù)合

體），每個(gè)CCX包括4個(gè)Zen核芯（Core），以及8 MiB共享L3 Cache，每核芯2 MiB。

從AMD公開的示意圖來(lái)看，各片（Slice）L3 Cache之間的連接方式像是full-mesh（全網(wǎng)狀，即每?jī)蓚€(gè)點(diǎn)之間都有直接連接，無(wú)需跳轉(zhuǎn)），CCX內(nèi)部的跨核芯L3 Cache訪問(wèn)是一致的

Zen的CCD里除了2個(gè)CCX，還有2個(gè)DDR內(nèi)存控制器（各對(duì)應(yīng)1個(gè)內(nèi)存通道），用于片上（die之間）互連的Infinity Fabric（IF On-Package，IFOP），而CPU之間互連的Infinity Fabric（IF Inter-Socket，IFIS）與對(duì)外的PCIe通道是復(fù)用的——這個(gè)知識(shí)點(diǎn)在后面會(huì)用到。

芯片層面的模塊是CCD（Core Complex Die），包括2個(gè)CCX，共8個(gè)Core、4 MiB L2 Cache、16 MiB L3 Cache。官方名稱為AMD EPYC 7001系列的第一代EPYC處理器只有CCD這一種（die層面的）模塊，所以每個(gè)CCD除了2個(gè)CCX，還有大量I/O接口器件，包括DDR、Infinity Fabric/PCIe控制器，CCX占CCD面積的比例只比一半略多（56%）。

這個(gè)多芯片模塊（multi-chip module，MCM）架構(gòu)的代號(hào)為Zeppelin（齊柏林），四個(gè)這樣的“復(fù)合型”CCD構(gòu)成完整的第一代EPYC處理器，最多能提供32核芯、64 MiB L3 Cache，直接減少CCD的數(shù)量就會(huì)得到面向PC市場(chǎng)的高端（2×CCD）和主流產(chǎn)品（單CCD）。

按照AMD提供的數(shù)據(jù)：每個(gè)die的面積為213mm2（平方毫米），4個(gè)die的MCM封裝總面積為852mm2，如果要用大型單一芯片來(lái)實(shí)現(xiàn)，面積可以縮小到777mm2，大約節(jié)省10%，但是制造和測(cè)試成本要提高約40%，完全32核的收益下降約17%、成本提高約70%。投入產(chǎn)出比當(dāng)然非常劃算，也變相的說(shuō)出了大英的苦衷——可是，后者為什么還在堅(jiān)持單片路線呢？

MCM這種完全對(duì)稱的模塊化方案，如果套用到數(shù)據(jù)中心領(lǐng)域，相當(dāng)于一個(gè)園區(qū)，幾棟建筑結(jié)構(gòu)和功能完全一樣，都包含了機(jī)房、變配電、柴發(fā)、冷站、辦公和接待區(qū)域等。好處當(dāng)然是彼此之間沒(méi)有硬性依賴，每棟建筑都可以獨(dú)立作為數(shù)據(jù)中心使用，照此復(fù)制就可成倍擴(kuò)大規(guī)模；缺點(diǎn)是沒(méi)有其他類型的建筑，而有些功能還是需要專門的建筑集中和分區(qū)管理的，譬如人員辦公和統(tǒng)一接待……

如果一個(gè)數(shù)據(jù)中心園區(qū)只有黃框里這一種建筑（模塊）……實(shí)際上，加上左邊的66KV變電站，這里也只是整個(gè)園區(qū)的一角

況且，與絕大多數(shù)的數(shù)據(jù)中心園區(qū)不同，CPU對(duì)各模塊之間的耦合度要求高得多，否則無(wú)法作為一個(gè)整體來(lái)運(yùn)作，分工合作快速完成數(shù)據(jù)處理等任務(wù)。而這，正是MCM方案的局限性所在。

第一代EPYC的每個(gè)CCD都有“自己的”內(nèi)存和I/O（主要是PCIe）通道，加上CCD之間的互連，每個(gè)CCD的外部I/O都很“重度”

多芯片（對(duì)稱）設(shè)計(jì)、全“分布式”架構(gòu)的特點(diǎn)是內(nèi)存和I/O擴(kuò)展能力與CCD數(shù)量同步，隨著核芯數(shù)量的增加，內(nèi)存和I/O的總“容量”（包括帶寬）會(huì)增加，這當(dāng)然是優(yōu)點(diǎn)，但缺點(diǎn)也隨之而來(lái)：

首先是局部性（locality）會(huì)降低I/O的性能，主要是跨CCD的內(nèi)存訪問(wèn)時(shí)延（latency）明顯上升。因?yàn)槊拷M（2個(gè)）CCX都有自己的本地內(nèi)存，如果要訪問(wèn)其他CCD上連接的內(nèi)存，要額外花費(fèi)很多時(shí)間，即所謂的NUMA（Non-Uniform Memory Access，非一致性內(nèi)存訪問(wèn)）。雖然Zen的CCD上有足夠多的IFOP，讓4個(gè)CCD之間能組成全連接（full-mesh），無(wú)需經(jīng)其他CCD跳轉(zhuǎn)（類似于CCX內(nèi)4個(gè)核芯之間的狀況），但I(xiàn)/O路徑畢竟變長(zhǎng)了；如果要訪問(wèn)其他CPU（插槽）連接的內(nèi)存，還要經(jīng)過(guò)IFIS，時(shí)延會(huì)進(jìn)一步上升。

CCD里的兩個(gè)CCX也通過(guò)Infinity Fabric連接，同樣會(huì)增加跨CCX的Cache訪問(wèn)時(shí)延

根據(jù)AMD提供的數(shù)據(jù)，不同內(nèi)存訪問(wèn)的時(shí)延水平大致如下：

隨著訪問(wèn)路徑變長(zhǎng)和復(fù)雜，時(shí)延以大約一半的比例增加，這個(gè)幅度還是很明顯的。

同一個(gè)CCD里的內(nèi)存訪問(wèn)沒(méi)有明顯差異，而跨CCD的內(nèi)存訪問(wèn)，時(shí)延增加就很明顯了

然后是PCIe，前面已經(jīng)有圖說(shuō)明，Zen用于CPU之間互連的IFIS與PCIe通道是復(fù)用的，即單路（單CPU）的情況下全都用于PCIe通道，共有128個(gè)；雙路（雙CPU）的情況下每個(gè)CPU都要拿出一半來(lái)作為（兩者之間的）IFIS，所以（對(duì)外的）PCIe通道數(shù)量仍然是128個(gè)，沒(méi)有隨著CPU數(shù)量的增加而增長(zhǎng)。

簡(jiǎn)單歸納一下，Zen架構(gòu)的問(wèn)題是：核數(shù)越多，內(nèi)存訪問(wèn)的一致性越差；CPU數(shù)量增加，外部I/O的擴(kuò)展能力不變——NUMA引發(fā)的跨CPU訪問(wèn)時(shí)延增長(zhǎng)問(wèn)題還更嚴(yán)重。

單CPU就能提供128個(gè)PCIe 3.0通道原本是第一代EPYC處理器的一大優(yōu)勢(shì)，但雙CPU仍然是這么多，就略顯尷尬了

核數(shù)進(jìn)一步增加的困難很大，不論是增加每個(gè)CCD的核數(shù)，還是增加CCD的數(shù)量，都要面臨互連的復(fù)雜度問(wèn)題，也會(huì)進(jìn)一步惡化一致性。

說(shuō)得更直白一些，就是Zen架構(gòu)的擴(kuò)展能力比較有限，難以支持更大的規(guī)模。

既然雙路配置有利有弊，AMD又是時(shí)隔多年重返服務(wù)器市場(chǎng)，單路一度被認(rèn)為是EPYC的突破口，譬如戴爾（Dell）在2018年初推出三款基于第一代EPYC的PowerEdge服務(wù)器，其中就有兩款是單路。

1U的R6415和2U的R7415都是單路服務(wù)器

類似的情況在通常用不到那么多核及I/O擴(kuò)展能力的PC市場(chǎng)體現(xiàn)得更為明顯，在只需要一到兩個(gè)CCD即可的情況下，消費(fèi)者更多感受到的是低成本帶來(lái)的高性價(jià)比，所以“AMD Yes!”的鼓噪主要來(lái)自個(gè)人用戶，服務(wù)器市場(chǎng)在等待EPYC的進(jìn)一步成熟。

只有1個(gè)die的Ryzen將Zen架構(gòu)的缺點(diǎn)最小化，獲得個(gè)人用戶的喜愛也就不足為奇了

Chiplet：異構(gòu)混合模塊化的是與非

時(shí)隔兩年之后，AMD推出基于Zen 2架構(gòu)的第二代EPYC處理器，通過(guò)架構(gòu)與制程一體優(yōu)化，達(dá)到最高64核、256 MiB L3 Cache，分別是第一代EPYC的2倍和4倍，內(nèi)存訪問(wèn)一致性和雙路的擴(kuò)展性也有不同程度的改善，終于獲得了一眾云服務(wù)提供商（CSP）的青睞。

Zen 2的整體設(shè)計(jì)思維是Zen的延續(xù)，但做了很多明顯的改進(jìn)，配合制程（部分）升級(jí)到7nm，突破了Zen和Zen+在規(guī)模擴(kuò)展上的限制。

首先，Zen2架構(gòu)延續(xù)了Zen/Zen+架構(gòu)每個(gè)CCD有2個(gè)CCX、每個(gè)CCX有4個(gè)核芯共享L3 Cache的布局，但是每個(gè)核芯的L3 Cache增大一倍，來(lái)到4MiB，每個(gè)CCX有16 MiB L3 Cache，是Zen/Zen+架構(gòu)的兩倍。

CCD層面的主要變化是把DDR內(nèi)存、對(duì)外的Infinity Fabric（IFOP/IFIS）和PCIe控制器等I/O器件剝離，以便于升級(jí)到7nm制程。AMD表示，第一代EPYC中，上述I/O器件占CCD芯片面積的比例達(dá)到44%，從制程提高到7nm中獲益很??；而第二代EPYC的7nm CCD中，CPU和L3 Cache這些核心計(jì)算、存儲(chǔ)器件的占比，高達(dá)86%，具有很好的經(jīng)濟(jì)性。

被從CCD中拿出來(lái)的DDR內(nèi)存控制器、Infinity Fabric和PCIe控制器等I/O器件，組成了一個(gè)單獨(dú)的I/O芯片，即I/O Die，簡(jiǎn)稱IOD，仍然采用成熟的14nm工藝。

自左至右，分別是傳統(tǒng)單片式、第一代EPYC的MCM、第二代EPYC的Chiplet三種架構(gòu)的示意圖

一個(gè)IOD居中，最多8個(gè)CCD圍繞著它，AMD把這種做法稱為Chiplet（小芯片）。

如果繼續(xù)拿數(shù)據(jù)中心的模塊化來(lái)強(qiáng)行類比，相當(dāng)于把整個(gè)園區(qū)內(nèi)的變電站、柴發(fā)、冷站、辦公和接待區(qū)域都整合到一個(gè)建筑里，位于園區(qū)中央，周圍是構(gòu)造完全相同的一座座機(jī)房樓……你說(shuō)，這樣一個(gè)所有機(jī)房樓都離不開的建筑，該有多重要？

僅從布局看，和第二代EPYC處理器有點(diǎn)像的數(shù)據(jù)中心，但變電站在園區(qū)外，制冷也是分布式的（與4個(gè)機(jī)房模塊在一起），中間的建筑并沒(méi)有上面設(shè)想的那么重要

第一代EPYC處理器（Naples）與第二代EPYC處理器（Rome）的片上布局對(duì)比，后者是1個(gè)IOD + 8個(gè)CCD，共9個(gè)小芯片組成的混合多die設(shè)計(jì)

因?yàn)镃CD的數(shù)量增加一倍，所以Rome的核數(shù)可以達(dá)到Naples的兩倍；因?yàn)槊總€(gè)CCX/CPU核芯的L3 Cache容量也增加了一倍，所以Rome的L3 Cache總?cè)萘靠梢赃_(dá)到Naples的四倍。

14nm IOD + 7nm CCD的組合——因?yàn)椴皇侨可?jí)到7nm，所以我更愿意稱之為制程的“優(yōu)化”——體現(xiàn)了更高的擴(kuò)展性和靈活性，使第二代EPYC能夠以較低的制造成本提供更豐富的產(chǎn)品組合，提高了市場(chǎng)競(jìng)爭(zhēng)力。但是，事情并沒(méi)有看起來(lái)這么簡(jiǎn)單，要了解產(chǎn)品的具體構(gòu)成和預(yù)期的性能表現(xiàn)，您還需要繼續(xù)往下看。

2019年8月，第二代EPYC正式發(fā)布后不久，AMD在Hot Chips大會(huì)上介紹了Zen 2產(chǎn)品的Chiplet設(shè)計(jì)。可能是之前有Zen+架構(gòu)采用12nm制程的緣故吧，IOD的制程被寫成了12nm，其他場(chǎng)合的官方材料都是14nm，所以我們還是以后者為準(zhǔn)

今年2月IEEE的ISSCC（International Solid-State Circuits Conference，國(guó)際固態(tài)電路峰會(huì)）2020上，AMD更詳細(xì)的介紹了Zen 2這一代產(chǎn)品的設(shè)計(jì)。結(jié)合前一幅圖可以看到，第二代EPYC的IOD具有83.4億晶體管，數(shù)量與同樣采用14nm制程的英特爾Skylake/Cascade Lake相當(dāng)——雖然兩者的晶體管類型構(gòu)成有很大差別，但可以作為一個(gè)參照，說(shuō)明這個(gè)IOD自身的規(guī)模和復(fù)雜度。

從紅框中的選項(xiàng)來(lái)看，EPYC 7302 CPU有4個(gè)CCD，每個(gè)CCX有2個(gè)核芯，可以選擇各啟用1個(gè)

IOD集中所有I/O器件的一個(gè)好處是，CPU能提供的內(nèi)存通道數(shù)量與CCD的數(shù)量無(wú)關(guān)。E企實(shí)驗(yàn)室前一陣測(cè)試了基于第二代EPYC處理器的Dell PowerEdge R7525服務(wù)器，送測(cè)配置包括2個(gè)AMD EPYC 7302處理器，從PowerEdge R7525的BIOS設(shè)置中可以看到，這款16核的CPU有4個(gè)CCD（而不是8個(gè)），應(yīng)該對(duì)應(yīng)下圖中右二的情形：

上方柱狀圖是AMD列出7+14nm Chiplet方案與假設(shè)的單片7nm方案相比，成本優(yōu)勢(shì)可以達(dá)到一半以上（64核沒(méi)有假設(shè)，可能是指單片式很難制造）；下方從左至右依次是8、6、4、2個(gè)CCD的布局，原則是盡可能的對(duì)稱

雖然7302在EPYC 7002系列產(chǎn)品中定位偏低端，只有16個(gè)核芯，用4個(gè)CCX就能滿足，但是它擁有128MiB的L3 Cache，這又需要8個(gè)CCX才可以。因此，7302的每個(gè)CCX只有2個(gè)核芯，享受原本屬于4個(gè)核芯的16 MiB L3 Cache。

從EPYC 7002系列的配置表中可以看出，7302下面72開頭的產(chǎn)品才是真正的低端，譬如同樣是16核的7282，不僅L3 Cache容量只有7302的一半（倒是符合每核4 MiB的“標(biāo)配”），而且僅支持4個(gè)內(nèi)存通道，也是7302等產(chǎn)品的一半——說(shuō)明其CCD數(shù)量是2個(gè)，就像前一幅圖右下方所示的情況——4個(gè)內(nèi)存通道配置的運(yùn)行頻率也低，只有DDR4-2667，與標(biāo)準(zhǔn)的8通道DDR4-3200相比，理論內(nèi)存帶寬僅為40%多

Dell PowerEdge R7525用戶手冊(cè)里對(duì)內(nèi)存條的安裝位置有很詳細(xì)的說(shuō)明，畢竟插滿8個(gè)內(nèi)存通道和只用4個(gè)內(nèi)存通道，性能差距太大

IOD集中所有I/O對(duì)性能也有好處，因?yàn)閮?nèi)存控制器集中在一個(gè)芯片上，有助于降低內(nèi)存訪問(wèn)的局部性（NUMA）。不過(guò)，AMD在很多場(chǎng)合放出的示意圖很有誤導(dǎo)性，容易讓人以為，對(duì)Rome（下圖右側(cè)）來(lái)說(shuō)，同一個(gè)CPU上的內(nèi)存訪問(wèn)是不存在NUMA的。

從上面的數(shù)據(jù)來(lái)看，第二代EPYC處理器的“本地”內(nèi)存訪問(wèn)時(shí)延有所增長(zhǎng)，畢竟內(nèi)存控制器和CCX不在一個(gè)die上了；收益是跨CPU內(nèi)存訪問(wèn)的時(shí)延有所下降，總體更為平均

好在，稍微詳細(xì)一點(diǎn)的架構(gòu)示意圖表明，一個(gè)EPYC 7002系列CPU內(nèi)部的內(nèi)存訪問(wèn)仍然會(huì)有“遠(yuǎn)近”之分：

Dell PowerEdge R7525的BIOS配置中，可以在L3 Cache的NUMA設(shè)置為Enabled之后，看到每個(gè)CPU內(nèi)部其實(shí)還是可以像EPYC 7001系列一樣，分成4個(gè)不同的NUMA區(qū)域

這時(shí)學(xué)術(shù)性會(huì)議的價(jià)值就體現(xiàn)出來(lái)。AMD在ISSCC 2020上的演講表明，完整版的Server IOD要承載的功能太多，已經(jīng)有太多的晶體管，中間都被Infinity Fabric和PCIe相關(guān)的I/O所占據(jù)，內(nèi)存控制器只能兩兩一組布置在IOD的四角，每2個(gè)CCD就近共享2個(gè)內(nèi)存控制器。由于中間已經(jīng)沒(méi)有走線空間，只能構(gòu)成一個(gè)沒(méi)有對(duì)角線連接的2D-mesh拓?fù)洹獌H從拓?fù)浣嵌榷摚€不如EPYC 7001系列4個(gè)CCD的full-mesh連接方式。所以，臨近的訪問(wèn)有長(zhǎng)短邊造成的延遲差異，對(duì)角線的內(nèi)存訪問(wèn)因?yàn)橐哌^(guò)一長(zhǎng)一短兩條邊，沒(méi)有捷徑可走，自然要更慢一些。

注意放大看IOD布局示意圖和右側(cè)1～4的不同等級(jí)時(shí)延注解，可以理解為每個(gè)CPU內(nèi)部仍然分為4個(gè)NUMA區(qū)域：本地、短邊、長(zhǎng)邊、（拐個(gè)彎才能抵達(dá)的）對(duì)角線

Hot Chips大會(huì)上的這張示意圖突出了不同功能的Infinity Fabric導(dǎo)致的IOD中部擁擠，和DDR內(nèi)存控制器都被擠到邊角上的感覺(jué)。結(jié)合前一張圖，不難理解，像EPYC 7282這樣只有2個(gè)CCD對(duì)角線布置的低端SKU，另一條對(duì)角線上的4個(gè)DDR內(nèi)存控制器主要起增加內(nèi)存容量的作用，不如只保留CCD就近的4個(gè)內(nèi)存通道

總之，不管是EPYC 7001系列的MCM，還是EPYC 7002系列的Chiplet，隨著芯片數(shù)量的增長(zhǎng)，性能肯定會(huì)受到越來(lái)越明顯的影響（而不是近乎線性的同步提升），只是好的架構(gòu)會(huì)延緩總體性能增長(zhǎng)的衰減速度。

這里我們可以回過(guò)頭來(lái)看看同樣基于Zen 2架構(gòu)的第三代AMD Ryzen處理器，主流PC產(chǎn)品沒(méi)有那么多核數(shù)要求，只用2個(gè)CCD即可滿足，所以其配套的Client IOD（cIOD）正好是Server IOD的四分之一，從前面圖中晶體管數(shù)量的對(duì)比（20.9億 vs. 83.4億）也可以看出來(lái)。

代號(hào)“Matisse”的第三代Ryzen，仍然可以看到兩個(gè)DDR4內(nèi)存控制器偏居一隅的“遺存”，但對(duì)兩個(gè)CCD已經(jīng)公平了很多，基本不存在NUMA問(wèn)題。也就難怪“AMD真香”黨在消費(fèi)類用戶中比例要大得多

盡管CCD升級(jí)到了7nm，但更多核芯、更大得多的L3 Cache，意味著整體功耗的上升，譬如同樣16核的7302和7282，前者Cache大一倍，頻率略有提高，默認(rèn)TDP就來(lái)到了155W，Dell為送測(cè)的R7525配備了180W的散熱器——而EPYC 7282的TDP則“只有”120/150W。當(dāng)然，CCD應(yīng)用7nm的效果還是比較明顯的，同樣16核、L3 Cache只有7302四分之一，運(yùn)行頻率還低500MHz的7301，TDP也有150/170W，基本與7302相當(dāng)。

為了滿足云計(jì)算、高性能計(jì)算（HPC）和虛擬化等場(chǎng)景的用戶需求，AMD又向EPYC 7002系列CPU中增加了大量多核大(L3) Cache以及核數(shù)雖少但頻率很高的型號(hào)（如今年初發(fā)布的7Fx2系列），導(dǎo)致全系列產(chǎn)品中TDP在200W以上的SKU占比很高，也給服務(wù)器的散熱設(shè)計(jì)帶來(lái)了更高的挑戰(zhàn)。

200W+的CPU將越來(lái)越常見

EPYC 7002系列的另一大改進(jìn)是PCIe從3.0升級(jí)到4.0，單路仍然是128個(gè)通道，但雙路可以支持多達(dá)160個(gè)通道（譬如Dell PowerEdge R7525的特定配置）——在主板支持的情況下。第一代EPYC處理器推出時(shí)的一個(gè)賣點(diǎn)是，為其設(shè)計(jì)的主板也可以支持第二代EPYC處理器。沒(méi)有廣而告之的是，要支持PCIe 4.0，主板需要重新設(shè)計(jì)。用老主板可以更快的把第二代EPYC處理器推向市場(chǎng)，卻不能充分發(fā)揮新CPU的全部能力。

不過(guò)，PCIe 4.0本身就是一個(gè)很大的話題，留待以后（有機(jī)會(huì)的話）專文討論。