Tag: NVIDIA Grace

NVIDIA雖然做不了x86架構處理器，但一直在Arm架構上耕耘，如今更是有了面向數據中心和高性能計算的“Grace”，可以雙芯並聯，還能和Hopper GPU聯手組成超級晶片。 NVIDIA Grace處理器基於Arm Neoverse N2架構，最多144個核心、117MB三級緩存，全球首個支持LPDDR5X ECC內存(總帶寬1TB/)，支持58條PCIe 5.0通道，還有帶寬900GB/的一致性互連接口(七倍於PCIe 5.0)，可運行NVIDIA所有的軟體堆棧與平台，包括RTX、HPC、AI、Omnivers。 NVIDIA此前就宣稱，Grace的能效是當今領先處理器的2倍。 Hot Chips 2023大會上，NVIDIA首席科學家Bill Dally展示了Grace的強悍性能，來自雙路超級晶片，共有288個核心。 對比的競品方案都是頂級的，一個是AMD霄龍9654，雙路192核心384線程，另一個是Intel至強鉑金8480+，雙路112核心224線程。 按照NVIDIA給出的數據，Grace處理器在Weather WRF、MD CP2K、Climate NEMO、CFD OpenFOAM、Graph Analytics GapBS BFS等一系列伺服器負載中，相比AMD整體基本持平，部分優勢項目領先最多達40％，同時遙遙領先Intel，幅度普遍超過50％。 但是別忘了功耗，兩顆Grace 500W，兩顆霄龍9654 640W，兩顆至強鉑金8480+ 700W。 在一個5兆瓦的數據中心中，Grace的性能領先AMD普遍在70-90％，最多竟然達到2.5倍，對比Intel就更是完全碾壓級別的存在了。 來源：快科技

快科技8月9日消息，NVIDIA官方宣布了新一代GH200 Grace Hopper超級晶片平台，全球首發採用HBM3e高帶寬內存，可滿足世界上最復雜的生成式AI負載需求。 NVIDIA 2022年3月推出了，首次將CPU、GPU融合在一塊主板上，不過直到今年5月份才量產。 其中，Grace CPU擁有72個Armv9 CPU核心、198MB緩存，支持1TB/高帶寬的LPDDR5X ECC內存，還支持PCIe 5.0。 Hopper GPU則採用台積電4nm定製工藝，800億電晶體，集成18432個CUDA核心、576個Tenor核心、60MB二級緩存，支持6144-bit HBM高帶寬內存，此前版本配備的是96GB HBM3。 雙路配置的系統中，兩顆新一代GH200超級晶片可帶來144個CPU核心、8PFlops(8千萬億次浮點計算每秒) AI性能、282GB HBM3e內存，容量是現在的3.5倍，而高達10TB/的帶寬也是現在的3倍。 基於NVLink高速總線，GH200超級晶片還可以繼續拓展互連，GPU可以訪問全部的CPU內存，雙路配置下總容量可達1.2TB。 NVIDIA沒有透露採用的HBM3e來自哪家供應商，很可能是SK海力士。 首批基於GH100超級晶片的系統將在2024年第二季度出貨。 順帶一提，AMD Instinct MI300A、MI300X AI加速器分別配備128GB、192GB HBM3，後者帶寬超過5TB/。 來源：快科技

在本周的GTC 2023春季技術大會上，黃仁勛展示了自研數據中心CPU Grace+高性能計算GPU Hopper的合體產品Grace Hopper全貌。 對於推遲交付（從上半年推到下半年）的情況，黃仁勛在會後媒體環節交流時表示，Grace CPU和Grace Hopper超級晶片系統都在製造中，“矽片正在工廠里飛舞”。 他坦言，相對於友商需要花費很多年，NVIDIA只用兩年時間就研製出Grace CPU，這的確是相對短的時間。 據悉，Grace CPU基於ARM v9指令集打造，144核設計，緩存容量396MB，支持LPDDR5X ECC記憶體，帶寬高達1TB/，還支持PCIe 5.0、NVLink-C2C互連等。 號稱比競品x86處理器（AMD Zen4 Genoa）快了1.3倍，節省60%的能耗。 連同GPU，一塊20.3 x 12.7厘米就能放下，兩個一組可以放入1U風冷伺服器機架。 來源：快科技

整整一年前的GTC 2022圖形技術大會上，NVIDIA發布了、，同時利用它們打造了，一是Grace CPU二合一，二是Grace CPU＋Hopper GPU二合一。 一年時間過去了，新一屆GTC 2023大會上，黃仁勛親手拿出了超級CPU＋GPU，這也是我們第一次看到它的實物。 和渲染圖的精美不同，實物顯得有點朴實無華。 小小的PCB電路板上安排了兩顆晶片與大量供電元件，異常緊湊，其中基板較大、晶片較小的是Grace CPU，基板較小、晶片較大的則是Hopper GPU，後者整合封裝了六顆HBM記憶體。 同時，黃仁勛還放出了配備超級CPU＋GPU的伺服器節點效果圖，但沒有做進一步解釋，也沒有透露更多規格、性能，只是提了一句CPU、GPU之間的通信帶寬是傳統PCIe總線的多達10倍。 黃仁勛也沒有說這種產品到底什麼時候出貨。 同時，黃仁勛也拿出了超級CPU二合一，基板加晶片占據了PCB的大部分面積。 封裝好的計算模組也第一次亮相，長寬尺寸為8x5英寸(20.3×12.7厘米)，兩個一組可以放入1U風冷伺服器機架。 黃仁勛稱，Grace相比傳統x86 CPU，性能可領先30％，能效可領先70％，數據中心吞吐能力可領先1倍。 Grace CPU目前已經出樣，合作夥伴正在設計系統方案，但何時出貨上市暫無時間表。 根據此前公布的資料，Hopper GPU採用定製版台積電4nm工藝、全新架構，集成多達800億個電晶體、18432個CUDA核心、576個Tensor核心，支持6144-bit位寬的80GB HBM3/HBM2e高帶寬記憶體，並支持PCIe 5.0、第四代NVLIink，性能號稱四倍於上代A100，功耗最高700W。 Grace CPU採用雙芯合體設計，共計144個Arm架構核心，集成396MB緩存，支持LPDDR5X ECC記憶體，同樣支持PCIe 5.0，內部帶寬3.2TB/，晶片間帶寬1TB/，功耗500W。 來源：快科技

2022年3月的GTC技術大會上，NVIDIA正式發布了，同時打造了兩顆超級晶片，一是Grace CPU二合一，二是Grace CPU＋Hopper GPU二合一。 Grace CPU二合一 Grace CPU＋Hopper GPU二合一 現在，NVIDIA官方詳細揭示了Grace Superchip超級晶片的設計與性能、能效。 它通過NVLink-C2C晶片間互連總線，將兩顆Grace CPU整合在一塊基板上，彼此之間的雙向帶寬多達900GB/。 Grace CPU基於Armv9-A 9.0架構、Neoverse V2 64位內核，以4個128-bit功能單元的方式配置了兩組SIMD矢量指令集，一是SVE 2(縮放矢量擴展第二版)，二是NEON(高級SIMD)。 它還支持LSE(大型系統擴展)，可提供低成本的原子操作，改進CPU通信吞吐。 NVIDIA聲稱，這種核心的能效，是如今伺服器常見x86核心的2倍。 Grace CPU單顆集成72個核心，互相通過3.2TB/超高帶寬的NVIDIA縮放一致性Fabric總線互連，而二合一的超級晶片上就是144個核心。 每核心64KB一級指令緩存、64KB一級數據緩存、1MB二級緩存，一顆超級晶片的所有核心共享234MB三級緩存。 記憶體整合封裝了LPDDR5X，最大容量960GB，最高帶寬1TB/(每一顆500GB/)，還支持ECC。 對比傳統的八通道DDR5，這種設計不但帶寬高出53％，單位功耗也只有1/8。 對比海量帶寬的HBM2e，單位成本只有1/3，容量則可達8倍。 擴展支持八組PCIe 5.0 x16，總帶寬1TB/，還有用於管理的低速PCIe通道。 性能方面，一顆超級晶片的FP64雙精度峰值浮點性能可達7.1TFlops(每秒7.1萬億次計算)，熱設計功耗500W。 NVIDIA對比了AMD Zen3架構的霄龍7763 64核心，雙路組成128核心，號稱性能可領先1.5-2.5倍，能效可領先2.0-3.5倍！ 當然，AMD已經有了Zen4架構、最多96核心的霄龍9004系列，NVIDIA Grace依然還沒有商用。 來源：快科技

NVIDIA設計CPU產品已經有段時間了，不過Tegra從手機、平板到盒子折騰一番後，最終發現自己的歸宿在汽車自動駕駛以及任天堂Switch遊戲機上。 拋開Tegra，NVIDIA在今年的GTC 2022上還公布了名為Grace的處理器，主要用於伺服器、高性能計算等領域。 在本次HotChips 34大會上，NV公布了Grace的更多詳情，感興趣的不妨了解下。 據悉，Grace處理器採用台積電4nm工藝製造，72核ARM v9指令集架構。注意，NV不是直接套用的ARM Cortex公版（比如X1/X2、A710等），而是和蘋果一樣，純自行研製CPU核。 因為NVIDIA只賣兩種Grace處理器集成方案，一是兩顆CPU的雙芯平台，一是Grace CPU+Hopper GPU的聯合平台，所以一套系統就能做到144核規模。 此外，處理器還支持最大512GB的LPDDR5X記憶體（ECC），提供68條PCIe 5.0通道，三級緩存多達117MB。 性能方面，72核在Spec_Int中可拿到370分，大約是AMD EPYC 7742的一半水平（128核Zen2）。 來源：快科技

Hot Chips年度晶片行業盛會將在本月底舉行，Intel、AMD、NVIDIA和眾多業內晶片巨頭都將拿出各家的拳頭產品，秀秀肌肉。 NVIDIA這次會有多場分享，重點覆蓋Hopper GPU計算加速器、Grace CPU伺服器處理器、NVLink高速總線，屆時會有多位高級工程師分享內部架構設計、性能數據。 採用定製版台積電4nm工藝、全新架構，集成多達800億個電晶體、18432個CUDA核心、576個Tensor核心，支持6144-bit位寬的80GB HBM3/HBM2e高帶寬記憶體，並支持PCIe 5.0、第四代NVLIink，性能號稱四倍於上代A100，功耗最高700W。 採用雙芯合體設計，共計144個Arm架構核心，集成396MB緩存，支持LPDDR5X ECC記憶體，帶寬達1TB/，同樣支持PCIe 5.0，功耗500W。 NVIDIA還打造了一顆超級晶片，，通過NVLink-C2C高速總線互連，帶寬達900GB/。 來源：快科技

3月底的GTC大會上，NVIDIA不但發布了新一代Hopper H100 GPU，兩顆晶片合體，官方稱之為「SuperChip」，總計144個核心、396MB緩存、1TB/ LPDDR5X ECC記憶體，功耗500W。 它的性能怎麼樣呢？NVIDIA之前的說法是，SPECrate_2017理論測試中，對比兩顆AMD 64核心的霄龍7742，性能領先1.5倍，但那畢竟是AMD的上一代產品了，架構還是Zen2。 現在，NVIDIA加速計算業務業務副總裁Ian Buck的一次演講中，明確對比了Grace SuperChip的性能。 PPT顯示，在高性能計算領域常見的天氣研究與預報中，NVIDIA Grace對比兩顆Intel至強鉑金8360Y，性能達到了2倍，能效更是達到了2.3倍！ Intel至強鉑金8360Y基於10nm工藝、Ice Lake架構，具備36核心72線程，主頻2.4-3.5GHz，熱設計功耗250W，雙路就是72核心144線程、500W。 144個物理核心對比144個邏輯核心，類似的功耗，如此對比倒是比較公平，不過Intel很快就會發布Intel 7新工藝、新架構的Sapphire Rapids，最多56核心。 AMD也即將推出5nm新工藝、Zen4新架構的霄龍7004系列，最多96核心。 來源：快科技