Tag: HBM2

在今年二月初，我們報導了三星新的HBM2記憶體將集成了AI引擎，HBM-PIM（Aquabolt-XL）晶片最高可提供1.2 TFLOPS嵌入式計算能力，使記憶體晶片本身可以執行CPU、GPU、ASIC或FPGA的操作。近日，三星在Hot Chips 33上介紹了未來更為龐大的開發計劃，會將PIM (processing-in-memory) 技術擴展到DDR4、DDR5、LPDDR5X、GDDR6和HBM3記憶體上。 三星將HBM-PIM晶片直接加入到堆棧中，可以與符合JEDEC標準HBM2記憶體控制器配合使用。三星使用賽靈思（Xilinx）Alveo FPGA進行了測試，這款AI加速器有2.5倍的性能提升，能耗也降低了超過60%。三星表示目前PIM技術已經可以和任何標準的記憶體控制器兼容，但CPU廠商若能提供優化，在某些情況下會帶來更大的性能提升。 目前三星已經與一家CPU廠商一起測試HBM2-PIM，以便在未來產品中使用。由於英特爾的Sapphire Rapids、AMD的Genoa、Arm的Neoverse平台在內的新一代處理器都支持HBM記憶體，未來應用范圍會相當大。 顯然，PIM技術很適合數據中心使用，不過三星進一步將該技術轉向更為標準的記憶體。這次三星演示了AXDIMM記憶體，這是對現有記憶體的優化，在緩沖晶片內集成了AI引擎，盡可能減少CPU和DRAM之間的大量數據交換，以提高效率。AXDIMM記憶體可以插入到標準的DDR4伺服器記憶體插槽就能使用，無需大幅度改變現有的硬體架構。 三星表示已經有廠商使用AXDIMM記憶體在客戶的伺服器上進行測試，在特定的AI應用中，其性能提升了1.8倍，同時功耗降低了超過40%。由於記憶體即將疊代到DDR5，相信三星也會很快跟進，同時可以預期這項技術會在不久的將來推向市場。 三星的PIM技術不僅僅局限於相對高端的領域，也可以同樣轉向貼近消費者的普通產品，比如筆記本電腦、平板電腦、甚至手機。三星已經計劃在LPDDR5記憶體中引入PIM技術，不過仍處於早期階段。在LPDDR5-PIM記憶體（6400 MHz）的模擬測試中，其語音識別工作負載的性能提高了2.3倍，基於轉換器的翻譯性能提高了1.8倍，GPT-2文本生成能力提高了2.4倍，同時功耗都降低了60%以上。 雖然三星的PIM技術進展迅速，可以與標準的記憶體控制器配合使用，但一直沒有獲得JEDEC的認證，這是PIM技術被廣泛使用的主要障礙。三星希望PIM規范可以標準化，從而進一步擴展記憶體產品的組合，比如加入到HBM3標準規范里。目前JEDEC尚未正式發布HBM3標準規范，仍在制定當中。 三星表示，將從HBM2的FP16向前推進到HBM3的FP64，這意味著晶片會具有擴展的功能。FP16和FP32將保留供數據中心使用，而INT8和INT16將服務於LPDDR5、DDR5和GDDR6記憶體，更好地適應不同的應用場景。 三星還會將PIM技術帶到更多不同類型的記憶體里，比如GDDR6，這可以擴寬其應用范圍。三星今年發布了業界首款CXL記憶體模塊，這是基於Compute Express Link標準的新型存儲產品，或許未來也會引入PIM技術。隨著AI技術的興起，PIM技術或許比普通人表面看來更能改變現有的遊戲規則，或許在未來，GPU使用的顯存協助處理一些工作負載，以提升性能並降低功耗是有可能的。 ...

三星昨天宣布推出業界首款第三代HBM2E記憶體，新的HBM2E記憶體由8顆16Gb的DRAM顆粒堆疊而成，單個封裝可以達到16GB的總容量，並且其擁有高達3.2Gbps的傳輸速率。 三星的這款HBM2E中可以堆疊8個1y nm製程的16Gb DRAM顆粒，內部連接使用的是TSV技術，不過8層這個數量並不是三星目前能夠做到的極限，在去年十月份的時候他們就已經宣布了12層3D-TSV封裝工藝，我們未來肯定可以看到更大容量的單顆HBM記憶體。 HBM2E是HBM2的升級版標準，由JEDEC在2018年標準化，官方標準中它的單顆堆疊帶寬為307GB/s。而三星這次推出的新HBM2E在帶寬上面有比較明顯的提升，在默認的3.2Gbps下，單顆HBM2E就可以提供高達410GB/s的帶寬，另外三星內部測試中新的HBM2E可以達到的最高傳輸速率為4.2Gbps，此時的帶寬高達538GB/s，比上代產品高出75％。 實際上三星在去年三月份就已經發布了這款產品，不過這次是宣布它即將要進入量產。新的HBM2E預計在今年上半年進入量產環節，他們也會繼續提供老的第二代產品。目前消費級顯卡普遍放棄了高成本的HBM記憶體，選擇了成本更低但帶寬也足夠用的GDDR6，不過在高性能計算市場中，HBM已經占據了很大的市場份額了，還有各種AI加速晶片也需要較高的記憶體帶寬，像NVIDIA的計算卡就普遍採用了HBM2作為顯存，新的HBM2E將會緩解記憶體方面的瓶頸，讓計算性能不再受限於記憶體。 ...

最近三星電子在DRAM和存儲領域瘋狂的刷存在感，從MWC 2019展會發佈eUFS 3.0存儲芯片，到eMRAM存儲器，再到高容量LPDDR4x記憶體。而現在三星再次更新記憶體技術，在NVIDIA的GTC大會上專門為數據中心、GPU等高性能計算帶來了更新的HBM2E記憶體。這款芯片是業界首款符合HBM2E規范的產品。 在性能上， 這款產品將傳輸速率從2.4Gbps提升到3.2Gbps，提升幅度達到33%。同時每芯片的容量提升了兩倍，達到16Gb。而HBM產品一般通過TSVs（硅穿孔技術）進行多層堆疊，所以通過這個技術進行8-Hi堆疊，可以讓HBM2E記憶體容量達到16GB。同時採用1024位寬的總線可以讓HBM2e記憶體的帶寬高達410GB/s。相比前代產品有了大幅度提升。 三星將這款產品定位於下一代數據中心、超級計算機以及人工智能/機器學習應用。事實上，三星的上一代HBM2芯片在規格上就已經超過了HBM2規范，最高帶寬達到了307.2GB/s，同時容量最大為8GB，而工作電壓僅為1.2v。而實際上的HBM2規范為最高256GB/s的帶寬和4GB的最大容量，同時工作電壓為1.35v。而這次三星再次提高HBM記憶體的性能，但遺憾的是，這次三星並沒有公佈這款芯片的工作電壓。 HBM記憶體在功耗和性能上相比於常見的GDDR5或GDDR6芯片都更有優勢，同時採用TSV技術，並與GPU等封裝在一起，所以占用更小的面積。但是由於成本原因，這些HBM芯片通常只有高端產品才會配有，如AMD的Radeon VII、NVIDIA的GV100或Intel的FPGA。但作為一款全新的產品，目前並沒有產品宣佈使用這款芯片。雖然三星官方目前已經公佈了這款產品，但是並沒有宣佈量產。相信這款產品離量產不會太久。 來源：超能網

最近三星電子在DRAM和存儲領域瘋狂的刷存在感，從MWC 2019展會發布eUFS 3.0存儲晶片，到eMRAM存儲器，再到高容量LPDDR4x記憶體。而現在三星再次更新記憶體技術，在NVIDIA的GTC大會上專門為數據中心、GPU等高性能計算帶來了更新的HBM2E記憶體。這款晶片是業界首款符合HBM2E規范的產品。 在性能上， 這款產品將傳輸速率從2.4Gbps提升到3.2Gbps，提升幅度達到33%。同時每晶片的容量提升了兩倍，達到16Gb。而HBM產品一般通過TSVs（矽穿孔技術）進行多層堆疊，所以通過這個技術進行8-Hi堆疊，可以讓HBM2E記憶體容量達到16GB。同時採用1024位寬的總線可以讓HBM2e記憶體的帶寬高達410GB/s。相比前代產品有了大幅度提升。 三星將這款產品定位於下一代數據中心、超級計算機以及人工智慧/機器學習應用。事實上，三星的上一代HBM2晶片在規格上就已經超過了HBM2規范，最高帶寬達到了307.2GB/s，同時容量最大為8GB，而工作電壓僅為1.2v。而實際上的HBM2規范為最高256GB/s的帶寬和4GB的最大容量，同時工作電壓為1.35v。而這次三星再次提高HBM記憶體的性能，但遺憾的是，這次三星並沒有公布這款晶片的工作電壓。 HBM記憶體在功耗和性能上相比於常見的GDDR5或GDDR6晶片都更有優勢，同時採用TSV技術，並與GPU等封裝在一起，所以占用更小的面積。但是由於成本原因，這些HBM晶片通常只有高端產品才會配有，如AMD的Radeon VII、NVIDIA的GV100或Intel的FPGA。但作為一款全新的產品，目前並沒有產品宣布使用這款晶片。雖然三星官方目前已經公布了這款產品，但是並沒有宣布量產。相信這款產品離量產不會太久。 ...