在今年二月初，我們報導了三星新的HBM2記憶體將集成了AI引擎，HBM-PIM（Aquabolt-XL）晶片最高可提供1.2 TFLOPS嵌入式計算能力，使記憶體晶片本身可以執行CPU、GPU、ASIC或FPGA的操作。近日，三星在Hot Chips 33上介紹了未來更為龐大的開發計劃，會將PIM (processing-in-memory) 技術擴展到DDR4、DDR5、LPDDR5X、GDDR6和HBM3記憶體上。
三星將HBM-PIM晶片直接加入到堆棧中，可以與符合JEDEC標準HBM2記憶體控制器配合使用。三星使用賽靈思（Xilinx）Alveo FPGA進行了測試，這款AI加速器有2.5倍的性能提升，能耗也降低了超過60%。三星表示目前PIM技術已經可以和任何標準的記憶體控制器兼容，但CPU廠商若能提供優化，在某些情況下會帶來更大的性能提升。
目前三星已經與一家CPU廠商一起測試HBM2-PIM，以便在未來產品中使用。由於英特爾的Sapphire Rapids、AMD的Genoa、Arm的Neoverse平台在內的新一代處理器都支持HBM記憶體，未來應用范圍會相當大。
顯然，PIM技術很適合數據中心使用，不過三星進一步將該技術轉向更為標準的記憶體。這次三星演示了AXDIMM記憶體，這是對現有記憶體的優化，在緩沖晶片內集成了AI引擎，盡可能減少CPU和DRAM之間的大量數據交換，以提高效率。AXDIMM記憶體可以插入到標準的DDR4伺服器記憶體插槽就能使用，無需大幅度改變現有的硬體架構。
三星表示已經有廠商使用AXDIMM記憶體在客戶的伺服器上進行測試，在特定的AI應用中，其性能提升了1.8倍，同時功耗降低了超過40%。由於記憶體即將疊代到DDR5，相信三星也會很快跟進，同時可以預期這項技術會在不久的將來推向市場。
三星的PIM技術不僅僅局限於相對高端的領域，也可以同樣轉向貼近消費者的普通產品，比如筆記本電腦、平板電腦、甚至手機。三星已經計劃在LPDDR5記憶體中引入PIM技術，不過仍處於早期階段。在LPDDR5-PIM記憶體（6400 MHz）的模擬測試中，其語音識別工作負載的性能提高了2.3倍，基於轉換器的翻譯性能提高了1.8倍，GPT-2文本生成能力提高了2.4倍，同時功耗都降低了60%以上。
雖然三星的PIM技術進展迅速，可以與標準的記憶體控制器配合使用，但一直沒有獲得JEDEC的認證，這是PIM技術被廣泛使用的主要障礙。三星希望PIM規范可以標準化，從而進一步擴展記憶體產品的組合，比如加入到HBM3標準規范里。目前JEDEC尚未正式發布HBM3標準規范，仍在制定當中。
三星表示，將從HBM2的FP16向前推進到HBM3的FP64，這意味著晶片會具有擴展的功能。FP16和FP32將保留供數據中心使用，而INT8和INT16將服務於LPDDR5、DDR5和GDDR6記憶體，更好地適應不同的應用場景。
三星還會將PIM技術帶到更多不同類型的記憶體里，比如GDDR6，這可以擴寬其應用范圍。三星今年發布了業界首款CXL記憶體模塊，這是基於Compute Express Link標準的新型存儲產品，或許未來也會引入PIM技術。隨著AI技術的興起，PIM技術或許比普通人表面看來更能改變現有的遊戲規則，或許在未來，GPU使用的顯存協助處理一些工作負載，以提升性能並降低功耗是有可能的。
來源：超能網
