SK海力士展示生成式AI加速卡AiMX原型:基於GDDR6-AiM構建

去年SK海力士宣布,已開發出具備計算功能的下一代記憶體半導體技術,首款基於該技術的產品為GDDR6-AiM(Accelerator-in-Memory/記憶體加速器),將計算功能添加到速率為16 Gbps的GDDR6上。

SK海力士展示生成式AI加速卡AiMX原型:基於GDDR6-AiM構建

近日在AI Hardware & Edge AI Summit 2023上,SK海力士展示了基於記憶體計算功能技術打造的AiMX加速卡原型產品,里面搭載了GDDR6-AiM,專門用於生成式人工智慧(AI),比如ChatGPT。SK海力士還在配備了AiMX加速卡的伺服器系統上演示了Meta的opt13b模型,與採用普通的GPU系統相比,數據處理時間縮短了10倍以上,而功耗僅為五分之一。

SK海力士表示,AiMX是一種比傳統GPU更低成本、更低功耗、性能更高的解決方案,未來將繼續開發引領人工智慧時代的存儲技術。作為一種能夠處理大量數據的低功耗高速存儲器解決方案,SK海力士認為AiMX將在數據密集型生成式人工智慧系統的發展中發揮關鍵作用。由於生成式人工智慧的性能會隨著對更多數據的訓練而提高,更加凸顯了對應用於該系統的高性能產品的需求。

SK海力士展示生成式AI加速卡AiMX原型:基於GDDR6-AiM構建

除了SK海力士以外,三星也有著相同的看法,在記憶體上集成的AI處理器,使其可以執行CPU、GPU、ASIC或FPGA的操作,未來還會將這項稱為PIM(processing-in-memory) 的技術擴展到DDR4、DDR5、LPDDR5X、GDDR6和HBM3記憶體上。三星在今年的Hot Chips 2023上還公布了HBM-PIM和LPDDR-PIM的最新研究成果,在AMD Instinct MI100上配備了HBM-PIM記憶體,並將其應用於生成式人工智慧。

來源:超能網