Cerebras宣布，推出Wafer Scale Engine 3（WSE-3），這是世界上尺寸最大的單顆裸片，幾乎等於一塊12英寸晶圓。其專為訓練業界最大的AI模型而打造，在相同的功耗和價格下，性能是現有最快AI晶片WSE-2的兩倍。WSE-3將用於Cerebras CS-3 AI超級計算機，通過2048個節點提供高達256 exaFLOPs的計算性能。
WSE-3的主要規格：
4萬億個電晶體
900,000個AI核心
44GB的片上SRAM緩存
台積電5nm工藝製造
可選1.5TB / 12TB / 1.2PB三種記憶體容量
125 petaflops的峰值AI算力
可訓練多達24萬億個參數的人工智慧模型
可達2048個CS-3系統的集群規模
Cerebras表示，WSE-3專為滿足企業和超大規模需求而構建，旨在訓練比GPT-4和Gemini大10倍的下一代前沿模型，24萬億個參數模型可以存儲在單個邏輯記憶體空間中，無需分區或重構，從而大大簡化了訓練工作流程，提高了開發人員的工作效率。
最新的Cerebras軟體框架為PyTorch 2.0和最新的AI模型和技術提供原生支持，比如多模態模型、視覺轉換器、專家混合和擴散等，仍然是唯一一個為動態和非結構化稀疏性提供原生硬體加速的平台，可以將訓練速度提高8倍。
來源：超能網
