特斯拉D1晶片擁有500億個電晶體,AI算力可擴展至百億億級別

近日特斯拉(Tesla)舉行的AI Day活動中,埃隆-馬斯克(Elon Musk)及多位工程師,講解了特斯拉純視覺方案FSD的進展、神經網絡自動駕駛訓練、D1晶片和Dojo超級計算機等相關信息。其中特斯拉研發的AI訓練晶片D1引起了不少人的興趣,這款晶片將用於特斯拉目前正在構建的超級計算機,旨在以更少的消耗和更少的空間提供更高的性能。

據ComputerBase報導,D1晶片是採用7nm工藝製造的定製晶片,擁有500億個電晶體,其裸片面積為645 mm²,小於英偉達的A100(826 mm²)和AMD Arcturus(750 mm²)。其配備了354個訓練節點,支持用於AI訓練的各種指令,包括FP32、BFP16、CFP8、INT32、INT16和INT8。

特斯拉D1晶片擁有500億個電晶體,AI算力可擴展至百億億級別

特斯拉表示。D1晶片可以提供22.6 TFLOPS的單精度浮點運算性能,BF16/CFP8的峰值算力達到了362 TFLOPS,熱設計功耗(TDP)不超過400W。對AI訓練來說,可擴展性非常重要,因此通過帶寬為10 TB/s的「延遲交換結構」在各個方向進行互連。D1晶片周圍會有一個I/O環,有576個通道,每個通道提供112 Gbit/s帶寬。同時25個D1晶片可以組成的一個訓練模塊,帶寬達到36 TB/s,BF16/CFP8的峰值算力達到9 PFLOPS。

特斯拉D1晶片擁有500億個電晶體,AI算力可擴展至百億億級別

如果在數個機櫃中部署120個訓練模塊(包含3000個D1晶片),就能組成ExaPOD。這是世界上首屈一指的AI訓練超級計算機,超過100萬個訓練節點,BF16/CFP8的峰值算力達到1.1 ExaFLOPS。相比特斯拉目前基於英偉達設備構造的超級計算機,在同樣成本條件下,性能提高了4倍,每瓦性能提高了1.3倍,占地面積僅為五分之一。

特斯拉D1晶片擁有500億個電晶體,AI算力可擴展至百億億級別

來源:超能網