Tag: HBM3E

此前有報導稱，美光、SK海力士和三星先後在去年7月底、8月中旬、以及10月初向英偉達提供了8層垂直堆疊的HBM3E（24GB）樣品。其中美光和SK海力士的HBM3E在今年初已通過英偉達的驗證，並獲得了訂單。 據DigiTimes報導，三星HBM3E尚未通過英偉達的測試，仍需要進一步驗證。 據了解，三星至今未能通過英偉達驗證主要卡在台積電（TSMC）的審批環節。作為英偉達數據中心GPU的製造和封裝廠，台積電也是英偉達驗證環節的重要參與者，傳聞採用的是基於SK海力士HBM3E產品設定的檢測標准，而三星的HBM3E產品在製造工藝上有些許差異，比如SK海力士採用了MR-RUF技術，三星則是TC-NCF技術，這多少會對一些參數有所影響。 三星在上個月發布的2024年第一季度財報中表示，8層垂直堆疊的HBM3E已經在4月量產，並計劃在第二季度內量產12層垂直堆疊的HBM3E，比原計劃里的下半年提前了。按照三星的說法，這是為了更好地應對生成式AI日益增長的需求，所以選擇加快了新款HBM產品的項目進度。 有業內人士透露，如果將檢測標准做相應的調整，三星的HBM3E通過英偉達的驗證環節將不成問題。 ...

近年來高帶寬內存（HBM）的需求急劇上升，尤其是人工智慧（AI）熱潮的到來，讓這一趨勢愈加明顯，HBM產品的銷量節節攀升，價格也是水漲船高。即便各個各個存儲器供應商不斷提升HBM的產能，仍然難以滿足市場的需求，傳聞SK海力士和美光至2025年底之前的HBM產能已經售罄。 市場研究分析機構TrendForce發布了新的調查報告，稱得益於比傳統DRAM高出數倍的價格（約為DDR5的五倍），加上人工智慧晶片的疊代需求，推動了2023年至2025年HBM產能的提升。2023年和2024年HBM分別占DRAM產能的2%和5%，到了2025年將提高至10%以上。產值方面，2024年占DRAM總產值超過20%，2025年可能提高至30以上。 各個存儲器供應商今年第二季度開始，已經針對2025年的HBM產品進行議價，不過受制於DRAM產能，為避免產能排擠效應，初步漲價5~10%，覆蓋了HBM2E、HBM3和HBM3E。提前議價的原因有三點分，分別為：一、買方對人工智慧需求充滿信心，願意接受漲價；二、HBM3E良品率僅為40~60%，還有待提升，買方希望穩定貨源；三、不同供應商因供應能力問題，導致平均銷售單價出現差異，從而影響獲利。 現階段HBM產品大規模轉向HBM3E，且會有更多12層堆疊晶片出現，帶動了HBM容量提升，預計2024年的HBM需求位元年成長率接近200%，到2025年有可能再翻倍。 ...

近日，三星公布了截至2024年3月31日的第一季度財報。顯示其存儲器業務通過滿足高附加值產品的市場需求終於實現了盈利，帶動了整個DS部門的營收和利潤增長，讓半導體業務自2022年以來的首次恢復盈利。 三星在財報中表示，其專注於HBM、DDR5、伺服器SSD和UFS 4.0等高附加值產品，伴隨產品的平均售價（ASP）提升，從而實現了業務的增長。在接下來的第二季度里，伺服器和存儲方面對人工智慧（AI）的需求將保持穩定，主要受到生成式AI的驅動，而對DDR5及高密度SSD的需求仍然強勁，同時中國的移動設備製造商對DRAM和NAND快閃記憶體的需求也很高。 三星已經在本月量產了HBM3E 8H DRAM，以及第9代V-NAND技術的產品，並計劃在第二季度內量產HBM3E 12H DRAM和基於1β (b) nm（第五代10nm級別）32Gb DDR5打造的128GB DRAM產品，比原計劃里的下半年提前了。按照三星的說法，這是為了更好地應對生成式AI日益增長的需求，所以選擇加快了HBM和1β (b) nm 32Gb DDR5的項目進度。 近期企業級QLC SSD的需求攀升，而目前市場上可以提供經驗證的企業級QLC產品的廠家只有Solidigm和三星。為此三星已確認，第三季度會量產QLC版本的第9代V-NAND產品，以盡可能地滿足企業用戶的使用需求。 不少人還關心三星的晶圓代工業務，但三星稱，由於市場需求疲軟和持續的庫存調整，復蘇的速度相對比較遲緩。不過三星表示，目前晶圓廠的運營效率已經有所提升，新一代2/3nm製程工藝的開發也較為順利，另外4nm製程工藝的良品率已日趨穩定。 三星計劃下半年量產第二代3nm製程工藝，也就是SF3，使用「第二代多橋-通道場效應電晶體（MBCFET）」，之前已在試產。 ...

去年10月，三星舉辦了「Samsung Memory Tech Day 2023」活動，宣布推出代號為「Shinebolt」的新一代HBM3E DRAM。到了今年2月，三星宣布已開發出業界首款HBM3E 12H DRAM，擁有12層堆疊，容量為36GB，是迄今為止帶寬和容量最高的HBM產品。隨後三星開始向客戶提供了樣品，計劃下半年開始大規模量產。 據Viva100報導，三星已經與AMD簽訂價值30億美元的新協議，將供應HBM3E 12H DRAM，預計會用在Instinct MI350系列上，。據稱，三星還同意購買AMD的GPU以換取HBM產品的交易，但是具體的產品和數量暫時還不清楚。 傳聞AMD計劃在今年下半年推出Instinct MI350系列，屬於Instinct MI300系列的升級版本。其採用了台積電（TSMC）的4nm工藝製造，以提供更強的性能並降低功耗。由於採用了12層堆疊的HBM3E，提高帶寬的同時還加大了容量。 三星的HBM3E 12H DRAM提供了高達1280GB/s的帶寬，加上36GB容量，均比起之前的8層堆棧產品提高了50%。由於採用了先進的熱壓非導電薄膜（TC NCF）技術，使得12層產品與8層產品有著相同的高度規格，滿足了當前HBM封裝的要求。該技術還通過晶片間使用不同尺寸的凸塊改善HBM的熱性能，在晶片鍵合過程中，較小凸塊用於信號傳輸區域，而較大凸塊則放置在需要散熱的區域，將有助於提高產品的良品率。 按照三星的說法，在人工智慧應用中，採用HBM3E 12H DRAM預計比HBM3E 8H DRAM的訓練平均速度提高34%，同時推理服務用戶數量也將增加超過11.5倍。 有業內人士稱，該筆交易與三星晶圓代工的談判是分開的。此前有傳言稱，AMD下一代CPU/GPU將引入三星的工藝。 ...

在人工智慧（AI）和高性能計算（HPC）的影響下，近兩年HBM產品發展逐漸加速，也推動著存儲器廠商的收入增長，而新一代HBM3E也逐漸成為了各種新款晶片的搭配首選。今年英偉達帶來了基於Blackwell架構的新產品，首發的B200和GB200都選用了HBM3E。有消息稱，AMD今年將推出改用4nm工藝製造的Instinct MI350系列，搭配的顯存也將換成HBM3E。 據TrendForce報導，AMD和英偉達都加快了主力人工智慧（AI）應用晶片的開發步伐，而且都在規劃採用更高規格的HBM產品，以進一步提升性能。從目前情況來看，2024年將會有三大趨勢： HBM3將進階到HBM3E - 預計英偉達下半年開始擴大搭載HBM3E的H200齣貨，取代H100成為主流，B200和GB200也會採用HBM3E。AMD年底前會帶來Instinct MI350系列，在此之前還會有Instinct MI32x系列，均選定了HBM3E。 HBM容量持續增大 - 目前市場主流的H100搭載的是80GB的HBM3，至2024年底改用HBM3E的新品，容量將提升至192GB到288GB。 HBM3E將從8層往12層堆疊發展 - 英偉達首批Blackwell架構產品都採用了8層堆疊的HBM3E，到了明年將引入12層堆疊的HBM3E。AMD今年的Instinct MI350系列，以及明年的Instinct MI375系列，都將採用12層堆疊的HBM3E，將容量提升至288GB。 此前三星已官宣了業界首款擁有12層堆疊的HBM3E，傳聞SK海力士在今年2月已經向英偉達發送了新款12層堆疊HBM3E樣品，以進行產品驗證測試。另外有趣的是，報導中還提及了之前沒有出現的AMD Instinct MI375系列。 ...

美光目前在高帶寬存儲器（HBM）市場處於相對劣勢，但隨著手握英偉達的供應協議，供應用於H200的HBM3E，憑借工藝上的優勢，情況看起來正在迅速發生變化。美光正磨拳擦掌，大有大規模搶奪HBM市場的態勢。 近日美光總裁兼執行長Sanjay Mehrotra在2024財年第二財季財報會議上表示，美光2024年的HBM產能已經售罄，2025年大部分產能的供應也已經分配完畢，預計HBM產品的出貨占比將在明年大幅度攀升。2024財年美光將從HBM產品上獲得數億美元的收益，從2024財年第三財季開始，HBM產品收入將增加並提高整體毛利率。 由於需要更多地製造HBM，極大影響了美光其他DRAM的產能，限制了普通內存產品的供應。Sanjay Mehrotra坦承，在同一製程節點生產同等容量下，HBM3E的晶圓消耗量是標准DDR5的三倍，隨著性能及封裝復雜程度的提高，未來HBM4的消耗量會更大。 這一定程度上與HBM的良品率更低有關，由於需要多層DRAM通過TSV堆疊，只要其中一層出現問題，就意味著整個堆棧報廢。現階段HBM的良品率也就在60%到70%之間，明顯低於普通的DRAM產品。 不只是美光，此前SK海力士和三星都已表示，在人工智慧（AI）和高性能計算（HPC）的巨大需求推動下下，2024年的HBM產能已經排滿。 ...

SK海力士今日宣布已開始量產最新款內存產品HBM3E，並將於3月下旬供貨給主要客戶，其中包括擁有基於Hopper架構的H200和基於BlackWell架構的B200 GPU的英偉達。 SK海力士是首家HBM3E供應商，於2023年8月份完成HBM3E存儲器的開發，上個月向英偉達發送了新款12層堆疊HBM3E樣品進行測試，如今宣布量產的HBM3E存儲器應該是8層堆疊的產品，容量為24GB。SK海力士表示，其最新的HBM3E產品在速度和熱量控制上是目前業界內最好的。最新款HBM3E每秒可處理1.18TB的數據，相當於在一秒內處理230多部全高清電影（每部 5GB）。同時，SK海力士的HBM3E產品在採用Advanced MR-MUF工藝後，與上一代產品相比，散熱性能也提高了10%，減少了積熱的可能性。 SK海力士HBM業務負責人Sungsoo Ryu表示，HBM3E的量產完善了公司AI存儲器產品陣容，並希望以HBM產品線的成功經驗，進一步提升客戶對公司的信心，穩固與前者的關系，夯實公司在AI存儲器供應領域的領先地位。 之前也有報導稱，為了應對競爭更加激烈的存儲器市場，SK海力士曾擬計劃於美國印第安納州建造晶圓廠，以及在韓國本土投資10億美元建造先進的HBM封裝設施，如今率先量產HBM3E產品，無疑使SK海力士在未來存儲器市場里占得一定先機。 ...

在人工智慧（AI）和高性能計算（HPC）的影響下，近兩年HBM產品發展逐漸加速，也推動著存儲器廠商的收入增長。作為英偉達高帶寬存儲器合作夥伴，SK海力士目前在HBM市場的處於領導地位，大量供應HBM3用於英偉達的各款人工智慧晶片。 據Korea JoongAng Daily報導，美光之所以率先獲得英偉達用於H200的HBM3E訂單，在近期競爭中占據主動，憑借的是工藝上的優勢。目前SK海力士占據了54%的HBM市場，而美光僅為10%，但隨著手握英偉達的供應協議，形勢可能很快會發生變化。 與SK海力士在HBM3遙遙領先不同，到了HBM3E情況似乎出現了變化，美光和三星的加入讓市場競爭變得越來越激烈。去年美光、SK海力士和三星先後都發送了HBM3E樣品給英偉達，用於下一代AI GPU的資格測試。這也是英偉達為了保證下一代產品供應，規劃加入更多的供應商的舉措。 美光在去年7月，推出了業界首款帶寬超過1.2TB/s、引腳速度超過9.2GB/s、8層堆疊的24GB容量HBM3E，採用了1β（1-beta）工藝製造。隨後美光透露，其HBM3E樣品的性能更強且功耗更低，實際效能超出了預期，也優於競爭對手，讓客戶大吃一驚。美光還准備了12層堆疊的36GB容量HBM3E，在給定的堆棧高度下，容量增加了50%。 作為HBM市場的領頭羊，SK海力士也不會坐以待斃，近期已向英偉達發送了新款12層堆疊HBM3E樣品，以進行產品驗證測試。近期三星也官宣了同類產品，容量為36GB的12層堆疊HBM3E。下一代HBM4有望在2026年到來，相信HBM市場競爭會變得更加激烈。 ...

快科技3月7日消息，三星日前宣布了全球首款36GB超大容量的新一代高帶寬內存HBM3E，而在3月19日凌晨開幕的NVIDIA GTC 2024技術大會上，三星將首次進行公開展示。 三星HBM3E採用了24Gb顆粒、12層堆疊(12H)，從而將單顆容量做到史無前例的36GB，帶寬也提升至1280GB/，相比前代8H HBM3容量、帶寬都提升了50％，垂直密度則增加了超過20％。 NVIDIA H200 AI加速卡將首發採用三星36GB HBM3E，只需要八顆，就能達成6144-bit的位寬、216GB的容量，從而超過192GB HBM3內存的AMD Instinct MI300X。 H200還支持四路、八路互連，因此單系統的HBM3E內存容量可以達到864GB、1728GB！ 按照慣例，NVIDIA可能會出於良品率的考慮，屏蔽一小部分容量，但是單卡超過200GB、單系統超過1.6TB必然是很輕松的。 按照NVIDIA的說法，H200雖然還是Hopper架構，但相比H100再次飛躍，700億參數Llama2、1750億參數GTP-3模型的推理性能分別提升多達90％、60％，對比前代A100 HPC模擬性能直接翻番。 NVIDIA H200計劃2024年第二季度出貨，三星36GB HBM3E則會在第一季度投入量產，正好趕得上。 來源：快科技

HBM產品被認為是人工智慧（AI）計算的支柱之一，近兩年行業發展迅速。在人工智慧（AI）和高性能計算（HPC）的影響下，推動著存儲器廠商的收入增長。作為英偉達高帶寬存儲器合作夥伴，SK海力士目前在HBM市場的處於領導地位，大量供應HBM3用於英偉達的各款人工智慧晶片。 據ZDNet報導，SK海力士上個月已經向英偉達發送了新款12層堆疊HBM3E樣品，以進行產品驗證測試。 HBM需要在基礎晶圓上通過矽通孔（TSV）連接多層DRAM，首批HBM3E產品均採用8層堆疊，容量為24GB，美光、SK海力士和三星分別在去年7月、8月和10月向英偉達發送了樣品。此前有消息稱，英偉達已經向SK海力士和美光分別支付了約合5.4億至7.7億美元的預付款，供應下一代HBM3E。 美光、SK海力士和三星都在推進12層堆疊HBM3E的開發，容量也將提升到36GB，其中需要解決一些器件特性和可靠性驗證問題。上個月三星宣布，已開發出業界首款12層堆疊HBM3E，提供了高達1280GB/s的帶寬，預計今年下半年開始大規模量產。不過目前看來SK海力士的進度也很快，傳聞還應用了新的工藝。 有業內人士稱，SK海力士提供的樣品屬於早期版本，主要是為了建立新產品的標准和特性，SK海力士稱其為「UTV（Universal Test Vehicle）」，預計這次產品驗證測試不會花太多的時間。隨著人工智慧晶片市場的快速增長，HBM產品的競爭也變得更加激烈。 ...

快科技2月27日消息，今天，三星電子官方宣布，成功開發出業界首款36GB 12H（12層堆疊）HBM3E DRAM，鞏固了在高容量HBM市場的領先地位。 通過採用TSV技術，三星將24Gb DRAM晶片堆疊到12層，從而實現業界最大的36GB HBM3E 12H容量。 據介紹，HBM3E 12H能夠提供高達1280GB/的帶寬和迄今為止最大的36GB容量，相比於前代8層堆疊的HBM3 8H，在帶寬和容量上提升超過50%。 同時三星還通過先進的TC NCF（熱壓的非導電薄膜）技術使12H產品與8H產品具有相同的高度，能夠滿足HBM封裝規格。 先進TC NCF技術的應用在增加HBM堆棧數量的同時，還最大限度地減少了由於晶片變薄而可能發生的“翹曲現象”，有利於高端堆疊擴展。 此外三星還不斷降低NCF材料的厚度，實現了業界最小的7微米的晶片間距，實現了比HBM3 8H高出20%以上的垂直整合。 三星表示，HBM3E 12H有望成為使用AI平台的各種公司的最佳解決方案，與HBM3 8H相比其AI訓練速度平均提高34%，同時推理服務用戶數量也可增加超過11.5倍。 目前三星電子已開始向客戶提供HBM3E 12H的樣品，並預計今年上半年量產。 來源：快科技

快科技2月27日消息，美光宣布開始量產HBM3E高帶寬內存。美光稱，其HBM3E的功耗將比競爭對手的產品低30％。 據悉，美光的HBM3E將應用於英偉達下一代AI晶片H200 Tensor Core GPU。之前英偉達的HBM由SK海力士獨家供應，如今美光、三星都將加入。 HBM（High Bandwidth Memory）即高帶寬存儲器，屬於圖形DDR內存的一種，通過使用先進的封裝方法（如TSV矽通孔技術）垂直堆疊多個DRAM，與GPU通過中介層互聯封裝在一起。 HBM的優點在於打破了內存帶寬及功耗瓶頸。CPU處理的任務類型更多，且更具隨機性，對速率及延遲更為敏感，HBM特性更適合搭配GPU進行密集數據的處理運算，英偉達新一代AI晶片，均搭載HBM內存。 HBM產品問世至今，HBM技術已經發展至第四代，分別為HBM、HBM2、HBM2E、HBM3，第五代HBM3E目前已量產，HBM被認為是人工智慧時代的新一代DRAM。 來源：快科技

去年10月，三星舉辦了「Samsung Memory Tech Day 2023」活動，展示了一系列引領超大規模人工智慧（AI）時代的創新技術和產品，並宣布推出名為「Shinebolt」的新一代HBM3E DRAM，面向下一代人工智慧應用，提高總擁有成本（TCO），並加快數據中心的人工智慧模型訓練和推理速度。 今天三星宣布已開發出業界首款HBM3E 12H DRAM，擁有12層堆疊。其提供了高達1280GB/s的帶寬，加上36GB容量，均比起之前的8層堆棧產品提高了50%，是迄今為止帶寬和容量最高的HBM產品。 HBM3E 12H DRAM採用了先進的熱壓非導電薄膜（TC NCF）技術，使得12層產品與8層產品有著相同的高度規格，滿足了當前HBM封裝的要求。這項技術預計會帶來更多優勢，特別是在更高的堆疊上，業界正在努力減輕晶片裸片變薄帶來的裸片翹曲。三星不斷降低其NCF材料的厚度，並實現了業界最小的晶片間隙（7µm），同時還消除了層間空隙。這些努力使其與HBM3 8H DRAM相比，垂直密度提高了20%以上。 三星的熱壓非導電薄膜技術還通過晶片間使用不同尺寸的凸塊改善HBM的熱性能，在晶片鍵合過程中，較小凸塊用於信號傳輸區域，而較大凸塊則放置在需要散熱的區域，這種方法有助於提高產品的良品率。 三星表示，在人工智慧應用中，採用HBM3E 12H DRAM預計比HBM3E 8H DRAM的訓練平均速度提高34%，同時推理服務用戶數量也可增加超過11.5倍。據了解，三星已經開始向客戶提高HBM3E 12H DRAM樣品，預計今年下半年開始大規模量產。 ...

美光宣布，已開始批量生產HBM3E，將用於英偉達H200，該GPU計劃在2024年第二季度開始發貨。美光表示，這一里程碑讓其處於業界的最前沿，以行業領先的HBM3E性能和能效為人工智慧（AI）解決方案提供支持。 早在去年7月，美光就宣布推出業界首款帶寬超過1.2TB/s、引腳速度超過9.2GB/s、8層垂直堆疊的24GB容量HBM3E，採用了其1β（1-beta）工藝製造，性能相比目前出貨的HBM3解決方案提高了50%。據介紹，美光HBM3E產品的每瓦性能是前幾代產品的2.5倍，為人工智慧數據中心的性能、容量和功率效率等關鍵指標創造了新的記錄，可以減少GPT-4等大型語言模型的訓練時間，並提供了卓越的總擁有成本（TCO）。美光稱，其HBM3E的功耗比競爭對手SK海力士和三星的同類產品低了30%。 美光還准備了12層垂直堆疊的36GB容量HBM3E，在給定的堆棧高度下，提供的容量增加了50%，隨著技術的進步，美光將矽通孔（TSV）增加了一倍，金屬密度增加了五倍，從而降低了熱阻抗，加上節能的數據路徑設計，因此讓能效得以提高。 下個月英偉達的GTC 2024上，美光將會帶來36GB容量HBM3E，並分析更多的產品信息。 ...

昨天我們報導過三星會在2月18日至22日在美國舊金山舉行的ISSCC 2024上介紹其最新的GDDR7顯存技術，速率達到了37Gb/s，為16Gbit模塊，而另一家韓國半導體巨頭SK海力士自然也不會錯過在這次大會上展示肌肉。 SK海力士將會成為繼三星之後第二家展示GDDR7顯存晶片的公司，它們家產品的速度是35.4Gbps，比三星的慢，不過存儲密度是相同的，都是單顆16Gbit。與三星的一樣，SK海力士的GDDR7同樣採用PAM3信號編碼機制，擁有專門的低功耗設計，不知道它是否類似三星的四種低時鍾狀態。 GDDR7是給下一代遊戲顯卡所准備的，而AI HPC領域則需要HBM3E，海力士會在會議上展示他們最新的16層堆棧48GB HBM3E晶片，新的設計理論上能讓單顆晶片速度達到1280GB/s，採用四顆HBM3E就能達到192GB容量和5.12TB/s的超高帶寬。新的HBM3E採用全新的全功能TSV(矽通孔)設計和6相讀書節隊列選通方案，以實現矽通孔面積優化。 最後SK海力士還為移動設備帶來了LPDDR5T內存，頻率高達10533MHz，內存電壓1.05V，如此高的數據速度得益於獨家的寄生電容降低技術和電壓偏移校準接收器技術，新的高頻LPDDR5T內存能為智慧型手機、平板電腦和輕薄筆記本提供更好的性能。 ...

由於人工智慧（AI）需求激增，市場需要性能更強大的解決方案，英偉達計劃將新產品的發布周期從原來的2年縮短至1年，其高帶寬存儲器合作夥伴SK海力士有望延續HBM市場的領導位置，出現「贏家通吃」的局面。 上個月英偉達在投資者簡報中放出了產品路線圖，展示了2024年至2025年數據中心的規劃，下一代Blackwell架構GPU的發布時間從2024年第四季度提前到2024年第二季度末，並計劃在2025年發布後續的「X100」。據Business Korea報導，英偉達已經與SK海力士簽訂HBM3E優先供應協議，用於新一代B100計算卡。 雖然英偉達准備實現供應鏈多元化，美光和三星都向英偉達提供了HBM3E的樣品，完成驗證測試後就會正式簽約，不過有業內人士預計，SK海力士仍然會率先取得HBM3E供應合同，並從中獲得最大的供應份額。憑借與英偉達的交易，SK海力士在2023財年第四財季的營收有望時隔1年零3個月再次突破10萬億韓元。 明年英偉達即將推出的產品里，新增加的H200和B100分別會採用6個和8個HBM3E模塊。隨著英偉達產品線逐步向下一代產品過渡，HBM3E的使用量會增加，這也有利於SK海力士提升盈利能力。目前SK海力士以2025年為目標，積極開展HBM4的開發工作，以繼續保持競爭優勢。 ...

快科技11月27日消息，據TrendForce集邦咨詢最新HBM市場研究顯示，為了更妥善且健全的供應鏈管理，英偉達正規劃加入更多的HBM供應商。 其中，三星的HBM3（24GB）預期於今年12月在NVIDIA完成驗證。之前英偉達的HBM由SK海力士獨家供應，如今三星、美光都將加入。這也意味著，三家存儲龍頭都將為英偉達供應HBM。 而HBM3e進度依據時間軸排列如下表所示： 美光已於今年7月底提供8hi（24GB）NVIDIA樣品、SK海力士已於今年8月中提供8hi（24GB）樣品，三星則於今年10月初提供8hi（24GB）樣品。預期2024年第一季完成HBM3e產品驗證。 HBM（High Bandwidth Memory）即高帶寬存儲器，屬於圖形DDR內存的一種，通過使用先進的封裝方法（如TSV矽通孔技術）垂直堆疊多個DRAM，與GPU通過中介層互聯封裝在一起。 HBM的優點在於打破了內存帶寬及功耗瓶頸。CPU處理的任務類型更多，且更具隨機性，對速率及延遲更為敏感，HBM特性更適合搭配GPU進行密集數據的處理運算。英偉達新一代AI晶片，均搭載HBM內存。 HBM產品問世至今，HBM技術已經發展至第四代，分別為HBM、HBM2、HBM2e、HBM3，第五代HBM3e已在路上。 四代HBM規格對比 至於下一代HBM新品HBM4（第六代），在堆棧的層數上除了現有的12hi (12層)外，也將再往16hi (16層)發展。 預計，HBM4 12hi將於2026年推出，而16hi產品則於2027年問世。 據悉，在HBM4中，將首次看到最底層的Logic die（又名Base die）將首次採用採用12nm製程晶圓，該部分將由晶圓代工廠提供，使得單顆HBM產品需要晶圓代工廠與存儲器廠合作。 來源：快科技

NVIDIA GPU已經在AI、HPC領域遙遙領先，但沒有最強，只有更強。 現在，NVIDIA又發布了全新的HGX H200加速器，可處理AIGC、HPC工作負載的海量數據。 NVIDIA H200的一大特點就是首發新一代HBM3e高帶寬內存(疑似來自SK海力士)，單顆容量就多達141GB(原始容量144GB但為提高良率屏蔽了一點點)，同時帶寬多達4.8TB/。 對比H100，容量增加了76％，帶寬增加了43％，而對比上代A100，更是容量幾乎翻番，帶寬增加2.4倍。 得益於NVLink、NVSwitch高速互連技術，H200還可以四路、八路並聯，因此單系統的HBM3e內存容量能做到最多1128GB，也就是1.1TB。 只是相比於AMD Instinct MI300X還差點意思，後者搭載了192GB HBM3，帶寬高達5.2TB/。 性能方面，H200再一次實現了飛躍，700億參數的Llama2大語言模型推理性能比H100提高了多達90％，1750億參數的GTP-3模型推理性能也提高了60％，而對比前代A100 HPC模擬性能直接翻番。 八路H200系統下，FP8深度學習計算性能可以超過32PFlops，也就是每秒3.2億億次浮點計算，堪比一台大型超級計算機。 隨著未來軟體的持續升級，H200還有望繼續釋放潛力，實現更大的性能優勢。 此外，H200還可以與採用超高速NVLink-C2C互連技術的NVIDIA Grace CPU處理器搭配使用，就組成了GH200 Grace Hopper超級晶片，專為大型HPC、AI應用而設計的計算模塊。 NVIDIA H200將從2024年第二季度開始通過全球系統製造商、雲服務提供商提供。 來源：快科技

在加州聖何塞舉辦的年度存儲技術大會上，三星披露了下一代HBM3E的情況，相比現有HBM3在容量、頻率、帶寬方面都有了巨大的提升。 三星HBM3E內存採用基於EUV極紫外光刻工藝的第四代10nm級工藝製造，確切地說是14nm。 單Die容量可達24Gb，8顆堆疊就是24GB，12顆堆疊就是36GB，相比HBM3增加了一半。 等效頻率可達9.8GHz，同樣提升一半，領先SK海力士的9GHz、美光的9.2GHz，單顆晶片的帶寬可以做到1-1.1225TB/。 對於NVIDIA H100這樣的計算卡，六顆HBM3E可以組成單卡216GB的海量內存，總帶寬高達7.35TB/。 能效方面，三星宣稱可以提升10％，但顯然會被25％的頻率提升所抵消掉。 考慮到三星剛剛量產HBM3，新一代的HBM3E將在明年的某個時候量產，而出貨可能要到明年底了。 正因為如此，NVIDIA下一代計算卡B100將獨家使用SK海力士的HBM3E，三星至少第一批趕不上了。 來源：快科技

快科技10月18日消息，根據韓國媒體今天的報導，三星已經確認將其第5帶HBM3E產品命名為“Shinebolt”。隨著三星加快對HBM3E的開發和營銷，其有望追上SK海力士在該領域的步伐。 HBM屬於垂直連接多個DRAM，與DRAM相比顯著提升數據處理速度的高附加值、高性能產品。由於其性能優勢，HBM通常被認為是人工智慧時代的DRAM內存。 HBM DRAM產品以HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代）的順序開發，其中HBM3E是HBM3的擴展版本。 據相關人士透露，三星已經開始向客戶提供Shinebolt樣品來進行質量測試，該樣品的規格為8層24GB。此外，三星還將很快完成12層36GB產品的開發。 與HBM3相比，Shinebolt的最大數據傳輸速度（帶寬）提升了約50%，可達1.228TB/。相當於在1秒鍾內傳輸了230部FHD高清電影（每部容量5GB） HBM的關鍵在於每層之間的連接方式，三星從HBM生產之初就一直的採用是熱壓縮非導電薄膜（TC-NCF）工藝，而其老對手SK海力士則採用的是質量回流成型底部填充（MR-MUF）工藝。當然，這二者孰優孰劣還是要交給市場來評判。 由於已經在HBM的開發和生產速度上落後於SK海力士，三星也開始重新制定戰略來奪回市場定位。其中最主要的就是加速開發可能改變HBM規則的“混合連接”工藝。 來源：快科技

美光確認，將在明年初大批量出貨交付HBM3E高帶寬內存，首要客戶就是NVIDIA。 如今，NVIDIA A100/H100計算卡熱賣，對於HBM的需求也空前高漲，動輒單卡幾十GB，最近宣布的Grace Hopper超級晶片， 美光的HBM3E又叫第二代HBM3，1βnm工藝製造，單顆容量24GB，堆疊了八顆24Gb Die，數據率最高9.7GT/，意味著峰值高達1.2TB/，比市面最快方案高出44％。 同時，美光還在准備12顆堆疊，容量可達32GB，將在明年推出。 HBM3E上美光難得一次領先於三星、SK海力士，對於HBM市場份額僅僅10％的美光來說是關鍵一步，所以才能搶下NVIDIA的大單。 不過，SK海力士也已經搞定了自己的HBM3E，同樣會供貨給NVIDIA。 畢竟，這東西需求量太大了，NVIDIA一直貨源吃緊，雞蛋不能放在一個籃子裡。 順帶一提，美光還將在明年初出貨32GB DDR5顆粒，可以輕松做成單條桌面32GB、伺服器128GB， 來源：快科技

快科技8月21日消息，AI時代不僅需要高性能算力，同時對帶寬也提出了更苛刻的要求，SK海力士今天宣布推出全球最高性能的HBM3E內存，這是該公司率先推出HBM3之後的又一領先。 HBM3E內存（也可以說是顯存）主要面向AI應用，是HBM3規范的擴展，它有著當前最好的性能，而且在容量、散熱及用戶友好性上全面針對AI優化。 其帶寬可達1.15TB/，相當於在1秒鍾內傳輸了230部FHD高清電影（每部容量5GB）。 同時它還使用了SK海力士開發的MR-MUF回流模塑底部填充散熱技術，散熱效率提升10%，還向下兼容HBM3等標准，無需修改CPU、GPU設計等。 目前HBM3E內存已經交付客戶評估，SK海力士預計2024上半年大規模量產，首個客戶正是NVIDIA，本月初發布的GH200 Grace Hopper超級晶片平台，全球首發採用HBM3e高帶寬內存，可滿足世界上最復雜的生成式AI負載需求。 兩顆新一代GH200超級晶片可帶來144個CPU核心、8PFlops(8千萬億次浮點計算每秒) AI性能、282GB HBM3e內存，容量是現在的3.5倍，而高達10TB/的帶寬也是現在的3倍。 來源：快科技

快科技8月9日消息，NVIDIA官方宣布了新一代GH200 Grace Hopper超級晶片平台，全球首發採用HBM3e高帶寬內存，可滿足世界上最復雜的生成式AI負載需求。 NVIDIA 2022年3月推出了，首次將CPU、GPU融合在一塊主板上，不過直到今年5月份才量產。 其中，Grace CPU擁有72個Armv9 CPU核心、198MB緩存，支持1TB/高帶寬的LPDDR5X ECC內存，還支持PCIe 5.0。 Hopper GPU則採用台積電4nm定製工藝，800億電晶體，集成18432個CUDA核心、576個Tenor核心、60MB二級緩存，支持6144-bit HBM高帶寬內存，此前版本配備的是96GB HBM3。 雙路配置的系統中，兩顆新一代GH200超級晶片可帶來144個CPU核心、8PFlops(8千萬億次浮點計算每秒) AI性能、282GB HBM3e內存，容量是現在的3.5倍，而高達10TB/的帶寬也是現在的3倍。 基於NVLink高速總線，GH200超級晶片還可以繼續拓展互連，GPU可以訪問全部的CPU內存，雙路配置下總容量可達1.2TB。 NVIDIA沒有透露採用的HBM3e來自哪家供應商，很可能是SK海力士。 首批基於GH100超級晶片的系統將在2024年第二季度出貨。 順帶一提，AMD Instinct MI300A、MI300X AI加速器分別配備128GB、192GB HBM3，後者帶寬超過5TB/。 來源：快科技

目前AI市場蓬勃發展，對高性能硬體的需求也在隨之增長，目前三個主要顯卡廠家都在高性能計算卡上投入的大量的資源，現在NVIDIA已經要求SK海力士提供下一代HBM3E內存的樣品，最好今年內能拿得到。 根據businesskorea的報導，SK海力士收到NVIDIA要求提供HBM3E樣品的請求，目前正准備發貨，現在SK海力士的HBM3E還處於開發階段，副總裁朴明秀在今年4月的第一季度財報電話會議上透露，SK海力士准備在今年下半年實現8Gbps HBM3E的產品打樣，並在明年上半年進行量產，通常來說，產品開發完成後，樣品會送給用戶進行評估。 現在SK海力士在HBM市場上是要領先於三星的，根據TrendForce的數據，截止去年，SK海力士在全球HBM市場份額占了50%，而三星則占據40%。 去年6月，SK海力士率先量產了HBM3，占據了市場主導，並為NVIDIA的H100「Hopper」Tensor Core GPU供貨，如果他們成功交付HBM3E的話，就可鞏固他們在高性能AI市場上第一的地位，畢竟NVIDIA占據了全球AI高性能計算GPU份額的90%，這會進一步拉開他們與競爭對手三星的差距。 ...