先锋影音av资源,一本大道AV伊人久久综合,日本水蜜桃身体乳的美白效果,av网站有哪些

報告服務熱線400-068-7188

調協大模型時代存算矛盾的HBM,如何入局其中尋找機會?

分享到:
20 奇偶派 ? 2023-12-20 14:40:30  來源:奇偶派 E2253G0

作者|葉子 來源|奇偶派(ID:jioupai)

近日,HBM的熱度不可謂不高,無論是相關半導體大廠“激進”擴產的計劃,還是產品供不應求的消息,都將這個內存領域的“新”技術,推到了資本市場與相關投資者的眼前。

在相關大廠的擴產方面,兩大存儲芯片巨頭持續加碼:三星、SK海力士擬將HBM產量提高至2.5倍的消息曝出,使得HBM概念股倍受市場關注。

據媒體報道,三星顯示(Samsung Display)在天安廠區內部分建筑及設備進行擴產,計劃在天安廠建立一條新封裝線,用于大規模生產HBM。公司已花費105億韓元購買上述建筑和設備等,預計追加投資7000億-1萬億韓元。

而早在今年6月,SK海力士就已經被報道出正在著手擴建HBM產線,目標將HBM產能翻倍。擴產焦點在于HBM3,SK海力士正在準備投資后段工藝設備,將擴建封裝HBM3的利川工廠。預計到今年年末,后段工藝設備規模將增加近一倍,相關投資也在1萬億韓元左右。

能讓三星、SK海力士拋出如此大手筆的擴產計劃,自然是下游客戶極為旺盛的需求,在10月末的財報會議上,SK海力士已透露,2024年的HBM3與HBM3E產能已全部售罄,正在與客戶、合作伙伴討論2025年HBM產量與供應。而后又有報道指出,不僅是2024年的產能,SK海力士HBM 2025年的預期產能也出現了完全售罄的跡象。

而這一切的“爆點”,都是由于NVIDIA H200的發布。11月13日,相比于H100,英偉達今日發布了下一代人工智能超級計算機芯片H200,作為英偉達最新一代產品,H200首次搭載HBM3e,在GPU架構無調整的情況下,完成了1.4倍內存帶寬和1.8倍內存容量的提升,能以每秒4.8 TB的速度提供 141GB 的內存,順利讓推理速度達到了H100的兩倍。

在摩爾定律放緩、GPU核心利用率不足的背景下,英偉達針對存儲端的改進讓行業再一次認識到了存力的重要性,而在當前這輪市場與產業的熱潮追捧敘事中,HBM或許能成為那個破局的關鍵技術。

那么,為什么內存有著如此的重要性?HBM究竟是怎樣的存力技術?從投資者的角度來看,相關受益行業又有哪些?

HBM

能補上AI算力的阿喀琉斯之踵?

在市場的刻板印象中,算力的大小是決定AI大模型產出速度的決定性因素,這樣的觀點固然有部分正確但并不嚴謹,與現實有著很大的出入,因為在簡單的算力指標之外,還有許許多多其他影響產出速度的因素。

我們當代電子計算體系的最終表現,依賴于處理器與內存之間的“孰低值”,其個中原因也十分易于理解——當運算速度跟不上數據運輸速度之時,便會在處理器處形成數據的“堰塞湖”,反之也亦然,也就意味著存力與算力的重要性等級是相同的。

根據馮諾伊曼的設想,兩者之間的速度應該非常接近,但摩爾定律的出現,卻讓這一理想的設想落了空——代表著算力的處理器性能按照摩爾定律規劃的路線不斷飆升,而存力領域內所使用的DRAM卻從工藝演進中獲益很少,性能提升速度遠慢于處理器速度。

從具體數據來看,據EEPW預計,處理器的峰值算力每兩年增長3.1倍,DRAM的帶寬每兩年增長1.4倍,相差1.7倍,這樣巨大的增長速度之間的差值,讓存儲器的性能遠遠落后于了處理器,導致數據寫入與讀出的時間成為處理器運算所消耗時間的幾十倍或幾百倍,數據交換通路窄以及其引發的高能耗,導致DRAM的性能成為制約計算機性能的一個重要瓶頸,即所謂的“內存墻”。

如果說“內存墻”的問題在過去體現得沒有那么明顯的話,那么AI時代的來臨,讓其成為了必須要攻克的關口,畢竟,面對語言大模型這種動輒便需要重復訪問N次數十億到數百億、數千億甚至上萬億的參數,所消耗的時間也并不是一個小數目。可以說,內存已經成為了AI算力的阿喀琉斯之踵。

于是,為滿足海量數據存儲以及日益增長的繁重計算要求,半導體存儲器領域也迎來新的變革,HBM技術從幕后正式走向臺前,而要談起為什么HBM能受到市場與廠商們的一致青睞,則要從另一GPU主流存儲方案,曾經也是AI算力選擇的路線GDDR說起。

目前,GPU的主流存儲方案有GDDR和HBM兩種,GDDR采用的是傳統的方法,將標準PCB和測試的DRAMs與SoC連接在一起,是將DRAM芯片直接放置在PCB上并圍著處理器轉一圈的獨立封裝。

如GDDR的獨立封裝方式有兩個無法避免的缺點,一是會受到PCB面積的約束,無法完成更多DRAM芯片的封裝,此外,也因與SOC之間的距離拉大,導致互聯聯線長/帶寬以及通訊延遲的增大。

這樣的差距在日常消費、商業場景的使用中是感覺不出來的,在一定程度上甚至還具有便捷性與經濟性,但在AI領域中,隨著圖形芯片性能的日益增長,使處理器對高帶寬的需求也不斷增加,GDDR滿足高帶寬需求的能力開始減弱,且單位時間傳輸帶寬功耗也顯著增加,逐步了成為阻礙圖形芯片性能的重要因素。

HBM的出現,則就是為了解決封裝數量與通訊距離兩個問題。針對現存帶寬不足的情況,HBM選擇在硅中階層上通過TSV堆棧的方式,將DRAM裸片垂直堆疊放在一起,這樣能在底面積相同的情況下布置過去數倍的DRAM顆粒,以達到更高的I/O數量,使得顯存位寬達到1024位,幾乎是GDDR的32x,這樣的堆疊空間節約空間,還帶來了更短的顆粒間距以縮短傳輸延遲。

在將多個DRAM裸片堆疊在一起的同時,也HBM Stack將其與GPU封裝在一起,極大地縮短HBM與GPU的距離,提高了GPU與存儲芯片之間傳輸的速度。

而至于HBM產品為何現在才“上車”,除了過去存力的問題沒有那么明顯之外,HBM也是近十年來才飛速發展出的一種新產品,但自2014年問世以來,相關技術已經發展至第四代,無論是帶寬、堆疊高度,還是容量、I/O速率等較初代均有多倍提升,并伴隨著高性能計算(HPC)、超級計算機、大型數據中心、AI、云計算等領域的發展快速占領市場,幾乎成為了當前先進AI計算中必備的技術。

1

HBM標準迭代歷史

資料來源:海力士官網,中金公司

可以這么說,HBM是目前能提供大規模存力的最好技術路線,但HBM也只是在AI加速卡領域有特定的優勢,要想作為如GDDR一樣普適性極強的消費級產品,還有很長的路要走。

最先制約HBM發展的,是其居高不下的成本——HBM由于其復雜的設計及封裝工藝導致產能較低同時,成本也水漲船高,平均售價至少是DRAM的三倍,此前受ChatGPT的拉動同時受限產能不足,HBM的價格一路上漲,與性能最高的DRAM相比,HBM3的價格上漲了有五倍之多。

Cadence IP團隊產品營銷總監Marc Greenberg也表示:“目前存在的HBM脫離了消費者領域,并更牢固地放置在服務器機房或數據中心,存在許多系統成本。相比之下,GDDR6等圖形內存雖然無法提供與HBM一樣多的性能,但成本卻顯著降低,GDDR6的單位成本性能實際上比HBM好得多。”

此外,使用2.5D/3D封裝的HBM結構會積聚許多熱量,而DRAM與GPU封裝在一起會加劇這種情況的發生,這就對散熱冷卻也提出了更多的挑戰,迫使制造者需要在時延與散熱之間做出抉擇,很顯然,無論哪一種選擇,都將從另一角度上推高總成本。

而在成本居高不下、散熱需求更多的缺陷外,HBM與主芯片出廠時便封裝在了一起,不存在擴容的可能;同時,HBM的容量偏小,據ittbank報道,采用128GB RDIMM最多能達到12TB,HBM8層die也不過32GB,再結合成本考慮,更加無法滿足數據中心要求。

所以從當前的進展來看,HBM在未來數年內還是只能應用于服務器、數據中心等領域,對于成本十分敏感的消費領域,對于HBM暫時還是可望而不可即的禁區。

但這些在商用領域中的缺點在火熱的AI需求的對比之下顯得微不足道,有媒體更是喊出了7年200倍的口號,產業鏈上的各個環節也正在被不斷挖掘出來。

先進封裝

成為HBM產業鏈核心價值增量

談及產業鏈,HBM作為存力領域的技術,自然離不開上游材料端與設備端的更新支持,但在材料與設備外,作為通過2.5D與3D封裝工藝實現更新迭代的技術,HBM在封測端核心工藝自然是最重要,也是價值量最高的部分。

而封測端的相關工藝,其實看過HBM的示意圖后,相關的技術難點已經一目了然:如何將組成HBM各個DRAM Die之間一一串聯起來,并連接至下方的邏輯控制die(Base Die),形成完整個HBM Stack;如何將HBM Stack整體封裝至硅中介基板上方;是如何將CPU/GPU等邏輯芯片與HBM Stack一般,同樣封裝至硅中介基板上方。

1

HBM結構圖及用到的封裝工藝

圖源:臺積電,Wikichip,招商證券整理

簡而言之,便是組裝HBM Stack、將HBM Stack封裝至基板、將CPU/GPU封裝至基板三個步驟,而這三個步驟中,主要涉及TSV、CoWoS、FC工藝。

三者中,TSV(硅通孔)技術又是重中之重,它是通過銅、鎢、多晶硅等導電物質的填充來實現硅通孔的垂直電氣互聯的技術,將DRAM Die完成通孔封裝,其也是目前唯一的垂直電互聯技術,能夠以最低的能耗提供極高的帶寬和密度。

據招商證券報道,如圖所示,TSV與傳統的SIP等封裝技術相比,其垂直連接可以允許更多數量的連接,因此具備更好的電勢能、更低的功耗、更寬的帶寬、更高的密度、更小的外形尺寸、更輕的質量等優勢,是實現電路小型化、高密度、多功能化的首選解決方案,也成為了解決出現在SOC(二維系統級芯片)技術中的信號延遲等問題的利器,可以說,HBM相較于GDDR最大的改進與優勢,就是TSV的“上車”。

1

TSV封裝

1

疊層封裝

也正是因為TSV技術有如此多的優點,2.5D/3D TSV技術才被廣泛用于AI GPU基板上的HBM中,也成為了HBM 3D封裝中成本占比最高的工藝,根據3DinCites,考慮4層DRAM Die和1層邏輯die堆疊的HBM結構,在99.5%和99%的芯片鍵合(die bonding)良率下,TSV制造和TSV通孔露出工藝分別占其成本的30%和29%。

1

資料來源: 3DInCites、招商證券

TSV完成HBM Stack的鍵合后,用于AI GPU的整體封裝的CoWoS,也是先進封裝中必不可少的關鍵技術。

CoWoS技術,簡單來說便是先將芯片通過Chip on Wafer(CoW)的封裝制程連接至硅晶圓,再把CoW芯片與基板連接,整合成CoWoS;利用這種封裝模式,使得多顆芯片可以封裝到一起,透過Si Interposer互聯,達到了封裝體積小,功耗低,引腳少的效果。

目前,臺積電的CoWoS技術全球領先,英偉達AIGPUDGXA100、H100、H200等均由其生產,而據臺積電預計,目前其相關產能供應極為緊張,將于2024-2025年進行擴產,2024年CoWos產能將實現倍增。

此外,在先進封裝工藝中取代引線鍵合,將CPU/GPU芯片封裝于基板上的倒片封裝(FC)也是必不可少的工藝。

在半導體行業內,現存的封裝工藝無非芯片粘接、引線鍵合、倒裝連接技術三種,而載帶連接技術因為有一定的局限性,故已經被封裝逐漸淘汰。

1

而在引線鍵合與倒裝連接之間,倒片封裝不存在如引線鍵合對于可進行電連接的輸入/輸出引腳的數量和位置限制,也不再受制于以為擺放,可全部排列于芯片的同一側面,同時電信號傳輸路徑更短,也就有了更加優良的性能。

于是,倒片封裝(FC)也成為了HBM制造過程中的一大必備工藝。

至此,封測端的三種最重要的技術工藝便已介紹完成,而封測工藝離不開的,則是產業鏈上的諸多設備,并且在HBM制造過程中,除去那些較為通用的微電子設備外,大多都是為了這些先進封測增添的的設備,但卻幾乎全部被海外廠商所壟斷。

據招商證券整理,HBM中大量增加前道工序,前道檢、量測設備主要增量來自微凸點、TSV、硅中介層等工藝,另外HBM中增加的預鍵合晶圓級測試和KGSD相關的封裝級測試也帶動分選機、測試機、探針臺等后道測試設備的數量和精度提升;由于HBM堆疊結構增多,要求晶圓厚度不斷降低,進而提升了減薄、鍵合等設備需求。

此外,HBM多層堆疊結構要求超薄晶圓和銅-銅混合鍵合工藝,增加了臨時鍵合/解鍵合以及混合鍵合設備需求,各層DRAM Die的保護材料也非常關鍵,對注塑或壓塑設備提出較高要求;另外,諸如劃片機、固晶機、回流焊機/回流爐等傳統設備需求也均受益于HBM封裝帶來的工藝步驟提升和工藝變革帶來的價值量提升。 

1

而在設備之外,材料的重要性也不容小覷。其中,環氧塑封料(EMC)通過其優異的性能成為封裝必需的材料。

環氧塑封料是用于半導體封裝的一種熱固性化學材料,具有較高的機械和電氣性能、良好的著色性和優異的耐熱性。作為半導體封裝材料防止芯片受到沖擊并耐候,覆蓋電感、連接器、電源等電子元件,全球90%以上電子器件采用EMC封裝。

但在先進封裝中,傳統EMC還遠遠不夠,需要有更好的耐潮性、低應力、低α射線、耐浸焊和回流焊性能,同時還得保證塑封性,因此環氧塑封料必須在無機樹脂基體內摻雜無機填料,市場份額被全球少數幾家廠商完成了寡頭壟斷。

縱觀封測端、設備端與材料端,我們不難看出,HBM作為代表著目前世界最尖端微電子技術融合為一推出的產品,大多環節都被國際大廠牢牢掌握在手中,那么,有哪些國產企業的產品介入了相關產業鏈呢?

寫在最后

在封測端,HBM核心封裝技術增量主要存在于TSV、CoWoS、Bumping、RDL等工藝之上,但掌握這些先進封裝工藝的企業均為一體化國際大廠,如韓系廠商三星、臺系廠商臺積電等企業。

而其下設備端的格局也大抵相同。即便相關設備涵蓋了眾多制造領域,中國微電子產業企業卻因技術能力所限,并沒有太多的涉足。在談及有關先進TSV工藝的設備之時,據界面新聞報道,有半導體行業資深人士表示,“國內對TSV技術雖然也研發了很多年,但其成本很高,技術難度大,應用面窄,主要應用于攝像頭,國內外雖然都將此技術稱為TSV,但技術難度上完全是兩碼事。”

“在這一技術水平上,二者不是一個量級的,國外能做3納米芯片,而我們只能做14納米芯片,工藝水平不足。加之國內沒有企業可以做HBM這一存儲器,對TSV技術自然沒有需求,因此國內幾乎沒有企業真正投入研發TSV技術。”前述業內人士表示。

同時,對方還補充道,“更為重要的是,國內現在沒有一家企業能夠制造出HBM存儲芯片,又怎么會去用TSV工藝呢?”

不過,雖然在封測端與設備端國內并沒有出現真正的玩家,但是在材料端中,卻存在許多有競爭力的企業,而華海誠科便是其中之一。

華海誠科成立于2010年,是?家專注于半導體封裝材料的研發及產業化的國家級專精特新小巨人企業,主要產品為環氧塑封料和電子膠黏劑,也是國內少數同時布局FC底填膠與LMC的內資半導體封裝材料廠商。

環氧塑封材料作為一種重要的半導體封裝材料,受益于全球封裝產能逐步轉移至大陸,大陸塑封材料增速高于全球市場,也為公司帶來了良好的發展機遇。

在傳統封裝領域,公司應?于DIP、TO、SOT、SOP等封裝形式的產品已具備品質穩定、性能優良、性價??等優勢,且應?于SOT、SOP領域的?性能類環氧塑封料的產品性能已達到了外資?商相當?平,并在?電科技、華天科技等部分主流?商逐步實現了對外資?商產品的替代,市場份額持續增?。

在先進封裝領域,公司研發了應?于QFN、BGA、FC、SiP以及FOWLP/FOPLP等封裝形式的封裝材料,其中應?于QFN的產品已實現小批量生產與銷售,顆粒狀環氧塑封料(GMC)以及FC底填膠等應?于先進封裝的材料已通過客戶驗證,液態塑封材料(LMC)正在客戶驗證過程中,上述應用于先進封裝的產品有望逐步實現產業化,并打破外資?商的壟斷地位。

寫在最后

HBM,作為當今最先進的內存封裝技術,已經在H200性能提升的過程中證明了自己價值,而HBM的價值則主要集中于先進封裝的領域,在算力需求催生存力風口的機遇下,先進封裝的重要性已經不言而喻。

但縱觀整個產業鏈,能“插手”其中的中國企業卻寥寥無幾,并且大多還都集中于最上游的材料端,這與被禁運的GPU加速卡形成了鮮明且刺眼的對比。

可以說,無論從國產自主角度還是市場競爭角度,唯擁有自主研發能力和技術優勢方能更具競爭力,在先進微電子產業發展的浪潮中占據一席之地。

參考資料:

1.《HBM很貴,但你必須買!》,芯長征科技;

2.《GDDR6 vs DDR4 vs HBM2?為什么CPU還不用GDDR?異構內存的未來在哪里?》,老狼;

3.《HBM火了,它到底是什么?》,楓哥;

4.《存儲行業深度報告:算力需求推動HBM市場數倍增長》,報告研究所;

5.《HBM技術,如何發展?》,半導體行業觀察

6.《一文讀懂HBM:高帶寬內存吸引各大科技巨頭搶購的“魔力”到底是什么?》,EEPW;

8.《新興的DRAM解決方案HBM產業鏈》,ittbank;

9.《存儲行業深度報告:AI服務器存儲量價齊升,算力需求推動HBM市場數倍增長全屏放大》,招商證券。

編者按:本文轉載自微信公眾號:奇偶派(ID:jioupai),作者:葉子

本文來源奇偶派,內容僅代表作者本人觀點,不代表前瞻網的立場。本站只提供參考并不構成任何投資及應用建議。(若存在內容、版權或其它問題,請聯系:service@qianzhan.com) 品牌合作與廣告投放請聯系:0755-33015062 或 hezuo@qianzhan.com

p28 q0 我要投稿

分享:
標簽: 大模型 HBM

品牌、內容合作請點這里:尋求合作 ››

前瞻經濟學人

專注于中國各行業市場分析、未來發展趨勢等。掃一掃立即關注。

前瞻產業研究院

中國產業咨詢領導者,專業提供產業規劃、產業申報、產業升級轉型、產業園區規劃、可行性報告等領域解決方案,掃一掃關注。

前瞻數據庫
企查貓
作者 奇偶派
科技自媒體
198800
關注
341
文章
2
前瞻經濟學人App二維碼

掃一掃下載APP

與資深行業研究員/經濟學家互動交流讓您成為更懂趨勢的人

研究員周關注榜

企查貓(企業查詢寶)App
×

掃一掃
下載《前瞻經濟學人》APP提問

 
在線咨詢
×
在線咨詢

項目熱線 0755-33015070

AAPP
前瞻經濟學人APP下載二維碼

下載前瞻經濟學人APP

關注我們
前瞻產業研究院微信號

掃一掃關注我們

我要投稿

×
J
主站蜘蛛池模板: 阿鲁科尔沁旗| 辽宁省| 哈密市| 黔西县| 榆林市| 洞头县| 建平县| 南安市| 大石桥市| 岱山县| 乳源| 阿瓦提县| 灵武市| 黑山县| 林西县| 杭锦旗| 连州市| 驻马店市| 康平县| 青铜峡市| 龙海市| 余江县| 昌黎县| 商南县| 龙山县| 北票市| 远安县| 湖州市| 伊宁市| 清丰县| 承德市| 灵武市| 德清县| 宁津县| 阳高县| 临沧市| 新密市| 南充市| 康平县| 沭阳县| 荔波县|