大厂疯抢HBM,但很缺
0赞HBM的火最近越烧越旺。SK海力士今年5月刚刚推出最新的HBM3E,英伟达、AMD、亚马逊等巨头已经在排队抢样品了。
英伟达与AMD最新的高端GPU产品H100以及MI300中,都配备了目前最新的HBM3。在AI服务器需求飞涨的档口,这对老对手正在积极开发下一代高端GPU,两家都不会放过即将发布的HBM3E。云服务器厂商,如亚马逊和微软,为了推出AI服务器,也带动了HBM 的一大波需求。
HBM的热度随着AI的盛行水涨船高,还引起了投资圈的关注,据说开一个HBM的线上会议,能有上万人预约报名。
爆火的HBM究竟是个啥?为什么大厂们都在抢HBM?HBM的玩家都有谁?能供应得上吗?
01
HBM是个啥
为什么都在抢
存储芯片的行情自去年以来一直不好,虽然一直有触底的声音,但是今年二季度DRAM和NAND的价格还在进一步下跌,DRAM价格跌幅扩大至18%,NAND扩大至13%。与此同时,据集邦咨询最新预测,第三季NAND Flash市场仍处于供给过剩,NAND Flash均价预估将续跌3-8%。
在存储市场惨淡的大背景下,HBM作为DRAM的一种,却在今年年初涨了5倍。HBM到底是个啥,凭啥逆势涨价?
HBM(High Bandwidth Memory),意为高带宽存储器,是一种面向需要极高吞吐量的数据密集型应用程序的DRAM,常被用于高性能计算、网络交换及转发设备等需要高存储器带宽的领域,高端GPU是其目前最瞩目的应用场合。
HBM的作用类似于数据的“中转站”,就是将使用的每一帧,每一幅图像等图像数据保存到帧缓存区中,等待GPU调用。
HBM与其他DRAM最大的差别就是拥有超高的带宽。目前最新的HBM3的带宽最高可以达到819 GB/s,而最新的GDDR6的带宽最高只有96GB/s,CPU和硬件处理单元的常用的DDR4的带宽更是只有HBM的1/10。这次被争抢的SK海力士即将推出的HBM3E,带宽甚至达到了1TB/s。
HBM能拥有如此大的带宽,简单来说,是因为“布局”变了。
HBM的原始形态——GDDR,是独立封装,在PCB上围着处理器转一圈。而变身后的HBM,则在硅中阶层(Silicon Interposer)上叠了起来并和GPU封装在一起。这样一来,面积一下子缩小了很多,并且,HBM离GPU更近了,数据传输也就更快了。
HBM是怎么叠起来的,可以参考下面这张图。
HBM将DRAM裸片像摩天大楼一样垂直堆叠,并通过硅通孔(Through Silicon Via, 简称“TSV”)技术将“每层楼”连接在一起,贯通所有芯片层的柱状通道传输信号、指令、电流,以增加吞吐量并克服单一封装内带宽的限制。你可以将HBM想象成一个切的整整齐齐的三明治,TSV就是扎在里面的那根牙签,将整个三明治固定并打通。
叠起来之后,直接结果就是接口变得更宽,其下方互联的触点数量远远多于DDR内存连接到CPU的线路数量。因此,与传统内存技术相比,HBM具有更高带宽、更多I/O数量、更低功耗、更小尺寸。
高带宽到底有啥魔力,为啥大厂都在抢HBM?
最大的原因,应该是AI服务器需求的爆发。
自ChatGPT爆火之后,国内外大厂争相竞逐AI大模型。而AI大模型的基础,就是靠海量数据和强大算力来支撑训练和推理过程。参数量越大,AI模型越智能,最新的GPT-4模型据说有1.76万亿参数量。不过,要想支撑如此庞大的数据处理和传输,就要打破“内存墙”。
存储和处理器并没有同步发展,过去20年中,硬件的峰值计算能力增加了90,000倍,但是内存/硬件互连带宽却只是提高了30倍。当存储的性能跟不上处理器,对指令和数据的搬运(写入和读出)的时间将是处理器运算所消耗时间的几十倍乃至几百倍。
可以想象一下,数据传输就像处在一个巨大的漏斗之中,不管处理器灌进去多少,存储器都只能“细水长流”。而数据交换通路窄以及其引发的高能耗,便是通常所说的“内存墙”。
HBM的高带宽相当于把漏斗中间的通道打得更开,让数据可以快速流通,面对AI大模型这种动不动千亿、万亿的参数,服务器中负责计算的GPU几乎必须搭载HBM。
目前,高端GPU市场被英伟达和AMD瓜分,两家尖端的GPU都配备了HBM,最新的H100和MI300X都配备了目前最新的HBM3。
英伟达将在2024年发布其下一代专为AI和HPC专用的高性能显卡Hopper-Next ,有消息称这款GPU将搭载目前尚未量产的HBM3E, 英伟达已经向SK 海力士寻求样品。据传AMD、微软和亚马逊不甘落后,也在向SK 海力士要HBM3E的样品。
02
千年老二SK海力士
这次成了第一
大厂们都在争抢的HBM3E是SK 海力士预计明年量产的最新版HBM,并且,现在市面上最先进的HBM3,目前也只有SK 海力士一家可以量产。
此外,集邦咨询的数据显示,2022年三大原厂HBM市占率分别为SK海力士50%、三星约40%、美光约10%。预计到2023年,SK 海力士市占率有望提升至 53%,而三星、美光市占率分别为38%及9%。可以说,在HBM领域,SK海力士是名副其实的老大。
HBM是DRAM的一种,SK 海力士在DRAM领域长年屈居于三星之后,可以说是DRAM界的“千年老二”。为什么在HBM领域,SK海力士突然“翻身当老大”了呢?SK 海力士在发展HBM的过程中,做对了哪些事?
简单来说,就是找对了方向,第一个用技术打开了市场,又能在关键时刻及时调整产能,用数量占据市场。
谈SK海力士的反超,还得从另一个“千年老二”AMD开始说起。
早在2009年,AMD就意识到了DDR在未来发展的局限性。除了上文所说的“内存墙”,也就是数据流得很慢;“功耗墙”也是GPU发展的制约,数据从内存转移到处理器,再从处理器回到内存,一来一回的过程需要挤占功耗,当数据量越来越大,功耗也面临不够用的问题。
AMD早早地“预见”到了这点,并且想到了用3D堆叠的方式大幅增加带宽,于是在2009年就开始着手HBM的研发。
AMD毕竟不是专业做内存的,得找个专业的一起干。
要想实现3D堆叠,连接每一块DDR的那根“柱子”很重要,也就是TSV硅通孔技术。
2011年的时候SK海力士成功研发采用TSV技术的16GB DDR3内存,同年,三星也发布了采用TSV技术的DDR3。最后AMD选择了SK 海力士,两家一起研究HBM。
2013年,SK 海力士和AMD终于推出了HBM这项全新的技术,HBM1的工作频率约为1600 Mbps,漏极电源电压为1.2V,芯片密度为2Gb(4-hi),其带宽为4096bit,远超GDDR5的512bit,带宽的增加也就很大程度上缓解了“内存墙”的问题。
在功耗方面,GDDR5每瓦功耗的带宽为10.66GB/秒,而HBM每瓦带宽超过35GB/秒,每瓦能效提高了3倍,“功耗墙”的问题也在一定程度上被缓解。
SK 海力士第一个站上了HBM的跑道。
虽然具有先发优势,但由于成本高昂,AMD之后便再次投向GDDR的怀抱,没有了“用武之地”,HBM暂时冷了下来。
直到2016年,存储老大三星跳过HBM1,直接量产HBM2,同年,英伟达发布Tesla P100显卡,内置三星的16GB HBM2显存,这一下子再将HBM拉回大众视线。
此后,SK 海力士便开始和三星进行HBM追逐战。
基本上一家发布新的,半年内另外一家马上跟上,有时你先,有时我先。就这样从4GB HBM2,到8GB HBM2,再到HBM2E。
两家韩厂忙着追赶HBM的时候,另一个巨头美光还在“自娱自乐”。美光没有跟着搞HBM,而是和英特尔一起搞出了一个叫HMC(混合内存)的技术,虽然也使用了TSV,但是和HBM完全不同,也完全不兼容。推出后一直响应寥寥,美光在2018年才正式放弃HMC,开始追赶HBM,2020年才推出HBM2,被韩厂拉开了不小的距离。
让SK 海力士真正超过三星的,是HBM3。
SK海力士早在2021年10月就发布了全球首款HBM3,并于2022年6月正式量产,供货英伟达。三星虽然在路线图里显示2022年HBM3技术已经量产,但是要等到今年下半年才能大规模生产,出现在市场上。也就是说,现在市面上只有SK 海力士有HBM3。
恰逢天时地利,去年年末ChatGPT横空出世,带动了轰轰烈烈的AI大浪潮,并且这股热潮目前看起来还将持续较长的时间,一下子把HBM这个“冷门”高端内存带到了需求的中心。要想在AI激战中活下来,就必须要抢高端GPU,而高端GPU几乎必备HBM。SK 海力士成为了目前HBM的最大赢家。
不过,下一代的HBM3E将在2024年量产,而三星下一代的HBM3P也将在2024年实现。三星在HBM上咬得很紧,SK 海力士能不能保持住目前的优势还有待观察。
除了技术上的领先,SK 海力士可以说是审时度势第一名。在HBM 的需求被炒热后不久,就当机立断地扩产,成为三巨头里第一个扩产HBM的厂家。
受整个半导体市场行情低迷的影响,以存储为主要业务的SK 海力士的财报很不好看,今年第一季度亏损3.4023万亿韩元(约合人民币191.93亿元),创近十年之最。在这种惨状之下,SK 海力士表示今年的投资规模将减少50%或以上。
但是,今年6月初,SK 海力士宣布决定使用最新的尖端 10 纳米级第五代 (1b) 技术大幅提高明年的产量,大部分增量将由 HBM3E 填充。此外,有消息称SK 海力士已着手扩建HBM产线,目标将 HBM产能翻倍,扩产焦点在于HBM3。
靠技术打开市场,并用数量占据市场,SK 海力士铁了心要靠HBM克服半导体低迷。
03
HBM能供应上吗?
除了SK 海力士,三星和美光也开启了HBM的扩产步伐。
SK 海力士:投资1万亿韩元,目标HBM产能翻倍
今年6月有报道指出,SK海力士正在准备投资后段工艺设备,将扩建封装HBM3的利川工厂,预计到今年年末,后道工艺设备规模将增加近一倍。由于HBM主要是通过垂直堆叠多个DDR来提高数据处理速度,因此只有增加后道设备才能扩大HBM的出货量。这笔投资金额大约在1万亿韩元(约合人民币56.41亿元)。
此外,SK 海力士宣布决定使用最新的尖端 10 纳米级第五代 (1b) 技术大幅提高明年的产量,大部分增量将由 HBM3E 填充。
三星:同样投资一万亿韩元,下半年量产HBM3
今年7月,三星宣布将投资一万亿韩元在天安工厂展开扩产,该厂主要负责半导体封装等后道工艺,三星计划在该厂生产目前正在供应的HBM2和HBM2E等产品,目标明年底之前将 HBM产能提高一倍。此外,三星还计划于下半年量产8层堆叠HBM3和12层HBM3E。
美光:增加HBM投资
美光已开始向客户提供HBM3产品样品,预计这款HBM3产品将于2024年初开始量产,并在2024财年实现可观的收入。此外,美光决定在中国台湾增加HBM内存产品组装和测试能力的投资,以应对人工智能浪潮下该领域出现的强劲需求。
存储大厂们都在积极扩产HBM,但这样可以保证HBM的供应吗?
先从需求端来看,HBM目前仍然主要被应用于高端GPU中,例如英伟达的H100和AMD的MI300,不过谷歌在其TPU中也采用了HBM来构建Bard基础设施,也可能带动HBM 的需求。
花旗预期,2023年HBM DRAM需求(1Gb)将达到35亿片,较去年增加99%,而2024年将达到102亿片,再增191%。
从供应端来看,花旗预计,2023年HBM DRAM供应量(1Gb)将达到31亿片,年增长80%,2024年将成长至87亿片,年增183%。
虽然大厂们都在积极扩产HBM,但是从预计的供需量来看,供应的增长速度略慢于需求的飞涨。此外,有相关研究单位分析,2023年HBM供需比为-13%,2024年为-15%。近两年HBM或许仍将处于供不应求的状态。
原文链接:https://mp.weixin.qq.com/s/kCejr4sz9R9elb42T4jNhQ
电子技术应用专栏作家 芯世相