搜索
bottom↓
回复: 6

目前最火热的算卡H100的物料成本

[复制链接]

出16390入6832汤圆

发表于 2023-8-25 20:39:56 来自手机 | 显示全部楼层 |阅读模式
@饭统戴老板

昨天跟同事讨论英伟达的最新财报,把目前最火热的算卡H100的物料成本给拆了一下,结合近期海外媒体的一些测算,其中有不少有意思的地方:

1. H100的物料成本(Bill of Materials, BOM),其中主要就是三个部分:核心逻辑芯片、HBM存储芯片、CoWoS封装。另外还有PCB板和其他一些辅助器件,价值占比相对较低。

2. 在网上找了一张H100的图(SXM5模组),简单标注一下:中间红色框就是核心逻辑芯片,周围围绕着6颗HBM存储芯片,然后7颗芯片整体用CoWoS工艺(一种Chiplet技术)封装起来。

3. 首先是核心逻辑芯片:这是一颗面积为814mm2的Die(裸晶),是核心中的核心,由台积电台南18号工厂生产,工艺节点用的是“4N”,其实并非真正的4nm,叫做5nm+或许更合适。

4. 这一块核心芯片成本多少?台积电一片4N工艺的12寸晶圆价格为13400美元,面积大概70695mm2,理论上能切80多块,考虑到良率和损耗,至少也能切65块,单块价格在200美元左右。

5. 然后是HBM3存储芯片,一共6颗,围绕着GPU,左右各3块,采购自韩国厂商SK海力士。每个HBM芯片容量16GB,每GB大概15美元,6颗芯片加起来大概要1500美金左右。

6. 最后是CoWoS封装。这是一种2.5D的封装工艺,算是台积电的独家技术。相比把芯片堆叠在一起的3D封装,CoWoS工艺能够提供更好的成本、散热和吞吐带宽,后两者对GPU特别重要。

7. CoWoS封装的成本台积电不会对外公布,但台积电财报披露了CoWoS工艺目前占总营收7%,客户只有英伟达和AMD,海外分析师Robert Castellano据此做了一个测算,大概封装一块H100需要723美金。

8. 这样我们把之前三块成本相加,大概在$2500左右,其中台积电占1000美金(逻辑芯片+CoWoS),SK海力士占1500美金(未来三星会染指),再算上PCB等其他材料,整体物料成本不超过3000美金。

9. 那H100卖多少钱呢?35000美金,直接加了一个零,毛利率超过90%。过去10年英伟达毛利率大概在60%上下,现在受高毛利的A100/A800/H100的拉动,今年Q2英伟达的毛利率已经站上了70%。

10. 这有点反常识:英伟达严重依赖台积电的代工,后者地位无人撼动,但这么一块3.5万美金的卡,制造它的台积电只能拿1000美金,而且只是收入,不是利润。这可能也是代工模式的魅力所在。

11. 不过,用毛利率来定义暴利,对于芯片公司意义不大,要是从沙子开始算,那毛利率更高。一张4N工艺的12寸晶圆,台积电卖给谁都差不多是1.5万美金一片,英伟达能加个零卖给客户,的确是人家本事。

12. 加零的关键是CUDA软件生态,十几年的持续砸钱,累计已经投入几百亿美金。目前英伟达全球超过2万人,大都是高薪的软硬件工程师,把它们的薪资扣完,英伟达还能剩30~40%的净利润率。

13. 目前H100的瓶颈主要卡在台积电,而台积电的产能瓶颈又卡在CoWoS封装上,正在疯狂上产能。海外机构GPU Utils分析目前H100的需求是43.2万张,现在一卡难求,从下单到收货至少要等3~6个月。

14. H100的成本结构,验证了业界的一个共识:

英伟达是一家软硬件生态公司,卖的是系统,不是硬件。苹果是这种境界的集大成者。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x

阿莫论坛20周年了!感谢大家的支持与爱护!!

知道什么是神吗?其实神本来也是人,只不过神做了人做不到的事情 所以才成了神。 (头文字D, 杜汶泽)

出0入0汤圆

发表于 2023-8-25 20:58:54 来自手机 | 显示全部楼层
引领全球AI浪潮,台湾目前看来是大赢家

出0入90汤圆

发表于 2023-8-25 21:58:06 | 显示全部楼层
没事,我们国内的文心一言等一批大模型,就算没有足够的H100,也已经超越了chatGPT3.5的水平了。
懂社会主义核心价值观的模型,就是有了灵魂加持,就是强大。

出0入84汤圆

发表于 2023-8-26 00:34:43 | 显示全部楼层
价格跟成本就没啥关系,供需决定,你爱买不买,独此一家,人家老黄前些年投入多少人,花那么多钱来做环境,活该人家赚钱。
前几年做过个硬件项目,200多帧的高速摄像头AI识别报警,但是只能用老黄的做,离了CUDA不能说干不成事吧,但是一群搞软件的只会CUDA

出0入84汤圆

发表于 2023-8-26 00:40:58 | 显示全部楼层
其实最主要的是开源的哪些环境都是依赖CUDA做的,甚至离了CUDA做不了,不知道这几年什么情况了。

出0入663汤圆

发表于 2023-8-26 01:23:38 | 显示全部楼层
感觉HBM价格高估了,我没查到HBM3每GB多少钱,只搜到2020年reddit有人说16GB的HBM2大概是$120,也就是$7.5/GB,按照半导体的行业规律,HBM3不太可能价格又翻倍到$15/GB才对。

然后晶圆那里居然是直接用面积算出来能切80多块,一个圆形里面能放多少个方块的问题能这么直接算的吗?我模拟排了一下,撑死只能排65~70片,按他的80%左右良率算就只有50多片。

出0入300汤圆

发表于 2023-8-26 02:02:23 来自手机 | 显示全部楼层
这么大的东西怎么可能用12寸的原料
回帖提示: 反政府言论将被立即封锁ID 在按“提交”前,请自问一下:我这样表达会给举报吗,会给自己惹麻烦吗? 另外:尽量不要使用Mark、顶等没有意义的回复。不得大量使用大字体和彩色字。【本论坛不允许直接上传手机拍摄图片,浪费大家下载带宽和论坛服务器空间,请压缩后(图片小于1兆)才上传。压缩方法可以在微信里面发给自己(不要勾选“原图),然后下载,就能得到压缩后的图片。注意:要连续压缩2次才能满足要求!!】。另外,手机版只能上传图片,要上传附件需要切换到电脑版(不需要使用电脑,手机上切换到电脑版就行,页面底部)。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

手机版|Archiver|amobbs.com 阿莫电子技术论坛 ( 粤ICP备2022115958号, 版权所有:东莞阿莫电子贸易商行 创办于2004年 (公安交互式论坛备案:44190002001997 ) )

GMT+8, 2024-7-23 01:23

© Since 2004 www.amobbs.com, 原www.ourdev.cn, 原www.ouravr.com

快速回复 返回顶部 返回列表