《科创板日报》10月14日讯 日前,一则联系“2好意思元/小时出租H100:GPU泡沫幻灭前夕”的报谈激勉国内阛阓高度眷注。关连著作指出:
英伟达H100 GPU在2023年3月上市之后,因需求激增供不应求,其租出价钱从当先的每小时4.7好意思元一度飙升至每小时8好意思元以上。但本年以来,H100开动“供过于求”,每小时租出价钱降至2好意思元阁下。
价钱着落是由于多方面成分导致:1)有些永久预订H100的公司完成模子考试之后,转售闲置未使用的算力;2)很多公司不再重新考试新模子,转而微调洞开模子,算力需求大幅裁减;3)专注构建大范围基础模子的新创公司数目大幅减少;4)H100的替代品出现,如AMD和英特尔GPU,等等。
对这篇报谈进行溯源后不错发现,国际主流媒体及主要科技媒体暂未进行关连报谈,原报谈标题为《$2 H100s: How the GPU Bubble Burst》(2好意思元H100:GPU泡沫是若何幻灭的),来自于一个名为Latent Space的网站,原文作家为Eugene Cheah。
字据网站先容,Latent Space主要聚焦于AI,方式集履行音问、博客、社区为一体,由swyx 及Alessio Fanelli共同主合手,前者的应对平台账号并未给出具体身份自我先容,后者则为早期风投公司Decibel VC的合鼓吹谈主和CTO。
原文作家Eugene Cheah,则为初创公司Featherless.Ai的CEO。
据Cheah在“GPU泡沫”一文原文末尾先容,Featherless.Ai当今托管着宇宙最大的开源AI模子,“每月10好意思元起,可立即拜访,无完结申请,价钱固定;可通过无做事器方式即时推理,无需答允的专用 GPU”。
▌H100租出价钱着落 = GPU泡沫幻灭?
在“GPU泡沫”一文原文中有张配图,那是法国艺术家让-莱昂•热罗姆在1882年创作的油画《郁金香狂热》(Le Duel à la tulipe)。
这幅画态状了有纪录以来历史上第一次投契泡沫——17世纪荷兰的“郁金香狂热”,郁金香价钱在1634年合手续攀升,并于1637年2月崩盘,投契者手中只剩下当先投资额的5%。
三百多年前的投契泡沫会否再次献艺?这个问题牵动着每一位AI投资者的神经,概况亦然这一次“H100租出价钱着落”一文在AI圈激勉高度眷注的原因。
从算力租出商Vast.ai网站报价不错看到,1x H100的一小时租出报价照实还是在2~3好意思元区间内。
Vast.ai报价但H100租出价钱着落,简直能和“GPU泡沫幻灭”画上等号吗?
一方面,从Eugene Cheah的著作来看,“H100价钱着落”可能用“分化”来刻画更为适当——合手续下降的主要鸠合在小范围集群的租出价钱,相较之下,大范围算力集群的价钱则可能保管在较高水平。
而这些大范围算力集群背后,多是诸如特斯拉、微软、OpenAI一类的科技巨头。Omidia数据显现,H100发布之后的阿谁2023年第三季度,其出货量达到65万张,其中仅Meta和微软就永别拿下了15万张,占比接近一半。
另一方面,电子居品都有着更新迭代周期,GPU芯片相似如斯。之前英伟达下一代GPU Blackwell系传记出想象存在弱势,可能蔓延出货。但摩根士丹利上周发布叙述称,Blackwell的出产正在“按计算进行”,且异日12个月阁下的供应还是售罄,这意味著现不才订单的客户要到2025年底能力收到货,“这将不绝推动对现存Hopper架构居品的刚劲短期需求”。
H100租出价钱并非蓦地暴跌,波动已无意日。从A100到H100,从H100到H200,再到异日的Blackwell,新品出世例必带来前代居品的没落,更妄论Blackwell算力老本有望比Hopper进一步裁减。
黄仁勋这位英伟达“掌舵东谈主”也在日前以身作则。在遴选Altimeter Capital采访时他强调,对英伟达的合手续看涨与互联网泡沫顶峰技巧围绕念念科的狂热王人备不同。英伟达正在“重塑计较”,异日将是“高度机器学习”的期间。
“摩尔定律还是基本宣告终结”,他示意,为了提供必要的算力以跟上异日计较密集型软件的模范,异日4~5年内,现存数据中心将需要价值约1万亿好意思元的GPU来完结升级。
必须承认的是,“AI泡沫”论的警钟敲了又敲,“AI投资答复难达预期”的质疑声息一浪高过一浪,一边是OpenAI衔恨算力上线不足时不够用、英伟达新品售罄,另一边是算力租出价钱逼迫下降、还有公司“甩卖”GPU。
但局部、短期的算力多余或枯竭,似乎已难以代表AI的全盘场地,关于供需两方、多空双方往返博弈的AI规模来说,在硬件端除外,概况亟待更多新故事。