GPU荒漠,算力缺少背面的时刻比赛与解决方案
“本年以来,A800整机现已从80-90万元,涨到超过了140万元。”
“每天都有新客户来询价。”
“货一到,3天内就没了。”
“二道贩子说有货信不得,因为你既无法验证他的产品是不是旧卡重拆,又不知道他的质保才干。”
……
多位服务器经销商出售人员告知亿欧TE智库(TEinstitute),现在算力处于求过于供中。
当时,国内AI算力的首要买方分为3类:
一是做大模型研制和运用的科技公司,包含百度、腾讯、阿里、字节等互联网大厂和MiniMax、智谱篇章等草创企业;
二是打造智算中心、AI云的各地国央企;
三是落地大模型才干和运用的各职业头部企业。
本年头,ChatGPT的爆红正式让AIGC置于新一代技能革命风暴的中心。为炼ChatGPT供应燃料的英伟达,最早嗅到革新的气味,其CEO黄仁勋2月初就在加州大学伯克利分校哈斯商学院的讲演中明确指出,ChatGPT相当于AI界的iPhone面世。
回到2007年1月9日,乔布斯在旧金山举行的Macworld大会上正式发布iPhone。
多年后回望这一刻,它蕴含了太多前史时刻的初步——移动智能终端遍及、交际媒体兴起、数字内容工业扩张、移动运用生态昌盛、网络通信技能加速迭代……
很难简略归纳iphone面世代表了什么,因为它在技能更新、社会日子和经济开展等各方面都具有强壮的影响力。
这也阐明晰黄仁勋对AI 2.0年代巨大的期翼——AIGC或将再次重塑人类的日子方法。
而这巨大期翼的另一面,是新生事物开展前期必定通过一段萌芽期。
美国学者埃弗里特·M·罗杰斯在1962年提出立异的分散理论,复原了一项新观念/事物/技能引进社会体系时的演化进程:立异者-前期承受者-前期的大多数-晚期的大多数-滞后者。
罗杰斯立异的传达模型:跟着许多新的顾客选用新技能(蓝色),其商场份额(黄色)最终将到达饱满水平。蓝色曲线按选用者的承受才干分段(来历:wiki百科)
当时,AIGC的开展正处于立异者和前期承受者之间,间隔商场彻底迸发还需求穿越前期承受者到前期大多数的一段地道。
当时商场对AI算力的哄抢,正是因为算力作为AIGC年代的燃料,是支撑工业开展的基建,也是助推商场迸发的重要因素。
为了完结算力可用、可承当,科技公司、政府都在举动中。但在AIGC工业中,触发商场迸发的人物,必定是满意用户需求的工业运用。
算力和运用两者的重要性,就像iphone手机发布次年,苹果发布的iphone 3G和APP Store。
前者为用户供应更快速的互联网衔接。后者答应开发者上传运用程序供用户下载,打造了丰厚的运用生态,也让优质的运用产品反哺苹果手机出售。
其间一个典型事例是,2009年末“愤恨的小鸟”上线APP Store并在全球风行。这不但让人们注意到苹果手机作为游戏渠道的潜力,还让许多不常玩游戏的人沉浸于此。
最终更多顾客、开发者都注意到苹果运用生态并参加其间,更多好的运用产品诞生并得到遍及,如此良性循环。
亿欧TE智库(TEinstitute)以为,假如ChatGPT代表着AI的iphone时刻,那么现在商场还需求更多“愤恨的小鸟”来完结商场落地和遍及。
而现在商场上对算力的聚集,背面也是运用的蓄势待发。
01、算力严重,背面有运用的时刻赛
2023年8月中旬,亿欧TE智库对国内数家供应AI算力的服务器署理商进行了询价:
国内许多用于练习大模型的GPU是练习ChatGPT的A100的低配版——A800,单卡现货价格在12万元以上。
以《金融时报》8月初的报导,我国互联网巨子本年向英伟达下单10亿美元,收购约10万张A800芯片核算,A800的出厂价格约1万美元,当时的商场价涨幅超67%(汇率按1:7.2核算)。
有经销商出售人员告知亿欧TE智库,现在一些有货源的厂商不会直接卖单卡,而是组装成8卡的PCIe整机,以更高的价格出售。
A800 NVlink 8卡整机的现货价格则在140万元以上。口头约好到货时刻的期货产品,价格能廉价约二十万元。
英伟达在2023年新发布、功用优于A100 2-3倍的H100,也在国内有低配版上市——H800。现在H800整机的期货价格均在200万元以上。
GPU作为供应AI算力的中心,价格大涨的底子原因是现在商场求过于供,而被商场遍及认可的供应方只要英伟达一家。
脱离英伟达有什么成果?企业得承受更低的功用、不低的能耗费用和更长的产品研制周期。
其间缩短产品研制周期,尽早上市产品,从头界说笔直场景的运用,对各职业落地大模型的企业尤为重要。
这从当时现货产品特别抢手,现货整机价格可高出期货20万元以上可见一斑。
一位服务器经销商的出售人员告知亿欧TE智库,只要是把自己需求整理解了的企业客户,下单都很爽快。一些等不及的企业还会挑选租借云厂商的AI算力,通过一起租借多台服务器缩短产品的研制时刻,或许在期货交给前先在云上跑起来。
“首要在抢时刻,现在能入局的都是职业头部企业,有钱、有资源、有数据才干做产品。”
供应缺乏的现象不但存在国内,谷歌、亚马逊和微软等云核算服务商都在面对GPU缺货。马斯克还恶作剧说,搞企业级GPU比买“药”还难。
为什么英伟达不能通过加码出产端满意商场需求?
英伟达的一位高管表明,英伟达正在开足马力出产GPU,但GPU的产能最首要遭到供应链的约束。
首要,芯片组件的出产依靠国际范围内的供货商,其间一些组件不乏需求收购稀缺的原材料与高难度的加工。假如英伟达供货商没有在更早意识到GPU需求的迸发,在囤货和出产上就不可避免的滞后。
其次,现在英伟达一切的5nm GPU都只与台积电协作,而台积电只要4个为5nm芯片供应产能的出产节点,其间又只要2个增强型节点满意H100的制程,这还需求英伟达与苹果、高通和AMD同享产能,因为台积电晶圆厂需求提早12个月对各客户的产能调配做出规划。
对此,多位服务器署理的出售人员告知亿欧TE智库,8月开端英伟达已不承受A800订单,将产能会集给H800。
正是因为以上原因,部分商场参加者预见到本年GPU将面对短少,嗅到商机的中间商在上半年以挨近原厂的“贱价”囤货,进一步让商场上流转的产品愈加稀缺,产品价格也更高了。
算力商场短期内离不开英伟达高功用的GPU,大厂也只能活跃订购等候下一年交给。
《金融时报》称,百度、腾讯、阿里巴巴以及字节跳动本年还向英伟达下单价值40亿美元下一年交给的AI芯片。
尽管许多参加者现已信任了“AIGC能够把悉数产品重做一遍”,现阶段却不得不拥堵在狭隘的算力管道里。
02、算力解法在路上,生态抱团或是答案
在这样的布景下,被华尔街称为“AI大战中*的军火商”——英伟达到为了独一份的香饽饽。本年以来,英伟达市值已屡次创前史新高,并跻身万亿美元沙龙。
老黄成为最神采飞扬的人,在8月的SIGGRAPH 2023上,他发布了英伟达最新的产品,并再次对公众说出那句名言“The more you buy, the more you save”。
但是,现阶段英伟达GPU芯片供应缺乏,并不能实在满意客户“buy more”的需求。这也给眼馋英伟达独占AI算力商场的竞争对手留下缝隙。
竞争对手们纷繁起立,向商场交出处理方案。而这或许将加速算力瓶颈的消除。
站在*队伍的是老牌芯片巨子。
2023年6月,AMD发布AI芯片Instinct MI 300X,对标英伟达H100。MI 300X HBM(高带宽存储器)容量及显存带宽分别是英伟达H100的2.4倍及1.6倍,因为HBM容量大幅提高,单颗MI 300X芯片就能够运转800亿参数的模型。
而在前一年的6月,AMD发布的该系列首代产品Instinct MI 300A,选用的是CPU GPU架构,对标英伟达的GH200。
不过AMD的这两款MI 300芯片间隔实践运用或还需求必定时刻,两者现在还处于给客户送样阶段。
英特尔相同不甘示弱。
为了抢占国内AI算力商场,2023年7月英特尔在北京举行发布会,为其高功用AI芯片Gaudi 2推出我国“*版”。Gaudi 2是英特尔在2022年5月初次发布的一款ASIC(专用集成电路)芯片。
英特尔履行副总裁Sandra Rivera称,以AI开源模型供货商Hugging Face的功用成果为例,Gaudi 2在多种练习和推理基准测验中,体现超过了英伟达A100的功用;在各种*进的模型上,Gaudi 2的性价比是A100的2倍左右。
此外,英特尔人工智能架构师赵玉萍在8月举行的百度飞桨开发者大会上称,在100-200亿参数规划的大模型上,通过优化架构和软硬件协同,英特尔CPU也能获得很好作用.
另一个动作一再的芯片巨子是手机芯片厂商高通。
2023年7月,Meta发布最新一代开源免费可商用大言语模型Llama 2,并宣告Llama 2将能够在高通芯片上运转。
高通相关人员表明,云端并非AIGC悉数图景,看好AIGC在手机、电脑、物联网等“端侧”的时机。
这种大模型 芯片厂商的联婚,和上一轮互联网年代微软与英特尔结成的Wintel联盟殊途同归。
对此,上海交通大学核算机科学与工程系教授梁晓峣以为,AI芯片厂商与大模型厂商要结成对子、构成工业联盟,才干更快推动AIGC的开展落地。
“1.0的传统年代,芯片厂商打包芯片和结构软硬件一体研制。
2.0的深度学习年代,出现谷歌、Meta等巨子推出具有影响力的TensorFlow、PyTorch等结构,这一轮AI芯片创业公司的硬件产品需求适配巨子推出的结构。
3.0的大模型年代,芯片厂商要适配的大模型有了数量级的添加,这时芯片厂商要想尽早落地量产,有必要提早圈定大模型同伴,不然比及运用的时分,两边只会互相厌弃不好用。”
商场开展也显着正沿着这条途径。
8月中旬,科大讯飞联合华为发布了协助企业快速布置大模型的星火训推一体机。两者的协作形式或许便是,华为供应国产芯片和服务器,并将其与讯飞的星火大模型适配。这一设备答应企业从头练习大模型,也能依据讯飞星火大模型针对场景快速优化。
科大讯飞董事长刘庆峰泄漏,该渠道单卡算力现已开端对标英伟达A100芯片。
华为是在本年敏捷跟进大模型落地的大厂之一,其才干包括底层芯片、AI结构,中层大模型和顶层运用端。
其间,昇腾Atlas 300T练习卡和KunLun G8600分别对标英伟达的芯片和服务器。昇思打造开源生态,对标海外干流AI结构。盘古大模型3.0,面向需求端供应根底、职业和专用三类模型。
另一个以打造生态著称的科技大厂是百度。百度已在芯片(昆仑芯)、结构(飞桨社区)、模型(文心系列)、运用(百度云协作同伴)四层完结全栈布局。
现在,主打生态协同的飞桨社区现已集成超200个大模型,许多AI芯片立异公司可在飞桨社区完结大模型与硬件的适配,用户也可依据适配的芯片挑选大模型来进一步练习和推理。
而海外值得重视的造芯科技大厂,则是在本次大模型浪潮中心的微软。
The Information报导,微软正在研制5nm制程的芯片Athena。这款芯片的方针便是代替贵重的A100/H100,给OpenAI供应算力引擎。这也相同契合芯片 大模型的组合形式。
能够预见,研制成功后Athena会通过微软的Azure云服务,来争夺英伟达的蛋糕。
为了保证这项新事务获得抱负作用,在科技巨子裁人期间,微软成立了Microsoft Silicon,由前英特尔履行官Rani Borkar领导,有职工近千名。彭博称,微软为此已投入约20亿美元。
国内外自研AI芯片的科技大厂在弥补AI算力的第二队伍,第三队伍则是许多AI芯片创业公司。
国内涵2016年迎来了一波AI芯片创业潮,跑出了寒武纪、地平线、昆仑芯、燧原、天数智芯等明星企业。这些企业中的不少,也在活跃融入以百度飞桨为代表的生态社区中,与结构、大模型厂商协同。
数据源:亿欧数据 2023年数据截止7月底 制图:亿欧TE智库 高佳欣
现在,在国产代替步步推动的布景下,他们将逐步成为大模型厂商的优先挑选。
亿欧TE智库进行算力询价时,通过诘问后现已能零散听到有署理商说到昆仑芯和燧原的姓名。
03、运用或将迸发于2024年上半年
算力是大模型运用迸发的条件之一,即使许多企业在技能探究阶段,对算力的需求没有那么大,但到了实在做产等第运用时,仍是需求算力作为底层支撑。
现在算力的获取方法除了置办服务器搭机房做私有化布置外,假如企业的产品不触及灵敏信息,还能够向国内具有AI算力的云厂商租借相关服务。
不过在硬件严重的布景下,亿欧TE智库了解到,百度阿里腾讯等企业自炼大模型的AI算力尽管根本饱满,但冗余的可供商场买卖的AI算力依然严重。
图源:阿里云 地域为华为2(截图于8月22日)
图源:腾讯云 根底设置为随机可用区、GPU机型、GPU核算型GN0Xp类型(截图于8月22日)
短期的算力紧缺,必定程度掩盖了人工智能运用程序的实在潜力。
到现在为止,除了年头就现已让用户大为震慑过的产品ChatPGT、Midjourney、Stable Diffusion,以及图生视频运用Gen 2外,年头到现在还短少让用户相同直呼“哇噻”的运用。
不过值得弥补的是,上半年ChatGPT发布的Copilot现已成为开发者的福音,即使该运用约束在工程师集体。而微软宣告的Office Copilot让全国际等待,尽管该运用至今仍未揭露上线。
国内以2023年6月为分水岭,厂商从发布大模型到敞开大模型ToB副本,深化千行百业落地。现在各大模型厂商仍在与职业企业共创完善大模型阶段。
ToC方面,2023年上半年百度、阿里、讯飞、MiniMax发布的大模型均可让用户请求测验。详细运用上,WPS发布了智能工作东西,答应安卓和windows体系用户请求测验;网易有道发布了“子曰”大模型,并落地虚拟人白话教练等6个功用……
细数下来,当时国内普通人实在可用、可感知的大模型运用还很寥寥。
算力紧缺消除、算力平价或许会在必定程度处理这个问题。那么接下来的问题是,这个时刻点何时能来?以职业巨子微软的说法,2024年上半年或许是要害节点。
微软旗下有云服务和OpenAI,是以实在事务在感知大模型和算力商场。在此前的2023财年陈述电话会上,微软CFO Amy Hood表明,人工智能服务收入估计到2024年上半年能够完结创收。
这至少阐明,微软以为2024年商场对AI的需求还会激增,将有许多AI客户冒出面来。
从这个视角看,AIGC落地千行百业现已不可逆转。
亿欧TE智库此前发布的研报整理了当时AIGC商业落地工业图谱,能够看到在数个细分场景和职业,已有不少服务商出现。
图源:亿欧TE智库《企业AIGC商业落地运用研究陈述》
亿欧TE智库在做算力询价时,有服务器署理商出售人员明确指出,“各行各业的客户都有”。
处理了算力问题,对企业来说最中心的便是产品打造和打磨了。
金山工作产品总监王中秋告知亿欧TE智库,找到用户需求和大模型才干结合的场景,是其团队的要害使命,在此根底上打磨产品直到用户体会处于优秀,团队才会对外发布。
不过,在大模型的产品形状上,亿欧TE智库观察到,当时的大模型运用首要以网页版出现,这并不契合当代人的屏幕运用习气。
此外,当时许多大模型运用是在现有产品的根底上做AI才干的加法,相似ChatGPT、Midjourney等AI的原生运用还有巨大的幻想空间。
不过改动现已在产生。年头高通就将Stable Diffusion布置在安卓手机上运转;7月底,安卓版ChatGPT正式上线,美国、印度、孟加拉国和巴西四国的安卓用户,现已可在谷歌Play商铺下载运用。
海外科研界和风投界也在活跃进行AI的原生运用探究。本月,斯坦福Smallville项目在github开放源代码库,答应人们依据指引树立数字版的“西部国际”——人工智能体在其间日子并彼此沟通,而不知道自己日子在一个模仿环境中。 有闻名风投组织在一周内出资团队跟进了该项目,并复刻了一个人工智能小镇。