大模子创业公司成了「GPU穷人」-香港期货

一夜醒来，大模子圈都在热议一个词——“GPU穷人”（GPU-Poor）。

来自行业剖析机构SemiAnalysis的一篇讲述，爆料谷歌拥有的算力资源比OpenAI、Meta、亚马逊、甲骨文和CoreWeave加起来还要多。

剖析师Dylan Patel展望，谷歌DeepMind联手的下一代大模子Gemini，到年底训练量将碾压（Smash）GPT-4到达后者5倍。

讲述提出在这种压倒性的优势眼前，大部门创业公司和开源势力都成了“GPU穷人”，在用有限的资源苦苦挣扎。

这个既扎眼又扎心的说法迅速成为新梗，在行业里撒播开来。

巧了，也是统一位作者搞出来的，另外GPT-4内部架构细节大曝光也是他干的。

被点名的开源扛把子HuggingFace团结首创人Julien Chaumond示意：不要小看我们穷人啊。

也有人代表学生在线吐槽：款项上穷，算力上也穷，说的就是我们博士生了。

正致力于让手机跑大模子的着名学者陈天奇示意，未来每小我私人都市拥有自己的AI助手，其中大多数人都市是“GPU穷人”，但不要低估合起来的总量。

也有不少人以为，抛开争议性的内容和大部门内容收费不谈，这篇讲述的免费前言部门就是对大模子行业现状的一个很好的指斥和总结。

01、“GPU穷人”在做无用功

讲述下笔很不留情，直言许多创业公司在GPU匮乏情形下破费大量时间精神做的事，都是无用功。

好比许多人热衷使用大模子的输出微调小模子，然后去刷排行榜，然则评估方式不完善，更注重气概而不是准确性或适用性。

讲述还以为种种丈量尺度不完善的排行榜自己，也是对小公司的误导，由此发生一大批不适用的模子，对开源运动也是一种危险。

另一方面，GPU穷人们反而对资源的行使效率不高，大多使用麋集模子，主要基于开源的羊驼生态。

然则OpenAI谷歌这些巨头已经在玩MoE架构这样的希罕模子，以及行使小模子投契采样 （speculative decoding）提高推理效率了，完全是两个游戏。

作者希望GPU穷人们不应该过分限制模子规模以及过分量化，而忽视模子质量下降。应该专注于在共享的基础设施上高效地提供微调模子，削减延迟和内存带宽需求，知足边缘盘算的需求。

看到这里，也有人提出差异意见，以为缔造性的突破往往正是来自有限制的环境，这反而是某种优势。

但Perplexity.AI团结首创人Aravind Srinivas以为，GPU厚实的组织现实也会投资于带限制条件的研究。

而且要找到下一个像Transformer这样的突破，需要成千上万次的实验，要求的资源*不低。

艾斯德康完成千万级天使轮融资，合肥爱意资本领投

02、“GPU土豪”的游戏怎么玩

那么GPU平民的另一面，谷歌这个“GPU土豪”在做什么呢？。

严酷来说，谷歌算力不是GPU而是自家TPU。讲述以为虽然TPUv5单体性能不如英伟达H100，然则谷歌有最高效的基础设施架构。

谷歌大脑与DeepMind合并后，联手训练对标GPT-4的Gemini大模子。

由前DeepMind两位研究VPKoray Kavukcuoglu与Oriol Vinyals和前谷歌大脑掌门人Jeff Dean配合向导百人团队。

凭证多方爆料，Gemini预计年内就会公布，更准确的来说是美国的秋季局限之内（9月23日-12月21日）。

Gemini将整合大模子与AI图像天生的能力，使用Youtube上93.6亿分钟的视频字幕训练，总数据集巨细据估量是GPT-4的两倍。

前DeepMind首创人Hassabis曾透露，Gemini将连系AlphaGo类型系统的一些能力和“其他异常有趣的创新”。

另外谷歌首创人布林也一直在亲自介入Gemini研发，包罗对模子做评估并协助训练。

关于Gemini更详细的新闻还不多，然则有人推测也将与GPT-4一样使用MoE架构和投契采样手艺。

8月初Google DeepMind揭晓的新论文From Sparse to Soft Mixtures of Experts被以为可能与Gemini相关。

投契采样能在不损失天生质量的条件下，让Transformer大模子获得2-3倍的推理加速。

详细来说是让小模子天生提前天生一些token并让大模子做评判，若是接受就让大模子天生下一个token再重复*步，若是小模子天生的质量不高再换用大模子。

谷歌一方的投契采样论文在2022年11月才揭晓，但之前的爆料以为GPT-4也用了类似的手艺。

现实上投契采样手艺的前身Blockwise Parallel Decoding也来自谷歌，作者中包罗Transformer作者中的Noam Shazeer。

Noam Shazeer这小我私人在谷歌时同时介入了Transformer、MoE和投契采样的研究，对今天的大模子来说都至关主要，另外他还介入了T5、LaMDA和PaLM等多个大模子研究。

SemiAnalysis的讲述中还讲了他的一个八卦。

早在GPT-2时代Noam Shazeer就在谷歌写了一份内部备忘录，展望了未来大模子将以种种方式融入人们的生涯，但那时这个看法并未被谷歌重视。

现在看来，他展望的许多事都在ChatGPT公布后真实发生了。

不外Noam Shazeer在2021年就脱离谷歌开办了Character.ai，根据这篇讲述的说法，他现在也是“GPU穷人”的一份子。

参考链接：

[1]

[2]

[3]