致力于解放AI生产力，潞晨科技完成数亿元A轮融

5月22日新闻，潞晨科技宣布完成数亿元的A轮融资。据公司先容，本轮融资是潞晨科技确立18个月内完成的第三轮融资，此次融资资金将主要用于团队扩张和营业拓展。

潞晨科技确立于2021年，主要营业是通过打造漫衍式AI开发和部署平台，辅助企业降低大模子的落地成本，提升训练、推理效率。公司首创人尤洋示意，自己此前在伯克利、新加坡国立大学均从事漫衍式盘算、机械学习、高性能盘算相关研究，曾缔造ImageNet以及BERT训练速率的天下纪录。而在2021年左右，他加倍笃信大模子的趋势，以是在昔时确立潞晨科技，希望降低大模子的落地门槛。

潞晨科技当前的产物包罗开源高效深度学习系统Colossal-AI和对应的企业版PaaS平台。平台主要由异构内存治理系统、高效N维并行系统、低延时推理系统组成，整体希望帮客户杀青最小化模子部署成本、最大化盘算效率的效果。

针对内存治理，尤洋示意，模子参数、层数越大，盘算量响应也越大。GPT3的1750亿参数，可能需要占有800G内存。再加上训练神经网络时还需要存梯度、优化器状态，“GPT3在什么都没干的情形下，就要消耗3200G内存。”尤洋举例。再加上内存资源实在较为稀缺，以是科学治理内存资源在训练大模子的场景下变得异常主要。当GPU内存放不下这些数据，还需要把部门数据迁徙到CPU、NVMe硬盘上。

尤洋示意，治理GPU、CPU、NVMe硬盘被称为异构治理。已往，异构治理主要延续静态思绪，一最先就预估好参数、梯度、优化器等所需的资源。在尤洋看来，这种方式由于对照固化，没设施随着现实训练历程调配，很可能存在虚耗资源。但潞晨接纳的动态治理方式，可以加倍天真的平衡资源，“我们希望数据都能放到GPU里。然则若是GPU放不下了就放CPU里，CPU放不下就放NVMe里，但同时我们需要最小化CPU、GPU、NVMe之间的数据移动，这是最主要的。”尤洋示意，潞晨的异构内存治理系统可以辅助杀青这一目的。

另一方面，企业现在训练大模子，常基于成百上千张GPU卡完成。这是由于，理论上，卡越多需要的训练时间越少，大模子的落地也更具效率。但现真相形中，卡越多意味着承载盘算功效的机械越多，而在最终汇总各机械效果时，通讯又会造成新的效率消耗。

美的何享健科学基金正式发布，个人出资30亿

针对这一痛点，潞晨打造了高效N维并行系统。尤洋示意，在这一系统中公司接纳了高维张量并行等方式提升效率。尤洋示意，这背后的原理主要是用二维的方式设计张量并行。张量并行可以让盘算义务被剖析后同步举行。二维切片的方式，则让每个机械只需要和偕行或者同列的机械打交道，不需要和所有机械打交道。“若是我们要1万个机械盘算、传统方式（一维）一个机械需要跟9999个剩下机械打交道，我们只需要和99个机械打交道就可以。”他说。

第三是低延时推理系统，作用是削减模子推理速率慢带来的延时感。尤洋示意，解决这一问题，整体的部署方式和模子自己的优化都很主要。在优化方面，潞晨的内存治理、张量并行手艺，以及剪枝蒸馏等方案均能施展作用。

可以看出，异构内存治理系统、高效N维并行系统主要在训练步骤中施展效力，低延时推理系统则提升推理部门的速率。若再细分，异构内存治理系统更能辅助客户节约资源成本，高效N维并行系统更能提升盘算速率。尤洋示意，现在这三大系统均汇聚在公司的PaaS平台中，开源版本Colossal-AI现在也已获得约3万颗GitHub星星。在详细服务方式上，尤洋示意，现在客户可以通过潞晨的PaaS平台直接训练自己的模子，潞晨也可以辅助客户训练模子。据先容，现在潞晨的方案已在自动驾驶、云盘算、零售、医药、芯片、金融等行业落地。

Colossal-AI GitHub星数

据领会，本轮融资后潞晨将加速扩张，并希望吸引招募更多的MLOps、AI大模子、AI框架等领域优异人才加入，以更好服务客户。