字节跳动旗下火山引擎发布大模型训练云平台，集群性能提升3倍

2023-04-19 14:43:02来源：界面新闻

文章导读: 界面新闻记者|肖芳字节跳动旗下火山引擎发布自研 DPU 等系列云产品，并推出新版机器学习平台：支持万卡级大模型训练、微秒级延迟网络，让大模型训练更稳更快。其中，火山引擎新一代自研 DPU 网络性能高达 5000 万 pps 转发能力、延迟低至 20us 。基于自研 DPU 的各类计算实例性能也有显著提升，例如适用于大模型分布式并行训练场景的 GPU 实例，相较上一代实例集群性能最高提升 3 倍以上。火山引擎总裁谭待表示，国内有数十家做大模型的企业，...

界面新闻记者|肖芳

字节跳动旗下火山引擎发布自研DPU等系列云产品，并推出新版机器学习平台：支持万卡级大模型训练、微秒级延迟网络，让大模型训练更稳更快。

其中，火山引擎新一代自研DPU网络性能高达5000万pps转发能力、延迟低至20us。基于自研DPU的各类计算实例性能也有显著提升，例如适用于大模型分布式并行训练场景的GPU实例，相较上一代实例集群性能最高提升3倍以上。

火山引擎总裁谭待表示，国内有数十家做大模型的企业，大多已经在火山引擎云上。与其他云厂商力推自家大模型不同的是，火山引擎将接入多家大模型深度合作，为企业和消费者提供更丰富的AI应用。

自2022年底发布以来，ChatGPT成为人类历史上最快获得上亿用户的消费级互联网应用。最新的GPT-4大模型，更是在法律、数学、生物学等多项测试中超过90%人类。

谭待表示，国内很多科技公司投入到大模型建设中，他们有优秀的技术团队，也有丰富的行业知识和创新想法，但往往缺乏经过大规模场景实践的系统工程能力。火山引擎要做的就是为大模型客户提供高稳定性和高性价比的AI基础设施。

字节跳动旗下火山引擎发布大模型训练云平台，集群性能提升3倍

同时，火山引擎宣布与字节跳动国内业务并池。基于内外统一的云原生基础架构，抖音等业务的空闲计算资源可极速调度给火山引擎客户使用，离线业务资源分钟级调度10万核CPU，在线业务资源也可潮汐复用，弹性计算抢占式实例的价格最高可优惠80%以上。

字节跳动副总裁杨震原表示，业务创新需要试错，试错要大胆、敏捷，但试错也一定要控制成本。通过潮汐、混部等方式，火山引擎实现资源的高利用率和极低成本。以抖音推荐系统为例，工程师用15个月的样本训练某个模型，5小时就能完成训练，成本只有5000元。火爆全网的抖音“AI绘画”特效，从启动到上线只用一周多时间，模型由一名算法工程师完成训练。

据了解，融易新媒体，火山引擎对内对外将提供统一的产品，抖音、今日头条等APP开屏都加上了“火山引擎提供计算服务”。