手机、PC纷纷落地，围绕生成式AI的全新移动和计算时代已现雏形

导语：如今，随着将大模型塞进手机的进程加快，普通用户也能亲自体验生成式AI的魅力了。

　　

2023 已经行至尾声，这一年大模型和生成式 AI成为人工智能圈的主流趋势。自ChatGPT 出现以来，各式各样通用、专业的 AI 大模型层出不穷，喷涌之势已经不可阻挡。随着量化、网络剪枝和知识蒸馏等模型压缩技术进步，手机等终端设备AI算力持续增强，大模型在云端部署之外正在向终端落地迈进。

　　

     　　

对于这场已经拉开了序幕的「终端侧革命」，芯片巨头和手机厂商们成为主力军，他们不断尝试在手机等终端设备上部署运行生成式AI大模型，时不时给人们一点小小的惊喜和震撼。

　　

今年2月，我们第一次看到了在手机上运行超过10 亿参数的文生图大模型Stable Diffusion。那是在一部搭载高通第二代骁龙 8移动平台的安卓手机上运行的，不到15秒的时间执行20步推理，生成了一张512×512像素的图像。这也创造了究竟智能手机上最快的推理速度。

　　

     　　

你以为这就是手机运行Stable Diffusion的速度极限了吗?显然不是。在上个月举行的2023骁龙技术峰会上，不到15秒的生成时间又遭整整缩短数十倍。高通最新旗舰移动平台第三代骁龙8(以下简称骁龙8 Gen 3)让速度飞升成为可能。

　　

在峰会现场，高通用搭载了骁龙 8 Gen 3的手机运行相同的Stable Diffusion大模型，这次不到1秒(0.6秒)的时间便在本地生成了一张图像。从15秒到0.6秒，终端侧生成式AI大模型的进化速度让我们惊叹不已。

　　

     　　

这只是高通在本届骁龙技术峰会上展示其终端侧AI能力的牛刀小试。除了生成速度(从 15 秒到 0.6秒)有了质的飞跃，骁龙8 Gen 3将支持运行的大模型参数规模(从10亿到百亿)提升一个量级。

　　

大模型赋能平台也不再局限于手机，高通下一代 AI PC 芯片骁龙X Elite亮相，将百亿参数大模型「塞进」PC平台，极大拓展了生成式AI应用的广度。

　　

至此，高通在终端侧AI领域积累起来的领导力和技术领先性进一步得到加强，更赋予了手机、PC，甚至耳机等厂商更多终端AI落地的想象力和可能性。

　　

双平台并进，让生成式AI更加触手可及

　　

自今年2月以来，高通先后在搭载第二代骁龙8移动平台的安卓手机上运行Stable Diffusion、ControlNet，让大模型跑在手机端成为现实。此次骁龙峰会上发布的骁龙 8 Gen 3 将大模型终端侧落地的潜力提升到了新的高度，使其自身继续在该领域引领潮流。

　　

     　　

据了解，骁龙8 Gen 3采用的高通AI引擎拥有面向移动终端的强大Hexagon NPU，集成了升级后的硬件加速单元、微切片推理单元、加强张量、标量和矢量单元，所有单元共享 2 倍带宽的大容量共享内存。同时支持 INT8+INT16的混合精度以及 INT4、INT8、INT16和FP16的所有精度。性能较前代提升98%，能效提升40%。

　　

骁龙 8 Gen 3 集成的高通传感器中枢也更强，拥有2个始终感应ISP、2个micro NPU和1个DPS，内存增加了30%，支持INT4精度，AI性能提升了3.5倍。

　　

     　　

可以说，骁龙 8 Gen 3赋予了手机前所未有的强大终端侧AI性能，成为高通首个专为生成式AI打造的移动平台。那么这款旗舰级移动平台是否名副其实呢?这是我们大家最为关心的问题。

　　

在该平台上，高通AI引擎首次支持多模态生成式AI，包括了多种大语言模型、视觉语言模型等。尤其是在终端侧，骁龙8 Gen 3 首次支持运行 100亿参数的模型，规模迈入百亿量级。同时将 Stable Diffusion 生成图像的时间降到了1秒之内，再次创下最快速度。

　　

在跑Meta大语言模型Llama2-7B时，骁龙8 Gen 3每秒可以生成20个token，同样是手机终端侧最快之一。

　　

     　　

(图注)高通产品管理高级副总裁Ziad Asghar