芯片设计师能干一辈子拿起运行百亿参数模型的手机06秒即入AI世界社会变革加速

在智能手机上，AI的进步令人瞩目。从15秒到0.6秒，只需点击一下鼠标，就能生成一张图像。这是高通公司第三代骁龙8芯片的功劳，它能够以30 tokens/s的速度运行70亿参数的大型语言模型。这种速度远超普通人每分钟阅读200-300个单词，每秒处理5-7个tokens。

触手可及的智能手机和AI PC已经成为了进入AI世界的门户。在终端AI的世界里，用一张照片即可生成超乎想象的图片；通过食物检测，仅几秒钟就能知道是否还能食用；对着贴身数字管家说出旅行要求，瞬间获得专门定制的旅行计划。

高通公司总裁兼CEO安蒙表示，“我们见证了下一个技术变革开始，AI将无处不在。”每一次重大技术变革，都需要强大的计算和连接力作支撑。高通将成为这场AI变革中的主角，让端侧AI像电力一样全面融入普通人的生活。

瑞泽最常用的手机功能之一是拍照。他没料到，一旦最新旗舰级第三代骁龙8具备运行100亿参数的大型语言模型能力，不仅能实时合并前后摄像头画面、去除视频中多余的人或物体，还带来了超越想象力的全新功能，如“照片扩展”，可以让任意照片看起来具有广角效果。

这些任务都是在手机端完成，无需担心隐私问题，也不用付月费。高通与合作伙伴像是打开了生成式AI世界的大门。在2015年首次将AI技术集成到商用的产品中用于增强音频技术，此后逐步应用于影像和视频技术中。三年前启动第三代骁龙8开发时，将终端智能放在了首位，这也是为什么发布后，就能实现从15秒至0.6秒文字生成图片速度提升。

第三代骁龙8如何实现数量级性能提升？其硬件基础包括CPU性能提升30%，GPU性能提升25%，以及Hexagon NPU性能翻倍。此外，还有改进架构、提高向量加速器主频、升级独特微切片推理技术等方式来加速Transformer网络推理支持业内最新LPDDR5-x内存，以及更快数据速度和更大带宽支持用户运行更大、更复杂的AI模型。

要激发基于第三代骁龙8平台上的端侧创新，少不了高通软件栈优化，如神经网络处理SDK和Direct AI引擎，这些都连接芯片与所有主流框架，使开发者可以直接使用TensorFlow、ONNX或PyTorch，大幅降低基于移动平台进行创新的门槛。