集成IC芯片使手机仅需06秒便能运营百亿参数模型融入社会的AI新篇章
在智能手机上，AI的进步令人瞩目。从需要15秒才能生成一张图到现在仅需0.6秒，这样的速度提升让数字发烧友瑞泽感到震惊。在10月底发布的AI PC处理器骁龙X Elite上，更是能够以30 tokens/s的速度运行70亿参数的大型语言模型。这比普通人每分钟阅读200-300个单词快好几倍，即便问一个复杂的问题，AI PC也能迅速给出答案。
触手可及的智能手机和AI PC已经成为进入AI世界的门户。一张照片，无需等待就能生成超乎想象的图片；对着贴身数字管家说出旅行要求，瞬间就能获得专门定制的旅行计划。“生成式AI在终端上的应用呈几何式增长，一年前我们只能看到几个用例，现在有数百个，预计到2024年我们将会看到上千个用例。”高通公司总裁兼CEO安蒙说，“我们见证了下一个转型的开始，AI将无处不在。”
每一次重大技术变革都需要强大的计算和连接力作支撑。高通作为这场变革中的主角，将使端侧AI像电力一样全面融入人们生活中。手机不再只是通信工具，它们已经成为进入未知领域任意门的一种形式。瑞泽最常用的手机功能之一就是拍照，他没想到最新旗舰级第三代骁龙8具备运行100亿参数的大型语言模型能力后，不仅能实时合成前后摄像头画面，还带来了全新功能，如“照片扩展”，可以通过任何照片缩放，让其看起来具有广角效果。
这些任务都是在手机端完成，没有隐私问题，也不需要付费。这并非一蹴而就，而是在过去十年的努力之后形成现状。三年的开发工作，使得第三代骁龙8一发布，就能够从15秒减少到0.6秒，从而嵌入相机应用中使用。
为了实现这一性能提升，第三代骁龙8采用了改进架构、提高向量加速器主频、升级独特微切片推理技术等方式来加速Transformer网络推理。此外，还支持业内最新LPDDR5-x内存，以4.8GHz频率提供更快数据速度和更大带宽支持用户运行更大、更复杂的模型。
要激发基于第三代骁龙8平台创新，并非只依赖硬件，而是依赖于高通神经网络处理SDK和高通AI引擎Direct，它们连接芯片与所有主流框架，让开发者可以轻松访问Hexagon NPU，大幅降低移动平台进行创新的门槛。此外，在聊天机器人的应用方面，还利用推测性解码技术使其流畅运作，同时结合视觉、文本、语音多模态体验，为用户提供更加直观且个性化服务。
同样地，对于PC来说，这些变化同样显著。在惠普公司高级总监Bobby Moore的话语中：“回顾行业历史，只有两项其他技术像如今的AI一样具有颠覆性——命令行界面使个人电脑普及，以及图形用户界面简化PC使用。而今天，我们正经历着由PC计算彻底改变的一个时代。”
随着时间推移，我们正在经历一种转折点，在这里CPU和GPU虽然至关重要，但终端侧也变得不可或缺。在未来，当消费者选择笔记本电脑时，他们将不得不权衡轻薄与性能之间以及终端侧智慧能力之间不断增加的心智负担。但是，由于骁龙X Elite搭载了自研Oryon CPU，与苹果M2 Max相比，其表现远胜过之，是极佳的人机交互体验解决方案。
此刻，每个人都站在了一扇巨大的门口，那里充满了可能性的未来，而这个未来被称为“触手可及”的智能世界。在这里，你只需点击一下鼠标，就能开启无限可能；你想要什么？你的设备就在那里等候，为你提供超乎想象的地平线。你准备好了吗？
