中国芯片最强是谁拿起运行百亿参数模型的手机06秒就进入了AI世界
在高通公司的领航下，手机和AI PC正在逐步演变成为进入AI世界的任意门。从15秒到0.6秒，使用AI生成一张图的时间飞速缩短，让数字发烧友瑞泽对手机AI进化速度感到震惊。
10月底发布的骁龙X Elite AI PC处理器，以30 tokens/s的速度运行70亿参数的大型生成式AI模型，这比普通人每分钟阅读200-300个单词快了好几倍，即使是向AI PC提出复杂问题，它也能迅速给出答案。
触手可及的智能手机和PC已经成为了进入AI世界的一扇窗户。在这个世界里，你可以用一张照片无需等待就能生成超乎想象的图片；让手机“看”几秒食物，就能知道是否还能食用；对着贴身数字管家说出旅行要求，瞬间就能获得专门定制的旅行计划。
“生成式AI在终端上的应用呈几何式增长，一年前我们只能看到几个例子，现在有数百个，预计到2024年我们将会看到上千个例子。”高通公司总裁兼CEO安蒙说，“我们见证了下一个转型的开始，AI将无处不在。”
每一次重大技术变革背后，都需要强大的计算和连接力作支撑。高通作为这场变革中不可或缺的一员，将通过其芯片产品全面融入普通人的生活，使得端侧AI像电力一样普遍存在。
瑞泽最常用的手机功能之一就是拍照，但他没想到最新旗舰级第三代骁龙8具备运行100亿参数的大型生成式模型能力，不仅能够实时合并前后摄像头画面、去除视频中的多余人物或物体，还带来了超越想象力的全新功能，如“照片扩展”，可以通过任何照片进行缩放，从而实现广角效果。
除了这些应用之外，如果你想要参加电话会议，可以直接获取重要事项并添加待办事项；如果你想去某地旅行，你可以得到最符合你的路线规划；如果你打算徒步，你只需要输入个人信息再扫描皮肤状态，就会有私教般运动训练建议。这些任务都是在手机端完成，而且完全不会侵犯隐私，也不需要付费，只需打开终端智能即可使用这些服务。
这一切都不是偶然发生，而是经过十年的持续投入于人工智能领域之后才实现。在2015年高通首次将AI技术集成到商用产品中用于增强音频技术，此后不断推进至影像和视频技术领域。三年前，当第三代骁龙8开发时，他们就把终端智能放在了首位，所以当它发布时，就能够以0.6秒内完成文字生成图片任务，比起之前15秒大幅度减少了时间，并且提升了用户体验。
要实现这样的性能提升，对硬件来说是不够滴，第三代骁龙8具有30%以上CPU性能提升、25%GPU性能提升以及Hexagon NPU性能翻倍。这一切都建立在改进架构、提高向量加速器主频以及升级微切片推理技术等基础之上，同时支持业界最新LPDDR5-x内存、高效数据传输，以及先进蒸馏等技术来加速Transformer网络推理。此外，还采用了一种名为INT4量化方法来保持性能与精度之间平衡，并充分利用业界最快DDR内存提供77GB/s吞吐量，以惊人的速度运行量化模型。而Hexagon NPU则以闪电般速度支持LVM，大大加快了扩散过程达到了0.6秒这个令人瞩目的时间。
SnapFusion支持Snap以同样快速产生图像，而不会牺牲图像质量，并计划于2024年支持Snapchat Dreams功能，为用户提供超乎想象力的图片创造能力。此外，由于基于第三代骁龙8平台进行创新所面临的问题，其核心解决方案包括神经网络处理SDK和Direct AI引擎，这些工具极大地降低了解决者对于移动设备进行基于该平台进行的人工智能创新的门槛，无论是在聊天机器人还是视觉输出方面都展现出了其潜力与优势。
除了视觉输出，更重要的是多模态交互——结合视觉、文本、语音输入——更直观自然，让用户体验更加丰富多彩。三代骁龙8支持多模态交互，在保障用户隐私同时利用LoRA等边缘学习技术，使得终端侧模型更加个性化。当询问回家的最佳路线或推荐餐厅时，与云端相比，它能够根据年龄偏好活动位置等个人信息提供定制化回答，使得边缘计算成为触手可及进入虚拟空间的一个桥梁，是另一扇开放到的任意门。一旦开放，我们相信更多未知但令人振奋的事情将随之而来，为我们的未来铺设道路。
