怎样让生成式 AI 真正普惠大众？高通给出了答案

今年以来，以 ChatGPT 为代表的生成式 AI 大模型赛道持续火热，科技企业们纷纷抢滩，陆续拿出自家的 AI 大模型产品，就在不久前的 8 月份，智能手机品牌小米也公布了自己的 AI 大模型，然后 9 月份还上线了小爱同学大模型版。

还有本月初举办的 2023 中国国际服务贸易交易会上，生成式 AI 也成为关键热词，智谱 AI、APUS 等多家企业展示了 AI 大模型产品，大家更是体验到了利用 AIGC 和数字人技术打造的“元宇宙体验中心”。

而就在这次服贸会的成果发布平台中，高通公司发布了印刷版的人工智能 AI 白皮书 ——《混合 AI 是 AI 的未来》，在白皮书中，高通梳理了在 AI 领域技术和发展的洞察，旨在与更多合作伙伴探索 AI 普惠之路。

同时，高通公司全球副总裁侯明娟在会上表示，终端侧 AI 是实现混合式 AI 架构、扩展生成式 AI 至全球更广范围的关键。

巧的是，刚刚我们说的小米 AI 大模型，也没有专注于扩张超大参数，而是尝试将 13 亿参数的模型放到用户的手机本地运行。

可见，终端侧的 AI 正引起行业的广泛重视，在 AI 技术和产业接下来的发展中将扮演无比重要的角色。

生成式 AI 发展深化，终端侧优势和价值凸显

终端侧 AI 之所以如此重要，是因为它能够缓解云端 AI 在成本、能耗、性能、隐私、安全和个性化等方面存在的问题，特别是生成式 AI 快速发展的当下，这些问题会显得尤为突出。

比如首先在成本上。据估计，每一次基于生成式 AI 的网络搜索查询，其成本都是传统搜索的 10 倍 ，而这只是众多生成式 AI 的应用之一。如果把这些运算、处理都放在云端，无论对于规模大小的搜索引擎企业来说，都是一笔很不划算的成本负担。

将一些处理从云端转移到边缘侧终端，就可以减轻云基础设施的压力并减少开支。就像高通，他们可以利用现已部署的、具备 AI 能力的数十亿边缘侧终端来进行运算处理，很大程度上减轻云端基础设施的负担。

再比如能耗方面，边缘终端能够以很低的能耗运行生成式 AI 模型，尤其是将处理和数据传输相结合时，能够帮助云服务提供商显著降低数据中心的能耗。

终端侧 AI 也能增强整个 AI 应用体系的可靠性，比如现在大家使用一些大模型产品，高峰时段经常会遇到应答很慢、甚至生成失败的情况。但有了终端侧 AI，就可以把相当一部分的计算负载转移到终端侧，这样当生成式 AI 查询对于云有需求时，就有更大的可能避免高峰拥堵，从而有效减少排队等待和高时延、乃至拒绝服务的情况。

此外，终端侧 AI 从本质上也有助于保护用户隐私，因为敏感的数据和信息可以保留在终端上，无论是对企业用户还是个人用户来说，这一点都是非常重要的。

当隐私安全得到保障后，紧接而来的好处就是个性化的体验成为可能。

因为服务提供商能够在不牺牲用户隐私的前提下，最大程度根据用户的个性化数据提供对应的服务，例如我们手机上的 AI 助手就能更深入地了解我们的习惯、兴趣、需求，从而绘制出更精确的用户画像，以提供个性化的服务。而这些用户画像，都是保留在终端内的。

总之，在 AI 未来发展的道路上，终端侧 AI 和云端 AI 同等重要，它会和云端 AI 一起，真正释放生成式 AI 技术发展能够对大众带来的普惠价值，并且生成式 AI 的应用和普及越广泛越深入，终端侧 AI 的行业潜力和价值就越会凸显，深刻改变我们生产和生活的方方面面。

事必豫则立，高通前瞻式布局生成式 AI

过去我们总是听到“AI 改变世界”，但落地到实际应用中，感知仿佛并不是很强烈，但生成式 AI 的涌现，仿佛让人们对“AI 改变世界”有了初步的、真切的体会。

试想未来，我们的手机会因为生成式 AI 而变得更简洁、智慧，成为真正的随身助理；PC 会成为更强大的生产力工具，大大提速我们的日常工作流，过去需要人工数小时或数天完成的任务，只需要几分钟就能搞定；还有汽车也能成为高度个性化的空间，帮你规划出行路线、提供定制化的音乐和博客等体验……

当然，这些还只存在于我们设想中的未来，要想将这样的理想变成现实，让 AI 真正改变世界，就需要进一步推动生成式 AI 的大规模扩展和应用，这背后，以混合 AI 架构为基础，特别是获得终端侧 AI 的赋能，就是关键。

而在行业里，恰好就有一家企业一直以来致力于此，就是高通。

高通在 AI 领域已经深耕超过 15 年，并且已经面向数十亿手机、汽车、XR 头显与眼镜、PC 和物联网等边缘终端提供行业领先的 AI 硬件和软件解决方案，在终端侧 AI 方面拥有相当的领导力。

在软件方面，高通首先是在终端侧生成式 AI 方面有强大的领导力，他们对生成式 AI 的研究可追溯到生成式对抗网络（GAN）和变分自编码器（VAE），利用 VAE 技术，高通创建了更好的视频和语音编解码器，将模型规模控制在 1 亿参数以下。

而近期，高通已在终端侧实现支持超过 10 亿参数的生成式 AI 模型，比如 Stable Diffusion，并计划未来在终端侧支持参数高达数百亿的模型。

他们不仅在研究如何将生成式 AI 模型用作通用代理来构建计算架构，并使用语言来描述相关任务和行为，同时也正在研究如何能够通过增加感知输入（比如视觉和音频），进一步开拓这一能力以及环境交互能力，比如对机器人生成指令或运行软件。

而在关键的终端侧 AI 方面，高通则通过 AI 硬件加速和简化开发的软件解决方案，引领终端侧 AI 的推理。这样的 AI 加速架构具备灵活性和稳健性的特点，能够应对生成式 AI 模型架构的潜在变化。随着大语言模型和其他生成式 AI 模型持续演进，高通的 AI 技术架构将随之不断发展。能够轻松开发混合 AI 应用是关键所在，而他们的跨产品组合的通用 AI 架构以及 AI 工具正是面向这一未来而设计。

10 亿参数模型在移动端落地应用，只是开始

那么具体来说，高通是通过怎样的解决方案来实现终端侧生成式 AI 的演进呢？

答案是，高通为应用、神经网络模型、算法、软件和硬件进行了全栈 AI 研究和优化。去年 6 月，高通推出了专门面向边缘侧 AI 的领先软件栈产品，高通 AI 软件栈，搭配卓越的终端侧 AI 技术，使用异构计算方法利用硬件和软件来加速终端侧 AI，共同开发最为优化的解决方案。

能够这么做，也是得益于高通在 AI 基础研究方面具备的独特能力，可以支持他们进行全栈终端侧 AI 的研发，以及赋能产品快速上市以及围绕终端侧生成式 AI 等关键应用进行优化部署。

比如今年上半年，高通实现的全球首个 Android 手机上的 Stable Diffusion 终端侧演示，就能突显高通全栈策略的优势。

Stable Diffusion 是一个参数超过 10 亿的超大神经网络基础模型，能够基于输入的文本提示生成图片。这一终端侧演示是在飞行模式下进行的，通过高通的全栈 AI 优化，这一模型能够完全在终端侧运行，实现在 15 秒内完成 20 步推理，生成饱含细节的图像。

高通面向 Stable Diffusion 就进行了全栈 AI 优化。例如在算法和模型开发效率上，之前云端服务器上训练的模型一般采用 32 位浮点运算（FP32），这意味着完成模型推理需要大量的处理工作。而针对 Stable Diffusion，高通采用的是 8 位整数运算（INT8）。去年年底在第二代骁龙 8 移动平台上，更是进一步支持了 4 位整数运算（INT4）能力，这将大大提升 AI 运算的效率。

此外，通过高通 AI 引擎 Direct，高通能够以最高效的方式利用硬件能力，结合第二代骁龙 8 行业领先的 Hexagon 处理器，更将在终端上带来远远领先于这一用例的生成式 AI 能力。

高通 AI 软件栈面向高通合作伙伴、用户和开发人员提供了一个集成所有 AI 框架、开发者库、操作系统的整合平台，让他们得以在搭载骁龙平台的终端上打造出色体验。与此同时，他们还可以使用 Qualcomm AI Studio 提供的所有工具。

而在硬件方面，高通的硬件能够提供行业领先的能效，是移动领域竞品的近 2 倍。这当中，高通 AI 引擎就是由多个软硬件组件构成，能在骁龙和高通平台上实现终端侧 AI 加速。

高通 AI 引擎采用异构计算架构，包括 Hexagon 处理器、高通 Adreno GPU 和高通 Kryo CPU，全部面向在终端侧快速高效地运行 AI 应用而打造。通过异构计算的方式，开发者和 OEM 厂商可以优化智能手机和其他边缘侧终端上的 AI 用户体验。

在 6 月份的 CVPR 2023 上，高通还演示了一款参数量级达到 15 亿的图像生成图像模型 ControlNet，这是一种生成式 AI 绘画解决方案，通过额外输入控制预训练大模型如 Stable Diffusion，可以精细地设定生成图像的各种细节。先输入一张参考图，然后根据输入的 prompt 进行预处理，就能对生成的图像进行精准控制。

在高通的演示中，普通安卓手机仅用 11.26 秒便可以运行 ControlNet 生成一张图片，并且完全是本地化的，高效且快速。

这次 ControlNet 模型架构的出色表现，也是得益于高通对模型进行的软硬件全栈式 AI 优化，高通 AI 模型增效工具包、高通 AI 引擎以及高通 AI 软件栈提供了关键的支撑。

接下来，高通正计划未来在终端侧支持参数高达数百亿的模型，意味着超大规模的 AI 大模型在终端侧运行将指日可待，这也将成为基于高通技术的产品的一大差异化优势。

除了上面这些，还有一点不容忽视的，就是高通部署的边缘侧终端规模十分庞大，搭载骁龙和高通平台的已上市用户终端数量已达到数十亿台，而且每年有数亿台的新终端还在进入市场。这些终端覆盖一系列广泛的产品，包括手机、汽车、XR、PC 和物联网等等等等。

总之，高通凭借行业领先的硬件，支持在既定功耗下实现更高性能；行业领先的高通 AI 软件栈；以及行业领先的工具如高通 AI 模型增效工具包（AIMET）等三大关键要素，构成了其在全球范围赋能混合 AI 规模化扩展的独特优势。

结语

生成式 AI 的火热将不会是昙花一现，而是能够真正改变我们生活和生产方式的技术趋势，根据预测，2025 年，在智能手机、PC / 平板电脑、XR、汽车和物联网等细分市场的 AI 应用率，将从 2018 年的不到 10%，增长至 100%。

而对于高通来说，这也是他们的发力方向之一。凭借在终端侧 AI 的强大的领导力，高通正基于独特的优势向混合 AI 架构转型，他们拥有在 AI 领域超过 15 年的前瞻研究和产品投入，有卓越的终端侧 AI 技术和全栈优化的体系，更有广泛且数量庞大的全球边缘侧终端布局和规模。

而接下来，他们要做的则是更紧密地支持开发者、OEM 厂商和其他生态系统创新者快速高效地构建全新生成式 AI 应用和解决方案，让最广大的用户更快地享受到生成式 AI 能够带来的便利生活。

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。