高通AI负责人：云端难以完成所有生成式AI负载，“混合AI模式”是合理方向
-
图像拍摄：匡达图像拍摄：匡达(photo:JieMian)界面新闻记者 | 彭新
“在云端完成所有生成式AI所需的工作负载，是难以实现的。”6月16日，高通技术公司产品管理高级副总裁兼AI负责人Ziad Asghar接受界面新闻记者等采访时称，云端处理存在成本的乘数效应，用户进行查询的次数越多，模型规模就越大，也就会导致云端的成本不断上升。不仅如此，应用数量和用户数量的增加，也会导致成本的提高。因此，高通更倡导所谓“混合AI”模式。
由ChatGPT引发的人工智能大潮席卷科技行业，科技巨头急切寻找其中位置。以手机芯片闻名的高通坚称，云端并非生成式AI全部图景，在手机、电脑、物联网等“端侧”，高通存在机会。
Ziad Asghar称，在高通理念中，混合AI的优势在于结合云端和终端的各自优势：一方面，对隐私和安全要求比较高的终端侧工作负载，可以继续通过边缘云，完全在终端侧完成。同时，通过在云端和边缘侧终端分布工作负载，我们能够大幅度减少云端的处理量。另一方面，对于其它较大负载的AI模型处理工作，可以通过云服务供应商完成。
Ziad Asghar还认为，外界对于云端处理生成式应用仍存在隐私疑虑，而终端侧处理恰恰能够解决这一问题。“比如用户发出一个查询，终端接收之后能够独立完成推理，那么所有相关的查询信息和数据都会留在终端上。”
实际上，与“人工智能”一词已与GPU巨头英伟达深度绑定相比，高通对于自研AI技术的应用，多用于网络信号处理、图形、音频优化等。Ziad Asghar称，高通长期专注于脉冲神经网络（SNN）领域研究，对AI已有15年以上的研发历程，无论时手机上搭载的骁龙芯片、人脸识别还是卷积神经网络等，均有高通AI能力。
“我们的独特优势在于，骁龙计算平台拥有专用的硬件单元，能够原生支持生成式AI在本地使用，这与目前市场上其他的产品完全不同。”Ziad Asghar说。
2023年世界移动通信大会（MWC）期间，高通展示了其在安卓手机运行文生图Stable Diffusion模型的能力。Stable Diffusion是一个近期流行的AI模型，能够基于文本输入来创作图像。该模型参数超过10亿，此前主要限于在云端运行。不过，与ChatGPT模型的上千亿参数相比，Stable Diffusion在数据规模上存在较大差异。
“许多关键的生成式AI模型，比如文本生成图像、自然语言处理、编程、图像理解、图像创作等，模型规模一般在10亿到100亿参数之间。”Ziad Asghar称，他介绍，未来几个月内，高通将有望支持参数超过100亿模型在终端侧运行。
“针对Stable Diffusion，我们所采用的是8位整数运算（INT8），去年年底在第二代骁龙8移动平台上，我们已经进一步支持了4位整数运算（INT4）能力。”Ziad Asghar称，高通从硬件、软件以及工具设计上，均致力于发挥在端侧的人工智能优势。
随着算法愈加复杂，计算量越来越大，高通认为，手机、汽车、无人机，以及万亿级的物联网设备都需要具有更强的人工智能能力。Ziad Asghar介绍，在云端服务器上训练的模型，一般采用32位浮点运算（FP32），意味着完成模型推理需要大量的处理工作。高通希望通过整数运算模式和量化技术进行AI推理，加快获取模型推理结果速度。
智能手机市场行情不佳，以销售手机芯片为主的高通正遭遇挑战。5月4日，高通公布第二财季财报，其营收同比下滑17%至92.8亿美元，净利润同比下降42%至17.04亿美元。其中QCT（半导体业务）部门核心业务手机芯片销量下降17%至61.1亿美元。市场调研机构Canalys数据显示，2022年，全球智能手机出货量连续四个季度下滑，全年市场整体降幅为12%，总出货量跌破12亿部。其中，中国市场2022年出货量减少14%，跌至2.87亿部，创下十年新低。
对于高通而言，在市场下行环境下，生成式AI是其希望向投资人传达信心的重点部分。在第二财季电话会议上，高通CEO安蒙称，生成式人工智能模型的需求正以指数级速度增长，ChatGPT、Stable Diffusion和DALL-E等生成式AI模型已经在短时间内扩展到数百万用户。高通相信该技术将快速发展、持续流行并改变移动、个人计算和汽车领域用户体验。
界面新闻记者 | 彭新
“在云端完成所有生成式AI所需的工作负载，是难以实现的。”6月16日，高通技术公司产品管理高级副总裁兼AI负责人Ziad Asghar接受界面新闻记者等采访时称，云端处理存在成本的乘数效应，用户进行查询的次数越多，模型规模就越大，也就会导致云端的成本不断上升。不仅如此，应用数量和用户数量的增加，也会导致成本的提高。因此，高通更倡导所谓“混合AI”模式。
由ChatGPT引发的人工智能大潮席卷科技行业，科技巨头急切寻找其中位置。以手机芯片闻名的高通坚称，云端并非生成式AI全部图景，在手机、电脑、物联网等“端侧”，高通存在机会。
Ziad Asghar称，在高通理念中，混合AI的优势在于结合云端和终端的各自优势：一方面，对隐私和安全要求比较高的终端侧工作负载，可以继续通过边缘云，完全在终端侧完成。同时，通过在云端和边缘侧终端分布工作负载，我们能够大幅度减少云端的处理量。另一方面，对于其它较大负载的AI模型处理工作，可以通过云服务供应商完成。
Ziad Asghar还认为，外界对于云端处理生成式应用仍存在隐私疑虑，而终端侧处理恰恰能够解决这一问题。“比如用户发出一个查询，终端接收之后能够独立完成推理，那么所有相关的查询信息和数据都会留在终端上。”
实际上，与“人工智能”一词已与GPU巨头英伟达深度绑定相比，高通对于自研AI技术的应用，多用于网络信号处理、图形、音频优化等。Ziad Asghar称，高通长期专注于脉冲神经网络（SNN）领域研究，对AI已有15年以上的研发历程，无论时手机上搭载的骁龙芯片、人脸识别还是卷积神经网络等，均有高通AI能力。
“我们的独特优势在于，骁龙计算平台拥有专用的硬件单元，能够原生支持生成式AI在本地使用，这与目前市场上其他的产品完全不同。”Ziad Asghar说。
2023年世界移动通信大会（MWC）期间，高通展示了其在安卓手机运行文生图Stable Diffusion模型的能力。Stable Diffusion是一个近期流行的AI模型，能够基于文本输入来创作图像。该模型参数超过10亿，此前主要限于在云端运行。不过，与ChatGPT模型的上千亿参数相比，Stable Diffusion在数据规模上存在较大差异。
“许多关键的生成式AI模型，比如文本生成图像、自然语言处理、编程、图像理解、图像创作等，模型规模一般在10亿到100亿参数之间。”Ziad Asghar称，他介绍，未来几个月内，高通将有望支持参数超过100亿模型在终端侧运行。
“针对Stable Diffusion，我们所采用的是8位整数运算（INT8），去年年底在第二代骁龙8移动平台上，我们已经进一步支持了4位整数运算（INT4）能力。”Ziad Asghar称，高通从硬件、软件以及工具设计上，均致力于发挥在端侧的人工智能优势。
随着算法愈加复杂，计算量越来越大，高通认为，手机、汽车、无人机，以及万亿级的物联网设备都需要具有更强的人工智能能力。Ziad Asghar介绍，在云端服务器上训练的模型，一般采用32位浮点运算（FP32），意味着完成模型推理需要大量的处理工作。高通希望通过整数运算模式和量化技术进行AI推理，加快获取模型推理结果速度。
智能手机市场行情不佳，以销售手机芯片为主的高通正遭遇挑战。5月4日，高通公布第二财季财报，其营收同比下滑17%至92.8亿美元，净利润同比下降42%至17.04亿美元。其中QCT（半导体业务）部门核心业务手机芯片销量下降17%至61.1亿美元。市场调研机构Canalys数据显示，2022年，全球智能手机出货量连续四个季度下滑，全年市场整体降幅为12%，总出货量跌破12亿部。其中，中国市场2022年出货量减少14%，跌至2.87亿部，创下十年新低。
对于高通而言，在市场下行环境下，生成式AI是其希望向投资人传达信心的重点部分。在第二财季电话会议上，高通CEO安蒙称，生成式人工智能模型的需求正以指数级速度增长，ChatGPT、Stable Diffusion和DALL-E等生成式AI模型已经在短时间内扩展到数百万用户。高通相信该技术将快速发展、持续流行并改变移动、个人计算和汽车领域用户体验。
