大模型加速涌向移动端！ControlNet 手机出图只需 12 秒
重塑一切的大型模型浪潮正在加速向移动应用程序发展。
不久前，高通刚刚在MWC上秀了一手，它可以纯粹在手机上运行，并且可以在15秒内生成一张图片：
三个月后，在 CVPR 2023 上，参数数量增加到 15 亿，并且也在手机上首次亮相。 整个绘制过程只用了不到12秒：
更让人意想不到的速度是，高通技术公司产品管理高级副总裁兼AI负责人Ziad透露：
从技术角度来看，将这些10亿+参数的大模型搬到手机上只需要不到一个月的时间。
而这仅仅是个开始。
在与 Qubit 的交流中，Ziad 认为：
大型模型正在迅速重塑人类和机器的交互方式。 这将彻底改变移动应用程序的使用场景和使用方式。
“大型模型改变终端交互方式”
每个看过《钢铁侠》的人都很难不羡慕钢铁侠无所不能的助手贾维斯。
虽然语音助手并不是什么新鲜事，但其目前的形态与科幻电影中的智能助手有些不同。
在齐亚德看来，大模型是一个游戏规则的改变者。
大型模型有能力真正重塑我们与应用程序交互的方式。
这一变化的具体表现是一一体现的。
也就是说，通过大模支持的数字助理的应用入口，人们可以控制手机等终端上的一切：
通过自然语言指令，数字助理可以自动帮助您管理手机上的所有APP，完成银行业务、写电子邮件、规划行程、预订机票等各种操作。
更重要的是，这样的数字助理还可以“定制”——
将手机上的个性化数据与能够理解文本、语音、图像、视频等多模态输入的大语言模型相结合，数字助理可以更准确地掌握用户偏好。
并且可以在不牺牲隐私的情况下实现这种个性化体验。
从技术角度来看，其背后的关键其实是现在手机中融入的混合AI架构以及量化、编译、硬件加速优化等AI技术作为支撑。
混合AI是指终端和云端协同工作，将AI计算工作负载分配在合适的场景和时间，更高效地利用计算资源。
量化、编译、硬件加速优化是实现混合AI的关键AI技术，受到高通等终端AI厂商的长期关注和押注。
量化是将较大的模型从浮点数转换为整数，而不改变精度，节省计算时间； 或者在保证模型性能的同时压缩其大小，使其更容易部署在终端上。
编译器是AI模型能否以最高性能和最低功耗高效运行的关键。 AI编译器将输入神经网络转换为可以在目标硬件上运行的代码，同时针对延迟、性能和功耗进行优化。
在硬件加速方面，以高通为例，其AI引擎中的关键核心处理器采用专用供电系统，支持微切片推理、INT4精度、网络加速等，在降低能耗和内存的同时，提供更高的性能。 占据。
数据显示，加速极大地提高了生成式人工智能中充分使用的多头注意力机制的推理速度，在所使用的特定用例中，人工智能性能提高了4.35倍。
举个例子，现在，通过量化、编译和硬件加速优化，高通研究人员已经能够在搭载第二代骁龙8移动平台的手机上以15秒的速度运行这个模型，进行20步推理，生成512512像素的图像。
△ 图源@TK Bay
这样，整个推理过程就可以完全在手机上实现——也可以在网飞行模式下完成，而无需连接互联网。
部署此类人工智能技术并不容易。 Ziad表示，高通在相关软件、工具和硬件方面已经准备了2-3年。
但现在，当高通AI模型增强工具包、高通AI软件堆栈、高通AI引擎等软硬件工具准备就绪时，如前所述，高通只用了不到一个月的时间就实现了在骁龙平台上的集成。 高速运行。
换句话说，当基础技术准备就绪时，包括大型模型在内的生成式人工智能的部署将会更加容易。 以前难以想象的“将大型模型部署到终端，成为数字助理”现在看来也并非不可能。
具体来说，在硬件上混合AI和软件AI技术的“双元”架构下，部署在手机等终端的大模型可以根据用户习惯不断优化和更新终端侧的用户画像，从而增强和创建定制化的生成模型。 AI 提示 . 这些提示将以终端侧为中心进行处理，只有在必要时才会将任务卸载到云端。
Ziad 进一步向我们解释道：
云端不懂你，但终端设备懂你。 如果模型可以在设备上进行微调，那么它们将会非常强大。
这也是突破大模型和内存瓶颈假象的方法之一。 高通可以利用一系列技术，让大型机型在不连接互联网的情况下，借助终端设备数据，长期提供“专属”服务，同时还能保护用户隐私。
值得注意的是，Ziad还透露，基于高通的全栈软硬件能力，研究人员正在将更多的生成式AI模型迁移到手机上，参数数量也在向百亿级迈进。 。
很快，您就会在终端上看到 LLaMA 7B/13B 等型号。 所有的工具都已经准备好了，只是时间问题。
而且，虽然目前终端侧只能部署“特定”的大模型，但随着技术的不断成熟，可部署的大模型的数量、模态类型、部署形式都将快速演变。 齐亚德说：
随着越来越多、更好的AI算法开源，我们也可以利用这套软硬件技术更快地将它们部署到终端侧，包括文森特视频等各种多模态AI。
由此看来，未来用户将自己想要使用的大机型迁移到手机上，成为超级助手的核心也并非不可能。
模型正在重塑移动互联网
事实上，手机上的交互变化只是冰山一角。
早在生成式人工智能和大规模模型技术爆发之前，在移动互联网时代，人工智能需求就已呈现向边缘设备转移的趋势。
正如Ziad所言“终端侧AI才是AI的未来”，随着以大模型为代表的生成式AI浪潮加速改变人机交互方式，笔记本电脑、AR/VR等更多终端侧、汽车和物联网终端等也将因为这种变化而被重塑，甚至加速AI的大规模落地。
在这个过程中，不仅硬件上会诞生新的测量标准，软件上也可能出现以大模型为核心的超级人工智能应用。
首先，在硬件方面，由于终端侧算力将成为扩展生成式AI应用不可或缺的一部分，对于移动芯片本身来说，AI处理能力将日益凸显，甚至成为新的设计标杆之一。
随着大型模型变得越来越流行，越来越多的应用程序不断访问其功能，更多的潜在用户将意识到大型模型的优势，从而导致此类技术的使用迅速增加。
但云计算能力毕竟有限。 根据齐亚德的说法：
随着AI计算需求的增加，云计算能力必然无法承载如此巨大的计算量，导致单次查询成本急剧上升。
要解决这个问题，更多的算力需求应该“溢出”到终端，并依靠终端算力来缓解这个问题。
为了让更多的大型模型能够在终端上进行处理甚至运行，从而降低调用成本，需要在保证用户体验的同时，提高移动终端芯片处理AI的能力。
长此以往，AI处理能力将成为硬件能力的衡量标准，就像过去手机芯片的通用计算能力和ISP成像能力一样，将成为整个手机芯片新的“赛点” 。
谁能在设计移动芯片时考虑到这一点，谁就更有可能在这场模型大赛中获得话语权。
不仅仅是硬件。 在软件方面，通过改变人机交互方式，大模型将重塑包括娱乐、内容创作、生产力在内的所有移动应用。
在这种情况下，将会有越来越多的大规模模型，或者说生成式AI参与进来，重塑不同的移动AI应用，而这些应用会随着移动算力和应用场景的不同而有所不同。 区别：
在智能手机方面，如前所述，这种重塑将首先出现在搜索和“智能助手”中。 例如，只需一句“安排5人的会议”，大模型就可以将以前通过电子邮件反复确认的消息简化为一条指令，自动发送到其他人的日历中。
在笔记本电脑和PC上，最大的影响可能是工具生产力的提高。 比如使用方式不再需要依靠打字来输入内容，而是聊天就可以完成自己想写的报告、PPT。
至于汽车方面，数字助理和自动驾驶软件可能最先受到影响。 例如，使用导航软件时，不再需要点击目的地，而只网需告诉它“我要去XX，中途安排个吃饭的地方，不要太贵”，大模型可以读人语音并自动规划汽车路线。
或者说XR更有吸引力的应用重塑在于3D内容创作和沉浸式体验； 物联网的变化可能会发生在运营效率和客户支持应用方面……
当然，这并不意味着小型AI模型的“消失”。 在大型模型出现之前，图像应用已经成为移动AI实现最重要的领域。 目前已经有很多成熟的AI应用，包括AI图像编辑、暗景视频拍摄去噪算法等。
Ziad认为，生成式AI的出现不会取代现有的AI应用，甚至在其刺激下，CPU、GPU、AI处理器的升级和演进将进一步增强去噪等传统AI算法的能力。
同时，移动应用之间不存在“孤岛”。 无论智能手机、电脑、汽车、物联网还是XR，一旦大模型导致真正的“杀手级”应用出现，势必会在各种移动终端之间进行部署。
因此，在这波规模化模式下，如何将开发的应用快速适配不同移动终端，实现“一次开发、网多终端互联”也是不可或缺的技术趋势。
总而言之，从硬件芯片设计、软件应用，到应用的整体开发方式，大模型正在给移动终端乃至整个移动互联网带来改变。
那么，高通将在这一波模式大变革中扮演什么角色呢？
Ziad 相信高通将引领技术前沿，并成为引领这一变革的核心：
在终端方面，高通无论是硬件还是软件方面都处于领先地位。 不仅仅是手机，还包括电脑、AR、VR、汽车、物联网等领域。
这种底气的源泉是高通长期积累的AI技术，“所有工具都已经准备好了”。
无论是硬件上的AI处理器，还是让生成式AI在云端和终端之间“无缝”应用的混合AI，还是量化、压缩、神经网络架构搜索（NAS）和编译等技术在软件上，高通已经具备了随时将大模型应用到终端侧的技术储备。
一旦大模型成功部署到某个终端侧，例如智能手机，就可以通过高通AI软件栈快速部署到所有其他终端设备，进一步加速大模型的规模化落地。
与10亿参数模型一样，部署在手机上之后，也实现了在搭载骁龙计算平台的笔记本上运行。
面对大模型浪潮下生成式AI带来的机遇和挑战，不少科技公司都在寻找对策，探索如何跟进技术。
至少在终端端，高通作为技术玩家率先为行业做出了样本。
还有一件事
在这波生成式AI热潮下，大模型是否有可能带来像微信这样的新“杀手级”应用？ 高通如何看待这一观点？
Ziad 回答说有可能，而且这样的“杀手级”应用更有可能首先出现在中国：
如果从发展趋势来看，确实此类应用在中国出现的速度可能会更快。
广告声明：文章中包含的外部跳转链接（包括但不限于超链接、二维码、密码等）用于传达更多信息，节省选择时间。 结果仅供参考。 IT之家的所有文章均包含此声明。
