• 媒体品牌
    爱范儿
    关注明日产品的数字潮牌
    APPSO
    先进工具,先知先行,AIGC 的灵感指南
    董车会
    造车新时代,明日出行家
    玩物志
    探索城市新生活方式,做你的明日生活指南
  • 知晓云
  • 制糖工厂
    扫描小程序码,了解更多

在网络大模型时代会问问题,在未来会是一种核心能力,否则网络大模型跟你沟通的效率会降低。但恰恰是端侧大模型对你理解最深,帮你把背后的潜藏意识跟云侧大模型沟通,可能是效率最佳的。

—— 荣耀 CEO 赵明

大声

2023-10-27 03:51

2023 骁龙峰会发布了很多新的芯片,但主题却只有一个:AI。而这次峰会关于 AI 也有一个关键词:端侧大模型。

所谓端侧大模型是和云侧大模型相对应,完全运行在本地,无需联网,在飞行模式下也能使用,但相应的,端侧大模型的参数规模要比云侧大模型小一两个量级,需要的算力也少很多。一般而言,端侧大模型比较流行的参数规模为 70 亿,而目前最热的 GPT-3.5 的参数规模为 1750 亿。

在骁龙峰会上,荣耀终端有限公司 CEO 赵明宣布即将推出的荣耀 Magic6 将搭载骁龙 8 Gen 3 移动平台,支持 70 亿参数的 AI 端侧大模型,并首次向外界展示了荣耀手机端侧 AI 大模型的部分功能。

与云侧 AI 大模型不同,荣耀端侧 AI 大模型基于个人化理解和感知来完成场景化任务闭环。其优势在于可以更好的学习用户个人数据,且个人数据不出端、不上云,隐私信息更安全,是个人化的智慧生命体。同时在端侧积累个人知识库,可迁移、可继承、可成长。随着端侧 AI 对用户个人数据和习惯的学习成长,能够带来更深入的意图理解和更加个性化的复杂场景服务。

此次荣耀与高通的合作主要围绕性能、功耗和用户隐私等方面进行联合创新,推动了 AI 大模型在端侧的更好部署。在性能方面,双方联合优化端侧 AI 大模型的推理性能,充分释放端侧 NPU 算力;在功耗方面,联合优化端侧 NPU 调度,让大模型应用流畅又省电;最后,在隐私安全方面,双方联合优化端侧 AI 大模型应用的数据通路防护,保障用户隐私绝对安全。

荣耀 CEO 在峰会现场展示了包括智慧成片和灵动胶囊在内的端侧 AI 能力,以及 MagicRing 信任环所带来的的升级功能,如摄像头跨设备分享、APP 跨设备拖拽等功能等。荣耀智慧成片功能就和端侧大模型能力有关,可以根据用户偏好和关键节点对图库里的图片、视频进行智能检测、筛选,并主动匹配音乐字幕,一键即可成片。

于是问题就来了,为什么在云侧大模型以及这么火,应用如此多的时候,高通和荣耀还要研发和推广端侧大模型?

赵明在会后的采访中,向爱范儿等媒体解释了这个问题:

我认为端侧大模型和云端网络大模型是协同的,不是互斥。各自都有各自的局限性,各自都有各自的优势,它不是互相取代的。

 

在端侧由于 AI 算力问题可能做到了 10 亿到 100 亿参数。今天荣耀在算力上是做的最好的,他也就在这个范围内。网络大模型云计算的能力可以做到 100-1000 亿,甚至更高,这种能力是两者的差距。

 

网络大模型核心在通用、公用知识,你让他写篇科幻小说是可以的,但你让它写过去十年的年终报告,看看趋势是什么,你要不把过去十年工作情况上传过去,它是写不出报告的,因为涉及用户隐私和安全的问题。端侧是不出端的,是个人独有的 AI 处理能力,它反倒可以帮助你。过去你写的工作报告或者心路历程,小孩子成长的轨迹,都可以帮助你分析,因为是你个人的数据,在个人手机上可以完成。

 

所以,未来一定是端侧大模型帮我们更好地跟网络模型进行沟通,或者是说你把端侧大模型做好了会提升网络大模型的使用效率。即使提问,你问网络一个问题,它会有无穷多的问题在等着你。在网络大模型时代会问问题,在未来会是一种核心能力,否则网络大模型跟你沟通的效率会降低。

 

但恰恰是端侧大模型对你理解最深,可以把一些基本的信息交互网络侧,帮你保护个人数据隐私,它帮你把背后的潜藏意识跟云侧大模型沟通,可能效率最佳的,帮助你平衡端侧和网络侧给你提供的服务。这种认知和发展方向,荣耀相当长时间内思想都比较领先的。这是过去相当长时间内我们坚持发展手机 AI、平台级 AI 能力的原因。

另外,端侧大模型还有一个优势就是成本低,因为运算完全在本地的芯片上,不会消耗服务器算力,成本只有手机电量,但是云侧大模型的成本就是肉眼可见的了,Open AI CEO 曾经表示,ChatGPT 问答一次的成本为数美分,约人民币 o.5 元,虽然后续成本有所降低,但每次问答背后都是钱在支撑,再往后算,还有电力消耗,冷却水消耗和碳排放等等。

这些成本也是赵明认为端侧大模型大有可为的原因之一,赵明说:

每个人现在用网络大模型干的最多的事儿,是对话类的,问一些稀奇古怪的问题,或者写份武侠小说,写份报告。但它跟你的连接和关系比较弱。更多是专家,给你个专家系统,问询、问答式的。

 

真正帮助我们更好管理自己的事情的时候还是要靠端侧 AI 能力,未来一定是端侧大模型和网络侧的大模型相结合。混合式 AI,未来能够真正解决我们的问题。今天有很多垂域网络大模型,未来这些都是荣耀的合作伙伴。做端侧 AI 并不排斥云侧,我们是合作伙伴的关系。因为每个人只做自己力所能及的最强的一部分,但很多 AI 算力应该在手机侧做,效率更高。

 

比如说,你随便问一个问题,可以看一下网络大模型背后消耗多少能源,消耗多少算力,实际上来讲很多是不经济的,甚至某种程度上是不需要动用网络大模型方案的。未来一定是各自分工,今天还没有谁说网络大模型已经是盈利的,还是因为算力的消耗还是太多了。

同时,赵明也表示,目前荣耀已经和很多云侧大模型供应商进行沟通,酝酿端云大模型互补的落地:

现在行业当中有太多云侧大模型了,我们跟很多家都在谈,以后可能未必只接一家,因为网络大模型,那是别人的能力,你反正提供一个接口,互相之间的这种合作就可以了,我们不排斥,我们一直说坚持荣耀的端侧大模型,比如说大语言模型也好,通用的语言模型也好,或者随意大模型的合作,我们都不排斥的,我们是一个非常开放合作的态度。

虽然说荣耀自研的 70 亿参数端侧大模型会首发在 Magic6 上,并且明年年中的时候,荣耀也会发布搭在高通骁龙 X Elite 平台的笔记本产品,骁龙 X Elite 也有很强的算力,支持更大规模的端侧大模型,前不久英特尔也展示基于 X86 芯片运行的 PC 端侧大模型,这也预示着一种可能性:荣耀自研的端侧大模型,可否运行在其他设备上?

赵明也肯定了这种猜想:

我们首先还是会用在手机上面,我们是真正做到了 70 亿,这是我们自己开发的,从端侧大模型未来演进发展来看,当然它各个方面还有很大的提升,但是你要想一下,手机是在一个很有限的空间内,对吧?它是在有限的电池,有限的散热和有限存储环境下支持 70 亿,你就想象一下其中这么多约束条件,它一定是最难的。

 

笔记本我可以加一个风扇是吧?我可以有很大的散热器,电池的容量也可以更大,其实它是一个不同的逻辑和体系,但是我说我们平台级 AI,一定是最具挑战性的,最难的其实还是在手机上。反倒你在手机上具备了这个能力之后,当然未来我们可以把它平移到 PC 上面,或是 X86 PC 上面,这对于我们来说都是一个相对来说比较简单的事情。

在 2023 年收尾阶段,我们可能看到一系列的新机将接入各种大模型,端侧也好,云侧也好,我们使用手机的方式也会因此改变,进而是 PC,甚至是其他的产品上,大模型都会参与其中,人机交互的变革大幕也就此拉开。

登录,参与讨论前请先登录

评论在审核通过后将对所有人可见

正在加载中

在命运的塑料大棚里,每棵被喷了过多农药的白菜心中,都曾经有一个成为无公害有机蔬菜的梦想。

苹果巧妙地把移动互联网生态「移植」过来,让大家看到了空间计算的未来,而我们努力让大家看到空间计算的现在。

查看全文 —— XREAL 创始人 徐驰

到 2025 年,纯电和插混将出现 1:1 的局面。插电混动的春天,已经在我们身边。

查看全文 —— 上汽集团 芦勇

通过新世代车型,我们期望展示未来汽车行业三大核心领域的系统实施——电动、清晰聚焦可持续和全数字化。这也意味着宝马将在设计、技术和理念三个维度全面步入未来。

查看全文 —— 宝马集团董事长齐普策

英特尔已经向业界提供了 500 万片酷睿 Ultra 核心,其中 40% 供给中国市场。

查看全文 —— 英特尔执行副总裁兼客户端计算事业部总经理 Michelle Johnston Holthaus

AI 的确是最近我们公司讨论非常频繁的一个重点话题,现在 AI 每一天的进展是天翻地覆的,可能每过一段时间基本上都有一个跨越式升级,对于手机硬件厂商来说,一定是接下来科技方向的重中之重,不管是开源,还是大模型诞生,手机的应用一定会发生很多变化。

查看全文 —— 真我全球副总裁 徐起